关于赤尾氏的起源，原本有着出身并不低微的通说。该说认为赤尾氏有关系紧密的两支：一支是三条实雅长子公纲于嘉吉年间蛰居于浅井郡丁野村，其此时即有一子曰浅井重政，而另有一子为赤尾家纲，这里的重政被认为是浅井亮政的曾祖父。另一支中赤尾氏与浅井家族的关系更为密切，据称亮政之父浅井贤政另有一子为赤尾骏河守教政，而教政有子为新二郎为政。如此说成立，再论年纪推算，清纲很有可能就是教政之子，同时也是浅井亮政的侄子。无论两支中的哪一支都表明赤尾氏与浅井氏有着相当接近的血缘关系，这也可以用来解释为何赤尾氏受到浅井氏如此的重用。