母親の身分が低かったりするなど、家の中でも扱いが低かったりしたからです。
たとえ父親が天皇や上皇、親王でも母親の身分が低かったりすると東宮(皇太子)にはなれないことが多く、宮中での扱いも低くなるために親王などの位から臣籍降下したのが源氏や平氏になったということはご理解できますか?
臣籍降下したあとも身分が低い女性との子などは長男でも嫡子になることができず、高い位に就くこともできず、出家するか地方に飛ばされたりすることが多かったようです。
(身分が高いと国司になっても任地へ行かずに京で働くことも出来ました)
そのうちに地方の豪族と結ばれたりして、地方で力を持ち、その地を守るために武力を持ったのが武家、武士の始まりです。
武家には源氏や平氏以外にも藤原氏などもいます。
私も実は武家の藤原氏の流れのようです。
藤原道長(摂関家・五摂家)の流れ以外の藤原氏は大体武家になりましたので、日本人の大半は武家の藤原氏の流れかと。
佐藤さんなどは武家の藤原氏ですからね。
そんな武家は地方で力を持つことになりますが、その地方で様々なトラブルが発生し、政治的に仲裁したり解決させたりしたのが、京の貴族・公家でした。
そうしているうちに公家が武家を使うようになり、武家だけど公家に戻りたい武士は積極的に摂関家や朝廷に仕え、公家の娘と婚姻を結び、家格を上げていきました。
逆に臣籍降下しても代々身分が高い母親から生まれ、京に残り続け、武士にならず、藤原氏の下につかなかった公家の血筋もあります。
平氏では平時忠などの血筋が有名です。
時忠の姉の時子は平清盛と結婚し、滋子は後白河法皇の寵愛を受け高倉天皇を産みました。
清盛の「平家一門」の繁栄は時忠たち姉弟の公家の血筋のお陰とも言えます。
源氏の公家は摂関家と長いこと親戚関係にあって「摂関家」に準ずる家格だった村上天皇から出た「村上源氏」などがあります。
一時は藤原摂関家の系列の藤原氏(五摂家)よりも家格が上になったこともありました。
「村上源氏」の中でいちばん有名なのが「明治維新」の岩倉具視ですね。