源氏作為藤原氏一方的軍事首領，那麼能與藤原氏抗衡的白河法皇也有著屬於自己的軍事力量，那就是以平氏為首的武士集團。
平氏由於經常在地方叛亂，屢遭朝廷鎮壓，實力大減，但是也因此身邊聚攏了一批對現實極度不滿的武士。
當白河法皇以出家的形式跳出攝政關白製度，開創院政時代，以院政的形式與藤原氏展開鬥爭，使得以平氏為首的那些對現實不滿的武士們看到了希望，紛紛聚集在了白河法皇旗下。
原本已經實力大減的平氏也借助於這場鬥爭，重新返回了日本的政治舞台。
在曆史上，原本是地方豪族的首領的平正盛借助白河法皇與藤原氏的鬥爭，壯大了以平氏為首的武士集團，並於1108年斬殺了源義家之子源義親，使得清和源氏（河內源氏）勢力稍減，而伊勢平氏開始抬頭。
其後，平氏慢慢積蓄實力，擊敗宿敵源氏，曆經三代人，由平正盛嫡孫平清盛成為日本曆史上第一個軍事獨裁者，開啟了武家政權的先河。
平清盛雖然是日本武家政權的鼻祖，但是武人的地位並沒有顯著的提高，而是走了藤原氏的老路，將自己和正室時子所生的女兒平德子（建禮門院）嫁給高倉天皇作為皇後，以使自己成為天皇的外戚，不顧平德子長高倉天皇六歲且與其有表姊弟關係。平德子產下的皇子並且成為日後的安德天皇。另一個女兒平盛子則嫁給攝關家的藤原基實，並且以此為始，讓許多子女和有權有勢的公家眾（貴族階級）聯姻，巧妙地透過政治婚姻的手段擴大自己的勢力。
屠龍少年終究還是成為了惡龍，藤原氏被平氏隨取代。
武士族群因為平氏的貴族化，利害關係已經與其漸行漸遠而大感不滿。
1180年，被平清盛流放到伊豆國的源賴朝與其正室北條政子的娘家北條氏聯手舉兵反抗平氏政權，並開府於鐮倉。
源賴朝在鐮倉開府可以說是神來之筆，正是此舉使得武士族群紛紛聚攏在了源氏名下，哪怕源賴朝被平清盛的大軍打得節節敗退的時候，還依然有武士前來相投，為以後終結平氏政權奠定了結實的基礎。
幕府製度才是日本真正的武家政權，武士集團也因此登上了日本的曆史舞台。
可以說，幕府製度才是源氏一族最終極的夢想，是源氏一族助藤原氏確立了攝關政治後慘遭拋棄後，總結教訓，苦思冥想出來的一個真正能實現源氏一族夢想的製度，是真正屬於武人的製度。
源氏的這一靈感便得之中國的西楚霸王項羽的分封諸王。
第一個吃螃蟹的被魯迅先生尊為真正的勇士，那是因為要開創一條前無古人的路是非常艱辛的，後來者做得再出色，那也是建立在巨人的肩膀上。
而在血統論至上的日本，想要創建幕府製度，那麼霸王血統就很關鍵了，雖然不是必要條件，但是一旦有了，那將事倍功半。
源氏一方麵在積極尋找霸王血統，可是由於中國的史書上並沒有明確記載了項羽的子孫，使得尋找霸王血統毫無頭緒。