当时呢,平家政权已经遭到朝廷及源氏各家众多人的不满,经过长期的观察,源赖朝清楚的意识到平氏政权已为关东众人所反对,便做好起兵的打算。
治承4年,也就是公元1180年的8月,源赖朝于伊豆起兵,打出以仁王诏令,仅以40名武士,迅速攻占山木馆,杀死平时忠任命的伊豆目代平兼隆,并迅速扩张到300名武士。8月,大庭景亲,率领3000大军前往征讨。

而源赖朝得知后,便从韮山出发,双方于石桥山展开遭遇,当天呐,大庭景亲当众嘲讽源赖朝,说他身为败军之将的后代,要不是平大相国留下他的性命,早就已死无葬身之地了,如今他却不知回报,反而起兵造反,基本的道德底线都没有,连一只狗都不如。
源赖朝听了之后大怒啊,立即率军攻击。但是呢,他早就已被埋伏在四周的平氏大军包围了。这一仗呢,源赖朝的军队被打的是丢盔卸甲,大败亏输,即使源赖朝亲自奋勇拼杀,也不能挽回败局,只得拼死啊,逃入箱根山中,躲了起来。