寛弘年代に、源頼信が石清水八幡宮の神霊を勧請し、霞ヶ関のあたりに創建し、後に太田道灌の江戸城築城の際、現在地に遷座したとされる。
幾度となく火災に見舞われ、社殿は焼失を繰返した。戦災の被害も大きかったが、氏子の町々の復興と共に昭和２８年８月社殿を総桧木造りで再建し、昭和３７年末社稲荷社･人麻呂社を復興させた。