Le sanctuaire a été déplacé de son site d'origine, dans l'actuel parc d'Ueno, en 1625 pour faire place au temple Kan'ei-ji, l'une des institutions religieuses les plus importantes du shogunat Tokugawa.

La divinité principale du sanctuaire, Ono no Takamura, était un poète-érudit légendaire qui, dit-on, servait comme bureaucrate en enfer la nuit tout en travaillant pour l'empereur le jour, voyageant entre les royaumes par un puits à Kyoto.

Le sanctuaire organise une cérémonie unique de lancer de haricots non-stop de 45 minutes pendant Setsubun, où les enfants sont répartis par âge dans des zones de sécurité et les adultes reçoivent des friandises des prêtresses du sanctuaire car les haricots ne peuvent pas les atteindre.

Les bâtiments actuels du sanctuaire ont survécu à la fois au grand tremblement de terre du Kanto de 1923 et aux bombardements incendiaires de Tokyo en 1945, faisant du hall principal de 1866 un exemple rare d'architecture de la fin de l'époque Edo encore debout à Tokyo.