Der Schrein wurde 1625 von seinem ursprünglichen Standort im heutigen Ueno-Park verlegt, um Platz für den Kan'ei-ji-Tempel zu schaffen, eine der wichtigsten religiösen Institutionen des Tokugawa-Shogunats.

Die Hauptgottheit des Schreins, Ono no Takamura, war ein legendärer Dichter-Gelehrter, der nachts als Bürokrat in der Hölle diente, während er tagsüber für den Kaiser arbeitete und durch einen Brunnen in Kyoto zwischen den Welten reiste.

Der Schrein veranstaltet während Setsubun eine einzigartige 45-minütige Non-Stop-Bohnenzeremonie, bei der Kinder nach Alter in Sicherheitszonen eingeteilt werden und Erwachsene Leckereien von den Schreinmädchen erhalten, da die Bohnen sie nicht erreichen können.

Die heutigen Schreingebäude überstanden sowohl das Große Kanto-Erdbeben von 1923 als auch die Brandbombardierung Tokios 1945, wodurch die Haupthalle von 1866 ein seltenes Beispiel für Architektur der späten Edo-Zeit darstellt, das in Tokyo noch steht.