Tokugawa Ieyasu a sculpté sa propre statue grandeur nature à 60 ans et l'a vénérée lui-même au château de Sunpu avant de demander qu'elle soit consacrée ici après sa mort, faisant de ce lieu l'un des rares sanctuaires abritant une image de divinité

Seule la statue auto-sculptée d'Ieyasu et un arbre ginkgo sacré ont survécu au bombardement incendiaire dévastateur de 1945 qui a détruit tout le reste ; les bâtiments actuels datent de la reconstruction de 1969.

Appelée à l'origine Ankoku-den d'après le nom posthume bouddhiste d'Ieyasu, le sanctuaire faisait partie du temple Zojoji jusqu'à l'ordre de 1868 du gouvernement Meiji qui a séparé de force les sanctuaires shinto des temples bouddhistes à l'échelle

Bien qu'il ait été désigné comme un bâtiment protégé spécial en 1915 (équivalent à un bien culturel important), le sanctuaire orné d'origine avec sa porte de style chinois et sa clôture transparente a été complètement détruit lors des bombardements