Apenas a estátua esculpida por Ieyasu e um ginkgo sagrado sobreviveram ao devastador bombardeio de 1945 que destruiu tudo o mais, os edifícios atuais datam da reconstrução de 1969.

Originalmente chamado de Ankoku-den, em homenagem ao nome budista póstumo de Ieyasu, o santuário fazia parte do Templo Zojoji até a ordem de 1868 do governo Meiji, que separou forçosamente os santuários xintoístas dos templos budistas em todo o país.

Embora designado como Edifício Especialmente Protegido em 1915 (equivalente a Propriedade Cultural Importante), o original santuário ornamentado com seu portão em estilo chinês e cerca transparente foi completamente destruído nos bombardeios aéreos

Tokugawa Ieyasu esculpiu sua própria estátua em tamanho real aos 60 anos e a venerou no Castelo de Sunpu antes de ordenar que fosse consagrada aqui após sua morte, tornando este um dos poucos santuários que abriga uma imagem de divindade