家康が自ら彫った像と神聖なイチョウの木だけが、1945年の火災爆撃で他のすべてが破壊された中で生き残った。現在の建物は1969年の再建によるものである。

元々は家康の仏教の法名にちなんで安国殿と呼ばれ、神社は明治政府の1868年の命令によって全国の仏教寺院から神社を強制的に分離するまで増上寺の一部でした。

1915年に特別保護建物に指定されたが（重要文化財に相当）、元の華やかな神社は中国風の門と透明なフェンスを持ち、1945年の東京空襲で完全に破壊された。

徳川家康は60歳で自らの等身大の像を彫り、死後にここに祀るよう命じる前に駿府城でそれを自ら崇拝しました。これにより、自己発注の神像を持つ数少ない神社の一つとなりました。