Le temple servait de temple bodhi pour le clan Ii, seigneurs féodaux du domaine de Hikone. Il abrite les tombes de 13 chefs successifs du clan Ii, notamment Ii Naosuke, qui exerçait le pouvoir dans le shogunat Tokugawa.

Le temple a été fondé à l'origine sous le nom de Kōtoku-in en 1480, puis rebaptisé Gotoku-ji en 1659 d'après le nom bouddhiste posthume du deuxième seigneur féodal du clan Ii, Ii Naotaka.

La gare de Gotoku-ji et les environs sont des lieux de tournage de l'anime « Your Name: 5 Centimeters per Second » de Makoto Shinkai. Les rues ressemblent presque identiquement aux scènes du film.

Gotoku-ji est le berceau de la tradition du maneki-neko (chat qui fait signe). Les visiteurs peuvent aujourd'hui voir des centaines de figurines de chat blanc laissées comme offrandes pour la bonne fortune.