Il tempio serviva come tempio bodhi per il clan Ii, i signori feudali del Dominio di Hikone. Ospita le tombe di 13 successivi capi del clan Ii, incluso Ii Naosuke, che ricopriva una posizione di potere nello shogunato Tokugawa.

Il tempio fu originariamente fondato come Kōtoku-in nel 1480, poi rinominato Gotoku-ji nel 1659 in onore del nome buddhista postumo del secondo signore feudale del clan Ii, Ii Naotaka.

La stazione di Gotoku-ji e l'area circostante sono location di ripresa dell'anime "Your Name: 5 Centimeters per Second" di Makoto Shinkai. Le strade sono quasi identiche alle scene del film.

Gotoku-ji è il luogo di nascita della tradizione del maneki-neko (gatto che fa cenni). I visitatori oggi possono vedere centinaia di statuette di gatti bianchi lasciate come offerte per la buona fortuna.