Der Tempel diente als Bodhi-Tempel des Ii-Clans, der Feudalherren der Hikone-Domäne. Er beherbergt die Gräber von 13 aufeinanderfolgenden Ii-Clanoberhäuptern, darunter Ii Naosuke, der Macht im Tokugawa-Shogunat innehatte.

Der Tempel wurde ursprünglich 1480 als Kōtoku-in gegründet und 1659 in Gotoku-ji umbenannt, nach dem posthumen buddhistischen Namen des zweiten Feudalherren des Ii-Clans, Ii Naotaka.

Gotoku-ji Station und die umliegende Gegend sind Drehorte aus Makoto Shinkais Anime „Your Name: 5 Centimeters per Second". Die Straßen sehen den Szenen im Film fast identisch aus.

Gotoku-ji ist der Ursprungsort der maneki-neko (Winkekatzen)-Tradition. Besucher können heute Hunderte von weißen Katzenfiguren sehen, die als Opfergaben für Glück hinterlassen wurden.