O templo serviu como templo bodhi para o clã Ii, senhores feudais do Domínio de Hikone. Abriga os túmulos de 13 sucessivos chefes do clã Ii, incluindo Ii Naosuke, que exerceu poder no xogunato Tokugawa.

O templo foi originalmente fundado como Kōtoku-in em 1480, depois renomeado para Gotoku-ji em 1659 em homenagem ao nome budista póstumo do segundo senhor feudal do clã Ii, Ii Naotaka.

A Estação Gotoku-ji e a área circundante são locais de filmagem do anime 'Your Name: 5 Centimeters per Second' de Makoto Shinkai. As ruas são quase idênticas às cenas do filme.

Gotoku-ji é o berço da tradição do maneki-neko (gato acenador). Os visitantes podem ver hoje centenas de estatuetas de gato branco deixadas como oferendas para boa sorte.