O santuário foi transferido de seu local original no atual Parque Ueno em 1625 para dar lugar ao Templo Kan'ei-ji, uma das instituições religiosas mais importantes do xogunato Tokugawa.

A divindade principal do santuário, Ono no Takamura, foi um lendário poeta-erudito que se dizia servir como burocrata no inferno à noite enquanto trabalhava para o imperador durante o dia, viajando entre os reinos através de um poço em Kyoto.

O santuário realiza uma cerimônia única de arremesso de feijões sem parar de 45 minutos durante o Setsubun, onde as crianças são organizadas por idade em zonas de segurança e os adultos recebem guloseimas das donzelas do santuário, já que os feijões não conseguem alcançá-los.

Os edifícios atuais do santuário sobreviveram tanto ao Grande Terremoto de Kanto de 1923 quanto ao bombardeio incendiário de Tóquio em 1945, tornando o salão principal de 1866 um raro exemplo de arquitetura do final do período Edo ainda de pé em Tóquio.