Замок Цуруга был построен в 1384 году, переходил поочерёдно под управление то одного, то другого клана района Аидзу.
Замок Цуруга был центром владений Аидзу, одним из последних опорных пунктов самураев, преданных сёгунату. В 1868 году в ходе войны Босин, восстания против недавно сформированного правительства Мэйдзи, взявшего контроль над сёгуном Токугава и положившего конец феодальной эпохе Японии, замок был поврежден правительственными войсками. Поскольку правитель Аидзу воевал против императора, в 1874 году главную башню замка снесли.
Замок был восстановлен в 1960-х годах из бетона. Посетители могут подняться на верхний этаж замка и посмотреть на окружающий город. Внутренняя часть здания представляет собой интересный музей с привлекательной экспозицией об истории замка и самурайском стиле жизни.