Крестовоздвиженский собор на левом берегу Волги принято считать градоначальным храмом.
По преданию, деревянную церковь на этом месте заложил сам князь Роман Угличский в 1280 году.
Каменный храм возведен в 1658 году под защитой древних валов. Строился он более 100 лет, на которые пришлись польско-литовское нашествие (город захватил отряд вельможи пана Гальбовича) и два «мора» — эпидемии чумы и холеры. После завершения строительства собор был практически неприступен — высокие земляные валы, деревянные стены, семь высоких сторожевых башен по периметру, широкий ров с водой и подъемным мостом.
В 1622 году деревянные укрепления сгорели.
На фресках храма сохранились очень редкое изображение — святой чешской княгини Людмилы.