Монастырь был основан в 1352 году князем суздальским и нижегородским Константином Васильевичем как мужская обитель Святого Спаса. Место, которое он занимает, было выгодно стратегически. Изначально он был деревянным, и поэтому от его первых построек ничего не осталось – они сгорели в XVII веке во время польско-литовского нашествия.
Уже в XV веке монастырь был довольно богат: ему принадлежало множество сел, деревень и земель в среднерусской полосе. В XVII веке он был обстроен новыми крепостными стенами, с огромными и мощными оборонительными башнями, видными издалека над высоким берегом реки.
