Вологодский Кремль начали возводить в XVI веке по приказу Ивана Грозного. Предание гласит, что царь, которому очень полюбилась Вологда, пожелал сделать ее своей северной резиденцией и столицей опричнины. Планируемая территория в 2 раза превосходила территорию Московского Кремля. Закладка каменной крепости проходила 28 апреля 1565 года, в день святых апостолов Иасона и Сосипатра. Это событие впоследствии дало другое название Вологде — Насон-город. Строительство кремля было прервано в 1571 году после неожиданного отъезда царя из Вологды.
Немецкий авантюрист Г. Штаден, в 1575—1576 годах побывавший в Вологде, сообщал:
«Город начат постройкой; половина стены из камня, другая — из дерева. Здесь выстроены каменные палаты; в них лежат серебряные и золотые деньги, драгоценности и соболя… Здесь лежит также около 300 штук пушек, недавно отлитых в Москве… Во время опричнины в этом городе день и ночь держали стражу 500 стрельцов».