Основатель монастыря преподобный Пафнутий Боровский родился в 1395 году. В 1444 Пафнутий и его ученики в почти непроходимых Боровских лесах построили и освятили первый храм — 1444 год принято считать годом основания Боровского монастыря.
Пафнутий скончался в 1477 году, а в 1547 был причислен к лику святых. Маленький монастырь, став оплотом Московского государства в его борьбе за объединение русских земель, довольно быстро рос и богател. В конце XVI века, опасаясь войны с Польшей, Московское правительство укрепляет Свято-Пафнутьев Боровский монастырь и возводит мощные крепостные стены. В польском «Дневнике событий Смутного времени», в записи, относящейся к 1610 году, указано, что «монастырь был каменный и довольно сильно укрепленный, кругом была глубокая вода». Стены имеют три яруса: дальнего, среднего и ближнего боя. Одна из летописей XVII века повествует, что когда Лжедмитрий II осадил монастырь, он встретил сильное сопротивление и только благодаря измене воеводы смог ворваться на территорию монастыря. Но защитники под предводительством князя Волконского не прекращали сопротивления и все были убиты внутри собора. В память об этом подвиге в 1777 году город Боровск получил свой герб: сердце с крестом (символом верности) в лавровом венке, и была устроена поминальная часовня князей Воротынских.
