Парк расположен на восточной окраине старого города, с севера выходит к обрыву над поймой реки Теза. С юга его территорию ограничивает Первомайская площадь, с запада парк отделен от кварталов городской застройки Садовым переулком. Глубокий овраг с восточной стороны отделяет его от Троицкого кладбища, а на юго-востоке он граничит с территорией старообрядческой церкви.
Городской общественный сад устроен в 1870-е годы на месте березовой рощи, которая называлась Крутихой, из-за своего местоположения. Здесь находятся садово-парковые скульптуры, перенесенные из городских усадеб: скульптуры «Три грации» середины 19 века первоначально стояла в другом месте сада; фонтаны-чаши (1-ая половина 19 века) перенесены в 1950-е годы из парка усадьбы Павлова (ул. 1 Московская, 38); львы (середина 19 века) ранее венчали пилоны ворот усадьбы Рубачева (пл. Ленина, д. 7).
В настоящее время деревья частично вырублены, разбиты новые аллеи и дорожки.
В 1950-е годы на северной окраине парка выстроен летний кинотеатр.
Характерный для уездных городов 2-ой половины 19 века образец общественного сада представляет особый интерес из-за находящихся здесь скульптурных произведений в духе классицизма.
