Строительство дворцово-паркового ансамбля началось в 1794 году и продолжалось почти 30 лет.
Хозяин усадьбы, купец Л. И. Расторгуев (1769-1823) умер, не дождавшись окончания строительства, и усадьба перешла к его зятю П. Я. Харитонову.
После судебного следствия о зверствах на кыштымских заводах, принадлежавших семье, всё имущество пошло с молотка. Усадьба пустовала полвека.
В конце XIX века её стали сдавать в аренду под квартиры и конторы. В 1937 году здание передали Дворцу пионеров.
К особняку примыкает публичный парк в английском стиле, заложенный в 1826 году. В парке устроено искусственное озеро с насыпным островком и беседкой-ротондой.
Под парком и усадьбой проходят подземные ходы. Согласно легенде, старовер Расторгуев проложил их на случай бегства с тайных богослужений. По другим легендам, эти ходы – остатки тайных штолен, где Расторгуев добывал золото.
Выходы кварцевых золотоносных жил на Вознесенской горке, где расположена усадьба, действительно есть, было и золото в виде россыпей в скрытой сейчас речке Мельковке, протекающей у северного склона Вознесенской горки. Но настоящую промышленную жилу найти после Расторгуева никто не смог.
