Бывший дом губернатора был построен в 1781 году в формах барокко и модернизирован в стиле позднего классицизма в середине 19 века. Тогда же в здании был возведен третий этаж.
Здесь располагалась резиденция смоленских гражданских губернаторов.
6 августа 1812 года это здание занял император Наполеон, войска которого вошли в Смоленск после ожесточенного сражения у стен города. Наполеон прожил здесь почти неделю, а его гвардия расположилась напротив, в Блонье.
В этом доме в 1829–1837 годах жил смоленский губернатор Николай Иванович Хмельницкий, русский драматург и переводчик. Он способствовал благоустройству города, внес большой вклад в его восстановление и развитие. По его инициативе в 1830 году был разбит городской сад Блонье, расположенный по соседству, в 1831 году открыта первая в Смоленске публичная библиотека с кабинетом для чтения. Под руководством губернатора Хмельницкого началось строительство шоссе Смоленск–Москва.
После разрушений 1941-43 гг., в послевоенные годы здание восстановлено в прежних формах с частичным изменением планировки.
В настоящее время в здании располагается детская художественная школа.
Николай Иванович Хмельницкий прибыл в Смоленск в качестве губернатора в 1829 году. И он застал город, разрушенный наполеоновскими войсками, погрязший в нищете и невежестве. Хмельницкий состоял в дружеских отношениях с Грибоедовым, разделял взгляды литературного кружка «Арзамас», писал пьесы о светской жизни… Первым делом, он попытался произвести на Смоленщине либеральные реформы. Он открыто пропагандировал терпимость к Раскольникам; попасть к нему на прием можно было в порядке живой очереди, вне зависимости от звания и положения в обществе.
Хмельницкий открыл в Смоленске публичную библиотеку.
В 1837 году открылось, что за реформами общественной жизни, он не замечал хозяйственных проблем и был обвинен в растрате… Сначала его перевели в Архангельск, а потом он был арестован и заключен в Петропавловскую крепость, откуда уже вышел больным и сломленным до неузнаваемости человеком. В 1843 году Н.И. Хмельницкий был признан невиновным.
В 1844 он уехал лечиться за границу, но вскоре вернулся.
Умер он в сентябре 1845 года в Петербурге.