Картинная галерея имени Дмитрия Алексеевича Трубникова располагается в двухэтажном деревянном купеческом особняке. Ранее дом принадлежал Николаю Ивановичу Лосеву — зятю известного фабриканта, мецената Григория Клементьевича Горбунова.
Особняк является образцом гражданского зодчества XIX века. Здание украшено изящной резьбой, ажурной оградой над карнизом и большим балконом с лёгкой решёткой. Рядом стоит одноэтажный бревенчатый дом с двумя стрельчатыми окнами во всю стену уличного фасада. Оба здания соединены парадными высокими воротами, выполненными в стиле модерн.
В советское время в особняке Лосева в разное время располагались школа, станция юных техников, городской отдел народного образования.