Граф Облов построил свой первый дом в этих местах в 1810 году. Долгое время окна барского жилища были заколочены, а его хозяин обитал в Москве. В начале 30-х годов Облов с семьей перебрался в Дубовку (бывшее название Дубового) и через некоторое время начал строительство нового дома. Строение было возведено в самом центре села, на возвышенности. Деревянный дом отапливался тремя каминами, сооруженными в нижнем этаже.
Облов был мелкопоместным дворянином, вел типичную для провинциальных дворян жизнь. Увлекался цветоводством и садоводством, развивал парниковое и тепличное хозяйство. Также Облов занимался разведением скаковых лошадей, они были предметом гордости и забот барина.
После октябрьских событий 1917 года обитатели усадьбы тихо покинули ее, оставив в неприкосновенности все имущество. Здание оставалось необитаемым совсем недолго — после создания плодосовхоза здесь разместилась контора. Барский дом стремительно приходил в запустение.
С 1977 по 1983 годы здание капитально отремонтировано и полностью отреставрировано. Удалось сохранить камины, по старинным фотографиям восстановили деревянную резьбу. Сегодняшний внешний облик дома графа Облова полностью соответствует оригиналу. Сейчас в бывшем барском доме расположены библиотека, фельдшерско-акушерский пункт, большую часть здания занимает музей.
