Именно здесь, между двумя флигелями, в одну линию с ними, и находился большой дом, в котором родился Лев Николаевич Толстой. При жизни князя строительство ансамбля завершено не было. Он успел возвести два изящных флигеля и нижний этаж большого барского дома. Закончено строительство дома было при отце Льва Николаевича, Николае Ильиче, в 1824 году. В большом доме было около сорока комнат. В этом доме Толстой провел свои детские годы, в нем он поселился и в 1847 году, став в 19 лет владельцем Ясной Поляны, после раздела принадлежавших семье земель между ним, его братьями и сестрой.
В 1854 году большой дом был продан на своз. В это время Толстому срочно понадобились деньги на издание «Военного листка» — журнала для солдат, который он задумал с группой офицеров, служивших вместе с ним в Крыму (Толстой принимал участие в Крымской войне и находился тогда в осажденном Севастополе). Издание было запрещено, деньги разошлись по мелочам.
Дом был перевезен за 40 верст от Ясной Поляны в село Долгое. Этот дом был очень дорог Толстому, потому что напоминал ему о детстве, о родителях, которых он очень рано лишился, о тетушках, которые воспитывали его, его братьев и сестру после смерти их матери, а затем и отца… В декабре 1897 года Толстой писал в дневнике: «4-го ездил в Долгое. Очень умиленное впечатление от развалившегося дома. Рой воспоминаний». В селе Долгом дом простоял до 1913 года и был разобран за ветхостью. Большой яснополянский дом был воскрешен писателем на страницах трилогии «Детство», «Отрочество», «Юность».
