Семья Достоевских приобрела усадьбу в 1831 году. Будущий писатель провел здесь немало времени, во многих его произведениях описан пейзаж Дарового, который не изменился до наших дней. Восприятие мира и природы в творчестве Достоевского во многом основано на его детских переживаниях. Здесь же, при загадочных обстоятельствах умер отец писателя, и именно это событие описано в романе «Братья Карамазовы». Дом принадлежал Достоевским до 1929 года, позже здесь была сельская библиотека, а в 1955 году появилась «комната Достоевского», а семидесятые годы был открыт музей.
Ныне существующий флигель возведен, предположительно, на фундаменте дома, выстроенного Достоевскими после пожара 1832 года. В этом флигеле размещается фотовыставка «Даровое в жизни Достоевского». В 1993 году на территории усадьбы был открыт памятник писателю. В усадьбе проводятся праздники, творческие вечера, мастер-классы. А фруктовый сад по-прежнему полон спелых и ароматных яблок.
Возле усадьбы находится лес Брыково, в котором в детстве любил гулять Федор Достоевский. В честь него лес стали называть «Фединой рощей».
