Особняк, который сегодня занимают выставочные залы Государственного Литературного музея, был построен в начале 20-х годов XIX века. С 1890 года его хозяином стал известный художник, коллекционер и меценат Илья Остроухов. В особняке разместился знаменитый на всю Москву домашний музей, в котором были представлены полотна западных и русских художников, а также богатейшее собрание икон. В 1918 году музей был национализирован, а Илья Семенович стал пожизненным хранителем открывшегося в особняке «Музея иконописи и живописи им. И. С. Остроухова», который получил статус филиала Третьяковской галереи. После его смерти музей был закрыт, а музейный статус вернулся к зданию лишь в 1979 году, когда его передали Государственному Литературному музею. В доме Остроухова были проведены реставрационные работы, восстановлены внутренняя планировка и декор. В 1983 году музей открылся для посетителей. Сегодня здесь проходят историко-литературные, юбилейные монографические экспозиции, выставки семейных и частных собраний и персональные выставки художников.