В середине XVIII века граф Владимир Семенович Салтыков, глава Московской губернской канцелярии, неожиданно приобрел участок земли недалеко он места, где находился знаменитый Убогий дом, к тому моменту переведенный, подальше от императорского двора, в Марьину Рощу.
Проектировал усадьбу Салтыкова зодчий Дмитрий Васильевич Ухтомский. С северной стороны здания находился парк с прудами.
После смерти отца, усадьба перешла в наследство камер-юнкеру Алексею Владимировичу, но в 1777 году он распродал имущество отца, поместив такое объявление: «В доме Двора Ея Императорского Величества камер юнкера, Графа Алексея Володимеровича Салтыкова, состоящем в приходе Иоанна Воина, что на Убогом дому, желающие покупать априкосовыя, миндальныя, померанцевыя, апельсиновыя и прочия с плодами и без плодов оранжерейныя деревья и разныя цветы, да порцелиновый сервиз, все оное могут видеть в означенном доме, а о цене осведомиться у самого Графа Салтыкова или у служителя Егора Желыбина».
Алексей Владимирович распродал все имущество, а дом приобрела Коллегия экономии, и по указу Екатерины II, в бывшем графском имении разместился Инвалидный дом для неимущих штаб- и обер-фицеров, но в 1802 году он переехал в здание богадельни на Яузе.
В XIX веке дом приобрела императрица Мария Федоровна, чтобы открыть в нем Училище ордена святой Екатерины, ставшее впоследствии Институтом благородных девиц. Жизнь в институте была тяжелой, быт девушек был абсолютно спартанским – от них требовалось беспрекословное послушание классным дамам, задавать вопросы учителям долгое время было запрещено, даже встречи с родственниками проходили под строгим надзором. После окончания института, девушки оказывались не только плохо приспособленными к жизни, но и реагировали на обычные для городского жителя вещи с изумлением, что не удивительно, ведь они в течение нескольких лет они не видели даже кошек и собак, а о разнообразных новшествах и подавно не знали. Слово «институтка» стало нарицательным.
В XX веке здание передали Центральному Дому Красной Армии. Во время Второй мировой войны отсюда на фронт отправлялись художественные коллективы театров, филармоний и концертных объединений.
Сейчас здесь находится Культурный центр Вооруженных сил Российской Федерации имени Михаила Васильевича Фрунзе.
Сейчас усадьба используется для проведения свадеб, концертов и торжественных вечеров. В старинных помещениях устроены банкетные залы, концертные пространства и гостиницы.