Дом А.И. Мусина-Пушкина овеян таким количеством легенд, что уже тяжело определить, что же было в нем на самом деле. Известно, что в пожаре 1812-го года сгорела уникальная коллекция книг Мусина-Пушкина, а в ней и единственная рукопись «Слова о полку Игореве», но многие говорят, что этой рукопись – поздняя мистификация. Очень долго по Москве ходила легенда, что в стену дома колдун Брюс замуровал свою жену, но Брюс умер еще до того, как этот дом был построен, а белая доска на стене, напоминающая крышку гроба, осталась от солнечных часов, по которым часовщики города сверяли время. Рассказывают даже, что после революции через мраморную доску проступала кровь. Стоит отметить, что Брюса связывают с домом не случайно, ведь Мусин-Пушкин был женят на его внучатой племяннице. Имя архитектора дома тоже доподлинно не известно, хотя многие исследователи считают, что им мог быть Матвей Казаков.
Говорили, что в доме спрятан клад. И действительно, ученики гимназии, которая находилась в здании особняка, нашли тайную комнату. Но комната была забита хламом и старыми газетами.