«Дом со зверями» был построен в 1909 году, как доходный дом церкви Троицы на Грязех. Предполагалось, что часть квартир будет сдаваться внаем, а часть – отдаваться бесплатно для временного проживания нуждающихся прихожан.
Здание украшено барельефом с изображениями сказочных зверей работы Сергея Вашкова. Прототипом барельефа послужили узоры Дмитриевского собора во Владимире.
Изначально дом был четырехэтажным, но в 1945 году были надстроены два дополнительных этажа, но общий облик дома сохранился, несмотря на то, что некоторые элементы были утеряны.
В наше время бестиарий расположился не только снаружи дома, но и внутри – в подвале находится зоомагазин.