Проект храма разработал прихожанин церкви святых апостолов Петра и Павла, известный московский архитектор, поляк по происхождению, Томаш (Фома) Иосифович Богданович-Дворжецкий, преподаватель Московского училища живописи, ваяния и зодчества. Здание было спроектировано в неоготическом стиле.
До конца XIX века в Москве существовало два католических храма – св. Людовика (на Малой Лубянке) и святых апостолов Петра и Павла (в Милютинском переулке д.18, ныне закрыт). К тому времени число прихожан достигло 30 тысяч человек, и в 1894 году было принято решение возвести новый филиальный храм прихода святых апостолов Петра и Павла. Когда разрешение на строительство, одобренное императором Николаем II, было получено, огромная община московских поляков принялась собирать средства для постройки. Деньги присылали со всей страны и из-за границы: многие русские, белорусы, поляки (включая ссыльных), отправляли свои пожертвования.
Филиальная церковь прихода Святых Апостолов Петра и Павла в честь Беспорочного зачатия Пресвятой Девы Марии строилась с 1899 по 1911 год. Открытие храма состоялось 21 декабря 1911 года, а отделочные работы продолжались вплоть до 1917 года. По некоторым сведениям, шпили на башенках храма были поставлены только в 1923 году.
