Здание, которое сегодня называют Домом архитектора, когда-то принадлежало Ивану Рысину – одному из братьев-купцов, торговцев ювелирными изделиями и церковной утварью. Это был его двухэтажный жилой особняк, выходивший фасадом на зеленую и благоустроенную улицу Царицына – Александровскую (сегодня проспект им. В.И. Ленина). Дом строила та же артель (1903 год), которая застраивала жилой квартал между центральными улицами города – Царицынской (сегодня – ул. Краснознаменская), Астраханской (Советская), Александровской.
После Октябрьской революции в этом здании размещались различные учреждения и организации городской исполнительной власти.
В годы Сталинградской битвы строение было частично разрушено.
В начале 50-х годов здание восстановили по проекту и под руководством Е.И Левитана. При этом внутренняя планировка претерпела существенные изменения, а фасады были восстановлены с максимальным приближением к прежнему виду.