Здание не раз перестраивалось, но представляет архитектурный интерес, как одно из самых старых в городе, ведь оно построено в 1816 г. Фасад, сохранившийся по ул. Греческой, д.40, является характерным для провинциального классицизма начала XIX века, когда домовладение на Греческой улице приобрел градоначальник Таганрога, генерал- майор Петр Афанасьевич Папков. На его средства дом был отремонтирован и перестроен в полутораэтажный. В 1816 году Папков продал здание городскому Строительному комитету, и он стал казенным домом градоначальства.
Первый раз Александр I посетил Таганрог и жил в этом доме в мае 1818-го во время путешествия по Югу России. Он с удовольствием ознакомился с городом. Был и в тюрьме, где приказал рассадить деревья.
В 1820 году в этом доме останавливался А.С. Пушкин вместе с семьей генерала А. Раевского, героя Отечественной войны 1812 года.
Причиной второй поездки Александра I в Таганрог была болезнь императрицы, которой врачи прописали пребывание на юге, указывая, между прочим, на Крым. Но Александр, проезжавший раньше через Таганрог, нашел его во всех отношениях удобным для супруги. Елизавета Алексеевна согласилась с выбором мужа. Таганрог производил на царя благоприятное впечатление. Порицая «хваленый Крым», он не раз повторял, что доволен выбором места жительства для императрицы.
Известие, что Таганрог избран для восьмимесячного пребывания царской четы, вызвало немалую суматоху. Градоначальнику было прислано из Петербурга секретное письмо о том, что государю угодно остановиться в том же доме, где он останавливался в первый раз. Для ремонта дома было прислано 25 тыс. руб. И уже в сентябре 1825-го царь прибыл прямо в приготовленный для него дворец.
Три дня подряд в честь такого события город был в иллюминации, по случаю приезда царской четы таганрогская знать была приглашена на торжественный обед: «под пудрою» и в полном параде…
Умер император здесь в 1825 году. Или не умер? По некоторым историческим легендам он просто мирно отошел от дел, приняв вид одного из своих подданных, и дожил до глубокой старости.