Музей был основан 1898 году, он обязан свои появлением А.П. Чехову, который очень трепетно относился к своему родному городу. Именно он высказал идею о том, чтобы к 200-летию города создать музей. Изначально в музее были представлены экспонаты, переданные в дар художниками и меценатами.
При содействии А.П. Чехова и знаменитого художника И.Е. Репина Петербургской Академией художеств Таганрогскому музею было передано 40 картин и этюдов. С тех пор коллекция экспонатов постоянно пополнялась. В 20ые годы XX века было получено большое количество полотен из Государственного музейного фонда, Государственного Русского музея, а также экспонаты из Музея керамики.
Большой вклад в развитие музея внесли коллекционеры, которые в 1960-1990 годы передали музею полотна известных русских художников. В 1963 году художественная галерея Таганрогского музея отделилась и получила название «Таганрогская картинная галерея», которая в народе сразу же стала зваться «Малая Третьяковская».
С 1975 года музей встречает своих посетителей в особняке, который также является памятником архитектуры XIX века. Благодаря музею, усадьба получила вторую жизнь, там был восстановлен дворянский интерьер, а во внутреннем дворике была установлена итальянская скульптура ХIХ века из мрамора. С 2003 года музей стал называться «Таганрогский художественный музей».
На сегодняшний день музей владеет уникальной коллекцией полотен русских художников ХVIII-ХХ веков: А.П. Антропова, Ф.С. Рокотова, С. Щедрина, В. Тропинина, К. Айвазовского, Н. Ге, И.И. Шишкина, В.В. Верещагина, А. Куинджи, П. Кончаловского, З. Серебряковой, С. Блонской, Н.К. Рериха.
