В 1890 году городская управа выделила известному меценату и благотворителю, обер-камергеру императорского двора Э.Д. Нарышкину по его ходатайству участок земли под строительство здания для Общества народных чтений. 14 мая 1891 года был заложен фундамент.
На строительство архитектором А.С. Четвериковым закупались только самые современные (по тому времени) материалы. Здание было снабжено водопроводом, канализацией и электричеством. 1 июля 1894 года была открыта читальня, которая получила название, утверждённое императором, Нарышкинской. В здании было оборудовано книгохранилище или Особая библиотека. В 1896 году открылась Выдачная библиотека, разместился историко-этнографический музей. В зале проходили публичные лекции, концерты народного хора.
В 1918 году на основе художественного отдела Нарышкинской читальни и национализированных произведений из частных собраний Араповых, Боратынских, Болдыревых, Нарышкиных и Строгановых, в Тамбове был образован губернский художественный музей, который был закрыт в 1929 году, а его фонды вошли в состав краеведческого музея.
С 1932 года на втором этаже работал первый в Тамбове звуковой театр «Комсомолец». В Нарышкинскую читальню в 1923 году было передано Центральное губернское книгохранилище. В 1983 году в бывшее здание Нарышкинской читальни переведена картинная галерея, торжественное открытие которой состоялось в июле того же года.
