Возникновение городского парка, или публичного сада, как он первоначально назывался, относится к 1821 году. Тогда вышел в свет указ императора Александра I «О устроении городов», в котором было «изъяснено Высочайшее повеление, чтобы стараться в каждом губернском городе иметь публичный сад».
Исполнять указ императора взялся тогдашний пензенский губернатор Федор Петрович Лубяновский. К исполнению «Высочайшей воли» он привлек ученого садовода из Пензенского казенного училища Эрнста Магзига, который еще в 1820 году прибыл из Германии «по назначению Государя Императора Александра Павловича для основания в Пензе сада при училище садоводства».
Позднее, в 1836 году, во время пребывания в Пензе Николая I, Эрнст Магзиг за свои заслуги был произведен в титулярные советники с пожалованием ордена Святого Станислава 3-й степени, что давало право на потомственное дворянство.
Именно Магзигу в 1821 году губернатор Лубяновский поручил «отыскать место, где общественный сад мог бы быть устроен». После проведенных поисков губернатору было доложено, что «во всем городе нет для того не только способнейшего, но и никакого другого удобного места, как то, что состоит у так называемой засеки вверху Дворянской улицы» (ныне улица Красная). Губернатор лично «обозрел сие местоположение и признал оное весьма удобным для общественной пользы и увеселения».
В 1875 году был построен Летний театр. В спектаклях, поставленных на его сцене, в 1897 году во время летних каникул, уже будучи студентом Московского университета, играл В.Э. Мейерхольд.
В 1911 году Городская Дума создала специальную комиссию по празднованию 100-летия со дня рождения В.Г. Белинского. Она предложила присвоить городскому парку имя В.Г. Белинского, и 10 мая 1911 года пензенская Городская Дума единогласно утвердила новое название парка.
В разные годы в парке бывали:поэты, писатели, ученые, общественные и государственные деятели: В.А. Жуковский, П.И. Сумароков, В.В. Маяковский, В.В. Каменский, А.Н. Будищев, И.И. Лажечников, М.Ю. Лермонтов, М.Н. Загоскин, В.Г. Белинский, Денис Давыдов, М.Е. Салтыков-Щедрин, А.Г. Малышкин, Н.И. Замойский, Ф.И. Буслаев, И.И. Спрыгин, В.А. Магницкий, М.Г. Попов, Е.П. Коровин, В.В. Попов, Н.И. Лобачевский, И.Н. Ульянов, В.О. Ключевский, К.А. Савицкий, Н.Н. Бурденко и многие другие.