Музей размещен в бывшем здании мукомольных складов — одном из старинных купеческих торговых сооружений. Искусная кирпичная кладка и декоративное оформление внешних стен позволяют хорошо вписаться этому зданию в архитектурный ансамбль центра, сложившийся в XIX веке.
Художественный отдел был открыт в декабре 1981 года – накануне 40-й годовщины освобождения Ельца от немецко-фашистских захватчиков. В настоящее время в нем представлены живопись, графика, скульптура, предметы прикладного искусства: фарфор русских и зарубежных заводов, изделия из цветного стекла, художественная мебель. Постоянная экспозиция размещена в трех залах. Два зала отведены под сменные экспозиции, где постоянно проводятся выставки работ профессиональных и самодеятельных художников, фотовыставки, выставки из фондов краеведческого музея.
