Музей появился в 1912 году для хранения коллекции Московской консерватории. До середины 1940-х годов музей назывался в честь основателя консерватории Музеем имени Н. И. Рубинштейна, но потом имя выдающегося музыканта исчезло из названия, а в 1954 году музею присвоено имя М. И. Глинки в честь 150-летия композитора.
На сегодняшний день коллекция содержит более миллиона экспонатов. Здесь есть рукописи, партитуры, фотографии, личные вещи музыкантов, редкие инструменты и даже «энгармонический клавицин» князя Владимира Федоровича Одоевского.
Записей о строе энгармонического клавицина (нетемперированного рояля) не сохранилось. В каждой октаве содержится не 12, а 19 клавиш
