Музей основан приказом Реввоенсовета от 23 декабря 1919 года. Первая выставка, посвященная жизни Красной армии и флота, открылась в Верхних торговых рядах в 1920 году. С 1928 по 1965 год музей располагался в Центральном Доме Красной Армии на Суворовской площади.
В 1965 году, на улице Советской Армии, появилось новое здание, вместившее все коллекции музея. На площади около пяти тысяч квадратных метров, хранится более миллиона экспонатов, среди которых документы, знамена, фотографии, военная техника, орудия, танки и даже бронепоезд «Красновосточник».
