Первый Музей Севастопольской обороны открылся 14 сентября 1869 года в доме генерала Э.И. Тотлебена по инициативе участников обороны 1854-1855 годов. Здание располагалось по улице Екатерининской, напротив современного места его расположения. Музей имел пять комнат с размещенной в них экспозицией.    
5 октября 1895 года было завершено строительство современного здания музея по проекту архитектуры А.М. Кочетова. Украшения фасадов и интерьера были выполнены по проекту одесского скульптора Б.В. Эдуардса. Затраты на строительство составили 150 тысяч рублей, из них 100 тысяч затратили морские и военные ведомства, причём последнее выделило также и участок под его постройку. Небольшое здание, выполненное в классическом стиле украшено колоннами дорического ордера, львиными головами, чугунными арматурами, изображающими части парусных кораблей; пушками, прикрытыми бронзовыми знаменами. На главном фасаде изображен «севастопольский крест» с числом «349» — количеством дней обороны. 
В музее собрано большое количество материалов, среди которых были личные вещи В.А. Корнилова и П.С. Нахимова. Из коллекции императора Александра II в дар музею передана картина И. К. Айвазовского, великие князья передали саблю командующего турецкой эскадрой Осман-паши, подзорную трубу П. С. Нахимова, вдова М.П. Лазарева передала в дар музею его награды. В период второй обороны Севастополя музей продолжал пополняться ценными экспонатами, которые приносили сами участники обороны.  
Оригинальная запоминающаяся архитектура здания, а также открытая экспозиция военной техники во дворе музея каждый день неизменно привлекает взоры гостей города и коренных севастопольцев. Здание музея можно узнать во многих фильмах.