Крепость была основана в 1266 г. маркграфом Отто III Бранденбургским во время третьего похода в Пруссию. После подавления второго прусского восстания (1260-1272) началось строительство замка в камне.
23 мая 1520 г. польские войска осадили Бранденбург. После двухдневного штурма 25 мая небольшой гарнизон замка был вынужден сдаться на почетных условиях, однако сам замок был сожжен. По окончании «войны всадников» замок восстановили. После секуляризации Ордена с 1525 по 1752 гг. Бранденбург был резиденцией главы территориального ведомства.
С 1750-х гг. замок постепенно разрушался, а с 1776 г. его стали разбирать на стройматериалы. В 1945 г. Бранденбург находился в зоне ожесточенных боев и был частично разрушен. В начале 1980-х гг. пришла в негодность часть крыши жилого строения, в начале 1990-х гг. здание было заброшено и разбиралось местным населением на стройматериалы. До настоящего времени сохранились руины стены жилого помещения, стены бывшего замкового склада и фрагменты оборонительной стены со стороны залива.
На протяжении всей истории Немецкого ордена замок Бранденбург считался одним из важнейших комтурских замков. С 1322 г. в нем хранилась реликвия: фрагмент Святого Креста, на котором был распят Иисус.
Средневековые легенды утверждают, будто бы одному из рыцарей ордена здесь являлась Пресвятая Дева Мария, излечив его от недуга.
