Замок возведен в 1239 году по решению регента шведского короля Торгильса Кнутссона на небольшом острове (170 х 122 м) в Финском заливе, во время крестового похода на землю племени корела — союзника Великого Новгорода. Является единственным в России замком-памятником средневекового фортификационного искусства западноевропейского типа. С этого же времени входит в Ассоциацию замков стран Мира.
Высокая дозорная и боевая башня, нареченная в честь норвежского короля, крестителя Скандинавии Олава Святого, долгое время считалась самым высоким донжоном Скандинавии.
Под замком существует подземный ход, сооруженный в XVI веке, названный в просторечье «Матвеевой дырой». Вероятнее всего этот ход соединял замковый остров с городом. В 1910 году по инициативе историка Петербургского университета Николая Голомидова была предпринята попытка ее исследования. Далеко вглубь исследователям проникнуть не удалось, так как тоннель находился в очень ветхом состоянии. В записках ученого об этой экспедиции сохранились записи о непонятных знаках, обнаруженных на кирпичных стенах и своде, а также о силуэте какого-то существа, похожего на человека, при виде которого все члены экспедиции испытали чувство безотчетного страха. В 1911 году рядом с «Матвеевой дырой» было обнаружено мертвое тело молодого охранника. Причина смерти — разрыв сердца. Кто или что напугало молодого и сильного мужчину, так и осталось загадкой.
