Возведение каменного замка Рагнит началось после опустошительного набега литовского войска во главе с князем Кейстутисом в 1365 году. Руководил строительством Конрад Цолльнер фон Роттенштайн. Стены замка возводились с 1399 года по 1403 год под руководством Дайхграфа Вольпрехта из Вернерсдорфа. 1 декабря 1403 года великий магистр Тевтонского ордена Конрад фон Юнгенен и орденский брат Иорген Бешайден окончательно согласовали чертежи внутренних построек замка. Общее строительство замка Рагнит завершилось к 1409 году.
С 1825 года в Рагнитском замке располагалась тюрьма, в которой в 1829 году произошел сильный пожар. Лишь немногих заключенных тогда удалось спасти. После окончания восстановительных работ с 1839 года в замке Рагнит снова разместилась тюрьма, городской и районный суд, с 1849 года — военный трибунал, с 1879 года — административный суд.
После 1945 г. замок практически оставался невредимым. Часть помещений использовали под склады, а внутренний двор стал городским рынком. Но со временем замок опустел и стал разрушаться. На его фоне снимались фильмы, посвященные военным годам. К середине 1960-х гг. многие строения замка уже находились в аварийном состоянии. Вокруг него стали появляться хозяйственные постройки местных жителей, при этом стены разбирались на кирпич. Сейчас от замка остались только руины и наблюдательная (часовая) башня.
Столетиями замку Рагнит удавалось пережить войны и удары стихии, и даже ожесточенные бои 1945г. Не нанесли ему серьезного ущерба. Превратить же его в руины удалось студии Ленфильм. В 1976 году в замке снимали фильм «Двадцать дней без войны» (режиссер — Алексей Герман, в главной роли Юрий Никулин). Для съемок фильма замок превратили в развалины, стены замка подрывали под объективами кинокамер.
30 мая 2004 года на стене замка Рагнит установили памятный знак — круглый бронзовый барельеф с профилем Петра I и надписью: «Император Пётр Великий был здесь». Верхнюю часть барельефа украшает императорская корона, нижнюю — изображение развевающейся ленты, на которой обозначен год визита царя в Рагнит «1709». Памятный знак был похищен в 2009 году.
