Первое орденское деревянно-земляное укрепление в Вальдау было построено в 1258-1264 годах. Во время литовских набегов, Вальдау наряду с другими замками служил в качестве оборонительной цепи укреплений на подступах к Кёнигсбергу с восточного направления. Расширение территории, подконтрольной Тевтонскому ордену, привело к тому, что замок Вальдау потерял свое оборонительное значение. С 1457 г. замок использовался как летняя резиденция великого магистра Ордена.
В 1525 г после того, как Пруссия стала светским государством, замок перешел герцогу Альбрехту.
В 1858 г. в Вальдау открылась сельскохозяйственная академия. Для нее было построено новое здание и разбит парк. В 1870 г. ее перенесли в Кёнигсберг.
В замке к этому времени были разобраны башни и окружающие периметр стены. Флигели отдали под учительскую семинарию, где готовили учителей для начальных классов.
В здании семинарии в 1947 г. разместилось профессионально-техническое училище, а в помещениях замка — общежитие для учащихся. Южный флигель неплохо сохранился снаружи и особенно со двора, где хорошим украшением служит вход и надстройка над ним. Сохранились подвалы с цилиндрическими потолками, а между двумя флигелями осталась часть замковой оборонительной стены.
17-18 мая 1697 года в замке Вальдау останавливалась основная группа Великого русского посольства во главе с адмиралом Францем Яковлевичем Лефортом (1656-1699), 17 мая в замке побывал царь Петр I.
В июне 2014г. замку исполнилось 750 лет.
Сегодня в замке музей п. Низовья. Также есть возможность посетить подвалы рыцарского замка, а также продегустировать сорт спаржи, который называется «Вальдау» (по предварительному звонку).
