Каменный замок Гердауэн был заложен в 1315 году комтуром Иоханнесом фон Виннунгеном; строительством руководил комтур Кенигсберга Генрих фон Изенбер. Замок был освящен в день Святых Петра и Павла в 1325 году. В 1347 году к стенам Гердауэна подошло войско великого князя литовского Ольгерда, но, разграбив окрестные деревни, штурмовать замок он не решился.
С 1678 года в здании никто не жил. В середине XIX века замок Гердауэн был продан полковнику барону фон Ромбергу, сын которого Макс фон Ромберг снес в 1872 году средневековые строения и построил на их месте дворянскую усадьбу, которая унаследовала от орденского замка лишь подвалы. В 1882 году имение на месте замка приобрел некто Альфред фон Янсон, род которого владел имением до 1945 года.
В ходе боевых действий Второй мировой войны дворянская усадьба пострадала незначительно, но в послевоенные годы была разобрана практически до основания. С 1947 года на территории замка, в помещениях конюшни и каретной, располагалась ветеринарная лечебница. До наших дней сохранились ворота в неоготическом стиле, часть стены, руины западного флигеля, конюшни с каретной и колодец.
По легенде, замок получил название Киндерхоф («детский двор») в память о семи незаконнорожденных детях, появившихся на свет у жены хозяина замка во время его отсутствия. Жена втайне приказала утопить их, но узнав об этом, муж вернул их в замок.
