В конце XIX века Сафоновка перешла землевладельцу и депутату Курского дворянского собрания Иосифу Викторову, племяннику князя Барятинского. Пожилой Иосиф Тимофеевич влюбился в молодую девушку, по легенде, немку. Он предложил девушке руку и сердце, и, разумеется, всё своё состояние.
Однако ей этого было мало. Она захотела, чтобы Викторов доказал силу своего чувства. И построил замок – точно такой, какой она пожелает.
Но девушка так и не пришла. Со временем замок превратился в символ преданности и одиночества. Сам Викторов доживал свои дни в маленьком домике рядом с дворцом. Замок сохранился до наших дней. Сейчас здесь обычная сельская школа. Но любой желающий может войти во дворец, прикоснуться к этим стенам, осмотреть небольшой сельский музей и вспомнить эту удивительную историю.