В 1798 году Иван фон Филимонов приобрел земельный участок, тогда же был изготовлен план на строительство каменных торговых рядов и большого трехэтажного с колоннами Общественного дома, на крыше которого возвышалась смотровая вышка. Строительство комплекса велось долгое время и с некоторыми изменениями внешнего вида трехэтажного здания.
После постройки Общественного дома, Филимоновы передали его городу. В нем разместились: Городская Дума, Управа, училище, клуб и библиотека.
Торговые ряды, окончательно достроенные наследниками Ивана Федотовича фон Филимонова, украшают Рыльск и в настоящее время. На углу возвышается ротонда с двумя просветами окон высотой в два этажа. Фасад обрамлен колоннами, верхний ярус украшают сегментные окна. Купольная крыша, заканчивающаяся в верхней части маленьким барабаном, и вся внешняя часть ротонды похожа на торговую гирю. От ротонды протянулась ходовая галерея с арочными проемами. Первый полуподвальный этаж украшают сегментные окна; под ротондой находятся глубокие подвалы. Прекрасно выглядело и северное крыло торговых рядов, разрушенное во время войны и разобранное в 1960-х годах.
Частично этот комплекс сохранился до настоящего времени.
