1467
Król Kazimierz Jagiellończyk oddaje Żywiecczyznę Piotrowi Komorowskiemu. Kolejnymi właścicielami tych ziem są: Jan Komorowski, Wawrzyniec, Jan Spytek, Krzysztof Komorowski.

1608-1622
W wyniku podziału dóbr, Ślemień i Rychwałd otrzymuje Aleksander Komorowski.

1622-1675
Właścicielką Rychwałdu jest Katarzyna Komorowska, córka Aleksandra - żona Samuela Grudzińskiego, a następnie Teodora Lackiego marszałka litewskiego. Ofiarowała Kościołowi w Rychwałdzie obraz Matki Boskiej, sprowadzony z Wielkopolski.

1675-1693
Rychwałd otrzymuje bratanica Katarzyny - Konstancja Krystyna z Komorowskich Wielopolska. W posagu przejmuje go Konstancja Otylia z Wielopolskich - żona Marcjana Ogińskiego.

1693-1732
Właścicielem Rychwałdu jest margrabia Franciszek Wielopolski - I ordynat Pińczowski. Z tego okresu datują się pierwsze wzmianki o Dworze w Rychwałdzie (1722).

1732-1740
Dożywocie żony Anny z Lubomirskich Wielopolskiej.

1740-1779
Rychwałd jest własnością Hieronima Wielopolskiego.

1756
Budowa obecnego Kościoła Parafialnego.

1779-1800
Dożywocie żony Urszuli z Potockich Wielopolskiej.

1800-1809
Podział majątku po Hieronimie i Urszuli. Jan Franciszek Wielopolski sprzedaje Rychwałd.

1810-1860
Rychwałd kupił Stanisław Milieski. W 1814 r. majątek przejmuje Walenty Milieski, który w 1830 r. buduje obecny Dwór. Architektem był Bogumił Trenner.

1860-1940
Rychwałd i Dwór pozostaje we władaniu Rodziny Milieskich - kolejno Alfreda Milieskiego do 1908 r., a następnie Witolda Milieskiego.

1940
Konfiskata majątku przez Niemców.

1945
Po zakończeniu wojny reforma rolna ustanowiła kolejnych zarządców dworu: Spółdzielnia "Iskra" z Łodygowic, Stacja Nasiennictwa Krzeszowice.

1985
Dwór przejmuje Wojewódzkie Przedsiębiorstwo Komunikacyjne Katowice.

1986
Kopalnia "Budryk" Ornontowice staje się właścicielem Dworu i dokonuje kompleksowej odbudowy.

2002
Dwór odkupują prywatni właściciele, przeprowadzają kapitalny remont, modernizuja caly obiekt podnoszac jego standard do stanu obecnego.