A mai épület elődjét 1751 és 1757 között Zichy János építtette barokk stílusban, amely akkor egy földszintes, L alakú kúria volt – áll a históriában. A következő építkezés 1772-1773 között történt, az eredeti épületet beépítették a jobb oldali szárnyba, s az épület ekkor nyerte el U alakú alaprajzát. A főszárnyra azután emelet került, és elkészült az udvari lépcsőház is. A jelenleg is látható klasszicista kastély 1807 körül, Pollack Mihály tervei szerint épült, a földszintes szárnyba fatornyos kápolnát építettek, védett angolkertje az 1810-1820-as években készült. A második világháború alatt a kastélyt kifosztották, s sokáig üresen állt. A kastélyegyüttest 1958-tól iskola és gyermekotthon céljára alakították át, majd 1998-ig  Gyermekváros működött a falai között. Legutóbb 1984 és 1989 között újították fel. Amint megtudtuk: a kastély a Kincstári Vagyoni Igazgatóság tulajdonában van, üresen áll, és nem látogatható.

A Zichy család kedvelte a települést, olyannyira, hogy már a XVIII. században ide építették első rezidenciájukat. A II. János császári-királyi kamarás által felépült barokk lak feltehetően földszintes, L alakú kisebb kúria volt.

Néhány évvel később még egy szárnnyal megtoldották, így e század végére már hasonlóan a maihoz, U alaprajzú földszintes kastéllyá nőtte ki magát az épület. Sokkal később egy melléképületet emeltek fel hátul, így négyzetes belső udvart alakítottak ki, amelyet körbeöleltek a rendezett francia kertek és bohókás hangulatú angolparkok. Misem bizonyítja jobban, hogy mennyire fontosnak tartották a parkot, mint az, hogy a korabeli számadások szerint a kertészek voltak a legtöbben a személyzet között.

Nagyobb változás a kastély életében Zichy (IV.) János idejében történt. A klasszicizmus korának legnagyobb építészét, Pollack Mihályt (többek között: Alcsút, Tengelic kastélyai, Magyar Nemzeti Múzeum) bízta meg az ősi fészek reprezentatív és modern átépítésével. Az immáron emeletessé váló rezidencia elegáns középrészét a páros oszlopokon nyugvó erkély adja, amelyet kiemelnek a grandiózus ión fejezetű pilaszterek is. A hideg eleganciát az akkor kiépülő angolpark tette még látványosabbá: a Sós-tó, a Selyem-major partja és a ligeterdő romantikus hangulatot kölcsönzött az épületnek. Később az íves partú Hattyús-tavat, a falu felől pedig kőhidat alakítottak ki és kutat állítottak fel az udvar közepére. Az 1836-os leírás szerint a park már „látvány” volt.  A birtok legértékesebb és talán legmaradandóbb részévé vált a természeti táj, amely Zichy Ödön idejében élte virágkorát. A gróf megszállott kertész volt. A kertbe nyolc üvegházat épített, benne növényritkaságokkal, amelyeket tanulmányozott, és megfigyeléseit szakfolyóiratokban tette közzé. A munkában társa Fuchs Emil volt, aki itt kezdte folyamatosan felívelő pályáját. Fuchs később az esztergomi prímási palota kertjének kitalálója, majd Pest főkertésze lett. A park gondozását egészen a második világháború végéig műgonddal végezte a család, ám a benne álló épület hideg eleganciáját csak a benne élők eseménydús élete ellensúlyozta.