A török háborúk nagy pusztítást okoztak az épületben. Koháry István, akkori tulajdonos folyamatosan renováltatta a kastélyt.
Később a Forgách család visszaváltja birtokait Koháry Istvántól és nagyszabású építkezésbe kezd a birtokon. Forgách Zsigmond, vagy testvére János építteti a ma is látható barokk kastélyt. Az ún. Grassalkovich-típushoz sorolható épülethez az építőmester felhasználta a középkori várkastély falait. Így őrződött meg az északnyugati rizalitban a vár öregtornya.
A birtokhoz egykor északról több hektáros angolpark is tartozott, több ezer növényfaj mellett fácános kert, díszfasor és aranyhalas tó is emelte a szépségét.
1846-ban a kastélyt Pulszky Ferenc vette meg. Az 1848-as közszereplése miatt halálraítélt Pulszkytól azonban a császári kincstár ezt a birtokát is elkobozta, és csak igen sokára, és alaposan lepusztulva kapta vissza a család. A századfordulón először Gross Jenő ügyvédnek adták el, tőle 1943-ban Lipthay Béla báró vásárolta meg. A neves, tudományos körökben elismert természettudóst és családját elkerülte az ötvenes évek kitelepítési hulláma, de a kastélyukba a Tanács lakókat telepített, a pincében pedig sajtüzemet hoztak létre. A már a háború előtt is felújításra szoruló épület ezután érthető módon, tovább pusztult. Végül a Magyar Állam jelképes összegért vásárolta meg Lipthaytól az épületet. Így elkezdődhettek helyreállítási munkálatok, egész pontosan 1969 és 1977 között. Eközben az épületben komolyabb műemléki kutatás nem folyt, de előkerült az épület előtti parkban az egykori várkastély kapuzata és déli falai.
Forrás: