Károlyi György gróf 1846-ban jutott korábbi bérlőként az uradalomhoz. Ybl Miklóst hívta meg, hogy épületegyüttest tervezzen birtokára. Az 1882-ben befejezett, neoreneszánsz stílusban felépített új kastélyt Károlyi feleségének Zichy Karolinának szánta ajándékul.
Homlokzatának jellemzője a francia késő gótika, illetve kora reneszánsz „tégla és kő” megoldása, azaz a vörös falsíkot sárga tagozatok tarkítják. Az épület bal sarkát egy sátortetős torony díszíti. Funkcióját tekintve vadászkastélynak készült. A grófné csak 1893-ban költözhetett be a három részből álló palotába, amelynek a legenda szerint ő adta a Sasvár nevet.
Később Károlyi György után unokája, Károlyi Mihály lett az uradalom tulajdonosa. Ő városi ember révén, nem szerette a földesúri életet, de felesége, Andrássy Katinka kedvelte a vidéki életformát. Károlyi az épület egy részét bérlőknek adta ki, akik azt szállodaként hasznosították. A Tanácsköztársaság után az állam eltulajdonította a birtokot a Károlyiaktól, akik csak a II. világháború végén kapták vissza egykori birtokukat, igaz csak két évre. A szocializmus idején gyermeküdültetésre használták, de az elmúlt évtizedben ismét magántulajdonba került. 1996 óta szállodaként üzemel.
https://khs.hu/kastely/tortenetunk