Az építtető Széchényi Ferenc, a Nemzeti Múzeum alapítója. A Jókai körhöz tartozók szerint Jókai e kastélyt vette mintául Tímár Mihály kastélyának megrajzolásakor. Az épületbe 1871. január 3-án költözött a Szeretetház (gyermeknevelde), mely 1932-ig működött. 1872-73-ban szegénynevelői tanfolyam (tanítóképezde), majd 1875-1932 között kertészképzés folyt az épületben. A Balatonfüredi Szőlészeti Felsőnépiskola, a Magyar (1945-ig királyi) Szőlészeti és Borászati Szakiskola (1935-1949), a Mezőgazdasági Gimnázium (1949-1950) képzései, tanfolyamok (1950-54 között), kétéves mezőgazdasági képzés (1954-2002), szakmunkástanuló képzés, szakközépiskolai képzés, technikus képzés folyt, és folyik ma is az intézményben.
