A klasszicizáló későbarokk stílusban, eddig ismeretlen építőmester által épített nyári rezidencia valószínűleg más célra készült 1797-ben. Ugyanis Esterházy püspök korábban pálos szerzetes volt. Az 1786-ban II. József által feloszlatott szerzetesrendek, így a Pécs melletti Jakab-hegyen megtelepült pálosok is hajlék nélkül maradtak. Valószínű, hogy a püspök az otthon nélküli, egykori rendtársainak szánta a nyaralónak álcázott kastélyt. Alátámasztja ezt a feltevést több egykori szövegemlék és a püspöki lak beosztása, ugyanis emeleti traktusában, kastélyhoz szokatlanul kis méretű, cellaszerű szobákat alakítottak ki. Azonban, eddig ismeretlen okból, a pálosok nem foglalták el az épületet. Viszont nyári kastélyként sem használták, s mintegy száz évig üresen állt. 1898-ban azonban Hetyey Sámuel püspök (1897-1903) felújíttatta, és mintegy hat holdnyi területen arborétumot is létesített a kastély körül. Neki köszönhető a templom felújítása és a szemközti domboldalon 1903-ban felállított Szent László-szobor is, Csukás Zoltán pécsi bádogosmester rézmunkája. Gróf Zichy Gyula püspök (1905-1926) 1906-ban újból felújíttatta a kastélyt, s ekkor építették egybe egy nyakrésszel a mellette álló templommal. Az arborétum mellett vadaskertet is létesítettek, szebbé téve ezzel a rezidencia környezetét. Zichy püspök 1910-ben a kastély déli főbejáratánál, klasszicista stílusú timpanonban a kastélyért legtöbbet tevő három püspök pirogránitból készült címereit is elhelyeztette: középütt az alapító gróf Esterházy Pál László jelvénye, balról Hetyey Sámuel, jobbról pedig gróf Zichy Gyula címere látható.
