Sümeg virágkora Padányi Bíró Márton püspökségéhez kötődik. Ő építtette a várhegy déli lejtőjén álló barokk Püspöki palotát egy akkor már több mint 200 éves borospince fölé. A püspöki palotaként, majd nyaralóként szolgáló, négyszög alaprajzú, zárt udvaros épület a lejtős terephez igazodva emeletes, sarkain zárt erkéllyel, a hegy felől toronnyal. Az épület legszebb része a kapuzat, melyet egy-egy Atlasz-szobor fog közre. Felette a püspöki címer látható. A földszinti kápolna berendezése eredeti, falain Vogl Gergely stukkóval körülvett mennyezetfreskója és olajfestményei láthatók. A kápolnát, a könyvtárat és a többi termet Antonio Orsatti stukkói díszítik. A palota egykori berendezése, Padányi képgyűjteménye elveszett, illetve szétszóródott, de több helyiségben ma is láthatóak az eredeti fal- és mennyezetfreskók maradványai, ezen kívül mennyezeti stukkók, és eredeti fa padlóburkolat várja, hogy szakszerűen helyreállítva bemutatásra kerülhessen.
A palota helyreállítása folyamatos, jelenleg is zajlik. Jelenleg a kápolna, Horváth Márton üvegművész kiállítása, a Mindszenty emlékkiállítás, a Nyolcak művészeti csoport tárlata, valamint a vadászkiállítás látogatható.
