Az Althann Mihály Károly püspök által ásatott kétszintes pince fölé Migazzi Kristóf építtette fel Meissl József bécsi építész tervei szerint a jelenlegi palotát 1768 és 1775 között. Az U-alakú, kétemeletes, klasszicizáló barokk palota legdíszesebb része a főbejárat és a felette elhelyezkedő hármas ablakos díszterem. Vele szemben található az 1878-ban épült Egyházmegyei Könyvtár és Levéltár épülete. A palota kertje védett, számos különleges növény otthona. A palotának a kert felőli oldalszárnya néz a Konstantin térre, főbejárata a Migazzi térről nyílik.
