A pálos szerzeteseket gróf Csáky László telepítette le Pápán 1638-ban és építtetett egy kápolnát Gyümölcsoltó Boldogasszony tiszteletére. A mai templom a kápolna helyére épült 1737-1742 között a pápai származású Acsády Ádám veszprémi püspök megbízásából. A 38 m hosszú, 13 m széles és 20 m magas ovális alaprajzú, főhajós, négy mellékoltárral rendelkező impozáns épület megáldására 1742. július 24-én került sor. A templom titulusa és védőszentje Nagyboldogasszony lett. A felszentelés után a templom berendezése következett, ami mintegy 15 évig elhúzódott. A szentély stallumai és a hajó padjai mind a pálos rendi szerzetesek keze munkáját dicsérik. A templom bal oldali előcsarnokában, a hívek által „Szerecsen Krisztus”-nak titulált feszület, és a főoltár fölött elhelyezett Fekete Madonna kép nem a barokk kor szülötte, hanem sokkal korábbi. A templom kriptájában számos holttest maradt meg épségben mind a mai napig, mumifikálás nélkül. Itt nyugszik Acsády Ádám püspök is.
