L’antica sede vescovile si trovava originariamente accanto alla Cattedrale sul Girfalco ma fu distrutta durante l’assedio di Federico Barbarossa. Nel 1391 Antonio de Vetulis, vescovo e principe di Fermo, fece e realizzare il primo nucleo del nuovo palazzo accanto al Palazzo dei Priori.