Il vecchio palazzo episcopale di piazza del Duomo non dovette corrispondere in nessun modo alle aspettative del vescovo Scipione de' Ricci se appena un anno dopo la sua nomina a capo della Diocesi di Pistoia e Prato, avvenuta nella seconda  metà del XVIII secolo, ne proponeva all'architetto Bernardo Fallani una totale ristrutturazione. Il progetto non andò a buon fine, vuoi per l'effettiva difficoltà di riadattare l'edificio, vuoi perché questo era ormai divenuto simbolo degli antichi ordinamenti che Scipione mostrò di avversare profondamente durante il suo ufficio. In attesa di costruire un nuovo palazzo così da rendere ben visibili nella città le nuove idee di colui che guidava le istituzioni ecclesiastiche fu individuata una diversa e provvisoria sede nel soppresso monastero degli Olivetani. Il progetto del nuovo palazzo prevedeva la sua realizzazione nell'orto dello Spedale di San Gregorio, lungo la via lucchese oggi Niccolò Puccini, e fu commissionato all'architetto pistoiese Stefano Ciardi, una personalità poco nota ma di stretta osservanza ricciana. L'edificio ha una certa imponenza e rispecchia con l'attuale facciata i canoni dell'edilizia settecentesca. E' di rigorosa impostazione con il fronte diviso in riquadri verticali e con al centro un portico composto da quattro colonne. Contrariamente a quanto s'immagina questa facciata nel progetto originale corrispondeva alla parte posteriore dell'edificio, infatti il Ciardi aveva progettato il fronte principale sul lato opposto prevedendo l'ingresso al palazzo attraverso una strada che doveva correre lungo le mura che però non fu mai realizzata. Il vescovo Scipione de' Ricci non abitò mai il nuovo palazzo perché i moti popolari suscitati dalla sua riforma lo costrinsero a lasciare Pistoia quando ancora risiedeva nella sede provvisoria. Il primo inquilino dell'imponente residenza fu il suo successore e da quel momento il palazzo non ha smesso di ospitare i vescovi della città. Molti sono stati i personaggi famosi che vi hanno trascorso qualche tempo, da un ancora sconosciuto Napoleone al comando dell'Armée d'Italie, a Pio VII che fu di passaggio a Pistoia durante il viaggio alla volta di Parigi per l'incoronazione dello stesso Bonaparte.