Sul finire dell'XI secolo il Vescovo di Pistoia abbandonò l'edificio in cui abitava insieme ai canonici della cattedrale e dette inizio ad una nuova costruzione nella zona compresa tra la via Regia e la piazza antistante il Duomo. Questo palazzo si presentava come un vero e proprio fortilizio, con una possente torre angolare e la merlatura lungo tutto il suo perimetro specialmente su Via della Torre. Il luogo prescelto, essendo di notevole prestigio simbolico in quanto uno dei più antichi della città come ancora oggi dimostrano i reperti archeologici lì rinvenuti e visibili lungo il percorso archeologico allestito al piano interrato, contribuiva a rafforzare il controllo vescovile che già da tempo si esercitava in maniera diretta sulle attività mercantili che si svolgevano nella piazza antistante. In occasione dell'investitura de feudo imperiali del vescovo Rainaldo, l'imperatore Federico Barbarossa fu ospitato nel palazzo che qualche anno prima era stato sottoposto ad alcuni lavori di rifacimento e abbellimento. Il maggiore dei quali fu la decorazione ad affresco della grande sala sinodale in cui vennero dipinte scene di battaglia delle quali rimangono soltanto alcuni frammenti. Fu questo il periodo in cui la residenza vescovile cominciò a trasformarsi in un vero e proprio palazzo cittadino, perdendo quei caratteri difensivi che sono ancora in parte visibili sul muro posteriore e sulla facciata successivamente nascosta dal loggiato trecentesco.

Quando alla metà del XII secolo il vescovo Atto promosse il culto per san Jacopo si rese necessaria la costruzione di un nuovo ambiente, la sacrestia, dove conservare gli arredi e gli oggetti preziosi donati dai fedeli al Santo Protettore. In epoca successiva sopra a questa fu costruita, per l'ufficio della messa in privato del Vescovo, la Cappella di S. Niccolò. Di questa cappella, prima affrescata e poi nel corso del tempo destinata a diversi ed impropri usi, rimane visibile nella retrostante via del Duomo l'insolita abside pensile in mattoni. Nel corso del Trecento il palazzo subì profondi rimaneggiamenti che ne modificarono il fronte e l'alzato. I lavori, pur conservando le strutture romaniche, incisero profondamente sull'assetto del palazzo che fu ampliato e arricchito di un nuovo prospetto archiacuto che inglobò lo scalone di facciata. Il palazzo da quel momento divenne oggetto soltanto di piccole variazioni fino a quando il vescovo Scipione de' Ricci, visto il cattivo stato e l'eccessiva frammentazione degli ambienti, non decise di abbandonarlo per costruirne uno nuovo. Da allora il vecchio edificio, ridotto ad abitazione privata, ha subito non poche modifiche degli ambienti interni e, in parte, della facciata principale. Un radicale restauro promosso dalla Cassa di Risparmio di Pistoia e Pescia proprietaria dell'immobile ha restituito, ripristinandone l'aspetto gotico, alla prestigiosa residenza il decoro che essa ebbe nei secoli passati. Oggi il palazzo, oltre ad essere la sede di rappresentanza dell'istituto di credito, ospita il Museo Capitolare e la ricostruzione di un ciclo di pitture a tempera del pittore Giovanni Boldini un tempo in una stanza della villa La Falconiera a Collegigliato nei pressi di Pistoia. Dove per secoli si sono avvicendate le botteghe oggi si trova lo sportello informativo dell'Azienda di Promozione Turistica.

 Sportello di Informazione Turistica.