L'edificio, abitato per molti secoli dalla famiglia pistoiese di cui porta il nome e di cui ancora oggi conserva in angolo il grande stemma, è l'unico edificio privato d'impronta medievale ancora presente in città. Nel Trecento Vinciguerra Panciatichi, discendente di Pancio di Bellino, rientrato in città dopo l'esilio in Francia, eresse il palazzo in prossimità dell'incrocio tra la via Maestra e borgo San Domenico, le attuali Via Cavour e via Panchiatichi. Durante il forzato soggiorno in terra d'oltralpe i Panciatichi esercitarono con notevole fortuna l'arte bancaria e una volta rientrati a Pistoia vollero che il loro palazzo riecheggiasse in alcuni particolari costruttivi le contemporanee architetture civili francesi. Agli inizi del Quattrocento il palazzo ospitò per tre mesi Papa Alessandro V che per le incerte condizioni di salute sostò a Pistoia prima di raggiungere Bologna dove poi morì. Vi trovarono poi ospitalità a causa della pestilenza che imperversò a Firenze nella seconda metà del secolo personaggi di fama, tra cui i familiari di Lorenzo il Magnifico e alcuni membri della sua corte come il Poliziano. Questo testimonia quanto la famiglia fosse potente e come il palazzo rivestisse un ruolo di primo piano in città quasi a fare da contraltare a quello del Comune. Durante i violenti scontri d'inizio Cinquecento che videro i Panciatichi opporsi alla potente famiglia dei Cancellieri, era in palio la carica di spedalingo, l'edificio fu dato alle fiamme. Costretti ad abbandonare la città i Panciatichi vi rientrarono qualche anno dopo sotto la protezione di Firenze e ristrutturarono il palazzo di famiglia trasformandolo da fortilizio medievale in dimora rinascimentale. Scomparvero i merli, oggi presenti soltanto sul lato sinistro, sostituiti da un'elegante gronda in pietra e legname, mentre l'interno fu ingentilito dall'ampio cortile e dallo scalone.

L'ampliamento del palazzo fu opera del pistoiese Ventura Vitoni, in quegli anni il maggior architetto della città, direttore, tra l'altro, del cantiere della fabbrica della Madonna dell'Umiltà. Alla fine del Cinquecento l'ultimo erede della famiglia fu costretto a vendere il palazzo per un grave dissesto economico e la famiglia Cellesi ne divenne la nuova proprietaria. I discendenti maschi di questo casato ottennero la dignità di balì dell'Ordine di Santo Stefano, un istituto fondato dal Granduca Cosimo I de' Medici per difendere le coste della Toscana dall'insidia dei Turchi. A questo titolo è legato il nome con cui oggi i pistoiesi indicano l'antica residenza. Ai primi del nostro secolo nel portico, oggi sede di un istituto bancario, si trovava una delle prime sale cinematografice della città: l'Excelsior. Nonostante il palazzo sia andato in gran parte distrutto a causa dei bombardamenti anglo-americani del secondo conflitto mondiale, un accurato restauro condotto durante gli anni sessanta ha posto rimedio ai gravi danni restituendo nelle sue linee originali quello che è stato uno dei luoghi più in vista della storia di Pistoia.

Le finestre del Palazzo Panciatichi

Questo tipo di finestra, che divide l'apertura in quattro riquadri, è detto a crociera e caratterizza l'architettura civile rinascimentale italiana tanto che anche per il palazzo pistoiese ne era stata ipotizzata la costruzione in concomitanza con i restauri cinquecenteschi. Sennonché, durante gli ultimi lavori, si è visto che l'inserimento delle finestre risale alla struttura del fortilizio medioevale. La fenètre croisèe è infatti documentata delle costruzioni francesi a partire dalla prima metà del XIII secolo e soltanto nei secoli successivi si diffuse in Italia. Proprio per la loro appartenenza alla struttura originaria le finestre del palazzo pistoiese, che si pensa abbia come prototipo la Casa dei Musici di Reims, precedono l'uso rinascimentale e rappresentano, quindi, un esempio atipico nell'architettura toscana della prima metà del Trecento.