La facciata principale, prospiciente sulla via Abbi Pazienza, coincide con il tratto delle mura urbane altomedioevali. Nella seconda metà del Cinquecento l'Opera della Sapienza decise di costruire un palazzo per impiegare manodopera in un periodo di crisi economica. Quando pochi anni dopo l'inizio dei lavori l'architetto fiorentino Bernardo Buontalenti ebbe l'incarico di proseguire i lavori secondo un suo progetto la costruzione era già in fase avanzata. La facciata principale si presenta con un disegno molto semplice secondo lo stile equilibrato che contraddistingue il suo artefice.

Al termine dei lavori il palazzo fu acquistato dalla famiglia Sozzifanti che nel corso del XVI secolo aveva raggiunto una notevole consistenza patrimoniale. Gli Sozzifanti rendono al palazzo dignità, tanto che viene considerato uno dei più importanti a Pistoia. Successivamente il palazzo viene scelto come la residenza del granduca Ferdinando e della sua famiglia e per l'occasione viene costruito un piccolo corridoio sopra Vicolo dei Pedoni che collega il primo piano del palazzo e la canonica di San Biagino; questo per consentire alla famiglia regnante di raggiungere con riservatezza la vicina Chiesa di San Biagino. L'ultimo erede della famiglia, alla metà dell'Ottocento, nominò suo erede Carlo Lodovico di Borbone, quest'ultimo, una volta entrato in possesso del patrimonio, donò il palazzo al Comune di Pistoia che agli inizi di questo secolo lo destinò al Monte di Pietà.