Il palazzo fu ereditato dalla famiglia Cancellieri nel 1609. La costruzione è attribuita all’architetto pistoiese Jacopo Lafri ed al momento dell’acquisizione non era ancora ultimato, ma lo fu ben presto divenendo la dimora della nobile e potente famiglia. Nel 1667, al di sopra della finestra centrale del primo piano, fu collocato il grande stemma della casata (ma con l’immagine del porco invertita) comunemente ritenuta proveniente dal vecchio palazzo di piazza San Bartolomeo (vedi sotto). Nel 1795, con la morte dell’ultimo dei Cancellieri, il palazzo passò in eredità ad un nipote, Luigi, nato da una figlia sposata a Giacinto Ganucci, nobile fiorentino, il cui cognome venne aggiunto a quello dei Cancellieri.

Sul lato orientale della piazza san Bartolomeo, fra le vie Buonfanti e Porta San Marco, venne costruito il palazzo della famiglia dei Cancellieri bianchi. Sebbene non si abbiano precisi riferimenti cronologici circa l’inizio della costruzione del palazzo, nel 1575 doveva essere pressoché terminato un primo nucleo abitativo (probabilmente quello meridionale), mentre per il completamento definitivo sarebbero ancora occorsi altri vent’anni. A quella data (1575) era già realizzato, posto sull’angolo sud della facciata, lo stemma dei Cancellieri eseguito da Romolo Ferrucci da Fiesole su disegno di Bartolomeo Carafonti. Identico stemma si ritrova nel più tardo palazzo Ganucci-Cancellieri (vedi sopra) all’interno della città, ma con l’immagine invertita del porco, emblema della famiglia: da sinistra a destra anziché da destra a sinistra.