La famiglia dei Baldi, probabilmente originaria di Montevettolini, è ricordata come discendente di un certo Baldo di Filippo fin dal 1424, ma la sua attiva presenza in città deve essere assai anteriore, tanto che nel 1377 viene ricordato, fra gli Anziani, Paolo di Puccetto Baldi. Sia pure in via collaterale, la discendenza dei Baldi è stata fatta derivare da Tebaldo o Baldo che, insieme a Mediovillano, fu l’inviato del vescovo Atto per ricevere e portare la reliquia di San Giacomo a Pistoia (1144). Lo stemma di questa famiglia, che sullo scudo a bande reca una conchiglia decorata a scacchi colorati in rosso e argento, simbolo di una onorificenza assegnata dalla città in relazione ad un pellegrinaggio, costituirebbe riprova e logico nesso fra questo evento e la discendenza dei Baldi. Qui la famiglia possedeva il palazzo sulla cui facciata principale che fronteggia la Via San Pietro, anche se malandato, esiste ancora analogo stemma; il fianco orientale era costeggiato, come adesso, dalla Via dei Baldi, dove si trova la volta che la sovrasta.