diacente alla Torre, vedesi il Palazzo Baronale, con altri severi fabbricati scendenti lungo la scalea, che porta ancora i segni della storia vissuta.In origine questo palazzo che mantiene ancora i segni del fortilizio, era appartenuto ai Monaci benedettini, dopo la costruzione della chiesa di San Lorenzo, sul colle quadrangolo o Paciniano.

Fu abitato dagli Annibaldi, poi dai Colonnesi. La Torre crollò nel tempo e pei terremoti subiti; il palazzo ebbe restauri e rimase il disegno architettonico quattrocentesco.

Il Malgravio che organizzava le lotte coi nemici, costruiva intorno al Castello difese fortificate con arcieri di guardia, e proseguiva l’opera di difesa lungo la valle del Rio e dei colli circostanti. Mano mano che il fortilizio garantiva la sicurezza della popolazione, diveniva convertita in dimora patrizia o in monasteri, come presentemente vi sono le Maestre Pie Filippine, e sigle che si riscontrano sugli architravi delle porte, dimostrano essere state queste mura occupate e padroneggiate da corporazioni religiose. Il prete che al mattino celebrava la messa o predica l’amore del prossimo, al pomeriggio brandiva la spada o doveva puntare le colubrine contro gli invasori. Era la fortissima logica del medioevo, basato sulle armi e sulla croce.