L'antica costruzione risale al secolo XII - XIII e circondava l'intera città. Oltre all'ingresso principale, situato all'angolo di Nord - Est a cui si accedeva attraverso un ponte levatoio, vi erano altre due porte: quella di San Giovanni a Nord - Ovest e quella della fontana. Tali mure erano anticamente cinte, dalla parte settentrionale, da un fossato pieno d'acqua, chiamato Carbonara messo a protezione del castello. La costruzione della Rocca risale al secolo XV. Il progetto è da attribuirsi all'Architetto fiorentino Baccio Pontelli ( 1450 - 1492 ) familiare di papa Innocenzo VIII che ne ordinò la costruzione in occasione delle lotte fra ascolani e offidani.
