Costruito a metà del XVII secolo per ospitare una guarnigione di armigeri con il compito di vigilare al buon andamento e comportamento dei pellegrini che venivano a lucrare il Perdono alla Porziuncola. 

Infatti, in questa occasione spesso avvenivano degli sconci per più ragioni: diritti di precedenza, nobili donne e anche non corteggiate, vendette, borsaioli, lestofanti, e anche omicidi. 

Costruito in un'area che i frati ritenevano di loro proprietà, il Palazzetto fu pertanto tempo oggetto di lunghe controversie tra gli Osservanti e il Municipio.

Oggi la proprietà è del Comune ed è utilizzato per vari scopi sociali. Dopo il terremoto del 1997 ha subito numerosi interventi di consolidamento e ristrutturazione. 

Da ricordare che le "ventisei cannelle" volute dai Medici, attualmente addossate alla Basilica, furono spostate proprio per far posto al Palazzetto.

La riproduzione in miniatura è stata eseguita in scala 1:50.