L'ascesa di Carlo I d'Angiò, artefice della cinta muraria di Lucera, segnò la fine della dominazione sveva: tra gli eventi più significativi la celebre battaglia di Benevento del 1266 durante la quale Manfredi fu sconfitto e ucciso e la decapitazione di Corradino (nipote di Federico II) a Tagliacozzo. L'ascesa di Carlo I ebbe delle ripercussioni anche in Puglia, come testimoniano le numerose costruzioni di marca angioina.

Il palazzo contenuto all'interno della fortificazione non aveva porte di accesso. Per entrare e uscire si utilizzavano scale provvisorie o, secondo altri, dei passaggi sotterranei oggi non ancora del tutto scoperti. L'interno del palazzo ospitava sicuramente una delle zecche dello stato, ma pare che le sue mura nascondessero anche l'harem di Federico II.

Per visitare il sito si consiglia di usufruire del servizio di accompagnamento erogato gratuitamente dall'ufficio di accoglienza turistica.