L'edificazione del castello di Trani fu commissionata da Federico II di Svevia nel 1230. Il castello fu completato tre anni dopo, anche se le attività per portare a termine la fortificazione andarono avanti per oltre 15 anni.
Come per altri castelli (ad esempio il castello di Taranto) fu Carlo V nel XVI secolo a modificare la struttura definitiva della fortificazione, con l'innalzamento di due bastioni da utilizzare per la difesa della città con il supporto delle armi da fuoco.

La storia dice che in questo castello nel 1259 furono celebrate le nozze tra Manfredi e la giovanissima principessa Elena. Sei anni dopo le nozze, alla morte avvenuta in battaglia di Manfredi, Elena tornò nel castello di Trani, nel quale però rimase prigioniera per 18 lunghi anni, fino alla rivolta del Vespro quando, nuovamente libera, potè rifugiarsi in Sicilia dove morì 5 anni più tardi. La leggenda invece narra la storia di Armida una dama che, invaghitasi di un Cavaliere e scoperta dal marito, fu rinchiusa in una cella del castello dove rimase fino alla morte. Da allora il suo fantasma vaga per il Castello alla ricerca di questo suo amore perduto.

Le manifestazioni che rendono particolarmente suggestiva la visita al castello. Questa estate, dal 4 al 6 agosto, il castello Svevo funge da cornice alla rievocazione storica del Matrimonio di Re Manfredi ed ai turisti è offerta la possibilità di visitare le sale arredate in epoca medievale.