Gli studiosi moderni, sono tutti in accordo sul fatto che questo complesso, sia stato inizialmente voluto dall’esarcato bizantino durante il VII secolo. Rimane comunque certo che nel IX – X secolo, diviene una specie di castello entro la città che piano piano si sta’ formando. Strutturalmente è molto difficile, dire se ci siano rimaste vestigia di quel “castello” detto dei Cortesi, certo è che viene citato in un antico documento veneziano ed in molti altri documenti cittadini, quindi la sua presenza è accertata.