Il famoso ed imponente "castello dalle rosse torri", costruito nel 1358 da Amedeo VI di Savoia detto il Conte Verde, caratterizza il paesaggio di Ivrea. Sede di avvenimenti politici e di sontuose feste medioevali, conserva ancora oggi il carattere di fortezza difensiva con i suoi camminamenti di ronda, il suo grande cortile e la sua posizione dominante. I lavori per la costruzione della reggia-fortezza si conclusero tra il 1393 e 1395;si ritiene che in certe giornate fossero presenti nell'area dei lavori più di mille persone. Per far posto al nuovo edificio fu necessario abbattere diverse case, le mura della città verso nord e spianare tutto il terreno.

Il castello fu edificato soprattutto a scopo difensivo, per questo venne scelta una posizione strategica nella parte alta della città. In quel periodo, siamo nel XIV secolo, il Canavese era travagliato dalle lotte tra i signori di Valperga e i Signori di San Martino, sostenuti dai Savoia. Nel XV secolo, la pace fu ristabilita ed il Castello divenne una residenza raffinata: le pareti furono abbellite da arazzi, argenti, sete preziose ed i pavimenti furono coperti con tappeti. Nel castello si avvicendarono le duchesse di casa Savoia che favorirono lo sviluppo della cultura e delle arti: tra di esse sono da ricordare Jolanda di Francia, sorella di Luigi XI e Beatrice del Portogallo. I festeggiamenti per la nascita di Adriano, figlio di Beatrice e del duca Carlo II, che avvenne nel 1522, vengono descritti in modo dettagliato da un certo Antonino in un testo ricco di informazioni sugli arredi, sugli addobbi delle sale, sui balli, sulle feste, su tutte le manifestazioni organizzate per l'evento ed in generale sulla vita del Castello. Durante il XVI secolo, in Canavese, divamparono le guerre tra Francesi e Spagnoli ed iniziò così una lenta trasformazione del Castello che da ricca dimora man mano fu trasformato in presidio militare ed in ricovero per i profughi. Agli inizi del XVII sec. Il castello fu utilizzato quasi esclusivamente come fortezza militare.
Nel 1676 un fulmine caduto sulla torre nord-ovest, la torre mastra, dove era situata la polveriera, provocò un'esplosione che causò la morte di molte persone, la distruzione di case e irreparabili danni al torre stessa, che da allora è mozza. Inoltre furono gravemente danneggiati i camminamenti di ronda e le maniche adiacenti alla torre. L'esplosione provocò danni ingenti: 280 furono i morti, 187 le case rovinate e la torre stessa del Castello crollò rimanendo mozza così come possiamo vedere ancora oggi. Dal 1700 l'edificio venne adibito a carcere e tale funzione ha mantenuto fino al 1970. In questo lungo periodo subì diverse modificazioni: è probabile che in origine i piani fossero tre, ne furono poi ricavati quattro e vennero aperte numerose finestre di diversa grandezze. Nel 1970 si chiuse il carcere ed il castello rimase inutilizzato per nove anni, poi si avviarono i primi restauri: furono demoliti i corpi di fabbrica che erano stati aggiunti nel cortile, revisionate tutte le coperture e restaurate le torri e i merli. Dal 1994 il castello eporediese, di proprietà dello Stato, è stato dato in concessione al Comune, che ha predisposto un percorso di visita al cortile e ad alcuni locali. Nel periodo successivo vennero realizzati alcuni restauri per salvaguardare la struttura e per eliminare i corpi di fabbrica che erano stati aggiunti nel cortile. Dal 1994 lo Stato ha dato il castello in concessione al Comune che lo ha aperto al pubblico in diverse occasioni.