Quando, nel 1305, Giovanni II di Monferrato, successore di Guglielmo VII, muore, il popolo di Ivrea distrugge nuovamente il Castellazzo che da allora non sarà mai più ricostruito e, per legge, nessun edificio dovrà essere innalzato in quel luogo (il rito del giuramento del Podestà è rievocato nel carnevale di Ivrea con la cerimonia della "preda in Dora").

Negli anni immediatamente seguenti i Marchesi del Monferrato sono impegnati a risolvere problemi di successione interni alla loro casata e due altre casate feudali , confinanti con il Canavese, approfitteranno della loro debolezza: i Savoia e gli Acaia che erano imparentate tra loro.

Nel 1310, quindi, scende in Italia per farsi incoronare Re. Trova fedeltà nei Savoia e negli Acaia e nomina perciò vicario della città di Ivrea un conte di Savoia .

I nuovi padroni di Ivrea e del Canavese saranno impegnati per anni in guerre e scaramucce sia con i Signorotti locali ( conti di Masino, Valperga ...) spesso in lotta tra loro sia con i Marchesi del Monferrato che sono acerrimi nemici degli Acaia.

Nel 1347 il Signore di Milano, Luchino Visconti, aiuta il Marchese di Monferrato ad impossessarsi di Ivrea. Nascono delle dispute in cui si intromette anche la Chiesa per cui due anni dopo, nel 1349, Ivrea è spartita in due parti uguali tra il Marchese del Monferrato e il Conte di Savoia (agli Acaia viene concessa la metà della città di Chieri).

Nel 1356 però Giacomo d’Acaia riesce ad impadronirsi di Ivrea. Nasce una contesa tra Amedeo VI di Savoia e Giacomo d'Acaia che, sconfitto, accetta di essere escluso dal Canavese. Stessa sorte tocca ai Marchesi del Monferrato.

Amedeo VI, detto il Conte verde, rimane perciò l’unico Signore della città e, a conferma del suo potere, dà inizio alla costruzione del castello. Il castello viene fatto costruire soprattutto per scopi difensivi e non tanto per dimora. I Savoia, infatti, risiedono ufficialmente a Chambery in Francia (e poi a Torino).

Nel 1365 Amedeo VI viene nominato vicario imperiale dall’imperatore Carlo IV (che però si interesserà molto poco dei problemi italiani). Con la carica di Vicario tutti i feudatari, gli ecclesiastici, i nobili, i comuni devono giurare fedeltà al conte Amedeo di Savoia ed inoltre a lui spetta il diritto di intervenire in nome dell’imperatore in tutti i casi in cui la pace è in pericolo. Amedeo VI acquisisce anche il titolo dei precedenti feudatari e quindi diventa Marchese di Ivrea (questo titolo viene mantenuto da tutti i Savoia, anche dall’ultimo re). L’estensione dei territori dei Savoia e il loro aumentato potere non può ovviamente piacere ai feudatari canavesani ma soprattutto ai nemici di sempre: i Marchesi del Monferrato, i Visconti e gli Acaia.

Vi è da rilevare, inoltre che Ivrea si trova in una posizione geografica strategica in quanto è un punto importante di commercio. I nemici dei Savoia, quindi, appoggiano una rivolta popolare, nota con il nome di Tuchinaggio, che scoppia nel 1386 nell’alto Canavese. Ad intervenire contro questa sommossa è Amedeo VII, detto il Conte Rosso, che riuscirà dopo un’alternanza di vittorie e sconfitte a sedare i tuchini nel 1491. In quello stesso anno Amedeo VII muore e gli succede il piccolo Amedeo VIII, è questo un periodo di crisi della casa Sabauda e, di nuovo, cercano di approfittarne gli Acaia e i Monferrato (che sono anche tra loro rivali). Il Marchese del Monferrato ingaggia un mercenario, Facino Cane (che era già stato al sevizio dei Visconti), perché riconquisti il Canavese. Dal 1393 al 1400 l’esercito di Facino Cane scorrazza in Canavese saccheggiando depredando e tentando di assediare anche Ivrea. Le scorrerie di Facino Cane terminano nel 1401 quando egli si pone di nuovo al servizio dei Visconti.