Divenne la raffinata dimora dei Savoia, abbellito con arazzi, tappeti, argenti, sete preziose. Vide abitarvi le duchesse della casa Savoia che diedero impulso alla cultura e alle arti, tra di esse Jolanda di Francia, sorella di Luigi XI e Beatrice del Portogallo. Nel 1522 vi nacque  il principe Adriano, figlio di Carlo III il buono.

Durante il XVI secolo, in Canavese, divamparono le guerre tra Francesi e Spagnoli e il castello subì una progressiva trasformazione che da

Interamente costruito in mattoni, l'imponente costruzione ha pianta quadrata (per la precisione trapezio rettangolo) e grandi torri cilindriche agli angoli (le rosse torri). Sulle pareti del castello sono chiaramente visibili i modiglioni in pietra sui quali sono archetti in mattoni e le caditoie dei camminamenti. Sono conservate inoltre molte finestre originali, fra le quali si distingue una grande bifora che riporta in alto lo stemma crociato dei Savoia.

Delle originali quattro torri, solo tre rimangono integre, in quanto quella di Nord Ovest, è stata mozzata all'altezza dei camminamenti da una violenta esplosione avvenuta nel 1676. Il 17 giugno di quell'anno, infatti, un fulmine si abbattè sulla torre maggiore che era adibita a deposito di munizioni e conteneva 800 barili di polvere da sparo. Lo scoppio e l'incendio che ne seguì uccisero 51 persone (altri dicono 80) e causarono la rovina di oltre cento case.