L'F-104 è un aeroplano monoreattore, mono o biposto, polivalente (intercettore e/o bombardiere), ognitempo, monoplano ad ala media e con impennaggio a T.

L'insieme delle superfici portanti è costituita da due semiali a profilo laminare biconvesso, con diedro negativo di 10°, a pianta trapezoidale a basso allungamento, con forte rastremazione (26° sul bordo d'attacco), con alule (slats) lungo tutto il bordo d'entrata e flap su quello di uscita.
Ogni semiala è formata da due longheroni e tre centine rivestite da due pannelli fresati portanti, superiore ed inferiore, ed è congiunta alla fusoliera con attacchi frontali alle ordinate. Visto l'esiguo spessore, le ali sono prive di serbatoi interni; i servocomandi degli alettoni sono divisi in dieci martinetti per semiala disposti in parallelo; quelli dei flap sono sistemati all'interno della fusoliera.
Gli ipersostentatori aumentano la portanza del 20% e permettono al velivolo di virare a Mach 0,8 sui 1000m. Per aumentare ulteriormente la portanza i flap sono provvisti del sistema BLC (Boundary Layer Control), cioè sedici ugelli collocati lungo l'asse di cerniera del piano mobile che soffiano aria spillata dall'ultimo stadio del motore (17°), lungo tutta la superficie del flap; a regolare il flusso c'è un comando automatico che interviene nell'intervallo di angolazione compreso tra 15° e 45°, permettendo di atterrare a 320-350 Km/h (400Km/h senza BLC e 500 Km/h senza flap). L'uso del sistema BLC costringe però a mantenere elevati i giri del motore in atterraggio, per consentire un'adeguata pressione del flusso d'aria, e, per evitare scompensi tra le due semiali, il complesso di soffiamento deve essere perfettamente simmetrico.

La fusoliera èi a monoguscio ed è divisa in tre sezioni.
Quella centrale è a sua volta divisa longitudinalmente in due semigusci divisi in cinque ordinate di forza a cui si collegano le semiali e le cerniere delle gambe di forza dei carrelli principali. All'interno di questi semigusci sono ricavati gli alloggiamenti per carrelli, i serbatoi e per il condotto che convoglia il flusso dalle prese d'aria al motore.
La sezione anteriore contiene il radar, il carrello anteriore, l'abitacolo, l'avionica e il cannone (General Electric M61A1 "Vulcan" da 20mm) con le munizioni, che può essere sostituito da un ulteriore serbatoio o dall'illuminatore per le armi tipo "Sparrow" o "Aspide" (dalla versione ASA-2 in poi).
Il troncone anteriore e centrale sono in lega leggera. La sezione posteriore è in acciaio inossidabile e titanio, e contiene il propulsore (motore e postbruciatore), gli impennaggi, le pinne ventrali, il gancio d'arresto, l'aerofreno - diviso in due elementi laterali - e il parafreno di 3,5m di diametro.

Gli impennaggi hanno una forma a T (piano verticale con piano orizzontale alla sommità). Tale formula è causa del fenomeno di pitch-up (forte tendenza a cabrare in fase di richiamo o virata) che può portare allo stallo. Il timone è incernierato sul bordo d'uscita della deriva ed è mosso da due martinetti idraulici collocati nella deriva stessa come quelli che muovono il piano orizzontale, monoblocco interamente mobile, formato da un longherone, con un profilo sottile (9cm alla mezzeria).
L'F-104 G aveva una sola pinna ventrale, ma dalla versione S in poi ne sono state aggiunte altre due per aumentare la stabilità a velocità supersoniche..

Il carrello (H.M. Loud) è triciclo anteriore, ammortizzato idraulicamente, con servofreni e sistema antipattinamento (anti-skid).
Dalla versione S è stato notevolmente rinforzato, visto l'aumento di peso dell'aereo, con modifiche alla forcella, all'assale anteriore e con l'aggiunta di nuovi elementi sulle gambe posteriori.
Il carrello anteriore (orientabile di 25°), si ritrae verso avanti nell'alloggiamento ricavato nella sezione anteriore della fusoliera.
I carrelli posteriori si ritraggono obliquamente nei vani interni, con la contemporanea rotazione delle gambe verso avanti, grazie ad articolazione composita.

Il motore, General Electric J79 GE (11 per il G, 19 dalla versione S in poi), è un turbogetto assiale con compressore diviso in 17 stadi, turbina a tre stadi e camera di combustione con dieci tubi di fiamma; l'ugello di scarico è regolabile.
La versione GE-19, con presa d'aria in acciaio, permette un surriscaldamento di 54° in più rispetto al GE-11 (tale incremento di temperatura consente una maggiore velocità in termini di mach, aumento di compressione, maggiore vita operativa), e presenta migliorie a turbina, postbruciatore, ugello di scarico e sistema di controllo.

Dalla versione S in poi, sono state modificate anche le prese d'aria e ne sono state aggiunte altre due che si aprono a bassa velocità per incrementare le prestazioni in decollo e durante la salita iniziale. Sono state applicate modifiche anche ai flabelli che regolano il flusso d'aria diretto al propulsore migliorando il rendimento di volo a velocità elevate.
Le prese d'aria principali (circolari a semicono) dalla versione S, sono state arretrate di 2,3 cm sempre per migliorare le prestazioni ad alte velocità e per evitare che l'onda d'urto causata dal semicono penetri nella presa d'aria provocando irregolarità di flusso.

Il combustibile è diviso in tre serbatoi in fusoliera (2.642 Kg più 360Kg sostituendo il cannone con un serbatoio aggiuntivo); è possibile anche applicare serbatoi esterni, alle estremità alari (1002 Kg) e/o subalari (1150kg).

Per quanto riguarda il seggiolino eiettabile, i primi esemplari del G montavano il Lockheed C-2 con eiezione verso il basso. Poi è stato sostituito (ed è in uso tuttora) dal Martin Baker IQ-7A (costruito su licenza in Italia dalla SICAMB, società controllata dall'Aermacchi), tipo zero-zero, cioè utilizzabile anche a quota e velocità zero.