Karl Heinrich Marx nasce da Hirschel Marx (1782 - 1838) - figlio di Marx Levi, rabbino di Treviri - avvocato di origine ebraica, descritto come uomo colto e fine, educato nel razionalismo illuminista, tanto da sapere a memoria Voltaire e Rousseau, il quale non si legò mai agli ambienti culturali ebraici e si battezzò nel 1817 nella religione luterana col nome di Heinrich, facendo battezzare anche i suoi figli nel 1824 per evitare le discriminazioni alle quali erano soggetti gli ebrei sotto la Prussia di Federico Guglielmo III di Prussia.
La Renania-Palatinato, cui Treviri (in tedesco, Trier) appartiene, avendo fatto parte della Francia dal 1736, era stata legata da vincoli commerciali con le altre città francesi godendo di tutte le riforme che la Rivoluzione e Napoleone I avevano introdotto in Francia. Con l'annessione alla Prussia nel 1815 perdette i diritti costituzionali e i vantaggi economici che il precedente legame con una nazione ben più progredita le aveva garantito.
Con il padre, che ebbe certamente un influsso considerevole sulla sua formazione intellettuale, Karl sarà sempre legato da vincoli di affetto e di stima; non così avvenne con la madre, Henrietta Pressburg (1787 - 1863), ritenuta una donna intellettualmente arida - ma era forse soltanto una persona molto semplice - che gli rimprovererà sempre di non essersi fatto una posizione adeguata al suo rango sociale e alle sue capacità intellettuali, né con i suoi fratelli, Sophie (1817 - 1883), Hermann (1819 - 1842), Henriette (1820 - 1856), Louise (1821 - 1893), Caroline (1824 - 1847) ed Eduard (1834 - 1837).