Figlio di Petrus Weissmüller e Ersebert Kersch, János Weißmüller nasce il 2 giugno 1904 a Freidort, città parte dell'Impero austro-ungarico che oggi si trova in Romania sotto il nome di Timisoara. A pochi mesi dalla nascita del piccolo János la famiglia emigra negli Stati Uniti partendo dal porto di Rotterdam. Sono i primi giorni del 1905; dopo una traversata di dodici giorni arriva a New York. Nei registri dell'immigrazione vengono iscritti come Peter, Elizabeth e Johann Weissmuller.

Johnny ed il fratello sin da piccoli mostrano una grande passione per il nuoto ed in seguito al trasferimento a Chicago frequentano molto spesso le spiagge del Lago Michigan. Johnny frequenta la piscina dello "Stanton Park" vincendo tutte le gare di nuoto a cui partecipa. A dodici anni entra nella squadra della YMCA. Weissmuller abbandona presto gli studi e comincia a lavorare al "Plaza Hotel" di Chicago come fattorino e addetto agli ascensori.
Continua ad allenarsi all'Illinois Athletic Club, sognando di poter un giorno partecipare alle Olimpiadi, e mette a punto il suo rivoluzionario crawl.

Il 6 agosto 1921 debutta ai campionati statunitensi per dilettanti e vince le 50 yard a stile libero. Johnny è convinto che l'essere nato in Europa possa precludergli la convocazione nella squadra olimpica statunitense, di conseguenza dichiara di essere nato a Windber, in Pennsylvania, e dà come data di nascita quella di Peter Jr., suo fratello minore. Così facendo ottiene il passaporto e la possibilità di partecipare alle Olimpiadi.

Il 9 luglio 1922 arriva il primo grande successo: batte il record del mondo dei 100 metri stile libero dell'hawaiano Duke Kahanamok. Alle Olimpiadi del 1924 vince tre ori: nei 100 m stile libero, nei 400 m stile libero e nella staffetta 4 x 200 m. Si aggiudica anche una medaglia di bronzo come componente della squadra di pallanuoto. Alle Olimpiadi del 1928 si aggiudica altri due titoli olimpici.
La sua carriera agonistica si può riassumere così: 5 ori e un bronzo alle Olimpiadi, 52 titoli nazionali statunitensi e 67 record mondiali. Non perde mai una gara, rimanendo imbattuto.

La fama ottenuta porta Johnny Weissmuller nel mondo delle sponsorizzazioni e nel 1929 firma un contratto con una marca di costumi da bagno, come modello e uomo immagine, girando il paese per fare esibizioni di nuoto, distribuire volantini promozionali, firmare autografi e partecipare a trasmissioni televisive. Sempre nello stesso anno fa la sua prima apparizione cinematografica nel film "Glorifying the American Girl" in cui indossa solo una foglia di fico. Interpreta sé stesso nel primo episodio di "Crystal Champions", una serie di cortometraggi dedicati ai campioni olimpici girati a Silver Springs, in Florida.

Attore di limitate capacità, ma perfetto nei ruoli che gli vengono affidati, la Metro Goldwyn Mayer lo ingaggia all'ultimo momento in sostituzione di Herman Brix, che si infortuna poco prima delle riprese, e lo mette sotto contratto per sette anni segnando l'inizio della sua grande carriera cinematografica scritturandolo per il ruolo di Tarzan nel film "Tarzan l'uomo scimmia" (del 1932) dandogli pronta fama in tutto il mondo.

Weismuller conferisce al personaggio nato dalla fantasia di Edgar Rice Burroughs una naturale spontaneità, unendo alla prestanza fisica e all'agilità atletica la giusta dose di lealtà e simpatia che lo spettatore medio si aspetta di scoprire nella figura ideale dell'eroe buono e generoso. Il successo supera ogni previsione e Weissmuller con la Metro Goldwyn Mayer gira i primi sei film di Tarzan; nel 1942 cambia casa cinematografica passando alla RKO, con cui interpreta altre sei pellicole nel ruolo del popolare "uomo scimmia".

Con questi dodici film girati tra il 1932 e il 1948, Weissmuller guadagna circa 2 milioni di dollari e diventa il più famoso degli interpreti di Tarzan tant'è che nell'immaginario popolare, ancora oggi, quando ci si prefigura Tarzan lo si visualizza con il volto di Johnny Weissmuller.

Nel 1948 esce "Jim della jungla" per la Columbia Pictures, a cui fanno seguito ben altri dodici film con lo stesso personaggio. Nello stesso periodo Weissmuller interpreta sé stesso in altre tre pellicole. Nel 1955 comincia a produrre la serie televisiva di "Jim della jungla": i 26 episodi che compongono la serie verranno replicati per anni.

Weissmuller si sposa tante volte quanti sono gli ori vinti alle Olimpiadi: nel 1931 sposa la cantante Bobbe Amst; nel 1933 l'attrice Lupe Vélez; nel 1939 sposa Beryl Scott; nel 1948 sposa Allen Gates ed infine Maria Bauman nel 1963, con la quale rimarrà fino alla morte. Alcune voci vedrebbero Johnny sposato anche con Camilla Louiee ma non tutte le fonti concordano su questo fatto: secondo alcuni Weissmuller ha rivelato di essere stato abbandonato dalla donna prima delle nozze per sposare poi un altro uomo.

Dalla terza moglie ha tre figli, Johnny Scott Weissmuller (anche lui attore con il nome di Johnny Weissmuller Jr.), Wendy Anne Weissmuller e Heidi Elizabeth Weissmuller.

Alla fine degli anni Cinquanta lascia il mondo dello spettacolo - anche se farà un cameo nel film "La Sfinge" nel 1970 - e torna a Chicago. Apre una piscina e presta il suo nome ad altre attività commerciali senza ottenere grandi successi. Nel 1965 si ritira in Florida a Fort Lauderdale. Fonda la "International Swimming Hall of Fame", la "Hall of Fame" internazionale del nuoto, diventandone presidente. Nel 1970 presenzia ai "Giochi del Commonwealth" in Jamaica e viene presentato alla Regina Elisabetta II.

Nel 1973 lascia la Florida per andare a vivere a Las Vegas dove si dedica per qualche tempo alle relazioni pubbliche per "MGM Grand Hotel". Nel 1974 si frattura un'anca ed una gamba; mentre è ricoverato viene a conoscenza che, nonostante la sua forza e una vita di esercizi quotidiani e nuoto, il suo cuore è in cattive condizioni.

Nel 1976 appare per l'ultima volta in un film e fa l'ultima apparizione in pubblico quando è inserito nella "Hall of Fame" del Body Building.
L'anno seguente viene colpito diverse volte da attacchi cardiaci; in seguito ad un lungo ricovero si trasferisce assieme all'ultima moglie ad Acapulco, in Messico. Qui muore il 20 gennaio 1984 a causa di un edema polmonare.