Nel 1953 canta alla Rose Noire” a Bruxelles e in febbraio esce il suo primo 78 giri. Jacques Canetti, responsabile artistico presso la casa discografica Philips e scopritore di talenti, chiama Brel a Parigi; quest'ultimo accetterà l'offerta contro il parere della famiglia d'origine, con la quale i rapporti diverranno tesi e, a tratti, insostenibili, e si precipita nella capitale francese. In luglio nasce la sua seconda figlia, France.

I primi tempi a Parigi sono durissimi. Brel fa numerosissime audizioni, un numero considerevole di provini, qualche serata nei cabaret come l'Escluse”, l'Echelle de Jacob o Les Trois Baudets, ma il pubblico rimane freddo e perplesso di fronte alle sue esibizioni. Il suo modo di parlare, addirittura di atteggiarsi sulla scena, viene mal giudicato e tacciato di provincialismo.

Nel 1954 arriva ultimo su 28 al "Grand Prix" de la Chanson de Knokke-le-Zoute”. Malgrado questo risultato Juliette Gréco decide di cantare una delle sue canzoni in uno spettacolo di scena all'Olympia: ça va (le diable).

In luglio Brel canta all'Olympia, ma senza successo. Questo recital è seguito da una tournée con Dario Moreno, Philippe Clay e Catherine Sauvage.
Nel 1955 si trasferisce con la sua donna e i suoi figli a Montreuil, nella periferia parigina. Incontra Georges Pasquier, detto Jojo, che diverrà non solo suo produttore, regista e confidente, ma anche suo migliore amico.

Il 1955 è l'anno del suo primo 33 giri registrato in Francia sotto il marchio Philips. Sempre il 1955 vede Brel impegnato a cantare per delle organizzazioni cristiane che gli varranno l'epiteto di “Abbé Brel”, abate Brel, conferitogli da Georges Brassens.

non saprò mai perché sia dritta
la strada verso la città
perché mi porti alla sconfitta
appena il bosco lascerà

Nel 1956 incontra François Rauber, pianista classico, che diventa il suo accompagnatore ai concerti. Rauber, che comprende immediatamente il talento di Brel, gli impartisce delle lezioni di musica contribuendo alla formazione musicale che Brel non possedeva.