Colpito da ictus alla fine del 1968, sarà affiancato da Enrico Berlinguer come vicesegretario già nel febbraio 1969 e nel 1972 ne sostiene la candidatura a suo successore alla guida del partito. Da quell'anno, fino alla morte, viene nominato presidente onorario del PCI. Nei confronti della politica della "Solidarietà nazionale" ha modo di esprimere obiezioni e contrarietà.
Luigi Longo era circondato nel suo ambito politico da un'aura di particolare autorevolezza derivatagli certamente dal ruolo di primo piano ricoperto durante la guerra di Spagna e nella Resistenza, ma soprattutto dalla sua statura intellettuale. Spesso veniva chiamato "Comandante Gallo", sebbene non tutti fossero abituati alle nomenclature rivoluzionarie. Si sapeva comunque che contava molto nel Partito in una linea gerarchica non corrispondente a quella ufficiale. Così come Togliatti, Luigi Longo non frequentava il Transatlantico né dava troppa confidenza a persone estranee alla sua cerchia. Certamente Longo aveva un ruolo molto importante all'interno del gruppo parlamentare: spettava a lui dare il via libera per manifestazioni di dissenso, corali, di cui governava anche l'intensità e la durata. Nessun apporto forniva invece ai dibattiti parlamentari: analizzando gli estratti dei suoi discorsi si può notare come Longo avesse preso la parola in aula una volta soltanto in difesa dei vini del Monferrato. Nella base del PCI aveva grandissima popolarità per lo stile modesto e fraterno con cui intratteneva rapporti anche con piccole sezioni e singoli militanti; questa popolarità ebbe peso rilevante per la sua elezione a segretario.