Papin è uno degli attaccanti più amati nella storia del calcio francese. Dotato di grande agilità e di un tiro molto potente, con una spiccata propensione al gol. Inizia a giocare nel 1983 all'INF Vichy, primo centro di formazione calcistica del Paese. Nel 1984 esordisce in serie B nel Valenciennes, l'anno successivo è in Belgio, al Club Brugge.

Bernard Tapie lo ingaggia per l'Olympique Marsiglia, con cui crea un ciclo magnifico che eleggerà la biancazzurra come regina del calcio transalpino: fra il 1989 e il 1992 vince 4 campionati francesi consecutivi; il Marsiglia domina le stagioni, JPP la classifica cannonieri che lo vede vittorioso per ben 5 campionati consecutivi (dal 1987 al 1992).

Nel 1991, oltre al titolo nazionale, il club francese e' finalista in Coppa Campioni, battuto ai rigori dalla Stella Rossa. Papin si aggiudica anche il titolo di cannoniere della manifestazione coronando a livello personale un ' annata magnifica, culminata con il Pallone d'Oro assegnatogli da France Football. Nell'estate '92 si trasferisce al Milan, squadra già ricca di fuoriclasse, e vince subito lo scudetto ma perde un'altra finale di Coppa dei Campioni, proprio contro il Marsiglia. Contribuisce nel campionato 93-94 alla conquista di un altro scudetto e della Champions League, ma, nel complesso, durante l'avventura di Milano, non ripete le prestazioni offerte in patria non riuscendo ad entrare nelle grazie di Fabio Capello e la sua permanenza non dura quanto ci si aspettava.

Va al Bayern Monaco, ma a causa di ripetuti infortuni non riesce ad incidere come potrebbe. Torna in Francia, al Bordeaux e poi al Guingamp, prima di chiudere fra i dilettanti prima con una breve esperienza al Saint-Pierre de la Réunioncol e poi al US Cap-Ferret, cui fa conquistare tre promozioni a suon di gol.