L’évaluation par les pairs doit être aussi évaluée par les pairs

Lorsqu’un projet de recherche arrive sur le bureau d’une université, d’une maison d’édition ou d’une agence de financement, le même scénario se répète. Des spécialistes lisent le dossier, le commentent, le notent, puis tranchent. Ce rituel porte un nom rassurant : l’évaluation par les pairs. Il repose sur une idée simple : qui mieux que des chercheuses et des chercheurs pour juger le travail de leurs collègues ? Longtemps et aujourd’hui encore, ce principe a été perçu comme une garantie quasi automatique de qualité scientifique et d’équité des décisions¹.

Cette confiance s’est pourtant érodée. De nombreuses études ont montré que l’évaluation par les pairs ne fonctionne pas toujours comme prévu, en particulier dans les sciences humaines et sociales. Le système a bien évolué, mais surtout à la marge. En Suisse, le Fonds national suisse (FNS) a introduit le curriculum vitae narratif et adhéré à la San Francisco Declaration on Research Assessment (DORA)², qui invite à limiter l’usage automatique d’indicateurs bibliométriques comme le facteur d’impact des revues. Ces changements sont réels, sans pour autant transformer l’architecture générale de l’évaluation.

Un garde-fou pour la recherche

Bien avant que l’on ne parle d’évaluation par les pairs, les savants ont pris l’habitude de soumettre leurs travaux au regard de leurs collègues. Dès le 17^e siècle, des sociétés savantes demandent à certains de leurs membres, choisis pour leur expertise, de lire et de juger des textes avant leur impression³. Au 19^e siècle, les revues scientifiques systématisent cette pratique sous la forme de rapports écrits, signés par des lecteurs identifiés. Mais il faut attendre la seconde moitié du 20^e siècle pour que l’intervention régulière d’évaluateurs extérieurs devienne une norme presque universelle et que s’impose l’expression anglaise peer review. Ce mode d’évaluation est donc très récent dans l’histoire des sciences et des savoirs.

Ce dispositif vise à contrôler la qualité scientifique d’un travail avant sa publication ou son financement⁴. Un manuscrit ou un projet est confié à des spécialistes du même domaine, chargés d’examiner la méthode utilisée, le caractère nouveau des résultats, la solidité de l’argumentation, la clarté du texte et le respect des règles éthiques. La rédaction d’une revue ou l’institution qui reçoit le projet effectue d’abord un premier tri. Elle sollicite ensuite deux ou trois évaluateurs*. Selon les procédures, ces derniers connaissent l’identité des auteurs (simple blind ou simple aveugle), ou ne la connaissent pas (double blind ou double aveugle). Les évaluateurs rédigent des rapports détaillés, à partir desquels une recommandation est formulée. Une décision finale est ensuite prise.

Si l’évaluation par les pairs s’est imposée avec une telle force, c’est parce qu’on lui attribue plusieurs vertus. Elle agit d’abord comme un filtre. En principe, elle limite la diffusion de travaux manifestement erronés ou reposant sur des bases méthodologiques fragiles. Elle joue aussi un rôle d’amélioration des textes. Ce dispositif repose également sur ce que l’on peut appeler une confiance procédurale. La mention « évalué par les pairs » fonctionne comme un label rassurant. De plus, l’évaluation par les pairs possède une dimension formatrice. Les auteurs bénéficient d’un retour structuré qui peut orienter leurs recherches futures, tandis que les évaluateurs affinent leurs critères de jugement, découvrent des travaux en cours et restent attentifs aux évolutions de leur discipline.

Quand la mécanique se grippe

À mesure que l’évaluation par les pairs s’est imposée comme une norme, les critiques à son égard se sont toutefois multipliées⁵. Le reproche le plus immédiat concerne sa fiabilité⁶.

Face à un même manuscrit, des évaluateurs peuvent parvenir à des conclusions radicalement opposées. Inversement, des erreurs importantes ou des méthodes fragiles passent parfois entre les mailles du filet et se retrouvent publiées ou financées malgré tout. À ces incertitudes s’ajoutent des défauts plus structurels. Les procédures sont souvent longues et consomment beaucoup de temps académique, aussi bien pour les auteurs que pour les évaluateurs. L’anonymat des rapports, censé protéger l’indépendance du jugement, réduit en contrepartie la transparence des décisions. Surtout, l’évaluation par les pairs se montre peu efficace pour détecter certaines pratiques problématiques, comme la manipulation de données ou les fraudes, qui ne deviennent visibles qu’après coup.

Le dispositif est également traversé par des biais bien documentés. Le prestige des institutions, la langue de publication, l’adhésion à des cadres théoriques dominants, mais aussi le genre ou le statut académique des auteurs influencent les jugements⁷. Loin de corriger les inégalités existantes, l’évaluation par les pairs peut tendre à les reproduire. Sa soutenabilité pose également question. Les évaluateurs travaillent le plus souvent bénévolement et sont de plus en plus sollicités, ce qui affecte la qualité des expertises et fragilise l’ensemble du système, a fortiori dans le contexte de croissance des outils d’intelligence artificielle.

Ces limites sont notamment devenues visibles dans les sciences de la nature et de la vie avec ce que l’on appelle la crise de la reproductibilité, mise en lumière depuis le milieu des années 2000, durant laquelle de nombreux résultats validés par les pairs se sont révélés impossibles à obtenir de nouveau dans les mêmes conditions. Des analyses ultérieures ont mis en évidence des erreurs statistiques, des protocoles incomplets ou des données incohérentes. Le système crée des effets d’incitation discutables. Il valorise les résultats positifs ou spectaculaires, plus susceptibles d’être publiés, au détriment des études de réplication, des résultats négatifs ou des travaux patients et cumulatifs, pourtant essentiels à la solidité des connaissances.

À ces dysfonctionnements s’ajoutent des dérives avérées. Certaines revues ont eu recours à de faux évaluateurs, parfois proposés par les auteurs eux-mêmes. D’autres, dites prédatrices, exploitent le label de l’évaluation par les pairs sans appliquer de véritables contrôles. La gestion insuffisante des conflits d’intérêts fragilise encore la confiance accordée au dispositif.

Dans les sciences humaines et sociales, ces problèmes prennent une forme particulière. Les recherches y sont souvent interprétatives, ce qui rend les critères d’évaluation moins standardisés⁸. Les jugements dépendent davantage des orientations théoriques et méthodologiques des évaluateurs. Les désaccords sont fréquents, notamment lorsque des traditions intellectuelles différentes s’affrontent. En Suisse, par exemple, l’hégémonie de la philosophie analytique, dans les départements universitaires comme dans l’évaluation des projets au FNS, réduit les chances de succès des recherches qui s’inscrivent dans d’autres cadres.

À cela s’ajoutent des problèmes de pratiques et de ton⁹. Des rapports rédigés à la hâte, condescendants ou agressifs, s’éloignent d’une évaluation rigoureuse et constructive, quand ils ne sont pas rédigés grâce aux outils de l’intelligence artificielle, qui, s’ils sont mal utilisés, ne permettent guère d’évaluer le caractère innovant ou rigoureux d’un projet. Ils peuvent avoir un effet dissuasif durable, en particulier sur les jeunes chercheuses et chercheurs.

Repenser l’évaluation par les pairs

Face à ces limites, une réaction s’impose, en particulier dans les sciences humaines et sociales.

Un premier levier d’amélioration consiste à clarifier les critères d’évaluation. Des notions comme la qualité d’une problématique, l’originalité d’un cadre conceptuel ou l’adéquation entre sources et méthodes sont souvent invoquées, mais rarement précisées. Rendre ces attentes visibles réduirait les malentendus entre auteurs, évaluateurs et commissions. Un deuxième axe concerne la formation des experts¹⁰. De courts modules pourraient rappeler des éléments essentiels, comme la pluralité des traditions intellectuelles, le rôle central de la monographie dans certaines disciplines ou l’importance de la diversité linguistique. Ils serviraient aussi à sensibiliser les évaluateurs aux biais les plus fréquents, comme la préférence implicite pour certaines écoles théoriques¹¹. Un troisième chantier touche à la gestion des biais et des conflits d’intérêts. Sans bouleverser les règles existantes, une diversification plus systématique des profils méthodologiques d’experts sollicités permettrait de croiser les points de vue. Enfin, le travail d’expertise mérite une reconnaissance accrue. Aujourd’hui largement invisible, il pourrait être mieux valorisé en étant intégré de manière explicite dans les curriculum vitae narratifs. La délivrance d’attestations standardisées ou la mise en place de rémunérations ciblées pour les expertises les plus lourdes contribueraient à reconnaître le temps et l’engagement investis¹².

Au-delà de ces ajustements, la situation des sciences humaines et sociales invite à replacer l’évaluation par les pairs dans un cadre plus large de validation et de reconnaissance de la recherche. Une première piste consiste à combiner l’expertise classique avec des formes encadrées de discussion publique. Inspirés de l’open peer commentary, ces dispositifs peuvent rendre visibles les commentaires des évaluateurs et les échanges avec les auteurs, qui peuvent y répondre avant qu’une décision définitive ne soit prise¹³. Une deuxième voie repose sur une séparation partielle entre évaluation et diffusion¹⁴. Les travaux soutenus par le FNS pourraient être plus systématiquement déposés dans des archives ouvertes, accessibles à toutes et à tous. Ils feraient ensuite l’objet de validations successives par des revues, des comités thématiques ou des plateformes d’annotation, chacune apportant un type de reconnaissance spécifique, plutôt qu’un verdict unique et définitif. Une troisième option consiste à associer, pour certains projets, d’autres acteurs que les seuls pairs académiques. Des représentants d’institutions culturelles, d’administrations publiques ou d’organisations partenaires pourraient intervenir lorsque la nature de la recherche s’y prête, en apportant un regard complémentaire sur les usages et les enjeux des travaux. Une dernière piste vise à articuler, plutôt qu’à opposer, l’évaluation par les pairs, les appréciations qualitatives et les mécanismes de réputation scientifique. Appliquée au FNS, cette approche pourrait prendre la forme de portfolios ou de récits argumentés retraçant la trajectoire des travaux dans des environnements ouverts.

L’évaluation par les pairs n’est donc pas infaillible et doit être repensée aujourd’hui. Les pistes esquissées ici ne proposent ni solution clé en main ni modèle unique. Elles dessinent des directions de travail : clarifier ce que l’on attend de l’évaluation en sciences humaines et sociales, en tenant compte de leurs objets, de leurs temporalités et de leurs modes d’écriture ; diversifier les formes de validation, au-delà du verdict binaire ; et associer plus étroitement les communautés concernées à la redéfinition des procédures, afin qu’elles soient construites collectivement.

À ces conditions, l’évaluation par les pairs peut cesser d’être un réflexe institutionnel appliqué par habitude. Elle peut devenir un ensemble de pratiques situées, discutables et révisables, au service non seulement de la qualité scientifique, mais aussi de l’autonomie intellectuelle et de la pluralité des recherches en sciences humaines et sociales.

* Ce texte emploie le masculin pour faciliter la lecture, mais il inclut tous les genres.