Auch Peer-Review braucht Peer-Review

Wird an einer Hochschule, bei einem Fachverlag oder einer Finanzierungsinstitution ein Forschungsprojekt eingereicht, ist das Prozedere immer gleich: Expert·innen prüfen das Dossier, kommentieren und beurteilen es und entscheiden dann, ob die Arbeit angenommen, abgelehnt oder überarbeitet werden soll. Dieses Ritual trägt den vertrauenerweckenden Namen Peer Review, also Gutachten durch Gleichrangige. Peer-Review gründet auf einem naheliegenden Gedanken: Wer könnte eine Forschungsarbeit kompetenter bewerten als die Kolleginnen und Kollegen aus dem eigenen Fach? Über einen langen Zeitraum wurde dieses Prinzip quasi per se mit wissenschaftlicher Qualität und gerechten Entscheidungen gleichgesetzt.¹

Dieses Vertrauen beginnt heute aber zu bröckeln. Verschiedene Studien zeigen auf, dass das Evaluationsverfahren durch Fachkolleginnen oder -kollegen nicht immer wie vorgesehen funktioniert, vor allem in den Geistes- und Sozialwissenschaften. Ein Umdenken ist bereits festzustellen, konkrete Veränderungen bleiben aber vorerst Randerscheinungen. So hat zum Beispiel der Schweizerische Nationalfond (SNF) ein neues CV-Format eingeführt, den narrativen Lebenslauf, und hat die San Francisco Declaration on Research Assessment (DORA)² unterzeichnet. Diese empfiehlt, bibliometrische Indikatoren nur zurückhaltend einzusetzen und Publikationen in Fachorganen geringer zu gewichten. Solche Veränderungen sind real, reichen jedoch nicht, um das allgemein verankerte Evaluationskonstrukt neu auszurichten.

Leitplanken für die Forschung

Schon lange bevor sich der Begriff Peer Review durchgesetzt hat, liessen Gelehrte ihre Arbeiten von ihresgleichen begutachten. Im 17. Jahrhundert begannen wissenschaftliche Gelehrtengesellschaften, Mitglieder aus den entsprechenden Fachgebieten damit zu beauftragen, wissenschaftliche Texte vor deren Veröffentlichung zu lesen und zu bewerten.³ Dieses Verfahren wurde im 19. Jahrhundert von wissenschaftlichen Fachzeitschriften übernommen. Das neue System verlangte einen von den Gutachtern unterzeichneten schriftlichen Evaluationsbericht. Erst in der zweiten Hälfte des 20. Jahrhundert jedoch setzte sich unter dem englischen Begriff Peer Review die routinemässige Begutachtung durch Gleichrangige schliesslich als beinahe universeller Standard durch. Bei dieser Form der Qualitätssicherung handelt es sich also um eine noch junge Entwicklung in der Geschichte der Wissenschaften und der Wissensproduktion.

Dank Peer-Review soll die Qualität einer wissenschaftlichen Arbeit vor deren Veröffentlichung oder Finanzierung kontrolliert werden.⁴ Das Manuskript bzw. das Projekt wird Expert·innen desselben Fachgebiets vorgelegt. Diese müssen die gewählte Methodik durchleuchten und überprüfen, ob die Ergebnisse neu, die Argumente haltbar und die Formulierungen klar sind und ob die ethischen Vorgaben eingehalten werden. Die Redaktion der jeweiligen Fachzeitschrift oder die Institution, die das Manuskript erhält, macht einen ersten Check und leitet den Text danach an zwei bis drei Gutachter·innen weiter. Je nach Verfahren kennen diese den Namen des Autors bzw. der Autorin (simple blind, Einfachblindgutachten) oder kennen ihn nicht (double blind, Doppelblindgutachten). Die Gutachter·innen erstellen dann einen detaillierten Evaluationsbericht, der als Entscheidungsempfehlung dient, ob die Arbeit angenommen wird.

Das Peer-Review-Verfahren hat sich derart breit etabliert, weil es durch mehrere Stärken überzeugen konnte. Zuallererst dient Peer-Review als Filter. Grundsätzlich verhindert es die Verbreitung von Arbeiten, die fehlerhaft sind oder auf einem fragilen methodologischen Fundament basieren. Auch trägt Peer-Review grundsätzlich zur Verbesserung von Texten bei. Das ganze System beruht gleichzeitig auf «Prozessgläubigkeit», denn das Label Peer Review verleiht einer Arbeit einen seriösen Charakter. Und schliesslich kommt dem Peer-Review-Verfahren auch eine bildende Funktion zu. Der Autor oder die Autorin erhält eine fundierte Rückmeldung, die Orientierung für zukünftige Forschungsprojekte bieten kann, und die Gutachter ihrerseits verfeinern während der Evaluation ihre Bewertungskriterien, setzen sich mit aktuellen Arbeiten auseinander und halten sich so über den aktuellen Forschungsstand ihrer Disziplin auf dem Laufenden.

Wenn das System klemmt

In gleichem Masse wie sich Peer-Review als Norm etabliert hat, sind aber auch die kritischen Stimmen hierzu lauter geworden.⁵ Bei der Kritik geht es vor allem um die Vertrauenswürdigkeit.⁶

Unterschiedliche Gutachter·innen können bei ein und demselben Manuskript zu diametral entgegengesetzten Schlüssen kommen. Gleichzeitig passiert es, dass frappante Fehler oder unhaltbare Methoden durch alle Maschen des Evaluationsnetzes fallen, sodass ein mangelhaftes Projekt trotz allem schliesslich publiziert oder finanziert wird. Zu diesen Unzulänglichkeiten kommen strukturelle Missstände hinzu. Die Verfahren dauern oft lange und verschlingen wertvolle akademische Zeit, sowohl bei den Begutachteten als auch bei den Gutachter·innen. Das anonymisierte Begutachtungsverfahren, das eigentlich die Unabhängigkeit der Evaluation gewährleisten soll, macht die Entscheidungsfindung zudem weniger transparent. Nicht zuletzt erweist sich Peer-Review als wenig effizient, wenn es darum geht, bestimmte problematische Praktiken aufzudecken, wie Datenmanipulation und Betrug, die oft erst im Nachhinein deutlich werden.

Es ist auch erwiesen, dass das Peer-Review-Verfahren Verzerrungen verstärken kann. Das Renommee der Institution, die Publikationssprache, der theoretische Rahmen, dem die Forschungsarbeit folgt, sowie die akademische Ausrichtung und der akademische Status der Autorin oder des Autors beeinflussen die Bewertung.⁷ Durch Peer-Review werden Ungleichheiten also nicht austariert, sondern häufig noch verstärkt. Es ist fraglich, inwieweit Peer-Review überhaupt noch geleistet werden kann. Die Gutachter·innen arbeiten immer häufiger ehrenamtlich und werden immer stärker beansprucht, was die Qualität der Expertisen beeinflusst und das System als solches schwächt, erst recht vor dem Hintergrund von KI, die immer mächtiger wird.

Insbesondere innerhalb der Natur- und Lebenswissenschaften sind die Grenzen von Peer-Review offenkundig geworden, und zwar durch die sogenannte Replikationskrise, die Mitte der 2000er-Jahre zum Thema wurde: Zahlreiche von Peers evaluierte Studien lieferten später unter gleichen Bedingungen nicht mehr die gleichen Ergebnisse. Nachträgliche Analysen brachten statistische Fehler, unvollständige Protokolle und inkohärente Daten zutage. Das Peer-Review-System bringt zudem fragwürdige Tendenzen hervor. Positive und spektakuläre Ergebnisse werden eher gewürdigt und publiziert, auf Kosten von Replikationsstudien, von negativen Resultaten und von geduldiger und kumulativer Forschungsarbeit, die für fundierte Grundlagenforschung genauso wichtig sind.

Zu den oben aufgeführten Lücken kommen auch noch nachweisliche Verfehlungen hinzu. Bestimmte Fachzeitschriften ziehen «falsche» Gutachter·innen heran, die zum Teil sogar von den Autor·innen persönlich vorgeschlagen werden. Sogenannte «Schmarotzer», schmücken sich mit dem Peer-Review-Label, ohne dass wirkliche Kontrollen stattfinden. Eine unbefriedigende Handhabung von Interessenkonflikten unterminiert das dem Peer-Review zugesprochene Vertrauen zusätzlich.

In den Geistes- und Sozialwissenschaften sind die Probleme noch ausgeprägter. In diesem Wissenschaftsbereich haben Forschungsarbeiten nämlich oft interpretativen Charakter, und die Evaluationskriterien sind darum weniger standardisiert.⁸ Die Evaluation hängt daher zu einem grossen Teil von der theoretischen und methodologischen Verortung der Gutachter·innen ab. Häufig ist man sich uneins, vor allem, wenn verschiedene Denkrichtungen aufeinandertreffen. In der Schweiz beispielsweise mindert die Vorherrschaft der Analytischen Philosophie in den Universitätsdepartementen sowie in der Projektevaluation des SNF die Erfolgschancen von Forschungsarbeiten, die sich an einem anderen theoretischen Rahmen orientieren.

Hinzu kommen schliesslich auch noch Schwächen bei der Ausgestaltung der Gutachten und ihrem Ton.⁹ Evaluationsberichte, die unter Zeitdruck erstellt werden, herablassend oder aggressiv formuliert sind, sind weit von einem sorgfältigen und konstruktiven Gutachten entfernt; und dies gilt insbesondere auch für Gutachten, für deren Ausarbeitung KI eingesetzt wurde: Bei unsachgemässem Einsatz von KI lassen sich weder die Gründlichkeit noch der innovative Charakter eines Projekts richtig beurteilen. Solche Erfahrungen können speziell junge Forschende nachhaltig abschrecken.

Peer-Review neu denken

Alle diese Unstimmigkeiten verlangen nach einer Reaktion – vor allem in den Geistes- und Sozialwissenschaften.

Ein erster Ansatz kann auf klarere Evaluationskriterien abzielen. Kriterien wie die Qualität einer Problemstellung, die Neuheit des konzeptuellen Rahmens und die Angemessenheit von Quellen und Methoden werden meist erwähnt, aber nur selten präzisiert. Würden die Kriterien klarer gefasst, könnten Missverständnisse zwischen Autor·innen, Gutachter·innen und Kommissionen minimiert werden. Ein zweiter Ansatz zur Verbesserung liegt in der Schulung der Expertinnen und Experten.¹⁰ In kurzen Modulen könnten die Gutachter·innen an die zu berücksichtigenden Faktoren erinnert werden, zum Beispiel die Pluralität der intellektuellen Traditionen, den Status von Monografien in gewissen wissenschaftlichen Disziplinen oder die Bedeutung der sprachlichen Diversität. Dank solchen Modulen könnten die Peers zudem für die häufigsten Fälle von Voreingenommenheit sensibilisiert werden, zum Beispiel für die eigene implizite Vorliebe für eine bestimmte Denkschule.¹¹ Eine weitere Chance zur Verbesserung bietet sich bei der Behandlung von Befangenheit und Interessenkonflikten. Eine systematischere Diversifizierung des methodologischen Hintergrunds der Expert·innen könnte automatisch zusätzliche Blickwinkel zusammenführen, ohne dass die vorherrschenden Regeln umgestossen werden müssten. Zu guter Letzt aber ist auch entscheidend, dass die Arbeit der Gutachter·innen gebührend Aufmerksamkeit erhält. Bis dato bleiben diese unsichtbar, durch ihre namentliche Aufführung im narrativen Lebenslauf aber könnte sich das ändern. Ein neues System mit standardisiertem Nachweis und adäquater Entlöhnung für aufwändige Expertisen würde dazu beitragen, dass Zeitaufwand und Einsatz der Expert·innen gebührend gewürdigt würden.¹²

Die aktuelle Situation innerhalb der Geistes- und Sozialwissenschaften lädt, nebst zu den oben aufgeführten Veränderungen, auch dazu ein, das Peer-Review-Verfahren in einen umfassenderen Beurteilungs- und Anerkennungsrahmen einzubetten. In einem ersten Schritt könnte die reine, klassische Expertenbeurteilung mit dem Prinzip der öffentlichen Diskussion kombiniert werden. Angelehnt an open peer commentary würden sowohl die Kommentare der Gutachter·innen als auch die Diskussionen mit den Autor·innen zu diesen Kommentaren offengelegt, bevor eine Entscheidung gefällt wird.¹³ Ein zweiter Ansatz verfolgt die partielle Auflösung der Verknüpfung von Beurteilung und Veröffentlichung.¹⁴ Die vom SNF unterstützten Forschungsarbeiten würden in diesem Fall systematisch in einem öffentlich zugänglichen Archiv abgelegt. Somit könnten sie sukzessive validiert werden durch Fachzeitschriften, themenspezifische Gremien oder Diskussionsplattformen, die Forschungsarbeiten jeweils auf ihre spezifische Weise beurteilen, ohne dass ein einmaliges, definitives Verdikt fällt. Eine dritte Möglichkeit besteht darin, für die Bewertung bestimmter Projekte neben den akademischen Peers gezielt auch andere Akteure einzubeziehen. Vertreter·innen von kulturellen Institutionen, Behörden und Partnerorganisationen könnten jederzeit, wenn das Forschungsthema es erlaubt, mitreden und so ihre Sichtweise bezüglich Sachverhalt und Verwendung der Arbeit einbringen. Und schliesslich geht es auch darum, die Mechanismen des Peer-Review-Verfahrens, der qualitativen wissenschaftlichen Beurteilung und des wissenschaftlichen Rufs zu stärken, statt sie gegeneinander auszuspielen. Übertragen auf die Evaluationsberichte beim SNF könnte ein richtungsweisender Ansatz aus kommentierten Portfolios und Berichten bestehen, die den Forschungsweg auch über das bisher streng abgegrenzte akademische Umfeld hinaus abbilden.

Kurzum, Peer-Review ist nicht unfehlbar und muss an heutige Anforderungen angepasst werden. Bei den oben aufgezeigten Vorschlägen handelt es sich weder um vorgefertigte Lösungen noch um ein einziges allumfassendes Modell. Vielmehr zeigen sie, in welche Richtung die Überlegungen gehen sollten: klar aufzeigen, welche Art der Evaluation die Geistes- und Sozialwissenschaften erwarten, im Hinblick auf ihre spezifischen Forschungsgegenstände, die Zeitlichkeit und die Schreibmodi; diversifizieren der Evaluationsformen, weg vom binären Verdikt; sowie betroffene Fachcommunitys enger in die Prozessüberarbeitung einbinden im Sinne einer gemeinsamen Neugestaltung.

Nur so kann das Peer-Review-Verfahren aus dem institutionellen Korsett befreit werden, in das es durch Gewohnheit geraten ist. Peer-Review kann zu einem Gefüge situationsbezogener, diskutierbarer und veränderbarer Praktiken werden – im Dienste der wissenschaftlichen Qualität, der intellektuellen Unabhängigkeit und der Forschungsvielfalt innerhalb der Geistes- und Sozialwissenschaften.