Wissenschaftler verschieben die Torpfosten zu ihren Gunsten

Wenn Fussballspieler die Torpfosten verschieben, damit sie besser treffen, ist das Beschiss. In der Wissenschaft ist es gang und gäbe. Das zeigt eine Auswertung von 124 Studien, bei denen überwiegend Medikamente oder Medizingeräte an Menschen getestet wurden.*

Der sauberste Ablauf wäre wie folgt: Die Wissenschaftler melden ihr Vorhaben an, beschreiben, wie sie bei der Studie vorgehen möchten, welche Befunde sie am meisten interessieren und welche Nebenbefunde sie erheben möchten. Sie veröffentlichen ihren Studienplan (das Studienprotokoll), führen die Studie wie geplant durch und publizieren die Ergebnisse. 

Doch bei 60 der 124 Beobachtungsstudien hielten sich die Forscherinnen und Forscher nicht an diesen Ablauf: Sie veröffentlichten beispielsweise Resultate, die sie vorher als am wichtigsten eingestuft hatten, gar nicht. Oder sie erklärten die zuvor als am wichtigsten taxierten Befunde neu als zweit- oder drittrangig. Oder sie berichteten von einem Resultat, das sie in ihrem Studienplan zuvor überhaupt nicht vorgesehen hatten. 

Im Fussball wäre das etwa so, als würde der Trainer vor dem Spiel als oberstes Ziel festlegen, dass die Mannschaft möglichst viele Tore schiesst – und während oder nach dem Spiel ändert er dieses Ziel dahingehend, dass die Mannschaft keine roten Karten kassieren soll. Das Team reüssiert in diesem Punkt – und die Medien berichten dann von diesem Erfolg.

«Signifikante» Ergebnisse produziert

In etwa drei Vierteln der Fälle, bei denen die Wissenschaftler von ihrem anfänglichen Plan abwichen, konnten sie so in der veröffentlichten Studie «statistisch signifikante Resultate» präsentieren. Das wäre etwa so, als würde ein Fussballer, der neben das Tor schiesst, kurzerhand das Tor dorthin stellen und einen Treffer reklamieren. Ob die Studie von einem Pharma- oder Medizinprodukte-Hersteller gesponsert wurde oder aus anderen Töpfen, schien dabei keine Rolle zu spielen.

In der Wissenschaft kann es durchaus Gründe geben, eine Studie abzuändern. Bloss sollten die Wissenschaftler diese Gründe offenlegen. Doch das taten sie nur bei 2 der 60 Studien. In allen anderen Fällen schwiegen sie sich aus.

Das unsaubere Vorgehen wirkt sich auf die Patienten und ihre Ärzte aus. Denn sie verlassen sich auf die veröffentlichten Ergebnisse – nicht wissend, dass da zuvor Ziele abgeändert oder Torpfosten verschoben wurden. 

Es kann überdies einen Rattenschwanz nach sich ziehen. Wenn die Befunde einzelner Studien in eine Übersichtsarbeit einfliessen, die alle Studien zu einem Thema zusammenfasst, kann ein falscher Eindruck entstehen. Ärzte, die sich auf solche Studien stützen, beraten ihre Patienten unter Umständen unwissentlich falsch.

Nur eine Minderheit der Studien wird vorab angemeldet

Das Problem sei vermutlich sogar noch grösser als nun aufgezeigt, schreibt das dänisch-kanadische Team, das die 124 Studien auswertete, im «British Medical Journal». Denn es konzentrierte sich ausschliesslich auf Beobachtungsstudien, die vorab im Studienregister «clinicaltrials.org» angemeldet wurden. 

Die Vorab-Registrierung soll für mehr Transparenz sorgen, den Wissenschaftlern Manipulationen erschweren und Doppelspurigkeiten vermeiden. Sie wird jedoch nur bei einer Minderheit der Studien gemacht: Eine Stichprobe bei Studien, die 2022 in führenden Fachzeitschriften veröffentlicht wurden, ergab, dass schätzungsweise bloss jede zehnte Beobachtungsstudie zuvor registriert worden war.

Obwohl einige Fachzeitschriften wie beispielsweise das «BMJ» zwar auf eine Registrierung von Beobachtungsstudien drängen, fordern sie diese nicht ein – und veröffentlichen dann eben auch Studien mit verschobenen Torpfosten. 

Das Problem aufzudecken, ist schwierig

Von der Vorab-Registrierung bis hin zu den Fachzeitschriften liessen sich überall Hebel ansetzen. Gutachter, die Fachartikel vor der Publikation prüfen, sollten vermehrt checken, ob es Abweichungen vom ursprünglichen Studienplan gebe. Auch die Autoren von Übersichtsarbeiten sollten dies recherchieren, rät das dänisch-kanadische Team. 

Das ist aber oft nicht so einfach. Denn erstens definierten die Forschenden in drei von vier Fällen ihr primäres Forschungsziel vorher ganz nicht genau. Und zweitens waren die kompletten Studienprotokolle, in denen sie ihren Studienplan beschrieben, nur bei 27 der 124 Studien öffentlich zugänglich. Ohne Studienprotokoll wird es viel schwieriger, zu erkennen, ob und wie Wissenschaftler ihre ursprünglich definierten Studienziele änderten.

_____________________

*In 8 der 124 Studien wurde eine Form von Beratung oder Schulung erprobt.