Forschende im Labor

Die Publikation der Forschungsergebnisse in einer angesehenen Fachzeitschrift nützt der Karriere. © Depositphotos

«Es geht darum, eine ‹perfekte Story› zu publizieren»

Martina Frei /  Verzweifelte Patienten und Eltern von kranken Kindern klammern sich an zweifelhafte Forschungsergebnisse. (Teil 2)

Viele Ergebnisse von Experimenten in der Krebsforschung lassen sich nicht bestätigen. Darauf wiesen Wissenschaftler um Timothy Errington von «Centre for Open Science» hin. Infosperber berichtete im ersten Teil dieses Artikels darüber. Im zweiten Teil des Artikels geht es darum, welche Folgen dieses Problem der Biomedizin für Kranke haben kann.

«Experimente wie diejenigen, die man nun zu replizieren versucht hat, bilden letztlich die Grundlage für Therapien. Aber wenn schon das Fundament extrem bröselig ist …», sagt Ulrich Dirnagl, der Gründungsdirektor des «Centre for Responsible Research QUEST» in Berlin. Er befasst sich seit Jahren mit der mangelnden Reproduzierbarkeit vieler Studien und was dagegen unternommen werde könnte. 

Hassan Fazilaty, Krebsforscher am Institut für Molekulare Biologie der Universität Zürich, sieht es weniger negativ als Dirnagl. Er wirft den Wissenschaftlern der aktuellen Replikationsstudie vor, sie hätten «Rosinenpickerei» betrieben, indem sie sich auf bestimmte Versuche konzentriert hätten, die aber nicht das wichtigste Experiment der betreffenden Studie gewesen seien. «Den Wissenschaftlern um Timothy Errington fehlte die Expertise, deshalb haben sie nur leichte und kleine Versuche nachgemacht.» So hätten sie beispielsweise teils andere Zellen für die Experimente verwendet als beim Originalexperiment – und das könne einen Riesenunterschied machen. «Als Biologe war ich enttäuscht. Der Plan dieser Wissenschaftler war gut. Aber sie haben nicht viel von dem gemacht, was sie ursprünglich vorhatten.»

Eine Drittel der Forschenden hatte offenbar kein Interesse an einer Wiederholung

Diesen letzten Punkt gestehen auch die Wissenschaftler selbst ein. Dass es so mühsam war, habe unter anderem daran gelegen, dass bei allen 193 Experimenten Angaben zur genauen Durchführung der Experimente in den Originalpublikationen fehlten. Deshalb mussten die Forscherteams teils mehrfach bei den Studienautoren rückfragen oder um bestimmte Ausgangsmaterialen bitten. Manche der angefragten Kollegen waren kooperativ, etwa ein Drittel aber habe nicht kooperiert.  

Peggy Janich, Geschäftsführerin der Stiftung Krebsforschung Schweiz und selbst jahrelang Grundlagenforscherin, findet es ebenfalls nachvollziehbar, dass viele Experimente nicht repliziert werden konnten. «Die Grundlagenforschung bei Krebs ist eine sehr komplexe Materie. Die jeweiligen Institute haben jahrelanges, hart erarbeitetes Know-how mit bestimmten Zellen, ‹Mini-Organen› und Labortieren. Das kann auch dazu führen, dass die Ergebnisse weniger eindrücklich ausfallen als bei der Originalstudie.» 

Geld in die Wiederholungsforschung stecken – oder nicht?

Wenn eine Studie nicht reproduzierbar sei, heisse das nicht, dass die Originaldaten falsch gewesen seien, betont Janich. «Man darf da kein wissenschaftliches Fehlverhalten unterstellen.» 

Würde man nun jede Studie replizieren, würde auch viel Geld verschwendet. «Ich weiss nicht, ob es sinnvoll ist, ins Replizieren viel Ressourcen reinzustecken. Denn bis aus einem Grundlagenexperiment schliesslich ein Wirkstoff wird, der bei Patienten eingesetzt wird, braucht es noch viel Forschung. Man würde es also früh genug bemerken, wenn sich Ergebnisse nicht bestätigen lassen, und hätte nicht allzu viele Gelder investiert», sagt Janich. 

Dirnagl widerspricht: «Erstens werden in der Krebsheilkunde viele Patienten im Rahmen eines ‹compassionate use› aufgrund von Tierversuchen oder kleinen Studien an Menschen mit Substanzen behandelt, die für ihre Erkrankung nicht erprobt wurden. Das sind verzweifelte Kranke, die solche Experimente in der wissenschaftlichen Literatur finden und dann diese experimentelle Behandlung möchten.»

Zweitens, sagt Dirnagl, gebe es diverse Beispiele, die das Gegenteil zeigen würden. Eines davon betraf Kinder mit einer schweren Entwicklungsstörung, dem Rett-Syndrom. Mädchen mit Rett-Syndrom entwickeln sich zunächst normal, verlieren dann aber viele erlernte Fähigkeiten wieder und sind oft schwer behindert. 

Kinder mit einer nutzlosen, sehr belastenden «Therapie» behandelt

In Experimenten zeigten US-Forscher 2012, dass es Labormäusen mit einer Rett-ähnlichen Erkrankung besser ging, wenn sie eine Stammzell-Transplantation erhielten. «Mehrere Kinder mussten wohl sterben, weil die verzweifelten Eltern einer Stammzell-Transplantation zugestimmt hatten – aufgrund eines in der Zeitschrift ‹Nature› publizierten Experiments, das Wissenschaftler in drei anderen Laboren später nie reproduzieren konnten», gibt Dirnagl zu bedenken. Warum das nicht gelang, ist bis heute nicht geklärt.

Dirnagls nächstes Beispiel ist die Schlaganfall-Forschung, sein Fachgebiet. Dort seien über Jahre Millionen von Labortieren getötet worden, in der Hoffnung, Medikamente zu finden, sagt der Neurowissenschaftler. «Da sind Milliarden von Euros reingeflossen, Tausende von Wissenschaftlern arbeiten auf dem Gebiet, und in Tiermodellen haben sie hunderte von scheinbar vielversprechenden Substanzen gefunden, die in hunderten von Studien an Menschen getestet wurden. Doch keines davon wurde als Medikament zugelassen.» Die Versuchspersonen hatten also keinen Nutzen, trugen aber möglicherweise Schäden davon. Ähnliches sei in der Alzheimer-Forschung geschehen. «So etwas ist unethisch», sagt Dirnagl. 

Einig sind sich Dirnagl, Fazilaty und Janich, dass es bei der Krebsforschung «Verbesserungspotenzial» gebe – bei den Wissenschaftszeitschriften, im Wissenschaftsbetrieb und bei den Forschern selbst. «Ein Teil des Problems ist die Konkurrenz untereinander», sagt Dirnagl, «ein anderer Teil sind mangelnde Qualitätsstandards.»

Das Gesagte gilt im Prinzip auch für die Sozialwissenschaften. «Die Ergebnisse fielen verblüffend unterschiedlich aus, mit wilden Variationen sowohl bei den Analysemethoden als auch bei den Schlussfolgerungen – bis hin zu diametral entgegengesetzten Antworten», heisst es 2021 in einem Artikel im Magazin «Horizonte», der verschiedene sozialwissenschaftliche Studien zur Reproduzierbarkeit beschreibt. In einem anderen, dort erwähnten Experiment kamen verschiedene Forschergruppen, die exakt die gleichen Daten auswerteten, zu ganz unterschiedlichen Schlüssen: «27% bekräftigten die Hypothese, 20% widerlegten sie, und bei den übrigen resultierten statistisch nicht signifikante Werte.»

Die Psychologie scheint dem in nichts nachzustehen: Das «Reproduzierbarkeits-Projekt: Psychologie» etwa fand nur bei 36 Prozent der replizierten Studien signifikante Ergebnisse. In den Originalarbeiten war dies bei 97 Prozent der Fall gewesen. 

Die Daten «massieren», bis sie zur eigenen Hypothese passen

Wer heutzutage eine Professur anstrebt, der wird danach bewertet, wie viele Forschungsgelder er oder sie eingeworben hat und wie viele Studien publiziert, die möglichst oft wieder von anderen zitiert werden sollen. Entsprechend hoch ist der Druck auf die Forschenden, wissenschaftliche Arbeiten schnell in hochrangigen Zeitschriften zu veröffentlichen und die Konkurrenz abzuhängen. Beides erhöht die Chance auf Forschungsgelder. 

Das verleite dazu, für die Publikation selektiv vor allem die Datensätze auszuwählen, welche die eigene Hypothese stützen, oder dass die Daten so lange «massiert» würden, bis sie zur Hypothese passen, schrieb Glenn Begley, ein ehemaliger Kadermitarbeiter der Biotechfirma Amgen, schon 2012. 

«Das Entscheidende ist das Belohnungssystem: Die Karriere wird über solche Studien gemacht. Dass sie nicht reproduzierbar sind, stört dabei nicht. Hauptsache, man kann damit Professor werden», kritisiert Dirnagl. 

Viele Kollegen würden irrigerweise glauben, dass eine Arbeit, die in «Nature» veröffentlicht werde, besser sei als eine in der frei zugänglichen Zeitschrift «PLoS One», sagt er. «Aber ich kann Ihnen sehr viele Beispiele geben, wo es umgekehrt war.»

«Das ist ein bisschen ein ungesundes System in der Wissenschaft»

Die Kritik richtet sich auch an die Wissenschaftszeitschriften. «Es geht darum, eine ‹perfekte Story› zu publizieren. Das kann dazu führen, dass Forschende das aus ihren Experimenten herauspicken, was zu dieser ‹Story› passt. Da zeigt man dann lieber die Daten, die die eigene Hypothese stützen, anstatt die Nullergebnisse. Das ‹Finetuning› an vielen Stellen beeinflusst das Ergebnis», sagt Janich. «Das ist ein bisschen ein ungesundes System in der Wissenschaft.»

«Solide Wissenschaft braucht Kulturwandel» titelte 2019 das Magazin «Horizonte», das vom Schweizerischen Nationalfonds (SNF) zusammen mit den Akademien der Wissenschaften Schweiz herausgegeben wird*. Allein letztes Jahr finanzierte der SNF mit 876 Millionen Franken neue Forschungsprojekte. Er möchte nun den Druck auf die Forschenden reduzieren, möglichst viel publizieren zu müssen. Ab Herbst 2022 können sie in ihrem Lebenslauf, den sie mit einem Fördergesuch beim SNF einreichen, auch wichtige Forschungstätigkeiten anführen, die nicht zu wissenschaftlichen Publikationen geführt haben.

«Der SNF fördert eine offene Wissenschaft. Seit einigen Jahren verlangen wir von Gesuchstellenden vorab einen Data Management Plan, wie sie die bei den Studien erhobenen Daten später öffentlich machen und anderen Forschenden zur Verfügung stellen», sagt Florian Fisch vom SNF. Das sei ein gewisser Aufwand. «Anfangs brauchte es viel Überzeugungsarbeit. Aber inzwischen ist das weitgehend akzeptiert», sagt Fisch. Wie weit sich die Forschenden an ihren Data Management Plan halten, habe der SNF jedoch nicht untersucht.

Immerhin: Das Problem ist erkannt, auch dank der Signalwirkung von Studien wie derjenigen des Errington Teams. «Aber das ist ein sehr dickes Brett, das wir da anbohren», sagt Ulrich Dirnagl. «Diese Mechanismen haben sich über Jahre eingeschliffen.»

Mögliche Lösungsansätze

Mögliche Lösungsansätze sind: 

  • Alle geplanten Experimente vorab registrieren, damit jedermann nachprüfen kann, was davon veröffentlicht wurde und was in der Schublade verschwand. 
  • Routinemässig die eigenen Befunde nochmals selbst prüfen, zum Beispiel mit anderen Zellen.
  • Genau angeben, was wie wann gemacht und wie es ausgewertet wurde, so dass andere das Experiment wiederholen können. 
  • Alle Daten offen legen. Auch die negativen oder Null-Ergebnisse publizieren.
  • Das Arbeiten in Konsortien fördern, anstatt das Einzelkämpfertum zu belohnen. 
  • An den Universitäten die Forschenden weniger unter Druck setzen. 
  • Gutachter von Fachjournalen sollten mehr Augenmerk auf die Qualität von Studien legen anstatt auf das Resultat. 
  • Forschungsgelder für Reproduzierbarkeits-Studien vergeben. 
  • Bei besonders spektakulären Befunden besonders skeptisch sein. 
  • Resultate publizieren, auch wenn es «nur» die Bestätigung von früheren Befunden ist. 

*In einer früheren Version wurde das Magazin «Horizonte» dem SNF zugeschrieben. Die «Horizonte»-Redaktion legt Wert auf die Feststellung, dass sie unabhängig ist von den Herausgebern.

Lesen Sie demnächst Teil 3: Selbst das Geschlecht des Versuchsleiters kann Tierexperimente beeinflussen.


Themenbezogene Interessenbindung der Autorin/des Autors

Keine
_____________________
Meinungen in Beiträgen auf Infosperber entsprechen jeweils den persönlichen Einschätzungen der Autorin oder des Autors.

Zum Infosperber-Dossier:

Unstatistik_Mit_Hintergr

Fragwürdige Statistiken aus Medien

Mit Statistiken und Grafiken sollten Medien besonders sorgfältig umgehen. Beispiele von Unstatistiken.

Tamiflu

Umstrittenes Tamiflu gegen Influenza

Roche macht mit Tamiflu und GMK mit Relenza riesige Umsätze. Ob sie mehr nützen als schaden, bleibt offen.

War dieser Artikel nützlich?
Ja:
Nein:


Infosperber gibt es nur dank unbezahlter Arbeit und Spenden.
Spenden kann man bei den Steuern in Abzug bringen.



Die Redaktion schliesst den Meinungsaustausch automatisch nach zehn Tagen oder hat ihn für diesen Artikel gar nicht ermöglicht.

3 Meinungen

  • am 23.05.2022 um 12:26 Uhr
    Permalink

    Danke, ein sehr guter Bericht. Was hier passiert ist Systemimanent und wird solange weiter geschehen wie das System sich nicht ändert. Alternative Therapieen welche Teilerfolge vorweisen können, werden oft kleingemacht, verboten, verleumdet oder verschwinden in einer Schublade. Ein Beispiel sind die Bakteriophagen gegen antibiotikaresistente Keime. Politik, Wirtschaft, Zulassungsbehörden, Pharma und Medien gehören Gewaltengetrennt bevor Kumpanei, Korruption und die Macht von Globalplayers uns um Kopf und Kragen bringen. Lobbyisten haben im Bundeshaus nichts verloren und haben kein Recht Aerzte mit viel Fronterfahrung zu bevormunden, damit sich die Kassen ihrer Auftraggeber füllen.

    0
  • am 23.05.2022 um 17:51 Uhr
    Permalink

    An einer Konferenz am Inselspital hat ein Vertreter einer Herstellerfirma gesagt, dass Krankheitsbilder so spezifsch sein können, dass generell reproduzierbare Tests eine Zulassung im Nachhinein in Frage stellen könnten, da der spezifische Erfolg nur in einem eingeschränkten Umfeld erreicht werden könnte. Ich glaube es handelte sich dabei um Glivec, dessen therapeutische Relevanz kaum bezweifelt wird.

    Ich pflegte zu sagen, dass Medizin keine Wissenschaft sei, sondern eher als «Kunst» («Art») betrachtet werden müsse, wo Gespür und richtige Zuordnung so wichtig sein können, wie das vermeintliche Zusammenwirken biologischer Vorgänge.

    Zugegebenermassen bin ich nur Ökonom, denke aber, dass diese Aspekte in der Medizin ihre Bedeutung haben. Die langjährige Zusammenarbeit bei der Zulassung neuer Medikamente zur Kassenpflichtigkeit hat mich gelehrt, bei gesundheitsrelevanten Aussagen vorsichtig zu sein.

    0
  • am 24.05.2022 um 15:15 Uhr
    Permalink

    Der Aussage von Peggy Janich, Geschäftsführerin der Stiftung Krebsforschung Schweiz, dass Experimente, auch wenn sie nicht reproduzierbar seien, aussagekräftig sein könnten, ist entschieden zu widersprechen.
    Man sucht in der Forschung ja nach allgemeingültigen Erkenntnissen. Wenn nun ein Experiment, selbst wenn es nach allen Regeln der Kunst korrekt ausgeführt wurde, nur einmal funktioniert, und nachher nicht mehr, dann sind auch die Erkenntnisse daraus nur für das eine Mal gültig, und nachher nicht mehr. Was aber will man mit Erkenntnissen anfangen, die nicht mehr gültig sind?

    0

Comments are closed.

Ihre Meinung

Lade Eingabefeld...

Die Schlagzeilen der täglich drei neusten Artikel erhalten Sie nach Wunsch täglich oder wöchentlich.

Vielen Dank, dass Sie unseren Newsletter abonnieren!

Der Bestätigungslink ist nicht mehr gültig.