Die 4 häufigsten Vorurteile, die zu schlechter Wissenschaft führen. (Sie sind wahrscheinlich nicht das, was Sie denken.)

Es gibt eine oft übersehene Voreingenommenheit in der wissenschaftlichen Forschung, die „schlechte Wissenschaft“ für eine lange Zeit verewigen kann, und sie dreht sich darum, „wie Forschung veröffentlicht und bei der Unterstützung zukünftiger Arbeit verwendet wird“, schreibt Aaron Carroll in „The Upshot“ der New York Times.

Spickzettel-Serie: Evidenzbasierte Medizin 101

Carroll ist Professor für Pädiatrie an der Indiana University School of Medicine und ein bekannter Kolumnist im Gesundheitswesen.

Die vier Voreingenommenheiten bei der Veröffentlichung von Forschungsergebnissen und ihre Folgen

Nach Ansicht von Carroll können Voreingenommenheiten, die die Art und Weise beeinflussen, wie Forschungsergebnisse veröffentlicht und weitergegeben werden, „sogar noch schädlicher“ sein als allgemein diskutierte Voreingenommenheiten wie die nicht offengelegten Verbindungen oder finanziellen Konflikte eines Forschers.

Zum Beispiel zitiert Carroll eine kürzlich durchgeführte Studie, in der vier häufige Voreingenommenheiten bei der Veröffentlichung von Forschungsergebnissen über Antidepressiva festgestellt wurden. In der Studie, die in der Zeitschrift Psychological Medicine veröffentlicht wurde, wurden 105 von der FDA zugelassene Studien über Antidepressiva analysiert, um festzustellen, welche Studien schließlich in der medizinischen Fachliteratur veröffentlicht wurden und welche der Öffentlichkeit verborgen blieben.

Insgesamt stellten die Forscher vier häufige Verzerrungen fest, die Einfluss darauf haben könnten, ob eine Studie letztendlich veröffentlicht wird und wie sie dargestellt wird.

1. Publikationsverzerrung. Laut Carroll kommt der Publikationsbias ins Spiel, wenn das Ergebnis einer Studie die Entscheidung über die Veröffentlichung beeinflusst oder nicht. Die Forschungsstudie ergab, dass die Hälfte der Antidepressiva-Studien von der FDA als „positiv“ eingestuft wurde, die andere Hälfte als „negativ“. Allerdings wurden nur 48 % der negativen Studien veröffentlicht, im Vergleich zu 98 % der positiven Studien.
2. Verzerrungen bei der Ergebnisberichterstattung. Die Autoren entdeckten auch eine Verzerrung in der Ergebnisberichterstattung, die sich darauf bezieht, dass nur die Ergebnisse einer Studie veröffentlicht werden, die positiv erscheinen, während diejenigen, die negativ erscheinen, nicht berichtet werden“, schreibt Carroll. Die Forscher berichteten, dass in 10 der 25 „negativen“ Antidepressiva-Studien die Forscher die Ergebnisse als positiv darstellten, indem sie entweder die negativen Ergebnisse wegließen oder ein positives sekundäres Ergebnis wählten, auf das sie sich konzentrierten.
3. Voreingenommenheit. Von den 15 verbleibenden negativen Artikeln wurden 11 durch „Spin“ beeinflusst, was laut Carroll die Verwendung von „Sprache, oft in der Zusammenfassung der Studie, um negative Ergebnisse“ oder statistisch unbedeutende Ergebnisse positiv erscheinen zu lassen, bedeutet. Carroll erklärt, dass diese Verdrehung erhebliche Auswirkungen haben kann, und zitiert eine randomisierte Kontrollstudie, bei der festgestellt wurde, dass Kliniker, die Zusammenfassungen lasen, in denen nicht signifikante Ergebnisse positiv dargestellt wurden, eher der Meinung waren, dass die Behandlung von Vorteil war.
4. Voreingenommenheit beim Zitieren. Die Verzerrung kann sich nach der Veröffentlichung fortsetzen, schreibt Carroll, denn je häufiger eine Studie zitiert und diskutiert wird, desto mehr wird sie verbreitet. Positive Studien wurden dreimal häufiger zitiert als negative Studien, so dass diese positiven Ergebnisse noch mehr verstärkt werden, schreibt Carroll.

Diese Verzerrungen sind nicht nur in der Antidepressiva-Forschung zu beobachten, schreibt Carroll.

Die systematischen Übersichten über Studien mit Verzerrungen in der Forschung liefern laut Carroll „empirische Beweise dafür, dass die Verzerrungen weit verbreitet sind und viele Bereiche abdecken“, und diese Verzerrungen zeichnen oft ein positiveres Bild der Studienergebnisse als das, was tatsächlich gefunden wurde, was zur Verbreitung verzerrter Forschung führen kann.

Eine mögliche Lösung: Vorregistrierung

Nach Ansicht von Carroll könnte die Vorregistrierung von Studien den Forschern helfen, diese Verzerrungen zu kontrollieren.

Die Vorregistrierung von Studien erfordert, dass die Autoren die Studie, die Hypothese, die zu erhebenden Daten und den Analyseprozess beschreiben, bevor irgendwelche Daten für die Studie erhoben werden.

Wenn die Studie abgeschlossen ist, vergleichen Gutachter die abgeschlossene Studie mit der vorregistrierten Version. Wenn die Versionen ähnlich sind, werden die Ergebnisse veröffentlicht – ungeachtet des Ergebnisses.

Carroll merkte jedoch an, dass die Vorregistrierung nur „sporadisch funktioniert“. Eine Studie aus dem Jahr 2011 über vorregistrierte Forschung ergab, dass in bis zur Hälfte der Veröffentlichungen primäre Ergebnisse nach Abschluss der Studie ausgelassen wurden. Auch wenn es stichhaltige Gründe für die Anpassungen geben könnte, sagt Carroll, dass es „zu oft keine Erklärungen gibt“.

Was sonst noch getan werden kann

Während viele medizinische Studien durch Forschungsvoreingenommenheit beeinflusst werden, schreibt Carroll, dass wir „nicht alle Ergebnisse medizinischer Studien außer Acht lassen sollten“. Stattdessen „müssen wir mehr denn je die Forschung reproduzieren, um sicherzustellen, dass sie solide ist“, schreibt er.

Carroll ist der Ansicht, dass die Autoren „strengere Maßstäbe“ anlegen sollten, um genaue und transparente Ergebnisse zu melden, unabhängig davon, ob sie negativ oder positiv sind. Dazu muss eine Kultur der Akzeptanz geschaffen werden: „Wir können negative Ergebnisse feiern und hervorheben, sowohl in unseren Argumenten als auch in der Berichterstattung, genauso wie wir es mit positiven Ergebnissen tun“

Das ist leider leichter gesagt als getan, denn „diese Maßnahmen könnten zu langweiligeren Nachrichten und gedämpfterer Begeisterung führen“, erklärt Carroll. „Aber sie könnten auch zu einer genaueren Wissenschaft führen“ (Carroll, „The Upshot“, New York Times, 9/24).

Erfahren Sie mehr darüber, warum das Studiendesign wichtig ist

Ist Ihr letzter Statistikkurs schon eine Weile her? Es kann schwierig sein, die Qualität von Studien, die Bedeutung von Daten oder die Wichtigkeit neuer Erkenntnisse zu beurteilen, wenn man die Grundlagen nicht kennt.

Laden Sie unsere Spickzettel herunter, um einige der grundlegenden Komponenten der evidenzbasierten Medizin auf einer Seite schnell aufzufrischen.

• Evidenzbasierte Praxis (EBP)
• Beobachtungsstudien
• Randomisierte Kontrollstudien (RCTs)
• Systematische Übersichten
• Meta-Analysen
• Statistische Signifikanz

Alle 6 Spickzettel