4 powszechne uprzedzenia, które prowadzą do złej nauki. (They're likely not what you think.)

Istnieje często pomijana stronniczość w badaniach naukowych, która może utrwalić „złą naukę” na długi czas, a koncentruje się wokół „sposobu, w jaki badania są publikowane i wykorzystywane do wspierania przyszłej pracy”, Aaron Carroll, pisze w New York Times „The Upshot.”

Cheat sheet series: Evidence-based medicine 101

Carroll jest profesorem pediatrii w Indiana University School of Medicine i wybitnym felietonistą opieki zdrowotnej.

Cztery błędy w publikacji badań i ich konsekwencje

Według Carrolla, błędy, które wpływają na to, w jaki sposób badania są publikowane i rozpowszechniane, mogą być „jeszcze bardziej szkodliwe” niż powszechnie omawiane błędy, takie jak nieujawnione powiązania lub konflikty finansowe badacza.

Na przykład, Carroll przytacza ostatnie badanie, które zidentyfikowało cztery wspólne błędy w publikacji badań nad lekami przeciwdepresyjnymi. W badaniu, opublikowanym w Psychological Medicine, przeanalizowano 105 zarejestrowanych przez FDA badań nad lekami przeciwdepresyjnymi, aby ustalić, które próby zostały ostatecznie opublikowane w literaturze medycznej, a które pozostały ukryte przed opinią publiczną.

All told, the researchers identified four common biases that could influence whether a trial is ultimately published and how it’s spun.

1. Publication bias. Według Carrolla, tendencyjność publikacji wchodzi w grę, gdy wynik badania wpływa na decyzję o tym, czy je opublikować, czy nie. Przegląd badań wykazał, że połowa badań nad lekami przeciwdepresyjnymi została uznana przez FDA za „pozytywne”, a druga połowa za „negatywne”. Jednak tylko 48% badań negatywnych zostało opublikowanych, w porównaniu do 98% badań pozytywnych.
2. Outcome reporting bias. Autorzy wykryli również tendencyjność w raportowaniu wyników, która „odnosi się do opisywania tylko tych wyników w badaniu, które wydają się pozytywne, przy jednoczesnym pomijaniu tych, które wydają się negatywne” – pisze Carroll. Naukowcy donieśli, że w 10 z 25 „negatywnych” badań nad lekami przeciwdepresyjnymi, badacze przedstawili wyniki jako pozytywne, albo pomijając negatywne wyniki, albo wybierając pozytywny wynik drugorzędny, na którym mieli się skupić.
3. Spin bias. Spośród 15 pozostałych negatywnych artykułów, 11 wykorzystało spin, który, jak pisze Carroll, jest użyciem „języka, często w streszczeniu lub podsumowaniu badania, aby negatywne wyniki” lub wyniki nieistotne statystycznie wydawały się pozytywne. Carroll wyjaśnia, że ten spin może mieć znaczący wpływ i powołuje się na randomizowane badanie kontrolne, które wykazało, że klinicyści, którzy czytali streszczenia, w których nieistotne wyniki były spreparowane tak, aby wydawały się pozytywne, byli bardziej skłonni uważać, że leczenie było korzystne.
4. Stronniczość cytowań. Jak pisze Carroll, tendencyjność może utrzymywać się po publikacji, ponieważ im więcej badań jest cytowanych i omawianych, tym bardziej są one rozpowszechniane. Pozytywne badania były cytowane trzy razy częściej niż negatywne, więc te pozytywne wyniki są wzmacniane jeszcze bardziej, pisze Carroll.

Te uprzedzenia nie są unikalne dla badań nad lekami przeciwdepresyjnymi, pisze Carroll.

Według Carroll, systematyczne przeglądy badań z tendencyjnością badań „dostarczają empirycznych dowodów na to, że tendencyjność jest powszechna i obejmuje wiele dziedzin”, a te tendencyjności często malują bardziej pozytywny obraz wyników badań niż to, co faktycznie znaleziono, co może skutkować rozpowszechnianiem tendencyjnych badań.

Możliwe rozwiązanie: Wstępna rejestracja

Według Carrolla, wstępna rejestracja badań mogłaby pomóc badaczom kontrolować te uprzedzenia.

Wstępna rejestracja badań wymaga od autorów opisania badania, hipotezy, danych, które zostaną zebrane, oraz procesu analizy przed zebraniem jakichkolwiek danych do badania.

Gdy badanie jest ukończone, recenzenci porównują ukończone badanie z wersją wstępnie zarejestrowaną. Jeśli wersje są podobne, wyniki są publikowane – niezależnie od wyniku.

Jednakże Carroll zauważył, że wstępna rejestracja tylko „działa sporadycznie”. Badanie z 2011 roku dotyczące badań zarejestrowanych wstępnie wykazało, że aż połowa publikacji pomijała pierwotne wyniki po zakończeniu badania. Chociaż mogą istnieć uzasadnione powody tych korekt, Carroll twierdzi, że „zbyt często nie ma żadnych wyjaśnień.”

Co jeszcze można zrobić

Choć na wiele badań medycznych ma wpływ stronniczość badawcza, Carroll pisze, że nie powinniśmy „dyskontować wszystkich wyników prób medycznych.” Zamiast tego „musimy, bardziej niż kiedykolwiek, powielać badania, aby upewnić się, że są one solidne”, pisze.

Carroll uważa, że autorzy powinni być trzymani wobec bardziej „rygorystycznych standardów”, aby zgłaszać wyniki, które są dokładne i przejrzyste, niezależnie od tego, czy są one negatywne czy pozytywne. Wymaga to budowania akceptującej kultury: „Możemy świętować i podnosić negatywne wyniki, zarówno w naszych argumentach, jak i raportowaniu, tak samo jak te pozytywne.”

Niestety, łatwiej powiedzieć niż zrobić, ponieważ „te działania mogą sprawić, że nudniejsze wiadomości i bardziej umiarkowany entuzjazm”, wyjaśnia Carroll. „Ale mogą również prowadzić do bardziej dokładnej nauki” (Carroll, „The Upshot,” New York Times, 9/24).

Dowiedz się więcej o tym, dlaczego projekt badania ma znaczenie

Minęło trochę czasu od ostatniej lekcji statystyki? Może być trudno ocenić jakość badań, znaczenie danych lub wagę nowych odkryć, gdy nie zna się podstaw.

Pobierz nasze arkusze informacyjne, aby uzyskać szybkie, jednostronicowe odświeżenie niektórych podstawowych elementów medycyny opartej na dowodach.

• Praktyka oparta na dowodach naukowych (EBP)
• Badania obserwacyjne
• Randomizowane badania kontrolne (RCT)
• Przeglądy systematyczne
• Meta-analizy
• Znaczenie statystyczne

Pobierz wszystkie 6 arkuszy informacyjnych

.