4 nejčastější předsudky, které vedou ke špatné vědě. (Nejsou' pravděpodobně takové, jak si myslíte.)

Ve vědeckém výzkumu existuje často přehlížená předpojatost, která může ještě dlouho udržovat „špatnou vědu“ a která se soustřeďuje na to, „jak je výzkum publikován a používán při podpoře budoucí práce“, píše Aaron Carroll v článku „The Upshot“ v deníku New York Times.

Seriál o podvodech: Carroll je profesorem pediatrie na Indiana University School of Medicine a významným publicistou v oblasti zdravotnictví.

Čtyři předpojatosti při publikování výsledků výzkumu a jejich důsledky

Podle Carrolla mohou být předpojatosti, které ovlivňují způsob, jakým je výzkum publikován a zpracováván, „ještě zhoubnější“ než běžně diskutované předpojatosti, jako jsou nezveřejněné vazby výzkumníka nebo jeho finanční konflikty.

Carroll například cituje nedávnou studii, která identifikovala čtyři běžné předpojatosti při publikování výsledků výzkumu antidepresiv. Studie publikovaná v časopise Psychological Medicine analyzovala 105 studií antidepresiv registrovaných FDA s cílem zjistit, které studie byly nakonec publikovány v lékařské literatuře a které zůstaly veřejnosti skryty.

Výzkumníci zjistili čtyři běžné tendence, které mohou ovlivnit to, zda je studie nakonec publikována a jak se o ní píše.

1. Publikační tendence. Podle Carrolla vstupuje publikační zkreslení do hry tehdy, když výsledek studie ovlivňuje rozhodnutí, zda ji publikovat, či nikoli. Z přehledu výzkumu vyplynulo, že polovina studií o antidepresivech byla úřadem FDA považována za „pozitivní“ a druhá polovina za „negativní“. Nicméně pouze 48 % negativních studií bylo publikováno ve srovnání s 98 % pozitivních studií.
2. Outcome reporting bias. Autoři také zjistili zkreslení při vykazování výsledků, které „se týká zapisování pouze těch výsledků ve studii, které se jeví jako pozitivní, zatímco ty, které se jeví jako negativní, se neuvádějí,“ píše Carroll. Výzkumníci uvedli, že v 10 z 25 „negativních“ antidepresivních studií výzkumníci uváděli výsledky jako pozitivní, a to buď vynecháním negativních výsledků, nebo výběrem pozitivního sekundárního výsledku, na který se zaměřili.
3. Zkreslení výsledků. Z 15 zbývajících negativních článků jich 11 použilo spin, což je, jak píše Carroll, použití „jazyka, často v abstraktu nebo shrnutí studie, aby se negativní výsledky“ nebo statisticky nevýznamné výsledky jevily jako pozitivní. Carroll vysvětluje, že tento obrat může mít významný dopad, a cituje randomizovanou kontrolní studii, která zjistila, že lékaři, kteří četli abstrakty, v nichž byly nesignifikantní výsledky překrouceny tak, aby vypadaly pozitivně, si s větší pravděpodobností mysleli, že léčba je prospěšná.
4. Zkreslení citací. Zkreslení může pokračovat i po zveřejnění, píše Carroll, protože čím více je studie citována a diskutována, tím více je šířena. Pozitivní studie byly citovány třikrát častěji než studie negativní, takže tyto pozitivní výsledky se ještě více zesilují, píše Carroll.

Tato zkreslení nejsou ve výzkumu antidepresiv ojedinělá, píše Carroll.

Podle Carrolla systematické přehledy studií se zkreslenými výsledky výzkumu „poskytují empirický důkaz, že zkreslení jsou rozšířená a týkají se mnoha oblastí“ a tato zkreslení často vykreslují pozitivnější obraz výsledků studií, než jaký byl ve skutečnosti zjištěn, což může vést k šíření zkresleného výzkumu.

Možné řešení: Předregistrace

Podle Carrolla by předregistrace studie mohla výzkumným pracovníkům pomoci kontrolovat tato zkreslení.

Předregistrace studie vyžaduje, aby autoři popsali studii, hypotézu, údaje, které budou shromážděny, a proces analýzy předtím, než budou shromážděny jakékoli údaje pro studii.

Když je studie dokončena, recenzenti porovnají dokončenou studii s předregistrovanou verzí. Pokud jsou si verze podobné, výsledky se zveřejní – bez ohledu na výsledek.

Carroll však poznamenal, že předregistrace funguje jen „sporadicky“. Studie předregistrovaného výzkumu z roku 2011 zjistila, že až polovina publikací vynechala primární výsledky po dokončení studie. Ačkoli pro tyto úpravy mohou existovat oprávněné důvody, Carroll říká, že „příliš často neexistuje žádné vysvětlení“.

Co se dá ještě dělat

Ačkoli je mnoho lékařských studií ovlivněno zkreslením výzkumu, Carroll píše, že bychom neměli „shazovat všechny výsledky lékařských studií“. Místo toho „potřebujeme více než kdy jindy reprodukovat výzkum, abychom se ujistili, že je robustní,“ píše.

Carroll se domnívá, že autoři by měli dodržovat „přísnější standardy“, aby uváděli přesné a transparentní výsledky bez ohledu na to, zda jsou negativní nebo pozitivní. K tomu je zapotřebí vybudovat kulturu akceptace: „Negativní výsledky můžeme oslavovat a vyzdvihovat, a to jak v argumentaci, tak ve zpravodajství, stejně jako ty pozitivní.“

Naneštěstí se to snáze řekne, než udělá, protože „tyto kroky mohou způsobit nudnější zprávy a mírnější nadšení,“ vysvětluje Carroll. „Mohly by však také vést k přesnější vědě.“ (Carroll, „The Upshot“, New York Times, 24. 9.)

Přečtěte si více o tom, proč záleží na designu studie

Už je to nějaká doba od vaší poslední hodiny statistiky? Může být obtížné posoudit kvalitu studií, význam dat nebo důležitost nových zjištění, když neznáte základy.

Stáhněte si naše taháky a rychle si na jedné stránce osvěžte některé základní součásti medicíny založené na důkazech.

• Praxe založená na důkazech (EBP)
• Observační studie
• Randomizované kontrolní studie (RCT)
• Systematické přehledy
• Metaanalýzy
• Statistická významnost

Získejte všech 6 šikovných listů

.