De fyra vanliga fördomarna som leder till dålig vetenskap. (De är troligen inte vad du tror.)

Det finns en ofta förbisedd bias i vetenskaplig forskning som kan upprätthålla ”dålig vetenskap” under lång tid framöver, och den är centrerad kring ”hur forskning publiceras och används för att stödja framtida arbete”, skriver Aaron Carroll i New York Times ”The Upshot.”

Serien med fusklappar: Aaron Carroll är professor i pediatrik vid Indiana University School of Medicine och en framstående kolumnist inom hälso- och sjukvården.

De fyra fördomarna i forskningspublikationer och deras konsekvenser

Enligt Carroll kan fördomar som påverkar hur forskning publiceras och spunnas vara ”ännu mer fördärvliga” än de fördomar som diskuteras allmänt, som t.ex. en forskares hemliga band eller ekonomiska konflikter.

Carroll citerar till exempel en nyligen genomförd studie som identifierade fyra vanliga fördomar i publikationer i forskning om antidepressiva medel. I studien, som publicerades i Psychological Medicine, analyserades 105 FDA-registrerade studier av antidepressiva medel för att fastställa vilka försök som slutligen publicerades i den medicinska litteraturen och vilka som förblev dolda för allmänheten.

I sin helhet identifierade forskarna fyra vanliga fördomar som kan påverka om en studie slutligen publiceras och hur den spunnas.

1. Publiceringsfördomar. Enligt Carroll uppstår publikationsbias när resultatet av en studie påverkar beslutet om huruvida studien ska publiceras eller inte. Forskningsöversikten visade att hälften av studierna om antidepressiva läkemedel ansågs vara ”positiva” av FDA och den andra hälften var ”negativa”. Endast 48 procent av de negativa studierna publicerades dock, jämfört med 98 procent av de positiva studierna.
2. Resultatrapporteringsbias. Författarna upptäckte också resultatrapporteringsbias, vilket ”avser att endast skriva om de resultat i en studie som verkar positiva, medan man underlåter att rapportera de resultat som verkar negativa”, skriver Carroll. Forskarna rapporterade att i 10 av de 25 ”negativa” studierna om antidepressiva läkemedel rapporterade forskarna resultaten som positiva genom att antingen utelämna de negativa resultaten eller välja ett positivt sekundärt resultat att fokusera på.
3. Spin bias. Av de 15 återstående negativa artiklarna använde sig 11 av spin, vilket Carroll skriver är användningen av ”språkbruk, ofta i abstraktet eller sammanfattningen av studien, för att få negativa resultat”, eller statistiskt obetydliga resultat, att framstå som positiva. Carroll förklarar att detta spinn kan ha en betydande inverkan och citerar en randomiserad kontrollstudie som visade att kliniker som läste sammanfattningar där icke-signifikanta resultat spunnits för att framstå som positiva var mer benägna att tro att behandlingen var fördelaktig.
4. Citatbias. Bias kan fortsätta efter publiceringen, skriver Carroll, eftersom ju mer en studie citeras och diskuteras, desto mer cirkulerar den. Positiva studier citerades tre gånger mer än negativa studier, så dessa positiva resultat förstärks ännu mer, skriver Carroll.

Dessa bias är inte unika för antidepressiv forskning, skriver Carroll.

Enligt Carroll ger de systematiska genomgångarna av studier med forskningsbias ”empiriska bevis för att biaserna är utbredda och täcker många områden”, och dessa bias målar ofta upp en mer positiv bild av studieresultaten än vad man faktiskt fann, vilket kan resultera i spridning av vinklad forskning.

En möjlig lösning: Förregistrering

Enligt Carroll kan förregistrering av studier hjälpa forskare att kontrollera dessa fördomar.

Förregistrering av studier kräver att författarna beskriver studien, hypotesen, de data som kommer att samlas in och analysprocessen innan data samlas in för studien.

När studien är färdigställd jämför granskarna den färdiga studien med den förregistrerade versionen. Om versionerna är likartade publiceras resultaten – oavsett utfall.

Carroll påpekade dock att förregistrering endast ”fungerar sporadiskt”. En studie från 2011 om förregistrerad forskning visade att upp till hälften av publikationerna utelämnade primära resultat efter att studien var avslutad. Även om det kan finnas giltiga skäl till justeringarna säger Carroll att ”alltför ofta finns det inga förklaringar.”

Vad mer kan göras

Men även om många medicinska studier påverkas av forskningsbias skriver Carroll att vi inte bör ”bortse från alla resultat från medicinska prövningar”. I stället ”behöver vi mer än någonsin reproducera forskning för att se till att den är robust”, skriver han.

Carroll anser att författare bör hållas till mer ”rigorösa standarder” för att rapportera resultat som är korrekta och transparenta, oavsett om de är negativa eller positiva. För att göra detta krävs att man bygger upp en accepterande kultur: ”Vi kan fira och lyfta fram negativa resultat, både i våra argument och i vår rapportering, på samma sätt som vi gör med positiva resultat.”

Tyvärr är detta lättare sagt än gjort, eftersom ”dessa åtgärder kan leda till tråkigare nyheter och mer dämpad entusiasm”, förklarar Carroll. ”Men de kan också leda till mer korrekt vetenskap” (Carroll, ”The Upshot”, New York Times, 9/24).

Lär dig mer om varför studiedesign spelar roll

Var det länge sedan din senaste statistikkurs? Det kan vara svårt att bedöma studiernas kvalitet, uppgifternas betydelse eller betydelsen av nya rön när du inte kan grunderna.

Ladda ner våra fusklappar för att få en snabb uppfräschning på en sida om några av de grundläggande komponenterna i evidensbaserad medicin.

• Evidensbaserad praxis (EBP)
• Observationsstudier
• Randomiserade kontrollstudier (RCT)
• Systematiska granskningar
• Metaanalyser
• Statistisk signifikans

Hämta alla 6 fusklappar