De 4 almindelige fordomme, der fører til dårlig videnskab. (De'er sandsynligvis ikke, hvad du tror.)

Der er en ofte overset bias i videnskabelig forskning, som kan fastholde “dårlig videnskab” i lang tid fremover, og den er centreret omkring “hvordan forskning offentliggøres og bruges til at støtte fremtidigt arbejde”, skriver Aaron Carroll i New York Times’ “The Upshot.”

Serien af snydeblade: Aaron Carroll er professor i pædiatri ved Indiana University School of Medicine og en fremtrædende klummeskribent på sundhedsområdet.

De fire skævheder i forskningspublikationerne og deres konsekvenser

Ved Carrolls mening kan skævheder, der påvirker, hvordan forskning offentliggøres og spindes, være “endnu mere skadelige” end almindeligt omtalte skævheder som en forskers hemmelige forbindelser eller økonomiske konflikter.

Carroll citerer for eksempel en nylig undersøgelse, der identificerede fire almindelige skævheder i publikationerne i forskning om antidepressiva. Undersøgelsen, der blev offentliggjort i Psychological Medicine, analyserede 105 FDA-registrerede undersøgelser af antidepressiva for at fastslå, hvilke forsøg der i sidste ende blev offentliggjort i den medicinske litteratur, og hvilke der forblev skjult for offentligheden.

I alt identificerede forskerne fire almindelige skævheder, der kan påvirke, om et forsøg i sidste ende bliver offentliggjort, og hvordan det bliver spundet.

1. Publikationsskævheder. Ifølge Carroll kommer publikationsbias i spil, når resultatet af en undersøgelse påvirker beslutningen om, hvorvidt den skal offentliggøres eller ej. Forskningsgennemgangen viste, at halvdelen af de antidepressive undersøgelser blev betragtet som “positive” af FDA, og den anden halvdel var “negative”. Imidlertid blev kun 48 % af de negative undersøgelser offentliggjort, sammenlignet med 98 % af de positive undersøgelser.
2. Outcome reporting bias. Forfatterne opdagede også resultatrapporteringsbias, som “henviser til, at man kun skriver om de resultater i et forsøg, der ser positive ud, mens man undlader at rapportere om de resultater, der ser negative ud”, skriver Carroll. Forskerne rapporterede, at i 10 af de 25 “negative” antidepressive undersøgelser rapporterede forskerne resultaterne som positive ved enten at udelade de negative resultater eller ved at vælge et positivt sekundært resultat at fokusere på.
3. Spin bias. Af de 15 resterende negative artikler anvendte 11 artikler spin, som Carroll skriver er brugen af “sprog, ofte i abstractet eller resuméet af undersøgelsen, for at få negative resultater” eller statistisk ubetydelige resultater til at fremstå positive. Carroll forklarer, at dette spin kan have en betydelig indvirkning og citerer et randomiseret kontrolforsøg, som viste, at klinikere, der læste abstracts, hvor ikke-signifikante resultater blev spundet for at fremstå positive, var mere tilbøjelige til at tro, at behandlingen var gavnlig.
4. Citation bias. Bias kan fortsætte efter offentliggørelsen, skriver Carroll, da jo mere en undersøgelse bliver citeret og diskuteret, jo mere cirkulerer den. Positive undersøgelser blev citeret tre gange mere end negative undersøgelser, så disse positive resultater bliver forstærket endnu mere, skriver Carroll.

Disse skævheder er ikke unikke for forskning i antidepressive midler, skriver Carroll.

Lige Carroll mener, at de systematiske oversigter over undersøgelser med forskningsbias “giver empirisk bevis for, at biaserne er udbredte og dækker mange områder”, og disse biaserne tegner ofte et mere positivt billede af undersøgelsesresultater, end hvad der rent faktisk blev fundet, hvilket kan resultere i udbredelse af biaset forskning.

En mulig løsning: Preregistrering

Ifølge Carroll kan preregistrering af undersøgelser hjælpe forskerne med at kontrollere disse skævheder.

Preregistrering af undersøgelser kræver, at forfatterne beskriver undersøgelsen, hypotesen, de data, der vil blive indsamlet, og analyseprocessen, før der indsamles data til undersøgelsen.

Når undersøgelsen er afsluttet, sammenligner bedømmere den færdige undersøgelse med den preregistrerede version. Hvis versionerne ligner hinanden, offentliggøres resultaterne – uanset resultatet.

Carroll bemærkede imidlertid, at forhåndsregistrering kun “fungerer sporadisk”. En undersøgelse fra 2011 om preregistreret forskning viste, at op til halvdelen af publikationerne udelod primære resultater, efter at undersøgelsen var afsluttet. Selv om der kan være gyldige grunde til justeringerne, siger Carroll, at “alt for ofte er der ingen forklaringer.”

Hvad kan man ellers gøre

Selv om mange medicinske undersøgelser er påvirket af forskningsbias, skriver Carroll, at vi ikke bør “udelukke alle resultater fra medicinske forsøg”. I stedet “har vi mere end nogensinde før brug for at reproducere forskning for at sikre, at den er robust”, skriver han.

Carroll mener, at forfattere bør holdes til mere “strenge standarder” for at rapportere resultater, der er nøjagtige og gennemsigtige, uanset om de er negative eller positive. For at gøre dette kræver det, at der opbygges en accepterende kultur: “Vi kan fejre og fremhæve negative resultater, både i vores argumenter og i rapporteringen, ligesom vi gør det med positive resultater.”

Det er desværre lettere sagt end gjort, da “disse handlinger kan give kedeligere nyheder og mere afdæmpet entusiasme”, forklarer Carroll. “Men de kan også føre til mere præcis videnskab” (Carroll, “The Upshot,” New York Times, 9/24).

Lær mere om, hvorfor undersøgelsesdesign er vigtigt

Er det længe siden, du sidst har været til statistik? Det kan være svært at bedømme undersøgelsernes kvalitet, dataenes betydning eller betydningen af nye resultater, når du ikke kender det grundlæggende.

Download vores snydeark for at få en hurtig genopfriskning på én side om nogle af de grundlæggende komponenter i evidensbaseret medicin.

• Evidensbaseret praksis (EBP)
• Observationelle undersøgelser
• Randomiserede kontrolforsøg (RCT’er)
• Systematiske oversigter
• Meta-analyser
• Statistisk signifikans

Hent alle 6 snydeark