I 4 pregiudizi comuni che portano alla cattiva scienza. (

C’è un pregiudizio spesso trascurato nella ricerca scientifica che può perpetuare la “cattiva scienza” per molto tempo a venire, e si concentra su “come la ricerca viene pubblicata e utilizzata per sostenere il lavoro futuro”, Aaron Carroll, scrive nel New York Times “The Upshot.”

Serie “Cheat sheet”: Evidence-based medicine 101

Carroll è un professore di pediatria presso l’Indiana University School of Medicine e un importante editorialista di assistenza sanitaria.

I quattro pregiudizi di pubblicazione della ricerca e le loro conseguenze

Secondo Carroll, i pregiudizi che influenzano il modo in cui la ricerca viene pubblicata e diffusa possono essere “ancora più perniciosi” dei pregiudizi comunemente discussi come i legami non dichiarati di un ricercatore o i conflitti finanziari.

Per esempio, Carroll cita un recente studio che ha identificato quattro pregiudizi di pubblicazione comuni nella ricerca sugli antidepressivi. Lo studio, pubblicato su Psychological Medicine, ha analizzato 105 studi di antidepressivi registrati dalla FDA per determinare quali prove sono state pubblicate nella letteratura medica e quali sono rimaste nascoste al pubblico.

Tutto sommato, i ricercatori hanno identificato quattro pregiudizi comuni che potrebbero influenzare se una prova è infine pubblicato e come è spun.

1. Bias di pubblicazione. Secondo Carroll, il bias di pubblicazione entra in gioco quando il risultato di uno studio influenza la decisione di pubblicare o meno. La revisione della ricerca ha trovato che la metà degli studi sugli antidepressivi sono stati considerati “positivi” dalla FDA, e l’altra metà erano “negativi”. Tuttavia, solo il 48% degli studi negativi sono stati pubblicati, in confronto al 98% degli studi positivi.
2. Outcome reporting bias. Gli autori hanno anche rilevato l’outcome reporting bias, che “si riferisce a scrivere solo i risultati in uno studio che sembrano positivi, mentre non riportano quelli che sembrano negativi”, scrive Carroll. I ricercatori hanno riferito che in 10 dei 25 studi antidepressivi “negativi”, i ricercatori hanno riportato i risultati come positivi omettendo i risultati negativi o scegliendo un risultato secondario positivo su cui concentrarsi.
3. Spin bias. Dei 15 articoli negativi rimanenti, 11 hanno usato lo spin, che Carroll scrive essere l’uso di “un linguaggio, spesso nell’abstract o nel riassunto dello studio, per far apparire positivi i risultati negativi” o statisticamente insignificanti. Carroll spiega che questo spin può avere un impatto significativo e cita uno studio di controllo randomizzato che ha scoperto che i medici che hanno letto gli abstract in cui i risultati non significativi sono stati spin per apparire positivi erano più propensi a pensare che il trattamento fosse benefico.
4. Bias di citazione. La distorsione può continuare dopo la pubblicazione, scrive Carroll, poiché più uno studio è citato e discusso, più viene fatto circolare. Gli studi positivi sono stati citati tre volte più degli studi negativi, quindi questi risultati positivi vengono amplificati ancora di più, scrive Carroll.

Queste distorsioni non sono uniche alla ricerca antidepressiva, scrive Carroll.

Secondo Carroll, le revisioni sistematiche degli studi con pregiudizi di ricerca “forniscono la prova empirica che i pregiudizi sono diffusi e coprono molti domini”, e questi pregiudizi spesso dipingono un quadro più positivo dei risultati degli studi rispetto a ciò che è stato effettivamente trovato, che può portare alla diffusione della ricerca di parte.

Una possibile soluzione: Preregistrazione

Secondo Carroll, la preregistrazione dello studio potrebbe aiutare i ricercatori a controllare questi pregiudizi.

La preregistrazione dello studio richiede agli autori di descrivere lo studio, l’ipotesi, i dati che saranno raccolti e il processo di analisi prima che qualsiasi dato sia raccolto per lo studio.

Quando lo studio è completo, i revisori confrontano lo studio completato con la versione preregistrata. Se le versioni sono simili, i risultati vengono pubblicati, indipendentemente dal risultato.

Tuttavia, Carroll ha notato che la preregistrazione funziona solo “sporadicamente”. Uno studio del 2011 sulla ricerca preregistrata ha scoperto che fino alla metà delle pubblicazioni ha omesso i risultati primari dopo che lo studio era stato completato. Mentre ci potrebbero essere ragioni valide per gli aggiustamenti, Carroll dice che “troppo spesso, non ci sono spiegazioni.”

Che altro si può fare

Mentre molti studi medici sono influenzati da bias di ricerca, Carroll scrive che non dovremmo “scontare tutti i risultati degli studi medici”. Invece, “abbiamo bisogno, più che mai, di riprodurre la ricerca per assicurarci che sia robusta”, scrive.

Carroll ritiene che gli autori dovrebbero essere tenuti a standard più “rigorosi” per riportare risultati che siano accurati e trasparenti, indipendentemente dal fatto che siano negativi o positivi. Fare ciò richiede la costruzione di una cultura dell’accettazione: “

Purtroppo, questo è più facile a dirsi che a farsi, perché “queste azioni potrebbero rendere le notizie più noiose e l’entusiasmo più moderato”, spiega Carroll. “Ma potrebbero anche portare ad una scienza più accurata” (Carroll, “The Upshot,” New York Times, 9/24).

Per saperne di più sul perché il disegno dello studio è importante

È passato un po’ di tempo dalla tua ultima lezione di statistica? Può essere difficile giudicare la qualità degli studi, il significato dei dati o l’importanza delle nuove scoperte quando non si conoscono le basi.

Scaricate i nostri cheat sheets per avere un rapido aggiornamento di una pagina su alcune delle componenti fondamentali della medicina basata sull’evidenza.

• Pratica basata sull’evidenza (EBP)
• Studi osservazionali
• Studi di controllo randomizzati (RCT)
• Revisioni sistematiche
• Meta-analisi
• Significato statistico

Prendi tutti e 6 i foglietti