4 yleistä ennakkoluuloa, jotka johtavat huonoon tieteeseen. (Ne eivät todennäköisesti ole sitä, mitä luulet.)

Tieteellisessä tutkimuksessa on usein unohdettu ennakkoluulo, joka voi ylläpitää ”huonoa tiedettä” pitkään, ja se keskittyy siihen, ”miten tutkimus julkaistaan ja miten sitä käytetään tulevan työn tukemiseen”, kirjoittaa Aaron Carroll New York Timesin ”The Upshot” -lehdessä.

Huijaussarja: Näyttöön perustuva lääketiede 101

Carroll on Indianan yliopiston lääketieteellisen tiedekunnan lastenlääketieteen professori ja tunnettu terveydenhuollon kolumnisti.

Neljä tutkimuksen julkaisuvääristymää ja niiden seuraukset

Carrollin mukaan vääristymät, jotka vaikuttavat siihen, miten tutkimus julkaistaan ja miten siitä puhutaan, voivat olla ”jopa haitallisempia” kuin yleisesti käsitellyt vääristymät, kuten tutkijan julkistamattomat sidonnaisuudet tai taloudelliset ristiriidat.

Carroll siteeraa esimerkiksi hiljattain tehtyä tutkimusta, jossa yksilöitiin neljä tavallista julkaisuvääristymää masennuslääkkeitä koskevassa tutkimuksessa. Psychological Medicine -lehdessä julkaistussa tutkimuksessa analysoitiin 105 FDA:n rekisteröimää masennuslääkkeitä koskevaa tutkimusta sen selvittämiseksi, mitkä tutkimukset lopulta julkaistiin lääketieteellisessä kirjallisuudessa ja mitkä jäivät yleisöltä piiloon.

Kaiken kaikkiaan tutkijat tunnistivat neljä yleistä ennakkoluuloa, jotka voivat vaikuttaa siihen, julkaistaanko tutkimus lopulta ja miten siitä kerrotaan.

1. Publication bias. Carrollin mukaan julkaisuvinouma tulee kyseeseen, kun tutkimuksen tulos vaikuttaa päätökseen siitä, julkaistaanko tutkimus vai ei. Tutkimuskatsauksessa todettiin, että puolet masennuslääketutkimuksista oli FDA:n mielestä ”positiivisia” ja toinen puoli ”negatiivisia”. Kuitenkin vain 48 prosenttia negatiivisista tutkimuksista julkaistiin, kun taas positiivisista tutkimuksista 98 prosenttia.
2. Outcome reporting bias. Kirjoittajat havaitsivat myös tulosraportoinnin harhaa, jolla ”tarkoitetaan sitä, että tutkimuksessa kirjoitetaan vain positiivisilta vaikuttavista tuloksista ja jätetään raportoimatta negatiivisilta vaikuttavista tuloksista”, Carroll kirjoittaa. Tutkijat raportoivat, että 25:stä ”negatiivisesta” masennuslääketutkimuksesta 10:ssä tutkijat raportoivat tulokset positiivisina joko jättämällä negatiiviset tulokset pois tai valitsemalla positiivisen toissijaisen tuloksen, johon keskittyä.
3. Spin bias. Jäljelle jääneistä 15:stä negatiivisesta artikkelista 11:ssä käytettiin spin-painotusta, joka Carrollin mukaan tarkoittaa ”kielenkäyttöä, usein abstraktissa tai tutkimuksen tiivistelmässä, jotta negatiiviset tulokset” tai tilastollisesti merkityksettömät tulokset saataisiin näyttämään positiivisilta. Carroll selittää, että tällä pyörittelyllä voi olla merkittävä vaikutus, ja mainitsee satunnaistetun kontrollitutkimuksen, jossa havaittiin, että lääkärit, jotka lukivat tiivistelmiä, joissa merkityksettömät tulokset oli pyöritelty positiivisiksi, pitivät hoitoa todennäköisemmin hyödyllisenä.
4. Citation bias. Harha voi jatkua julkaisemisen jälkeen, Carroll kirjoittaa, sillä mitä enemmän tutkimusta siteerataan ja siitä keskustellaan, sitä enemmän sitä kierrätetään. Positiivisia tutkimuksia siteerattiin kolme kertaa enemmän kuin negatiivisia tutkimuksia, joten nämä positiiviset tulokset vahvistuvat entisestään, Carroll kirjoittaa.

Nämä ennakkoluulot eivät ole ainutlaatuisia masennuslääketutkimuksissa, Carroll kirjoittaa.

Carrollin mukaan systemaattiset katsaukset tutkimuksista, joissa on tutkimuksellisia ennakkoluuloja, ”antavat empiiristä näyttöä siitä, että ennakkoluulot ovat laajalle levinneitä ja kattavat monia aloja”, ja nämä ennakkoluulot piirtävät usein myönteisemmän kuvan tutkimustuloksista kuin mitä todellisuudessa havaittiin, mikä voi johtaa puolueellisen tutkimuksen levittämiseen.

Mahdollinen ratkaisu: Carrollin mukaan tutkimusten esirekisteröinti voisi auttaa tutkijoita hallitsemaan näitä ennakkoluuloja.

Tutkimusten esirekisteröinti edellyttää, että kirjoittajat kuvaavat tutkimuksen, hypoteesin, kerättävän aineiston ja analyysiprosessin ennen kuin mitään aineistoa kerätään tutkimusta varten.

Kun tutkimus on valmis, arvioijat vertaavat valmistunutta tutkimusta esirekisteröityyn versioon. Jos versiot ovat samanlaisia, tulokset julkaistaan – lopputuloksesta riippumatta.

Carroll totesi kuitenkin, että esirekisteröinti ”toimii vain satunnaisesti”. Vuonna 2011 tehdyssä esirekisteröityjä tutkimuksia koskevassa tutkimuksessa havaittiin, että jopa puolet julkaisuista jätti ensisijaiset tulokset pois tutkimuksen päätyttyä. Vaikka oikaisuille voi olla päteviä syitä, Carroll sanoo, että ”liian usein selityksiä ei ole.”

Mitä muuta voidaan tehdä

Kun moniin lääketieteellisiin tutkimuksiin vaikuttaa tutkimuksellinen puolueellisuus, Carroll kirjoittaa, että meidän ei pitäisi ”jättää huomiotta kaikkia lääketieteellisten tutkimusten tuloksia”. Sen sijaan ”meidän on enemmän kuin koskaan toistettava tutkimuksia varmistaaksemme, että ne ovat vankkoja”, hän kirjoittaa.

Carroll uskoo, että kirjoittajia olisi pidettävä kiinni ”tiukemmista standardeista”, jotta he raportoisivat tarkat ja läpinäkyvät tulokset riippumatta siitä, ovatko ne negatiivisia vai positiivisia. Tämä edellyttää hyväksyvän kulttuurin rakentamista: ”Voimme juhlia ja kohottaa negatiivisia tuloksia sekä argumenteissamme että raportoinnissamme, samoin kuin positiivisia tuloksia.”

Tämä on valitettavasti helpommin sanottu kuin tehty, sillä ”nämä toimet saattavat johtaa tylsempiin uutisiin ja maltillisempaan innostukseen”, Carroll selittää. ”Mutta ne saattavat myös johtaa tarkempaan tieteeseen” (Carroll, ”The Upshot”, New York Times, 24.9.).

Learn more about why study design matters

Onko edellisestä tilastotieteen tunnista jo aikaa? Voi olla vaikeaa arvioida tutkimusten laatua, tietojen merkittävyyttä tai uusien havaintojen merkitystä, kun ei tunne perusasioita.

Lataa huijauslomakkeemme, jotta saat nopean, yhden sivun mittaisen kertauksen joistakin näyttöön perustuvan lääketieteen peruskomponenteista.

• Näyttöön perustuva käytäntö (EBP)
• Havainnointitutkimukset
• Randomisoidut kontrollitutkimukset (RCT:t)
• Systemaattiset katsaukset
• Meta-analyysit
• Statistinen merkitsevyys

Hanki kaikki 6 Huijauslehtistä