A 4 gyakori elfogultság, amely rossz tudományhoz vezet. (Valószínűleg nem az, amire gondolsz.)

A tudományos kutatásban van egy gyakran figyelmen kívül hagyott elfogultság, amely hosszú időre állandósíthatja a “rossz tudományt”, és ez a “kutatás publikálásának és a jövőbeli munka támogatására való felhasználásának módja körül összpontosul” – írja Aaron Carroll, a New York Times “The Upshot” című számában.

Csekélylap sorozat: Carroll az Indiana University School of Medicine gyermekgyógyász professzora és ismert egészségügyi rovatvezető.

A négy kutatási publikációs torzítás és következményeik

Carroll szerint a kutatás publikálását és terjesztését befolyásoló torzítások “még károsabbak” lehetnek, mint az olyan általánosan tárgyalt torzítások, mint a kutató nem nyilvános kapcsolatai vagy pénzügyi konfliktusai.

Carroll például idéz egy nemrég készült tanulmányt, amely négy gyakori publikációs torzítást azonosított az antidepresszánsokkal kapcsolatos kutatásokban. A Psychological Medicine című szaklapban megjelent tanulmány 105, az FDA által regisztrált, antidepresszánsokkal kapcsolatos tanulmányt elemzett, hogy megállapítsa, mely vizsgálatok jelentek meg végül az orvosi szakirodalomban, és melyek maradtak rejtve a nyilvánosság előtt.

A kutatók összességében négy gyakori torzítást azonosítottak, amelyek befolyásolhatják, hogy egy vizsgálatot végül közzétesznek-e, és azt is, hogy azt hogyan forgatják.

1. Publikációs torzítás. Carroll szerint a publikációs torzítás akkor lép életbe, amikor egy tanulmány kimenetele befolyásolja a publikálásról szóló döntést. A kutatás áttekintése azt találta, hogy az antidepresszánsokkal kapcsolatos tanulmányok felét az FDA “pozitívnak”, a másik felét pedig “negatívnak” ítélte. A negatív tanulmányoknak azonban csak 48%-át publikálták, szemben a pozitív tanulmányok 98%-ával.
2. Outcome reporting bias. A szerzők eredményjelentési torzítást is észleltek, ami “arra utal, hogy egy vizsgálatban csak a pozitívnak tűnő eredményeket írják le, míg a negatívnak tűnő eredményeket nem közlik” – írja Carroll. A kutatók arról számoltak be, hogy a 25 “negatív” antidepresszáns vizsgálatból 10-ben a kutatók az eredményeket pozitívként jelentették, vagy úgy, hogy kihagyták a negatív eredményeket, vagy úgy, hogy egy pozitív másodlagos eredményt választottak, amelyre összpontosítottak.
3. Spin bias. A fennmaradó 15 negatív cikkből 11-ben alkalmaztak spin-t, ami Carroll szerint a “nyelvhasználat, gyakran az absztraktban vagy a tanulmány összefoglalójában, hogy a negatív eredményeket” vagy statisztikailag jelentéktelen eredményeket pozitívnak tüntessék fel. Carroll elmagyarázza, hogy ennek a pörgetésnek jelentős hatása lehet, és idéz egy randomizált kontrollvizsgálatot, amely szerint azok a klinikusok, akik olyan összefoglalókat olvastak, amelyekben a nem szignifikáns eredményeket pozitívnak tüntették fel, nagyobb valószínűséggel gondolták úgy, hogy a kezelés előnyös.
4. Citation bias. A torzítás a publikálás után is folytatódhat, írja Carroll, mivel minél többet idéznek és tárgyalnak egy tanulmányt, annál többet kering róla. A pozitív tanulmányokat háromszor annyian idézték, mint a negatív tanulmányokat, így ezek a pozitív eredmények még inkább felerősödnek, írja Carroll.

Ezek az elfogultságok nem egyedülállóak az antidepresszáns-kutatásban, írja Carroll.

Carroll szerint a kutatási elfogultságokat tartalmazó tanulmányok szisztematikus áttekintése “empirikus bizonyítékot szolgáltat arra, hogy az elfogultságok széles körben elterjedtek és számos területre kiterjednek”, és ezek az elfogultságok gyakran pozitívabb képet festenek a vizsgálati eredményekről, mint amit valójában találtak, ami az elfogult kutatások terjesztéséhez vezethet.

Egy lehetséges megoldás:

A tanulmányok előzetes regisztrációja Carroll szerint segíthet a kutatóknak ellenőrizni ezeket az elfogultságokat.

A tanulmányok előzetes regisztrációja megköveteli a szerzőktől, hogy leírják a tanulmányt, a hipotézist, a gyűjtött adatokat és az elemzési folyamatot, mielőtt bármilyen adatot gyűjtenének a tanulmányhoz.

Amikor a tanulmány elkészül, a bírálók összehasonlítják a kész tanulmányt az előzetesen regisztrált változattal. Ha a változatok hasonlóak, az eredményeket közzéteszik – függetlenül az eredménytől.

Carroll azonban megjegyezte, hogy az előzetes regisztráció csak “szórványosan működik”. Egy 2011-es, az előregisztrált kutatásokról szóló tanulmány megállapította, hogy a publikációk akár fele is kihagyta az elsődleges eredményeket, miután a vizsgálat befejeződött. Bár a kiigazításoknak lehetnek érvényes okai, Carroll szerint “túl gyakran nincs magyarázat.”

Mit lehet még tenni

Míg sok orvosi tanulmányt befolyásol a kutatási elfogultság, Carroll azt írja, hogy nem szabad “az orvosi vizsgálatok minden eredményét elvetni”. Ehelyett “minden eddiginél nagyobb szükségünk van a kutatások reprodukálására, hogy megbizonyosodjunk arról, hogy azok megbízhatóak” – írja.

Carroll úgy véli, hogy a szerzőket “szigorúbb normákhoz” kellene kötni, hogy az eredményekről pontos és átlátható módon számoljanak be, függetlenül attól, hogy azok negatívak vagy pozitívak. Ehhez egy elfogadó kultúra kiépítésére van szükség: “Ünnepelhetjük és felemelhetjük a negatív eredményeket, mind az érveinkben, mind a beszámolóinkban, ahogyan a pozitívakat is.”

Sajnos ezt könnyebb mondani, mint megtenni, mivel “ezek az intézkedések unalmasabb híreket és mérsékeltebb lelkesedést eredményezhetnek” – magyarázza Carroll. “De talán pontosabb tudományhoz is vezetnek” (Carroll, “The Upshot”, New York Times, 9/24.).

Tudjon meg többet arról, hogy miért számít a tanulmánytervezés

Elmúlt már egy kis idő az utolsó statisztikaórája óta? Nehéz lehet megítélni a tanulmányok minőségét, az adatok jelentőségét vagy az új eredmények fontosságát, ha nem ismeri az alapokat.

Töltse le puskáinkat, hogy gyors, egyoldalas felfrissítést kapjon a bizonyítékokon alapuló orvoslás néhány alapvető összetevőjéről.

• Bizonyítékalapú gyakorlat (EBP)
• megfigyelési vizsgálatok
• Randomizált kontrollvizsgálatok (RCT-k)
• Szisztematikus áttekintések
• Meta-elemzések
• Statisztikai jelentőség

Kérje mind a 6 puskát

.