De 4 vooroordelen die leiden tot slechte wetenschap. (Ze'zijn waarschijnlijk niet wat u denkt.)

Er is een vaak over het hoofd gezien vooroordeel in wetenschappelijk onderzoek dat “slechte wetenschap” nog lang in stand kan houden, en het draait om “hoe onderzoek wordt gepubliceerd en gebruikt bij het ondersteunen van toekomstig werk”, schrijft Aaron Carroll in “The Upshot” van de New York Times.”

Serie met foutenfiches: Evidence-based medicine 101

Carroll is professor in de kindergeneeskunde aan de Indiana University School of Medicine en een prominente columnist in de gezondheidszorg.

De vier vooringenomenheden in onderzoekspublicaties en hun gevolgen

Volgens Carroll kunnen vooringenomenheden die van invloed zijn op de manier waarop onderzoek wordt gepubliceerd en gesponnen, “zelfs schadelijker” zijn dan algemeen besproken vooringenomenheden zoals geheime banden van een onderzoeker of financiële conflicten.

Carroll haalt bijvoorbeeld een recente studie aan die vier veel voorkomende vooringenomenheden in onderzoek naar antidepressiva heeft geïdentificeerd. Het onderzoek, gepubliceerd in Psychological Medicine, analyseerde 105 door de FDA geregistreerde onderzoeken naar antidepressiva om vast te stellen welke onderzoeken uiteindelijk in de medische literatuur werden gepubliceerd en welke voor het publiek verborgen bleven.

Alles bij elkaar identificeerden de onderzoekers vier veel voorkomende vooroordelen die van invloed kunnen zijn op de vraag of een onderzoek uiteindelijk wordt gepubliceerd en hoe het wordt gespind.

1. Publicatievooringenomenheid. Volgens Carroll is er sprake van publicatievooringenomenheid wanneer de uitkomst van een onderzoek van invloed is op de beslissing om het onderzoek al dan niet te publiceren. Uit het onderzoek bleek dat de helft van de onderzoeken naar antidepressiva door de FDA als “positief” werden beschouwd, en de andere helft als “negatief”. Echter, slechts 48% van de negatieve onderzoeken werd gepubliceerd, in vergelijking met 98% van de positieve onderzoeken.
2. Outcome reporting bias. De auteurs ontdekten ook een vertekening van de uitkomstrapportage, wat betekent “dat alleen de positief lijkende resultaten van een onderzoek worden vermeld, terwijl de negatief lijkende resultaten niet worden gerapporteerd”, schrijft Carroll. Onderzoekers rapporteerden dat in 10 van de 25 “negatieve” antidepressivastudies, de onderzoekers de uitkomsten als positief rapporteerden door ofwel de negatieve uitkomsten weg te laten, ofwel een positieve secundaire uitkomst te kiezen om op te focussen.
3. Spin bias. Van de 15 overgebleven negatieve artikelen maakten er 11 gebruik van “spin”, wat volgens Carroll het gebruik is van “taalgebruik, vaak in de samenvatting of de samenvatting van het onderzoek, om negatieve resultaten” of statistisch onbeduidende resultaten positief te doen lijken. Carroll legt uit dat deze “spin” een aanzienlijke impact kan hebben en citeert een gerandomiseerd controleonderzoek waaruit bleek dat clinici die samenvattingen lazen waarin niet-significante resultaten positief werden voorgesteld, eerder dachten dat de behandeling gunstig was.
4. Vooringenomenheid bij citaten. Vooringenomenheid kan ook na publicatie blijven bestaan, schrijft Carroll, want hoe meer een onderzoek wordt geciteerd en besproken, hoe meer het wordt verspreid. Positieve studies werden drie keer meer geciteerd dan negatieve studies, dus deze positieve resultaten worden nog meer versterkt, schrijft Carroll.

Deze biases zijn niet uniek voor antidepressiva onderzoek, schrijft Carroll.

Volgens Carroll leveren de systematische reviews van studies met onderzoeksbiases “empirisch bewijs dat de biases wijdverspreid zijn en vele domeinen bestrijken,” en deze biases schetsen vaak een positiever beeld van studieresultaten dan wat er werkelijk is gevonden, wat kan leiden tot de verspreiding van bevooroordeeld onderzoek.

Een mogelijke oplossing: Preregistration

Volgens Carroll zou preregistratie van studies onderzoekers kunnen helpen deze vooringenomenheid onder controle te houden.

Study preregistration vereist dat auteurs de studie, de hypothese, de gegevens die zullen worden verzameld en het analyseproces beschrijven voordat er gegevens voor de studie worden verzameld.

Wanneer de studie is voltooid, vergelijken beoordelaars de voltooide studie met de preregistreerde versie. Als de versies vergelijkbaar zijn, worden de resultaten gepubliceerd, ongeacht de uitkomst.

Carroll merkte echter op dat preregistratie slechts “sporadisch werkt.” Een onderzoek uit 2011 naar vooraf geregistreerd onderzoek toonde aan dat tot de helft van de publicaties primaire uitkomsten wegliet nadat het onderzoek was voltooid. Hoewel er geldige redenen kunnen zijn voor de aanpassingen, zegt Carroll dat “er te vaak geen verklaringen zijn.”

Wat anders kan worden gedaan

Hoewel veel medische studies worden beïnvloed door onderzoeksvooringenomenheid, schrijft Carroll dat we niet “alle resultaten van medische proeven moeten afschrijven.” In plaats daarvan “moeten we, meer dan ooit, onderzoek reproduceren om er zeker van te zijn dat het robuust is,” schrijft hij.

Carroll gelooft dat auteurs moeten worden gehouden aan meer “rigoureuze normen” om resultaten te rapporteren die nauwkeurig en transparant zijn, ongeacht of ze negatief of positief zijn. Om dit te doen moet er een cultuur van acceptatie ontstaan: “We kunnen negatieve resultaten vieren en verheffen, zowel in onze argumenten als in onze verslaggeving, net zoals we positieve resultaten doen.”

Helaas is dit gemakkelijker gezegd dan gedaan, want “deze acties zorgen misschien voor saaier nieuws en meer getemperd enthousiasme,” legt Carroll uit. “Maar ze kunnen ook leiden tot nauwkeurigere wetenschap” (Carroll, “The Upshot,” New York Times, 9/24).

Lees meer over waarom de studieopzet van belang is

Alweer een tijdje geleden sinds je laatste statistiekles? Het kan moeilijk zijn om de kwaliteit van studies, de betekenis van gegevens of het belang van nieuwe bevindingen te beoordelen als je de grondbeginselen niet kent.

Download onze spiekbriefjes voor een snelle opfriscursus van één pagina over enkele van de fundamentele componenten van evidence-based geneeskunde.

• Evidence-based practice (EBP)
• Observatiestudies
• Randomized control trials (RCT’s)
• Systematic reviews
• Meta-analyses
• Statistische significantie

Geef alle 6 spiekbriefjes