Wetenschappelijk bewijs: wat is het en hoe kunnen we het vertrouwen?

De uitdrukking “wetenschappelijk bewijs” is onderdeel geworden van de volkstaal – als een hete aardappel in de mond genomen tijdens discussies over belangrijke milieu-, gezondheids- of maatschappelijke vraagstukken. Klimaatverandering is daar een voorbeeld van. Het verbod van de EU op neonicotinoïde bestrijdingsmiddelen is een ander.

We hebben talloze verwijzingen gehoord naar het bijbehorende “bewijs”, waarmee het belang van de kwestie en de noodzaak van actie wordt aangegeven. Dit bewijs wordt door voorstanders op dezelfde manier gepresenteerd als bewijs in een rechtszaak, meestal om beleid of beslissingen te ondersteunen die van invloed zullen zijn op de levensstijl van mensen. Maar, anders dan in een rechtszaak, wordt ons zelden precies verteld waar het bewijs vandaan komt en waarom het bewijs is.

Wetenschappelijk bewijs is informatie die is verzameld uit wetenschappelijk onderzoek, dat veel tijd (en geduld!) kost om uit te voeren. Maar er zijn een paar dingen die al dit onderzoek gemeen moet hebben om het voor besluitvormers, en uiteindelijk voor ons allemaal, mogelijk te maken het als “bewijs” te accepteren.

Objectief en onbevooroordeeld

Onderzoek heeft geld nodig om laboratoriumapparatuur, veldonderzoeken en materialen te betalen – om nog maar te zwijgen van de lonen van alle mensen die bij het project betrokken zijn. En geld komt zeker niet uit de lucht vallen, zelfs niet op de afdeling kwantumfysica!

De meeste onderzoekers moeten voortdurend geld aanvragen om hun onderzoek te kunnen uitvoeren. Deze middelen kunnen op verschillende plaatsen vandaan komen, gewoonlijk van overheidsinstanties zoals de Australian Research Council (ARC), academische of onderzoeksinstellingen, non-profitorganisaties of zelfs industriële instanties. Aanvragen worden beoordeeld op wetenschappelijke verdienste en hun relevantie voor de samenleving of de belangen van de financierende instantie.

In de meeste gevallen worden de middelen eerlijk verdeeld. Maar als een organisatie een onderzoeksproject financiert dat haar financieel voordeel oplevert, kunnen we de bevindingen niet als “bewijs” aanvaarden tenzij verschillende onderzoekers (van niet-verwante organisaties) door middel van hun eigen onafhankelijk onderzoek tot dezelfde conclusies komen.

Zorgen dat de resultaten geldig en nauwkeurig zijn

Wetenschappelijk bewijs is gebaseerd op gegevens, en het is voor onderzoekers van cruciaal belang ervoor te zorgen dat de gegevens die zij verzamelen representatief zijn voor de “werkelijke” situatie. Dit betekent dat beproefde of geschikte manieren moeten worden gebruikt om de gegevens te verzamelen en te analyseren en dat ervoor moet worden gezorgd dat het onderzoek ethisch en veilig wordt uitgevoerd.

Controlescenario’s kunnen ook nodig zijn bij het testen op effecten of gevolgen – zoals bij de ontwikkeling van nieuwe producten (zoals geneesmiddelen), of bij de evaluatie van beheersmaatregelen (zoals het gebruik van bestrijdingsmiddelen op landbouwgrond). Het controlescenario vertegenwoordigt het tegenovergestelde van het scenario dat wordt getest. Dit is zo dat de resultaten die in het testscenario te zien zijn, gegarandeerd afkomstig zijn van het geteste product of effect, en niets anders.

Als bij het scenario milieuprocessen een rol spelen, moeten de test en de controle idealiter onder natuurlijke omstandigheden worden uitgevoerd (of in een omgeving waar deze processen normaal voorkomen).

Soms is dit vrijwel onmogelijk, en moet in plaats daarvan laboratoriumonderzoek of gecombineerd laboratorium/veldonderzoek worden verricht, zodat de “hinderlijke factoren” kunnen worden beheerst.

Neem de recente kwestie van de neonicotinoïden. Als een onderzoeker wil bewijzen dat het gebruik van een bestrijdingsmiddel geen gevolgen heeft voor bijen die rondvliegen in de omgeving waar de chemische stof normaal wordt gebruikt, moet hij twee verschillende scenario’s testen.

Een bijenkorf met bijen moet in het veld zijn gang gaan en aan het bestrijdingsmiddel worden blootgesteld. Een tweede bijenkorf moet zich op dezelfde plaats bevinden als de eerste (om ervoor te zorgen dat beide bijenkorven in dezelfde leefomstandigheden verkeren), maar mag tijdens de test niet door het bestrijdingsmiddel worden verontreinigd.

Het is duidelijk hoe onmogelijk dit te beheren zou zijn onder natuurlijke omstandigheden, waar niemand de drift van chemische druppels of de beweging van kleine insecten door het landschap kan controleren! In dit geval bestaan er misschien geen volledige veldstudies, maar het zou misleidend zijn om te zeggen dat een “gebrek aan veldstudies” betekent dat het bestrijdingsmiddel geen invloed heeft op bijen.

Peer-review en professionele consensus

Deze stap is de meest cruciale, en maakt van het onderzoek het “bewijs” waar we het allemaal over hebben. De onderzoeker moet zijn gegevens, resultaten en conclusies in de vorm van een wetenschappelijk rapport of artikel presenteren. Dit moet worden beoordeeld door hun wetenschappelijke collega’s – alleen zij zijn bevoegd om de geldigheid van de methoden en de juistheid van de conclusies die de onderzoeker uit de resultaten heeft getrokken, te beoordelen.

Oscars worden beslist door professionals uit de internationale filmindustrie. Evenzo betekent de publicatie van onderzoeksresultaten in een internationaal vaktijdschrift in wezen dat andere professionele wetenschappers die in dat soort onderzoek zijn gespecialiseerd, de kwaliteit en geldigheid van het onderzoek hebben geverifieerd.

Dit proces neemt veel tijd in beslag – van het indienen van het manuscript bij een tijdschrift tot de uiteindelijke publicatiedatum kan zes maanden tot een jaar duren, vaak langer.

Voor echt belangrijke beslissingen, vooral die welke gevolgen hebben voor veel mensen (bijvoorbeeld hoe we onze nationale parken moeten beheren), moeten soms meerdere studies worden verricht om aan te tonen dat een meerderheid van wetenschappers die ervaring hebben met de kwestie, het eens is over het bewijsmateriaal (net als een jury in een rechtszaak).

Dit is om aan te tonen dat er een “wetenschappelijke consensus” is over het bewijs, en het geeft nog meer reden om actie te ondernemen in de kwestie in kwestie.

Natuurlijk is niet iedereen het over alles eens – denk maar eens aan een onderwerp als de aarde rond is, of wat u en uw gezin vanavond als avondeten zullen eten! Dus als een paar wetenschappers het niet eens zijn met de meerderheid van de wetenschappers over een bepaald onderwerp, is dat geen direct bewijs dat het bewijs onjuist is, en het is ook niet schokkend of nieuwswaardig.

We praten tenslotte ook niet over de genomineerde voor de Oscar voor Beste Acteur die de minste stemmen kreeg.

Het bewijsmateriaal dat ons wordt voorgelegd interpreteren

De meesten van ons horen over “wetenschappelijk bewijs” van journalisten, nieuwslezers, politici of mediacommentatoren, en vaak hebben we niet de gelegenheid om de feiten zelf te controleren. Maar begrijpen waar echt wetenschappelijk bewijs vandaan komt, en wat het betekent, is noodzakelijk om ons te helpen de belangrijkste kwesties aan te pakken die ons eigen leven en de wereld waarin we leven beïnvloeden.

Dus de volgende keer dat iemand zegt dat hij “wetenschappelijk bewijs” heeft om zijn zaak te ondersteunen, stel dan een paar vragen. Wie heeft het onderzoek gefinancierd en waarom? Hoeveel bewijs is er en hoe is het verzameld? Was de steekproefgrootte of de locatie representatief voor de “echte” situatie?

Werd het onderzoek gepubliceerd in een internationaal erkend, peer-reviewed tijdschrift, of is het alleen online beschikbaar op de website van een persoon of organisatie? Is een meerderheid van andere wetenschappers het eens met deze resultaten? Als enkelen het er niet mee eens zijn, zijn zij dan gekwalificeerd om de kwestie te beoordelen? (Bijvoorbeeld, een arts en een astronoom zijn beide wetenschappers – maar dat betekent niet dat de astronoom bevoegd is om hartoperaties uit te voeren!)

En als iemand beweert dat er een “gebrek” aan bewijs is over een betwiste kwestie, vraag hem dan om opheldering. Bedoelen ze dat er peer-reviewed onderzoek is gedaan en dat er geen bewijs is gevonden voor een effect? Of bedoelen ze dat nog niemand onderzoek heeft gefinancierd om de kwestie te onderzoeken? Dit betekent niet hetzelfde – zoals het gezegde luidt:

Absence of evidence is not evidence of absence!