Wat is GRADE?

GRADE (Grading of Recommendations, Assessment, Development and Evaluations) is een transparant raamwerk voor het ontwikkelen en presenteren van samenvattingen van bewijs en biedt een systematische aanpak voor het maken van aanbevelingen voor de klinische praktijk. Het is het meest gebruikte instrument voor het beoordelen van de kwaliteit van bewijsmateriaal en voor het doen van aanbevelingen, met meer dan 100 organisaties wereldwijd die GRADE officieel onderschrijven.

Hoe werkt het?

Eerst beslissen de auteurs wat de klinische vraag is, inclusief de populatie waarop de vraag van toepassing is, de twee of meer alternatieven, en de uitkomsten die het belangrijkst zijn voor degenen die voor de beslissing staan. Een studie – idealiter een systematische review – levert de beste schatting van de effectgrootte voor elke uitkomst, in absolute termen (bijvoorbeeld een risicoverschil).

De auteurs beoordelen vervolgens de kwaliteit van het bewijs, die het beste kan worden toegepast op elke uitkomst, omdat de kwaliteit van het bewijs vaak verschilt tussen uitkomsten. Een algemene GRADE-kwaliteitsbeoordeling kan worden toegepast op een verzameling bewijsmateriaal voor alle uitkomsten, gewoonlijk door de laagste kwaliteit van bewijsmateriaal te nemen van alle uitkomsten die van cruciaal belang zijn voor de besluitvorming.

GRADE kent vier niveaus van bewijs – ook bekend als zekerheid in bewijs of kwaliteit van bewijs: zeer laag, laag, matig en hoog (tabel 1). Bewijs van gerandomiseerde gecontroleerde trials begint bij hoge kwaliteit en, vanwege residuele confounding, begint bewijs dat observationele gegevens bevat bij lage kwaliteit. De zekerheid in het bewijsmateriaal wordt om verschillende redenen verhoogd of verlaagd, die hieronder nader worden beschreven.

GRADE is subjectief

GRADE kan niet mechanisch worden geïmplementeerd – er is noodzakelijkerwijs een aanzienlijke mate van subjectiviteit in elke beslissing. Twee personen die hetzelfde bewijsmateriaal evalueren, kunnen redelijkerwijs tot verschillende conclusies komen over de zekerheid ervan. Wat GRADE wel biedt, is een reproduceerbaar en transparant raamwerk voor het inschalen van zekerheid in bewijs.

Waardoor wordt bewijs minder zeker?

Voor elk van risico op vertekening, imprecisie, inconsistentie, indirectheid, en publicatievertekening hebben auteurs de mogelijkheid om hun mate van zekerheid één of twee niveaus te verlagen (bijv. van hoog naar matig).

De GRADE-domeinen voor het inschalen naar beneden

1. Risico op vertekening

Vertekening treedt op wanneer de resultaten van een studie niet de waarheid weergeven vanwege inherente beperkingen in de opzet of uitvoering van een studie. In de praktijk is het moeilijk om te weten in welke mate potentiële vertekeningen de resultaten beïnvloeden en daarom is de zekerheid over het geschatte effect lager als de studies die het geschatte effect bepalen, vertekend zouden kunnen zijn.

Er zijn verschillende hulpmiddelen beschikbaar om het risico op vertekening in afzonderlijke gerandomiseerde trials en observationele studies te beoordelen.

GRADE wordt gebruikt om het bewijsmateriaal op het niveau van de uitkomsten te beoordelen, en niet op het niveau van de studies. Auteurs moeten daarom een oordeel vellen over de vraag of het vertekeningsrisico in de afzonderlijke studies voldoende groot is om hun vertrouwen in het geschatte behandelingseffect te verlagen. De belangrijkste overwegingen voor risico op vertekening en een gedetailleerde beschrijving van het proces om van risico op vertekening op studieniveau over te gaan naar risico op vertekening voor een verzameling bewijsmateriaal, worden in detail beschreven in de GRADE-richtlijnenreeks #4: Rating the quality of evidence – study limitations (risk of bias).

2. Imprecision

De GRADE-benadering voor het beoordelen van imprecisie richt zich op het 95%-betrouwbaarheidsinterval rond de beste schatting van het absolute effect. De onzekerheid is lager als de klinische beslissing waarschijnlijk anders zou uitvallen als het werkelijke effect zich aan de bovenkant dan aan de onderkant van het betrouwbaarheidsinterval zou bevinden. Auteurs kunnen er ook voor kiezen een lagere waarde toe te kennen voor imprecisie als de effectschatting afkomstig is van slechts één of twee kleine studies of als er weinig voorvallen waren. Een gedetailleerde beschrijving van imprecisie wordt beschreven in de GRADE guidelines series #6: Rating the quality of evidence – imprecision.

3. Inconsistentie

Zekerheid in een verzameling bewijsmateriaal is het hoogst wanneer er verschillende studies zijn die consistente effecten aantonen. Bij het overwegen of zekerheid al dan niet naar beneden moet worden bijgesteld wegens inconsistentie, moeten auteurs de gelijkenis van puntschattingen en de overlapping van hun betrouwbaarheidsintervallen inspecteren, evenals statistische criteria voor heterogeniteit (b.v. de I2 en chi-kwadraat test). Een volledige bespreking van inconsistentie is beschikbaar in de GRADE guidelines series #7: rating the quality of evidence – inconsistency.

4. Indirectheid

Bewijs is het meest zeker wanneer studies de interventies van belang rechtstreeks vergelijken in de populatie van belang, en de uitkomst(en) rapporteren die cruciaal is (zijn) voor de besluitvorming. De zekerheid kan naar beneden worden bijgesteld als de onderzochte patiënten verschillen van de patiënten waarvoor de aanbeveling geldt. Indirectheid kan ook optreden wanneer de bestudeerde ingrepen verschillen van de werkelijke uitkomsten (bijvoorbeeld een onderzoek naar een nieuwe chirurgische ingreep in een zeer gespecialiseerd centrum is slechts indirect van toepassing op centra met minder ervaring). Indirectheid doet zich ook voor wanneer de bestudeerde uitkomst een surrogaat is voor een andere uitkomst – doorgaans een uitkomst die voor patiënten belangrijker is. Een volledige bespreking van indirectheid is beschikbaar in de GRADE-richtlijnenreeks #8: rating the quality of evidence – indirectness.

5. Publication bias

Publication bias is misschien wel het lastigste van de GRADE-domeinen, omdat het inhoudt dat er conclusies moeten worden getrokken over ontbrekend bewijs. Verschillende statistische en visuele methoden zijn nuttig om publicatiebias op te sporen, ook al hebben ze ernstige beperkingen. Publicatiebias komt vaker voor bij observationele gegevens en wanneer de meeste van de gepubliceerde studies door de industrie worden gefinancierd. Een volledige bespreking van publicatiebias is beschikbaar in de GRADE guidelines series #5: rating the quality of evidence – publication bias.

What increases confidence in the evidence?

In zeldzame omstandigheden kan de zekerheid in het bewijs omhoog worden gewaardeerd (zie tabel 2). Ten eerste, wanneer er een zeer grote omvang van het effect is, kunnen we er zekerder van zijn dat er ten minste een klein effect is. Ten tweede, wanneer er een duidelijke dosis/respons-gradiënt is. Ten derde, wanneer restverwarring de grootte van het effect waarschijnlijk eerder zal doen afnemen dan toenemen (in situaties met een effect). Een meer volledige bespreking van redenen om de kwaliteit van bewijs op te waarderen is te vinden in de GRADE richtlijnen #9: Rating up the quality of evidence.

Van kwaliteit van bewijs naar aanbevelingen

In GRADE, kunnen aanbevelingen sterk of zwak zijn, voor of tegen een interventie. Sterke aanbevelingen suggereren dat alle of bijna alle mensen voor die interventie zouden kiezen. Zwakke aanbevelingen impliceren dat er waarschijnlijk een belangrijke variatie is in de beslissing die geïnformeerde personen waarschijnlijk zullen nemen. De sterkte van aanbevelingen zijn bruikbaar: een zwakke aanbeveling geeft aan dat het essentieel is om een gedeelde besluitvorming te hebben, terwijl een sterke aanbeveling suggereert dat het meestal niet nodig is om beide opties voor te leggen.

Aanbevelingen zijn eerder zwak dan sterk wanneer de zekerheid in het bewijs laag is, wanneer er een nauwe balans is tussen wenselijke en ongewenste gevolgen, wanneer er aanzienlijke variatie of onzekerheid is in de waarden en voorkeuren van patiënten, en wanneer interventies aanzienlijke middelen vereisen. Een volledige bespreking is te vinden in de BMJ-serie over het GRADE Evidence to Decision framework en in de oorspronkelijke serie.

Auteurs: Reed Siemieniuk en Gordon Guyatt

1. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ. Wat is “kwaliteit van bewijs” en waarom is het belangrijk voor clinici? BMJ (Klinisch onderzoek ed). 2008;336(7651):995-8.
2. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ (Klinisch onderzoek ed). 2008;336(7650):924-6.
3. Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. Tijdschrift voor klinische epidemiologie. 2011;64(4):383-94.
4. Guyatt GH, Oxman AD, Kunz R, Atkins D, Brozek J, Vist G, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. Tijdschrift voor klinische epidemiologie. 2011;64(4):395-400.
5. Balshem H, Helfand M, Schunemann HJ, Oxman AD, Kunz R, Brozek J, et al. GRADE guidelines: 3. Rating the quality of evidence. Tijdschrift voor klinische epidemiologie. 2011;64(4):401-6.
6. Guyatt G, Oxman AD, Sultan S, Brozek J, Glasziou P, Alonso-Coello P, et al. GRADE guidelines: 11. Making an overall rating of confidence in effect estimates for a single outcome and for all outcomes. Tijdschrift voor klinische epidemiologie. 2013;66(2):151-7.
7. Mustafa RA, Santesso N, Brozek J, Akl EA, Walter SD, Norman G, et al. The GRADE approach is reproducible in assessing the quality of evidence of quantitative evidence syntheses. Tijdschrift voor klinische epidemiologie. 2013;66(7):736-42; quiz 42.e1-5.
8. Guyatt GH, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P, et al. GRADE richtlijnen: 4. Rating the quality of evidence-study limitations (risk of bias). Tijdschrift voor klinische epidemiologie. 2011;64(4):407-15.
9. Higgins JP, Altman DG, Gøtzsche PC, Jüni P, Moher D, Oxman AD, et al. The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials. BMJ (Klinisch onderzoek ed). 2011;343:d5928.
10. Wells G, Shea B, O’connell D, Peterson J, Welch V, Losos M, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses. Ottawa: Ottawa Hospital Research Institute; 2011. oxford. asp; 2011.
11. Sterne JA, Hernan MA, Reeves BC, Savovic J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ (Klinisch onderzoek ed). 2016;355:i4919.
12. Guyatt GH, Oxman AD, Kunz R, Brozek J, Alonso-Coello P, Rind D, et al. GRADE guidelines 6. Rating the quality of evidence-imprecision. Tijdschrift voor klinische epidemiologie. 2011;64(12):1283-93.
13. Walsh M, Srinathan SK, McAuley DF, Mrkobrada M, Levine O, Ribic C, et al. The statistical significance of randomized controlled trial results is frequently fragile: a case for a Fragility Index. Tijdschrift voor klinische epidemiologie. 2014;67(6):622-8.
14. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE guidelines: 7. Rating the quality of evidence-inconsistency. Tijdschrift voor klinische epidemiologie. 2011;64(12):1294-302.
15. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. GRADE guidelines: 8. Rating the quality of evidence-indirectness. Tijdschrift voor klinische epidemiologie. 2011;64(12):1303-10.
16. Guyatt GH, Oxman AD, Montori V, Vist G, Kunz R, Brozek J, et al. GRADE guidelines: 5. Rating the quality of evidence-publication bias. Tijdschrift voor klinische epidemiologie. 2011;64(12):1277-82.
17. Guyatt GH, Oxman AD, Sultan S, Glasziou P, Akl EA, Alonso-Coello P, et al. GRADE guidelines: 9. Rating up the quality of evidence. Tijdschrift voor klinische epidemiologie. 2011;64(12):1311-6.
18. Alonso-Coello P, Schunemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Inleiding. BMJ (Klinisch onderzoek ed). 2016;353:i2016.
19. Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Richtlijnen voor de klinische praktijk. BMJ (Clinical research ed). 2016;353:i2089.
20. Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A, et al. Going from evidence to recommendations. BMJ (Clinical research ed). 2008;336(7652):1049-51.