Systematiske reviews

Thordis Thomsen,

Seniorforsker, Abdominalcentret, Rigshospitalet

Systematiske Reviews (SR)

• Systematiske reviews forsøger at samle al empirisk evidens indenfor præspecificerede kriterier med henblik på at besvare et specifikt forskningsspørgsmål.

• Systematiske reviews sigter mod at minimere bias ved brug af eksplicitte, systematiske metoder.

Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions.

The Cochrane Collaboration & John Wiley & Sons Ltd. 2008

‘Traditionelle’ (ikke-

systematiske) reviews:

bruger ikke al tilgængelig evidens

varierende kvalitet

varierende metodologi

forældes hurtigt

risiko for intenderet/uintenderet BIAS

Indeholder:

– Fokuseret, klinisk spørgsmål (PICO)

– Publiceret protokol, hvori metoden er beskrevet før søgning af litteratur

– Fyldestgørende søgning

– U-biased udvælgelse og ekstraktion af data

– Kritisk vurdering af data

– Syntese af data

– Struktureret rapport

– Jævnlig opdatering

Systematiske reviews

• P → participants • I → interventions or risk factors • C → comparisons ~ controls • O → outcomes

“How does preoperative smoking cessation intervention

compared to standard preoperative care affect the occurrence of postoperative complications following elective surgery?”

Det fokuserede kliniske spørgsmål

6

Flow chart Potentially relevant n=815

Detailed evaluation

n=29

Potentially appropriate RCTs n=26

RCTs included n=11 9 trials/11 papers

Studies excluded n=786 Not relevant

Studies excluded n=3 Not RCTs

RCTs excuded n=15 not surgical patients n=5 interventions not preoperative n=7 compares smokers to non-smokers n=1 outcomes not relevant n=2

Studies excluded

n=3

Not RCTs

Studies excluded

n=15 Not surgical pts

Not preoperative intervention

Compares smokers to non-smokers

Outcomes not relevant

Studies excluded

n=786

Not relevant

Præsentation, og syntese, af data

• Narrativt?

og/eller

• Meta-analyse?

• Meta-analyse er brugen af statistiske metoder med henblik på at opsummere og kombinere resultater af uafhængige studier.

• Hvert studie vægtes ift den information, studiet bidrager med (størrelse & præcision af effekt estimatet)

Liberati et al. 2009. The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies that Evaluate Health Care Interventions: Explanation and Elaboration. Annals of Internal Medicine: W65-W94; 151(4).

Meta-analyse

Fixed eller random effect model

Meta-analyse – fixed effect

Meta-analyse af effekten af præoperativ rygestopintervention

på postoperative komplikationer

Meta-analyse –random effect

Meta-analyse af effekten af præoperativ rygestopintervention

på postoperative komplikationer

Heterogeneitet

• Heterogeneitet er en konsekvens af klinisk eller metodologisk forskellighed – eller både og – mellem studier.

• Viser sig ved at interventionseffekter er mere forskellige fra hinanden end man ville forvente ud fra ren tilfældighed.

• I2-statistikken beskriver den %-del af variationen i interventionseffekten der skyldes heterogeneitet snarere end tilfældighed.

Heterogeneitet

• Lad være med at lave metaanalyse

• Undersøg heterogeneitet→subgruppeanalyse

• Ignorer

• Random-effect

Risiko for bias

Risiko for bias Type af bias Beskrivelse Domæne i Cochrane’s ROB

tool

Selektionsbias Systematiske forskelle ml grupper i baseline karakteristika

Sequence generation Allocation concealment

Performance bias Systematiske forskelle ml grupper i pleje/behandling/opførsel

Blinding af deltagere, personale og outcome assessorer

Attrition bias Systematiske forskelle ml grupper i withdrawals

Ufuldstændig outcome data Blinding som ovenfor

Detektionsbias Systematiske forskelle ml grupper i outcome vurdering

Blinding som ovenfor

Reporting bias Forskelle ml planlagte/rapporterede fund

Selektiv rapportering af outcomes

Higgins, JPT. & Green, S. Cochrane Handbook for Systematic Reviews of Interventions. The Cochrane Collaboration & John Wiley & Sons Ltd. 2008

Publikationsbias

• Publicerede studier afviger systematisk fra alle gennemførte studier på området

• Publicerede studier er generelt ”positive”

– Forskerpræference for ”positive” fund

– Journal editors ditto

– Industrifinansiering

Adequate sequence generation?

And

rew

s 2

00

6 (1

5)

+

Azo

di 2

00

8 (2

1)

+

Lin

dströ

m 2

00

8 (2

2)

+

Mo

ller 2

00

2 (3

6)

+

Myle

s 2

00

4 (3

7)

+

Ra

tne

r 20

04

(39

)+

Sore

nse

n 2

00

3 (3

8)

+

Sore

nse

n 2

00

7 (4

2)

+

Ville

bro

20

08

(23

)+

Warn

er 2

00

5 (4

0)

+

Wolfe

nd

en

200

5 (4

1)

+

Allocation concealment?

+++++++++++

Blinding???+++++??++

Incomplete outcome data addressed?

++++–++?+++

Free of selective reporting?

+++++++++++

Free of other bias?

+++++++++++

Risiko for bias vurdering

GRADE

The Grades of Recommendation, Assessment, Development and Evaluation

Formål:

At evaluere kvaliteten af evidensen for individuelle outcomes

Likelihood of and Confidence in an effect

Kriterier for kvalitet?

5 faktorer kan reducere kvaliteten af evidensen

1. Limitations ift design og udførelse (risiko for bias)

2. Inconsistency (eller heterogeneitet)

3. Indirectness (PICO og applikerbarhed)

4. Imprecision (antal events og konfidensintervaller)

5. Publikationsbias

Hvordan graduere?

Summary of findings (SOF) tables

Sammenfatter fundene i et systematisk review

Præsenterer

• Kvaliteten af evidensen

• Størrelsen af effekten

• Begrundelser for beslutninger vedr vurderingerne

GRADE

Symbol Kvalitet Fortolkning

++++ Høj Meget usandsynligt, at mere forskning vil ændre tiltroen tll præcision af effekt estimat

+++ Moderat Sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og kan eventuelt resultatet

++ Lav Meget sandsynligt, at mere forskning vil påvirke tiltroen til effekt estimatet og ændre resultatet

+ Meget lav Estimat af effekt meget usikker

Oversat fra Schünnemann H et al. Undervisning i The GRADE-approach,

Cochrane Colloquium 2011, Madrid

Risk of bias

GRADE -Inconsistency

• Når studier har vidt forskellige effektestimater… eller heterogeneitet

• Undersøg årsager til heterogeneitet (forskellige populationer, interventioner, outcomes)

• Din tiltro til resultaterne er lavere når der er uforklaret heterogeneitet

lower quality of the evidence

Inconsistency

Direkte evidens kommer fra forskning der

• Er udført på populationer og systemer, som dem vi søger evidens til

• Inkluderer de interventioner, vi er interesseret i og sammenligner dem med relevante comparators

• Har målt effekt på de outcomes, som vi er interesseret i

• Sammenligner A vs B, ikke – A vs kontrol

– B vs Kontrol

GRADE - indirectness

Directness

GRADE - directness

GRADE - Imprecision

• Lille sample size

• Mindre antal events

• Brede konfidensintervaller

Imprecision

Publikationsbias

Systematisk over- eller under estimering af effekt pga selektiv publikation af studier

”File drawer problem”

Hurtigere og hyppigere publikation af positive studier

Langsom og mindre hyppig publikation af negative/inkonklusive studier

Hvornår skal man mistænke publikationsbias?

Store studier med mange patienter inkluderet forbliver oftest ikke upublicerede og giver ofte mere nøjagtige estimater af effekt

Risikoen for bias er sandsynligt større i reviews baseret på små studier

Studier finansieret af industrien vil mere sandsynligt have outcomes, der er fordelagtige for sponsor

GRADE-CERQual Confidence in Findings from Qualitative

Evidence Syntheses

Hvor meget tillid kan vi have til fundene fra synteser af kvalitative studier?

CERQual er en tilgang, der kan støtte brugere i at vurdere dette

GRADE kriterier

Kvantitativ • Risk of bias

• Directness

• Consistency

• Precision

• Risk of publication bias

Kvalitativ • Methodological

limitations

• Relevance

• Coherence

• Adequacy of data