Conférence de LCA

Thibaud CRESPY Interne en Anesthésie-Réanimationtcrespy@chu-grenoble.fr

1 ) Savoir identifier l'objet d'un article médical scientifique

• Objet = grand cadre de l’étude qui a donné lieu à la publication ( ≠ plan expérimental)

• 5 = évaluation d'une procédure diagnostique, d'une action de dépistage, d'un traitement, estimation d'un pronostic, enquête épidémiologique

2 ) Savoir identifier la question étudiéeLa question (pierre d’angle de l’étude) doit être :• Une vraie question de recherche donnant une avancée des connaissances

scientifiques avec une problématique bien argumentée3 points pour la justification : SCL - Santé Publique - Clinique (ou physiopathologie) - Lacunes dans les connaissances actuelles• Bien énoncée, hiérarchiséeComposantes de la question : PICO - Population - Intervention (facteur étudié) - Comparaison (action, programme, thérapie) - Outcome / Observé (phénomène d’intérêt) -> mesuré par un CJP selon un schéma d’étude

En théorie : 1 étude = 1 question

3 ) Identifier les caractéristiques de la population étudiée (à laquelle les conclusions pourront être appliquées)4 ) Analyser les modalités de sélection des sujets, critères d'inclusion et critères

de non-inclusion (Généralisation ?)

• Mots clés : Populations cible et source, Diagramme de flux (taux d’exclusion), Echantillon représentatif

• Analyse des modalités de recrutement, du lieu d’étude, des critères d’inclusion et de non inclusion (3 classes : raison de prudence, difficultés potentielles d’évaluation des critères de jugement ou de suivi)

Population Cible

Population source

Echantillons / groupes inclus analysés

-Criteres inclusion/exclusion-modalité recrutement-lieu

Représentativité

Généralisation des résultats

Résultats

5 ) Analyser la valeur, la technique et la cohérence de la randomisation

• Randomisation : tirage au sort (TAS) au hasard, clause d’ignorance respectée

• But : groupes comparables sur tout sauf l’intervention, éviter les biais de confusion et de sélection, interpréter correctement H0, éthique

• TAS : simple/stratifié (F de confusion)/ par blocs +/- permutés (supprime l’effet cohorte), équilibré/déséquilibré, en grappe (clusters) ou croisé (cross-over)

toujours stratifier sur le centre si multicentrique (supprime l’effet centre) et sur les variables définissant les sous groupes.

• Liste élaborée dans un centre indépendant, allocation du sujet le plus tard possible (après confirmation de l’éligibilité)

NB : Dans les enquêtes épidémio, le TAS est parfois appelé randomisation et cela à mauvais escient.

6 ) Discuter la comparabilité des groupes soumis à comparaison

• Suivi du nombre de sujets, diagramme de flux, tableau de comparabilité des groupes

• Nombres de sujets exclus ou pdv de l’analyse et motifs d’exclusion : Si les motifs sont liés à l’étude, il y a un biais :

- faible si exclus < 10% et équilibrés - élevé si > 20 % , d’autant plus s’il existe un déséquilibre entre le 2 groupes.

7 ) Vérifier si un calcul du nombre de sujets à inclure a été réalisé; s'assurer que ces effectifs

sont identifiables dans la totalité de l'article

• NSN : calcul correct avec :- la différence intéressante Δ de valeur du CJP et en fonction du

CJP - le risque de 1ere espèce α- la puissance 1-β (>80%) - en tenant compte du % de pdv

8 ) S'assurer que la méthode employée est cohérente avec le projet du travail, que la méthodologie est effectivement

susceptible d'apporter une réponse à la question posée dans l'introduction; pour une étude thérapeutique, vérifier que

l'analyse a été réalisée "en intention de traiter"

• Méthode adaptée à l’objet et à la question étudiée

• Pour une étude d’évaluation d’un traitement : ECHRAMS -Essai clinique thérapeutique, de prévention -Contrôlé contre X (citer traitement du groupe contrôle), -Hypothèse testée : efficacité/supériorité, non infériorité, équivalence -Randomisé, -Aveugle ? double aveugle, simple aveugle, en ouvert -Multicentrique, monocentrique. -Schéma : à X (2, 3 ..) bras parallèles, croisé = en cross-over

Question Type d’enquête / étude le plus adapté

Epidémiologie descriptive

- Incidence

- Prévalence

CohorteTransversale

Epidémiologie analytique

- Phénomène fréquent non contrôlable

- Phénomène rare

Cohorte Exposés-Non Exposés

Cas-Témoins

Traitement - Efficacité

- Sécurité

Essai contrôlé randomiséEssai contrôlé randomisé ou cohorte E-NE

Action de dépistage

Efficacité Essai contrôlé randomisé ou cohorte E-NE

Procédure diagnostique

- Fiabilité (variabilité)

- Validité (Se/Sp)

Transversale comparative avec répétition des mesures

Transversale comparative avec gold standard

Pronostic - Maladie fréquente

- Maladie rare

Cohorte Exposés-Non Exposés

Cas-Témoins

9 ) Vérifier qu'une analyse statistique a été utilisée et que le résultat (valeur et

interprétation de p) est énoncé clairement

• ITT (intention de traiter) = analyse de tout patient inclus dans le bras où il a été randomisé au début de l’étude

Þ Préserve la randomisation, analyse de façon pragmatique (réalité clinique)

≠ Analyse Per Protocole (différence estimée plus grande, puissance moins élevée, biais de sélection potentiel)≠ Analyse en traitement réellement reçu• IC 95%

Analyses en sous groupes

• Planifiées à visée de confirmation ou exploratrice• Post-hoc (non prévue) => exploratoire, aucune conclusion

clinique !• Condition pour une conclusion clinique :Analyses en sous-groupes planifiées, justifiées et limitées en nombre, randomisation stratifiée, puissance suffisante, l’interaction (qualitative ou quantitative) doit avoir été testée, l’essai doit être concluant et le risque α doit être corrigé(confirmation dans une autre étude)• 3 risques : manque de puissance, résultat significatif par

hasard, destruction de la comparabilité initiale

Analyses intermédiaires

• Analyses prévues (NSN adapté) effectuées avant l’inclusion de tous les sujets prévus (étude longue).

• Seuil de signification déterminé et corrigé a priori pour garantir un risque α global

• Justification :Arrêt de l’essai pour efficacité, futilité ou pour sécurité (éthique)

10 ) Vérifier le respect des règles d'éthique

- Respect de la personne humaine (Consentement libre, éclairé et écrit, après information et délai de réflexion)

- Principe d’utilité (balance bénéfice-risque favorable)- Principe de justice- Comité d’éthique indépendant- Placebo (déclaration d’Helsinki) : il n’existe aucune

intervention reconnue et les patients ne sont pas exposés à un risque grave ou irréversible

- Autorisation de l’AFSSAPS, de la CNIL et du CCTIRS

11°) Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur

cohérence avec le texte et leur utilité

• Taille• Titre informatif• Variables identifiées clairement avec les effectifs• Indices de dispersion• Valeurs statistiquement significatives clairement identifiables• Auto-suffisant• Référencé dans le texte• Pas d’informations redondantes

12°) Vérifier la présence des indices de dispersion permettant d’évaluer la variabilité

des mesures et de leurs estimateurs

• IC 95% : variable qualitative (%), prévalence/incidence, Se Sp VPP VPN, OR RR HR

• Interquartile (Q1-Q3 ou P25-P75) : Médiane

• Ecart type (SD) : Moyenne

13°) Discuter la nature et la précision des critères de jugement des résultats

• Unique simple ou composite / multiple• Si multiple : Hiérarchisé (CJP -> NSN) et risque α corrigé• Objectif (fiable et reproductible) / subjectif (biais de classement)• Clinique / intermédiaire / de substitution• Pertinent ++• Validé (par une étude)• Précis : méthode et moment d’évaluation Biais de classement différentiel si l’évaluation du CJ n’est pas faite en insu du groupe étudié

La conclusion ne porte que sur le CJP (critère de jugement principal); les analyses des CJS (secondaires) sont exploratoires

14°) Relever les biais qui ont été discutés. Rechercher d’autres biais d’information et de sélection éventuels non pris en compte dans la discussion et relever leurs

conséquences dans l’analyse des résultats

• Biais = erreur systématique qui fausse les résultats dans un sens donné

• Nature, sens et quantification du biais• Différentiel (sens du biais imprévisible a priori : sous ou sur-

estimation de l’association) / non différentiel ( sens prévisible : diminution de l’association = RR tend vers 1)

Biais de Sélection : Au niveau- De la Constitution de l’échantillon (non représentatif)- Des Groupes analysés (pdv = perdus de vue) => Planification : TAS/recrutement exhaustif, randomisation, suivi complet + relancesÞ Analyse : Comparaison initiale des groupes, ITT, ajustement sur ≠

facteurs, analyse de sensibilité/robustesse (quantifier biais)

Biais de Classement :- Subjectivité de l’enquêteur ou de l’enquêté, méthode de mesureÞ Planification : validité et fiabilité des mesures, standardisation des

procédures, évaluation en aveugle, formation des enquêteurs

Biais de Confusion : cf. def. Facteur de confusionÞ Planification : TAS/randomisation, exclusion de patients (restriction),

appariements sur les facteurs de confusion (âge, sexe)Þ Analyse : Ajustement sur les facteurs de confusion (modèles multivariés) ≠ facteur intermédiaire (processus explicatif de la maladie)

15°) Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la

littérature et ce qui est opinion personnelle de l’auteur

6 points de la discussion :- Résumé des principaux résultats- Discussion de leur validité (points + et -)- Discussion de leur caractère généralisable- Mise en perspective (confrontation à la littérature)- Conclusion clinique sur la réponse à la question posée- Implications et ouverture

16°) Discuter la signification statistique des résultats

• Risque α de 1ère espèce (<5%)p<5% = significatif p>5% = non significatif p entre 5 et 10% = tendance statistique

• Risque β de 2ème espèce (<20%) = manque de puissance• Attention : degré de signification statistique (p) ≠ quantité d’effet plus on multiplie les tests plus on a de chance d’avoir un test significatif par hasard• Résultat non significatif = manque de puissance ou biais ou

différence plus petite que celle qu’on a voulu détecter ou absence réelle de différence.

• Un résultat statistiquement significatif peut ne pas être cliniquement significatif

17°) Discuter la pertinence clinique des résultats

• Privilégier le point de vue clinique : taille de l’effet (avec IC95%), bénéfice relatif (RR, OR, HR) ou absolu (RAR, NNT, différence des moyennes) ; dépend de la gravité et de la fréquence de la pathologie

• Critères permettant de conclure à la causalité : - essai randomisé : randomisation non détruite, en ITT

- enquête observationnelle : Critères de Hill - Internes à l’étude : Force de l’association statistique et minimum de biais, cohérence chronologique, relation dose-effet, spécificité de l’association - Externes à l’étude : plausibilité (cohérence avec les connaissances actuelles), reproductibilité, analogie avec autres FDR démontrée, effet de l’interventionNB : Une seule étude épidémio. ne permet pas d’affirmer un lien de cause à effet.

18°) Vérifier que les résultats offrent une réponse à la question annoncée

19°) Vérifier que les conclusions sont justifiées par les résultats

• Validité interne : (fiabilité des résultats)- Absence de biais- Réalité statistique du résultat- Calcul du NSN pour garantir une puissance suffisante

• Validité externe : (généralisable)- Cohérence externe (autres études, connaissances

expérimentales) critères de Hill

- Représentativité (généralisation, résultats extrapolables à la pratique médicale courante)

20°) Indiquer le niveau de preuve de l’étude (grille HAS/ANAES)

• Niveau 1 : Essais comparatifs randomisés de forte puissance, méta-analyses, analyse de décision basée sur des études bien menées

• Niveau 2 : Essais comparatifs randomisés de faible puissance, études comparatives non randomisées bien menées, études de cohorte

• Niveau 3 : Etudes cas-témoins• Niveau 4 : Etudes comparatives avec biais

importants, études rétrospectives, séries de cas, études épidémio descriptives.

A(preuve scientifique établie)

B(présomption scientifique)

C(faible niveau de preuve)

21°) Discuter la ou les applications potentielles proposées par l’étude (niveau individuel et de la population)

• Niveau de preuve ?• A quels patients les résultats sont-ils applicables ?• Tous les critères cliniquement importants ont-ils été pris en compte ?• Balance bénéfice/risque+cout favorable (efficacité + tolérance) ?• L’étude permet-elle de faire cette recommandation ?• Implication sur ma pratique ?

22°) Identifier la structure IMRAD (résumé)

• Introduction : - Justification de l’étude : SCL - Question étudiée : PICO• Méthodes : SPLICA - Schéma d’étude - Population - Lieu(x) - Intervention/facteur étudié -Critère(s) de jugement - Analyse• Résultats : description échantillon, date, résultats CJP et CJS• Discussion

Conseils pour le résumé

• Faire le résumé après avoir lu l’article plusieurs fois, répondre aux questions avant, faire un brouillon

• Utiliser la structure vue précédemment• Respecter le point de vue des auteurs tout en insistant bien

sur le critère de jugement principal• Dans partie résultat :- Date et description population étudiée- Toujours résultat ajusté (sauf essai contrôlé randomisé) et multi

varié avec son IC à 95 % et p- ++ ITT (sauf non infériorité)• Ne pas bâcler la Conclusion.

23°) Faire une analyse critique de la présentation des références

• Auteurs, titre, support (revue, livre), année de publication, volume et numéro de publication, 1ère et dernière page

• Classement : Auteur-année, Alphabétique-numérique, Numérique-séquentiel (Vancouver)

24°) Faire une analyse critique du titre

• Contenu = PICOS : Population, Intervention, Comparaison, Outcome (ce qui est observé), Schéma d’étude

• Type : Indicatif (orientation générale) ou informatif (précis PICOS)

• Forme : Concis, syntaxe souple, attractif

Types d’étude L’intervention est-elle contrôlée par l’investigateur ?

OUI : étude expérimentale NON : étude d’observation Randomisation ? groupe de comparaison ?

OUI : étude analytique NON : étude descriptive direction ? CohorteIntervention -> Exposé Intervention <- Exposé I et E (incidence) Cohorte Etude cas-témoin en même temps exposé non-exposé Etude transversale (prévalence)

Essai contrôlé randomisé de non infériorité

• On concède a priori une perte d’efficacité au vu des avantages du nouveau traitement (tolérance, facilité d’utilisation, cout)

• Seuil de non infériorité (à comparer aux avantages du traitement)

• CJP clinique, objectif et pas de traitement concomitant• Validité : interne avec 3ème bras placebo ou externe (essais

antérieurs)• Minimiser les pdv, écarts au protocole, arrêts prématurés du

traitement (diminue la différence)• Analyses PER PROTOCOLE + ITT (concordent ?)• On compare la borne ad hoc de l’IC 95% au seuil de non

infériorité (et non p).

8 points clefs de l’Evaluation d’une procédure diagnostique:

- Prospective (voire transversale)- Patients représentatifs de la population cible sinon- Définition parfaite de la maladie biais de sélection- Tous les sujets subissent les 2 tests (appariés)- Test de référence (gold standard) valide et reconnu- Test de référence déterminé a priori sinon- Test étudié fiable et conditions d’utilisation décrites biais de classement- Insu des 2 tests

Points clefs de l’Evaluation d’une procédure de dépistage :

- biais spécifiques : d’avance au diagnostic (lead time), lié à la vitesse d’évolutivité (lengh time) et de sur diagnostic - objectif : -efficacité (CJP = mortalité spécifique ou incidence cancer) -évaluation de la qualité (CJP = Se Sp VPP VPN) - Analyse en intention de dépister

Glossaire (CNCI) à connaitre

http://www.lca-ecn.info/

Pratique clinique = Efficacité + Tolérance (rapport bénéfice/risque)

Formules :- Se = p(+/M) - Sp = p(-/NM) -> dépend de la gravité de M

=> si population à bas risque, la sensibilité diminue (pas d’extrapolation)- VPP = p(M/+) - VPN = p(NM/-) -> dépend de la prévalence de M- Rapports de vraisemblance : LR+ = p(+/M) / p(+/NM) si > 5 à 10 : très informatif LR- = p(-/M) / p(-/NM) si < 0,2 à 0,1 : très informatif

Notion de survie : (probabilité de survivre jusqu’à un instant t)• Censure à droite : pas d’évènement survenu (décès) au dernier

contrôle = perdus de vue et exclus vivants• Censure à gauche : évènement survenu avant la date du dernier

contrôle mais impossible de le dater précisément.• Statistiques pour des données censurées : RRI (ou Hazar Ratio),

d de cohen ou g de hodge (correspond au NNT)• Courbes de survie : Kaplan Meier (en marche d’escalier) ou survie

actuarielle (courbe formée de segments de droite à intervalles réguliers)

Etude ancillaire = étude nichée dans une autre étude (Pb : Tous les éléments de la ère étude (étude princeps) ne sont pas présentés