principe d’évaluation des tests diagnostiques · méthode 8. s’assurer que la méthode...

17/01/2013

1

Principed’évaluation des tests

diagnostiques

Dr Sandra DAVID TCHOUDA

Cellule d’évaluation médico-économique des innovations, CHUG

[email protected]

S David tchouda / Eval test diag / P2 2012/2013 2

PlanRappel LCA / Objectif et contexte de ces études visant à évaluer un test diagnostiquePrincipe d’un test diagnostiquePerformance diagnostique d’un test / application pratique (EP)

Se, Sp, rapports de vraisemblance (RV)VPP, VPNNomogramme de Fagan : P(M) a priori et a postériori

Biais / précautions d’interprétationBiais de sélection, de classement et de publication,

Exemple de calculRéférence bibliographique

Objectif et contexte de ce type d’étude

17/01/2013

2


Mesurer la performance/ validité d’un « test » pour une maladie donnée :

critère intrinsèque : Sensibilité, spécificité, RV+, RV-, indice de YoudenRecherche d’un seuil (courbe ROC, aire sous la courbe)

critère extrinsèque : VPP, VPN

Le différencier de reproductibilité ou fiabilité(variabilité intra et inter laboratoire)Coût

Objectif de ces études


Design d’étude

Le plus souvent, étude observationnelleCohorte Cas témoinsÉtude transversaleinterventionnelle si le test ne fait pas partie

de la pratique de soins courantePlus rarement, étude interventionnelle

Essai cliniqueTest rajouté à la pratique habituelle


Respect d’un continuum à cette recherche :1. Mise en évidence de l’association entre le test

(biologie, imagerie, génétique, SC…) et la maladieRecherche étiologique (étude de cohorte, cas témoins, …)

objectif préalable

2. Intérêt de ce test pour diagnostiquer la maladie ? Fiabilité / reproductibilité en 1er lieuValidité, qualités diagnostiques du test

Validité interne

3. … Si test « satisfaisant », autres objectifs :Intérêt dans dépistage (stade pré symptomatique), Intérêt dans le pronostic de la maladie Intérêt dans le diagnostic « thérapeutique »

amélioration de la Validité externe

Contexte d’étude

17/01/2013

3

…Rappel LCA 24 objectifs pour l’ECN…


Rappel LCA (1) : quels objectifs ?

Critiquer un article pour modifier sa pratique… ou pas !

Implication +++Proposition de grille de LCA en santé

Support HAS janvier 2000grille de l’ECN en médecine :

LCA des articles épidémiologiques et en recherche clinique Contient 24 objectifs (ci-après)


Rappel LCA (2) : grille ECN

IDENTIFIER1. l’objet d’un article médical scientifique parmi les

suivants : évaluation d’une procédure diagnostique, d’un traitement, d’un programme de dépistage, estimation d’un pronostic, enquête épidémiologique à l’exclusion des MA,

2. La question posée par les auteurs (hypothèses).

17/01/2013

4


Rappel LCA (3) : grille ECN (suite)

ANALYSER LA METHODOLOGIEPopulation3. Identifier les caractéristiques de la population source /

cible,4. Analyser les modalités de sélection des sujets, critères

inclusion/exclusion5. Analyser la technique de randomisation, le cas échéant,6. Discuter la comparabilité des groupes soumis à la

comparaison,7. Discuter l’évolution des effectifs étudiés et leur

cohérence dans la totalité de l’article. Calcul du nombre de sujet fait a priori ?



ANALYSER LA METHODOLOGIE (suite)Méthode8. S’assurer que la méthode employée est cohérente

avec le projet du travail et qu’elle est effectivement susceptible d’apporter « une » réponse à la question posée dans l’article,

9. Vérifier que les analyses statistiques (en fonction de notions élémentaires) sont cohérentes avec le projet du travail, connaitre les limites de l’analyse en sous- groupe, notion de perdus de vue (PDV),

10. Vérifier le respect des règles éthiques.



ANALYSER LA PRESENTATION DES RESULTATS

11. Analyser la présentation, la précision et la lisibilité des tableaux et des figures, leur cohérence avec le texte et leur utilité,

12. Vérifier la présentation des indices de dispersion(intervalle de confiance, valeurs extrêmes, quantiles, écart-types) permettant d’évaluer la variabilité des mesures / l’imprécision des estimations.

17/01/2013

5



CRITIQUER L’ANALYSE DES RESULTATS ET DE LA DISCUSSION

11. Discuter la nature et la précision des critères de jugement des résultats.

12. Relever les biais qui ont été discutés. Rechercher d’autres biais de classement et de sélection éventuels non pris en compte dans la discussion et relever leurs conséquences dans l’analyse des résultats.

13. Vérifier la logique de la discussion et sa structure. Reconnaître ce qui relève des données de la littérature et ce qui est opinion personnelle de l’auteur.



CRITIQUER L’ANALYSE DES RESULTATS ET DE LA DISCUSSION (suite)

14. Discuter la signification statistique des résultats.15. Discuter la pertinence clinique des résultats.16. Vérifier que les résultats offrent une réponse à la

question annoncée,17. Vérifier que les conclusions sont justifiées par les

résultats,18. Indiquer le niveau de preuve de l’étude (grille de l’HAS).



EVALUER LES APPLICATIONS CLINIQUES21. Discuter la ou les applications potentielles /décisions

médicales auxquelles peuvent conduire les résultats et la conclusion de l’article

CRITIQUER LA FORME DE L’ARTICLE 22. Identifier la structure IMReD (Introduction, Matériels

et Méthodes, Résultats, Discussion) et s’assurer que les divers chapitres de la structure répondent à leurs objectifs respectifs

23. Faire une analyse critique de la présentation des références

24. Faire une analyse critique du titre

17/01/2013

6


Rappel LCA (9) : en bref ?Argumenter :

Au début, en utilisant une grille d’aide à la LCA !

En utilisant vos connaissancesSur la structure des articles originaux en généralSur la méthodologie de l’article (objectif, exigences dans population, méthodes et résultats)

validité interneEn discutant la conclusion

« Ampleur » des résultatsPertinence clinique et statistiqueExtrapolation

validité externeReplacer l’étude dans son contexte

Principe du raisonnement probabiliste


Raisonnement probabiliste (1)

Pourquoi en santé, raisonner sur des probabilités?

Parce que:Le signe clinique parfait pathognomonique ou l’examen complémentaire idéal (non couteux, non douloureux, non invasif…)

existe rarement…On est rarement en situation de certitude absolu

Le vivant n’est pas un théorème de maths démontrable…

17/01/2013

7


Raisonnement probabiliste (2)

Le but pour un médecin est de transformer une probabilité de maladie a priori

probabilité clinique défini avant l’information fournie par une exploration suppl.…

en une probabilité de maladie a posteriorien intégrant dans la démarche diagnostique l’information fournie par l’exploration !


Raisonnement probabiliste (3) :

Le raisonnement probabiliste fait partie de la démarche diagnostique :

1. Probabilité de M avant / après le recueil d’un signe clinique

2. Probabilité de M avant / après

Application à l’ embolie pulmonaire (EP)


1/ Proba d’EP à la cliniqueCancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d’alternative diagnostique + 3

Score < 2: probabilité faibleScore = 2 à 5: probabilité modéréeScore > 5: probabilité forte

Wells et al. Thromb Haemost 2000; 83: 416

17/01/2013

8


D-dimère (ELISA)

Écho-doppler des MI

Angioscanner

2/ Proba d’EP


Raisonnement probabiliste (4) : finalité en santé

Quand P(M) est estimée très forte (> 99 %) ou très faible (< 1 %)

on décide « malade » ou « non maladeon arrête les investigations

La démarche diagnostique est une suite d’évaluation de la probabilité d’une maladieintégrant des informations successives

Principe d’un test diagnostique

17/01/2013

9


Source d’information Clinique ou paraclinique

Utilisé dans une démarche de décision

But : réduire l’incertitude clinique

Test diag (1) : apport


Test diag (2) : définitionTout examen anamnestique, clinique ou paraclinique dont le résultat peut être analysé vis à vis d’un diagnostic supposé et exprimé en valeurs ordinales :

positif / négatifpositif / intermédiaire / négatiftrès forte probabilité / forte probabilité / probabilité intermédiaire / faible probabilité / très faible probabilitétransformation d’une variable continue


Test diag (3) : principe

Test dg

maladie

Faux Positifs Vrai

Positifs Vrai Négatifs

Faux Négatifs

17/01/2013

10

Calcul de la performance d’un test


Un mot sur la reproductibilité

« Fiabilité » et « reproductibilité » sont synonymes. Un test reproductible est un test qui donne le même résultat sur un sujet,

quel que soit l’opérateur (reproductibilité inter opérateur) et quel que soit le moment où on l’applique (reproductibilité temporelle / intra opérateur).

Plus un examen est reproductible, plus il est fiable.

La reproductibilité se mesure avec le coefficient kappa(variabilité inter-opérateur ou intra-opérateur)

Ne pas confondre avec la validité du test qui est sa capacité à identifier la maladie (efficacité du test / performance) : Se, Sp, VP, RV, courbe ROC…


Performance (1)Caractéristiques « intrinsèques » : capacité informative

propres au test (ne dépendent pas de la prévalence)sensibilité, spécificité, rapports de vraisemblance(RV+, RV-)

Caractéristiques « extrinsèques » :caractéristiques intrinsèques + contexte utilisationprévalence (= probabilité pré-test)valeurs prédictives positive / négative (= probabilité post-test)

17/01/2013

11


Performance (2)Nécessite d’être comparé au test de référence (gold standard) qui définit les malades et les non maladesElaboration d’un tableau de contingence


Application pratique du cours : l’EP

La question : valeur prédictives de l’EPpar les « D dimères »?

Performance diagnostique des D DimèresCas du critère binaire (seuil D dimères � 500 µg/L)Cas du critère quantitatif

Se et Sp

17/01/2013

12


Sensibilité et Spécificité

( ) ( )FPVNVNMTPSp+

=−−= /

Gold standardRésultats du test

Malades (M+) Non malades (M-)Test positif (T+) VP FPTest négatif (T-) FN VN

Total (VP+FN) (FP+VN)

( ) ( )FNVPVPMTPSe+

=++= /


Se ≈ 1 : test très sensible / dg d’exclusiontest toujours positif (T+) chez les sujets malades (M+) existence de FP ?la négativité du test (T-) écarte la maladie (M-)

EP

oui non

D-dimer ≥ 500µg/L 195 278D-dimer < 500µg/L 1 197Total 196 475

( ) ( ) %5.991195

195/ =+

=++= MTPSe


Sp ≈ 1 : test très spécifique / dg de confirmationtest toujours négatif (T-) chez les sujets sains (M-)

existence de FN ?sa positivité (T+) est pathognomonique de la maladie (M+) EP

oui non

D-dimer ≥ 10,000µg/L 20 2D-dimer < 10,000µg/L 176 473Total 196 475

( ) ( ) %6.992473

473/ =+

=−−= MTPSp

17/01/2013

13

Rapports de vraisemblance


Rapports de vraisemblance : définition

Regrouper la sensibilité et la spécificité du test en un seul indicateur, le rapport de vraisemblance

LR+ = P(T+/M+)/P(T+/M-)Capacité à distinguer les M des nonM…

coefficient multiplicateur de la probabilité a priori de la maladie


Rapports de vraisemblance : calcul

( )( ) Sp

SeMTPMTPLR

−=

−+++

=+1/

/ ( )( ) Sp

SeMTPMTPLR −

=−−+−

=−1

//


Malades (M+)

Non malades (M-)

Test positif (T+)

VP FP

Test négatif (T-)

FN VN

Total

17/01/2013

14


RV positif : interprétation

( )( ) ( ) ( ) 70.1

414.01995.0

1//

=−

=−

=−+++

=+Sp

SeMTPMTPLR

D-dimère ≥ 500 µg/L

LR+ = (VP/M+) / (FP/M+)Le test est d’autant plus informatif que LR+ >>1 (> 5 admis par la communauté scientifique)Ici, « LR+ = 1.7 » signifie que les DD sont « 1.7 fois plus souvent positifs » chez les M que chez les nonM


RV négatif : interprétation

Le test est d’autant plus informatif que LR-proche de 0 (FN / VN)« LR- = 0.01 » signifie que les DD sont « 100 fois moins souvent négatifs » chez les Mquechez les nonM

( )( )

( ) ( ) 01.0414.0

995.011//

=−

=−

=−−+−

=−Sp

SeMTPMTPLR

D-dimer < 500 µg/L

Application à l’EP pour l’utilisation des RV

17/01/2013

15


Application à l’EP

Probabilité a prioriImplicite (raisonnement non formel du médecin par expérience)Explicite (règle prédictive : score de Wells)

Prévalence(EP) a priori


Rappel : score clinique de WellsCancer évolutif (tt en cours dans les 6 mois ou palliatif) + 1 Symptômes cliniques de thrombose veineuse + 3 Fréquence cardiaque supérieure à 100 + 1.5 Immobilisation ou chirurgie dans le mois précédent + 1.5 Antécédent thromboembolique veineux + 1.5 Hémoptysie + 1 Absence d’alternative diagnostique + 3

Score < 2: probabilité faibleScore = 2 à 5: probabilité modéréeScore > 5: probabilité forte

Wells et al. Thromb Haemost 2000; 83: 416


D-dimère (ELISA)

Rappel : D DIMERE

RV- = 0.01

17/01/2013

16


Rapport de vraisemblance (+) de l’angioscanner thoracique spiralé

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Pre-test probability

Post

-test

pro

babi

lity Rapport de

vraisemblance positif: 24.1

Roy et al. BMJ 2005


Diagramme de Fagan

Scanner : LR+= 24.1

D Dimère : LR- = 0.01


Synthèse interprétation RV

Coefficient multiplicateur de P(M)

Interprétation RV+: un sujet a « RVP fois » plus de risque d'avoir un test positif s'il est atteint de la maladie étudiée que s'il n'est pas atteint de la maladie.Interprétation RV-: un sujet a « RVN fois » plus de risque d'avoir un test négatif s'il n’est pas atteint de la maladie étudiée que s'il est atteint de la maladie.

17/01/2013

17

Prev (M)et valeurs prédictives

(VPP et VPN)dans le cas d’une cohorte


Probabilité a priori : Prévalence

( )01

1/Prévalencemm

mTotalMP

+=+=


Malades (M+) Non malades (M-)

Test positif (T+) VP FPTest négatif (T-) FN VN

Total m1 m0


Ex : prévalence de l’EP

( ) ( ) %29475196

196/Prévalence =+

=+= TotalMP

EP

oui non


17/01/2013

18


Probabilité a posteriori (+) : VPPGold standard

Résultats du test


Test positif (T+) VP FP

Test négatif (T-) FN VN


( ) ( )FPVPVPTMPVPP+

=++= /


Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414Prévalence = 196 / 671 = 29%VPP= 195 / 473 = 41%

Variation de la VPP en fonction de la prévalence (1)


Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414 Prévalence = 196 / 4946 = 4%VPP= 195 / 2975 = 6.5%

Variation de la VPP en fonction de la prévalence (2)

17/01/2013

19


Probabilité a posteriori (-) : 1-VPNGold standard

Résultats du test





( ) ( )FNVNVNTMPVPN+

=−−= /


Interprétation VP (1)

on sait que la VPN augmente quand la P[M] diminue et inversement pour la VPP.

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00Prévalence

VPPVPN

les VP impose de ne parler que de la population concernée.


Interprétation VP (2)

VPP = Prev*Se / [(Prev *Se) + (1-Prev)*(1-Sp)]= P(M/T+) si cohortedénominateur VPP = % de tests positifs

VPN = (1-Prev)*Sp / [(1-Prev)*Sp + (Prev)*(1-Se)]= P(nonM/T-) si cohorte

si la Sp tend vers 1 la VPP tend vers 1(diagnostic de confirmation)

si la Se tend vers 1 la VPN tend vers 1(diagnostic d’exclusion)

17/01/2013

20


Interprétation VP (3)VPP

A Se égale, la VPP croit avec P(M) et décroit avec le % de tests positifs (dénom. VPP).A Se égale, la VPP d'un test est donc

d'autant plus forte que la maladie est fréquente ET le test rarement positif.

VPNA Sp égale, la VPN d'un test sera d'autant

meilleure que la maladie est rare ET que la positivité du test est fréquente (i.e. test rarement négatif ).

Cas du critère quantitatif


Cas d’un test quantitatifQuel seuil adopter ?

Gold standard

Résultats du test





?

17/01/2013

21


effectif

0

10

20

30

40

50

60

70

100

200

300

400

500

600

700

800

900

1000

2000

3000

4000

5000

6000

7000

8000

9000

1000

0

>=10

000

PE = noPE = yes

Seuil ≥ 100 µg/L D-dimer (µg/L)


Seuil ≥ 100 µg/L

Pulmonary Embolism

Yes No


Se = 1 et Sp = 0.01


effectif

0

10

20

30

40

50

60

70

100

200

300

400

500

600

700

800

900

1000

2000

3000

4000

5000

6000

7000

8000

9000

1000

0

>=10

000

PE = noPE = yes

Seuil ≥ 500 µg/L D-dimer (µg/L)

17/01/2013

22


Seuil ≥ 500 µg/L

Pulmonary Embolism

Yes No


Se = 0.995 et Sp = 0.414


D-dimer ≥ Se Sp100 100 1.1200 100 13.7300 100 24.8400 99.5 34.9500 99.5 41.4600 95.4 49.9… … …

Courbe ROC (Receiver Operating Characteristics)


Courbe ROC AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1)AUC = 0,5 si test non discriminant (courbe ROC = diagonale)

95% CI [0.84-0.90]

100500

1000

17/01/2013

23


Conclusion… pratique

?Moyens diagnostiques EP…

… nouveau test tests diag à évaluer ?

Biais / Précautions d’interprétation


1. Biais de sélection (1)

Biais de sélection : la population étudiée ne correspond pas à celle que nous prenons en charge

Patients aux caractéristiques différentesPanel de patients insuffisamment variéPrévalence de la M plus basse ou plus élevée

17/01/2013

24


1. Biais de sélection

Performance modifiéeSurestimation des propriétés « intrinsèques » potentielles (i.e. phase symptomatique M)Sur(sous)estimation des valeurs des VP en fonction de la prévalence

Extrapolation limitée des résultats : estimations non extrapolables à la pratique courante pour laquelle le test est développé


2. biais de classement (1)

Biais d’exclusion/ biais de suivi : au fil de l’étude, la population étudiée ne correspond plus à celle que nous prenons en charge (PDV)

Biais de subjectivité de l’enquêteur / biais d’évaluation / biais d’interprétation

Pour l’éviter, la lecture du test doit être Aveugle et/ou indépendante de l’examen de référence (R)



les biais d’évaluation sont opérateur-dépendants :

Expérience du praticien (théorie)habitudes du praticien (caractéristiques en pratique réelle : pragmatique)

Pour les éviter, on peut :Evaluer la reproductibilité inter-opérateurStandardiser le recueil

17/01/2013

25



Biais de vérification : gold standard imparfait Pour l’éviter le gold standard doit être :

Le plus « parfait » possibleexhaustif : réalisé chez tout le monde

Biais d’incorporation : le test est inclus dans gold standard (perte d’indépendance)


3. biais de publication

Biais de publication : Les résultats de l’étude sont regroupés avec d’autres études publiées et seules les études avec des résultats probants ont été publiées.

majoration des performances possible ?

6. Exemple de calculApplication en santé

17/01/2013

26


Evaluation de la valeur diagnostique du dosage radio-immunologique des phosphatases acides dans le dépistage du cancer de la prostate

Étude de cohorteT+ si dosage > 8,0 mg /0,1 ml

Cancer Pas cancer

Test + 75 30 105

Test - 40 210 250

115 240 355


calcul Cancer Pas cancer

Test + 75 30 105Test - 40 210 250

115 240 355Se = P [T+/M+] = 75/115 = 65,2%Sp = = P [T-/M-] = 210/240 = 87,5%

VPP = P [M+/ T+] = 75/105 = 71,4%VPN = = P [M-/ T-] = 210/250 = 84%

RV+ = P [T+/M+] / P [T+/M-] = 5,2RV- = P [T-/M+] / P [T-/M-] = 0,40

7. Références bibliographiques

17/01/2013

27


Pour en savoir plus

Delacour H. et al. Critères d’évaluation de la validité d’un test biologique. Revue francophone des laboratoires 2009;39(412):41-48. Knottnerus J.A. et al. Evaluation of diagnostic procedures. BMJ. 2002 February 23; 324(7335): 477–480 F Doyon et al. Evaluation des méthodes diagnostiques.J Radiol. 2001 Feb;82(2):117-25.

Site internet du CNCI (conseil Scientifique de médecine), onglet « épreuve de Lecture critique d’article (objectifs pédagogique, glossaire, exemples, annales ) http://www.cnci.parisdescartes.fr/medecine/

principe d’évaluation des tests diagnostiques · méthode 8. s’assurer que la méthode...

Documents