giovanni capitanio u.o.c. di anatomia patologica ospedale civile di venezia azienda ulss 12...
TRANSCRIPT
Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana
ANALISI DELLE CONCORDANZE
4° Confronto interistituzionale in citologia mammaria da screening
Padova, 23 Novembre 2011
“Primi in Italia, terzi in Europa”
Rovigo 19 maggio 2009
Partecipazione di 20 Centri regionali(18 A.P./21 Ulss + 2 Lab Privati)
Centri che hanno partecipato
• Adria• Arzignano• Bassano• Castelfranco• Cittadella• Conegliano• Dolo• Este• Feltre• Mestre
• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio
Pennelli”
Sestri Ponente Chiavari
2° Round 14/12/09 PD
• 20 casi citologici• inviati da 8 centri• letti da 16 centri
1° Round 19/5/09 RO
• 25 casi citologici• inviati da 12 centri• letti da 11 centri
3° Round 23/11/10 VR
• 27 casi citologici
• inviati da 15 centri
• letti da 21 centri
Analisi delle concordanze ….
N° Caso Diagnosi di riferimento
1 C2
2 C2
3 C3
4 C5
5 C2
6 C5
7 C3
8 C5
9 C5
10 C5
11 C2
12 C5
13 C4
14 C5
15 C3
16 C5
17 C4
18 C5
19 C5
20 C5
21 C5
22 C2
23 C2
24 C4
25 C5
DIAGNOSI DI RIFERIMENTO
24
12 12
52
6 3 3 13
4° Round
4° Confronto interistituzionale in citologia mammaria: analisi delle
concordanze• 25 casi citologici inviati da un centro• 20 anatomie patologiche • 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnosticata in 4 casi• 2 categorie diagnosticate in 9 casi• 3 categorie diagnosticate in 8 casi• 4 categorie diagnosticate in 3 casi• 5 categorie diagnosticate in 1 caso
Confronto interistituzionale in citologia mammaria
2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso
1° Round1° Round 1 categoria in 4 casi1 categoria in 4 casi 2 categorie in 6 casi2 categorie in 6 casi 3 categorie in 9 casi3 categorie in 9 casi 4 categorie in 6 casi4 categorie in 6 casi
3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi
4° Round1 categoria in 4 casi2 categorie in 9 casi3 categorie in 8 casi4 categorie in 3 casi5 categorie in 1 caso
Concordanza maggiore in 9 casi + 1 (C4-C5) (C2)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 4 casi (C1-C2-C3)
Discordanza maggiore in 5 casi (C1-C5)
2° Round Concordanza maggiore in 1 caso (C5)
Concordanza minore in 4 casi (C4-C5)
Discordanza minore in 6 casi (C3-C5)
Discordanza maggiore in 9 casi (C1-C5)
1° Round1° Round Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5)(C5)
Concordanza minore in 6 casi (C4-Concordanza minore in 6 casi (C4-C5)C5)
Discordanza minore in 5 casi (C3-Discordanza minore in 5 casi (C3-C5)C5)
Discordanza maggiore in 10 casi Discordanza maggiore in 10 casi (C1-5)(C1-5) 3° RoundConcordanza maggiore in 3 casi (C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 1 caso (C1-C2-C3)
Discordanza maggiore in 17 casi (C1-C5)
4° RoundConcordanza maggiore in 10 casi (C2)(C4-C5)
Concordanza minore in 6 casi (C3-C4-C5)
Discordanza minore in 4 casi (C1-C2-C3)
Discordanza maggiore in 5 casi (C1 – C5)
• Diagnosi di maggioranza uguale al gold standard in 19 casi
• Diagnosi di maggioranza diversa dal gold standard in 5 casi
• 1 caso di parità diagnostica
N° caso
C1 C2 C3 C4 C5
1 5 9 5 1
2 17 3
3 7 4 9
4 20
5 17 3
6 20
7 9 9 2
8 1 3 16
9 1 19
Diagnosi GS Diagnosi dimaggioranza ≠ GS
N° caso
C1 C2 C3 C4 C5
10 1 2 17
11 9 11
12 1 19
13 13 7
14 20
15 1 8 9 1 1
16 5 11 4
17 4 10 5 1
18 3 12 5
N° caso
C1 C2 C3 C4 C5
19 1 19
20 2 18
21 1 4 15
22 15 4 1
23 20
24 2 1 12 5
25 1 19
Grado di accordo …
• Valori di K < 0.40 sono indicativi di una concordanza debole
• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona
• Valori di K > 0.75 sono indicativi di una concordanza eccellente.
Indici di concordanza
• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria
• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.
• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.
Buongiorno, invio l’analisi della concordanza per la citologia mammaria:
•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)•Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento•Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento) considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave) saluti Stefano Guzzinati
Accordo complessivo tra raters senza considerare la diagnosi di riferimento
5 categorie
Kappa Standard Error Z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3 0,21173 0,044524 4,7555 0
C4 0,31391 0,047716 6,5787 2,37E-11
C5 0,68854 0,087822 7,8401 2,22E-15
Overall 0,49550 0,021077 23,5087 0
4° Round
Kappa statistics for nominal response (3° ROUND)
Kappa Standard Error Z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3 0,11648 0,052721 2,2094 0,01357
C4 0,10226 0,055233 1,8513 0,03206
C5 0,38409 0,061445 6,2511 0
Overall 0,22689 0,009504 23,873 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,55859 25,31 25,9048 518,095 <.0001
ACCORPANDO C4 CON C5 (4 categorie)
Kappa Standard Error z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3 0,21173 0,044524 4,7555 0
C4-C5 0,75792 0,11901 6,3684 9,55E-11
Overall 0,56394 0,03766 14,9759 0
4° Round
ACCORPANDO C4 CON C5 (4 livelli) 3° Round
Kappa statistics for nominal response
Kappa Standard Error z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3 0,11648 0,052721 2,2094 0,01357
C4-C5 0,405 0,099026 4,0898 0,00002
Overall 0,28388 0,026535 10,6984 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,48818 19,08 25,9048 518,095 <.0001
Kappa complessivo 2° round: 0,32866
ACCORPANDO C3 CON C4 (4 categorie)
Kappa Standard Error z Prob>Z
C1 0,52204 0,036054 14,4796 0
C2 0,54739 0,050916 10,751 0
C3-C4 0,35036 0,064537 5,4288 2,84E-08
C5 0,68854 0,087822 7,8401 2,22E-15
Overall 0,53629 0,019434 27,595 0
4° Round
ACCORPANDO C3 CON C4 (4 livelli) (3° Round)
Kappa statistics for nominal response
Kappa Standard Error z Prob>Z
C1 0,03164 0,029996 1,055 0,14572
C2 0,31944 0,047965 6,66 0
C3-C4 0,17368 0,086451 2,0089 0,02227
C5 0,38409 0,061445 6,2511 0
Overall 0,27367 0,019244 14,2211 0
Kendall's Coefficient of Concordance for ordinal response
Coeff of Num Denom
Concordance F DF DF Prob>F
0,5039 20,31 25,9048 518,095 <.0001
Concordanza tra raters e gold standard
Raters K pesato K simple
A 0,8514 0,7031
C 0,5726 0,3187
D 0,9392 0,8765
E 0,6347 0,478
F 0,7271 0,5921
G 0,6689 0,4136
H 0,9102 0,8166
I 0,7073 0,4141
L 0,7387 0,4617
M 0,6228 0,3193
O 0,5843 0,3929
Q 0,5198 0,1972
R 0,5307 0,3857
T 0,6622 0,4369
U 0,748 0,536
V 0,6208 0,4731
W 1 1
Y 0,7972 0,6575
Z 0,6495 0,42
AA 0,8514 0,7031
Concordanza tra Raters e gold standard
RatersK 4°
RoundK 3°
Round K 2° Round
A 0,8514 0,5070 0,7386
C 0,5726 0,5601
D 0,9392 0,6343 0,3333
E 0,6347 0,5263 0,3023
F 0,7271 0,3800
G 0,6689 0,5214 0,3333
H 0,9102 0,6538 0,5425
I 0,7073 0,2146 0,0972
L 0,7387 0,4057 0,3882
M 0,6228 0,1925
O 0,5843 0,4639 0,2949
Q 0,5198
R 0,5307 0,3963 0,2262
T 0,6622 0,5601
U 0,7480 0,6172 0,4093
V 0,6208 0,6113
W 1 0,3551 0,2308
Y 0,7972 0,3490
Z 0,6495 0,4369
AA 0,8514 0,4617 0,6226
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
2°Round
3°Round
4°Round
K nominaleK pesato
K > 0,7
Motivazioni …..• Casistica di “routine” (2008), non
selezionata, inviata da un solo centro• Allestimento unico • Colorazione unica • Presenza di notizie (età, clinica, es.
radiologici)• > esperienza in telecitopatologia
Rizzo
Capitanio
Mencarelli
Bianchini
Briani
Casi con diagnosi di maggioranza ≠ da gold standard
Caso n°2
• 61 a, non palpabile, U3
• 17 C1• 3 C2 (ectasia
duttale)
Caso n° 7
• 67 a, cisti palpabile, R2, U2
• 9 C3• 9 C4• 2 C5
CDIS
Caso n° 11
• 69 a, non palpabile, R3, U3
• 9 C2• 11 C3
Fillode
Caso n° 16
• 60 a, sospetta• 5 C3• 11 C4• 4 C5
Caso n° 18
• 60 a, non palpabile, R3, U3
• 3 C3• 12 C4• 5 C5
B5
Casi discordanti
Caso n° 1
C1 C2 C3 C4 C5
5 9 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
54 Palpabile
R3 U3
Caso n° 1
C1 C2 C3 C4 C5
5 9 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
54 Non Palpabile
R3 U3
Caso n° 15
C1 C2 C3 C4 C5
1 8 9 1 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
60 Non Sospett
a
Caso n° 15
C1 C2 C3 C4 C5
1 8 9 1 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
60 Non Sospett
a
Lesione benigna
Caso n° 17
C1 C2 C3 C4 C5
4 10 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
51 R1 U3
Caso n° 17
C1 C2 C3 C4 C5
4 10 5 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
51 R1 U3
Caso n° 22
C1 C2 C3 C4 C5
15 4 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
50 Non palpabil
e
U3
Caso n° 22
C1 C2 C3 C4 C5
15 4 1
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
50 Non palpabil
e
U3
Fibroadenoma
Caso n° 24
C1 C2 C3 C4 C5
2 1 12 5
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
63 Palpabile
R5 U5
Caso n° 24
C1 C2 C3 C4 C5
2 1 12 5
Età Tecnica di localizzazione
Tipologia campione
Dati clinici RX ECO
63 Palpabile
R5 U5