evaluación de test diagnósticos · curva roc/ Área bajo la curva es el mejor indicador global de...
TRANSCRIPT
Evaluación de test diagnósticos
Área de Investigación en Clínica Interna
Berecoechea CelestePosadas Martinez Lourdes
Objetivos del ateneo
PreguntaDiseño del estudioPoblaciónSesgos y confundidoresCálculo de nAnálisis y estadísticoValidación del test
Duda diagnóstica
Intento de tomar decisiones adecuadas a pesar del uso de información inadecuada El diagnóstico es generalmente la primera intervención médica.
Test diagnósticos
Disbalance entre el desarrollo de los test diagnósticos y los estudios de investigación de los mismos. Contrariamente al desarrollo de fármacos, no existen requerimientos formales para la inclusión de un test diagnóstico en la práctica clínica.
Test diagnósticos
ScreeningDetectar o excluir una determinada enfermedadContribuir al diagnóstico y tratamientoPronóstico y seguimientoMonitorizar el curso clínico
Objetivos de los test diagnósticos:
Tener siempre en cuenta
La PREGUNTA de investigación
Diseños de los test diagnósticos para estudios clínicos
TrialCohorteCaso y referenciasAntes y después
Impacto de un test diagnóstico sobre el pronóstico o manejo
Corte trasversal(casos y referentes, aleatorio)
Exactitud diagnóstica o performance diagnóstica ( S y E)
Tipo de estudioObjetivo
Diseños de los test diagnósticos para sintetizar resultados
Consenso de expertosDesarrollo de guías de practica clínica
Traslación a la practicaclínica
Análisis de costo efectividad
Costo efectividad
Meta-análisisRevisiones sistemáticas
Sintetizar resultados de múltiples estudios
Tipo de estudioObjetivo
Población
Población general en riesgo (Screening)Población de enfermos vs. población de referencia (estudios de S y E)
Desafíos metodológicos
El problema del Gold StandardSesgos y confundidoresMedidas blandasRelaciones complejasTamaño muestralImpacto clínicoCambios durante el tiempo
Referencia StandardLa Referencia Standard sirve para comparar la performance diagnóstica de un test a estudiar.Características: debe ser aplicado a todos los sujetos en estudio, evaluado independientemente del test en estudio, debe tener un protocolo estandarizado. Problemas:
imperfectoinadecuado invasivocomplejovariable
Referencia Standart
Soluciones: Criterio pragmáticoComité de expertos independientesSeguimiento clínico (delayed type cross sectional study=retraso en el tipo de estudio de corte transversal)Hechas a medida Standard (tailoredmade)
Sesgos y Confundidores
SesgosSelección EspectroDel observador
Confundidores
Tamaño muestralSiempre debe ser realizadoDepende de la pregunta a responderVariables dicotómica (test de presición): nomogramasVariables continuas (área bajo la curva): cálculo de n basados en la precisión.
Tamaño muestral
Nomogramas: Se utiliza para estudios de corte transversal (S y E)Son diferentes depende si lo que busca la especificidad o sensibilidadNecesitamos saber tres de cuatro elementos: prevalencia, intervalo de confianza, S /E, y número de pacientes.
Carley et al. Simple nomograms to calculate sample size in diagnostic studies Emerg Med J 2005;22:180–181.S
Nomograma especificidad
Nomograma sensibilidad
Análisis y estadísticoPrecisión diagnóstica: habilidad para clasificar correctamente a los sujetos en subgrupos clínicamente relevantes. Las medidas de performance diagnóstica son:
Sensibilidad Especificidad Likelihood RatioValor predictivo positivo Valor predictivo negativo
Presición de una prueba diagnóstica
SensibilidadEs la probabilidad de clasificar correctamente a un individuo enfermo, es decir, la probabilidad de que para un sujeto enfermo se obtenga en la prueba un resultado positivo.La sensibilidad es, por lo tanto, la capacidad del test para detectar la enfermedad. (VP/VP+FN)
EspecificidadEs la probabilidad de clasificar correctamente a un individuo sano, es decir, la probabilidad de que para un sujeto sano se obtenga un resultado negativo. En otras palabras, se puede definir la especificidad como la capacidad para detectar a los sanos. (VN/FP+VN)
No dependen de la prevalencia de la enfermedad
Característica del test
Presición de una prueba diagnóstica
Valor predictivo positivo:Es la probabilidad de padecer la enfermedad si se obtiene un resultado positivo en el test. (VP/FP+FP)
Valor predictivo negativo:Es la probabilidad de que un sujeto con un resultado negativo en la prueba esté realmente sano. (VN/FN/VN)
Dependen de la prevalencia de la enfermedad
Se presenta como proporciones con IC95%
También se denomina Razón de Verosimilitud, Tasa de Probabilidad o Likelihood Ratio
Cociente de Probabilidad positivo: S/1-EProbabilidad de que el test resulte positivo en presencia de la enfermedad, dividido por la probabilidad de tener un test positivo sin tener la enfermedad
Cociente de Probabilidad negativo: 1-S/EProbabilidad de que el test resulte negativo en presencia de la enfermedad, dividido por la probabilidad de tener un test negativo sin tener la enfermedad
No varía con prevalenciaPermite utilizarlo como índice de comparación entre distintas pruebas para un mismo diagnóstico
Likelihood Ratio
Es una representación simple, fácilmente comprensible de la precisión de una prueba.
No requiere seleccionar un umbral de decisión particular porque es incluido todo el rango de valores.
Independiente de la prevalencia.Proporciona una comparación visual directa
sobre una escala común.
Curva ROC / Ventajas
Curva ROC (Receiver-Operating- Characteristic)
Se calcula cuando los resultados son continuos
Buscar el punto en donde la combinación ofrece los mejores valores de sensibilidad y especificidad.
Curva ROC/ Área bajo la curvaEs el mejor indicador global de la precisión de una prueba diagnóstica. Area Bajo la curva test H0= 0,5Area Bajo la curva IC 95%Area Bajo la curva test 1= Area Bajo la curva test 2Elegir un punto de corte para dicotomizar el test
Es siempre igual o mayor a 0,5, con rango de valores entre 0,5 ( no hay diferencia entre los valores de las pruebas entre los dos grupos) y 1 (discriminación perfecta).
Prevalencia Ca próstata 5 %
Likelihood Ratio
A tener en cuenta, otras características del test:Como se administra el testComo se interpretan los resultadosComo se preparan los pacientes para el testQue le puede pasar o sentir el paciente durante el testPrecauciones previasComo se guardan las muestras, se procesan y se analizanEl costo-efectividad del testOtros beneficios del test (menos invasivo, más reproducible, menos efectos adversos)El recurso humano, financiero y de espacio físico
En resumen• Lo primero es establecer la pregunta de investigación
sobre un test diagnóstico
• Decidir el diseño apropiado para contestar mi pregunta
• Calcular el n
• Decidir que análisis estadísticos serán mas adecuados para contestar mi pregunta
• Estandarización de procesos
• Reportar mis resultados según normas
BibliografíaCarley, S., S. Dosman, S.R. Jones, and M. Harrison, Simple nomograms to calculate sample size in diagnostic studies. Emerg Med J, 2005. 22(3): p. 180-1.Elstein, A.S. and A. Schwartz, Clinical problem solving and diagnostic decision making: selective review of the cognitive literature. Bmj, 2002. 324(7339): p. 729-32.Irwig, L., P. Bossuyt, P. Glasziou, C. Gatsonis, and J. Lijmer, Designing studies to ensure that estimates of test accuracy are transferable. Bmj, 2002. 324(7338): p. 669-71.Knottnerus, J.A., The Evidence Base of Clinical Diagnosis. 2002, London: BMJ.Knottnerus, J.A., C. van Weel, and J.W. Muris, Evaluation of diagnostic procedures. Bmj, 2002. 324(7335): p. 477-80.Lang, T.A. and M. Secic, How to Report Statistics in Medicine. 2006, Philadelphia, United States of America: American College of Physicians.Machin, D. and M.J. Campbell, Design of Studies for Medical Research. 2008, Sussex, England: John Wiley and Sons.Sackett, D.L. and R.B. Haynes, The architecture of diagnostic research. Bmj, 2002. 324(7336): p. 539-41.Winkens, R. and G.J. Dinant, Evidence base of clinical diagnosis: Rational, cost effective use of investigations in clinical practice. Bmj, 2002. 324(7340): p. 783.Whiting, P., A.W. Rutjes, J.B. Reitsma, P.M. Bossuyt, and J. Kleijnen, The development of QUADAS: a tool for the quality assessment of studies of diagnostic accuracy included in systematic reviews. BMC Med Res Methodol, 2003. 3: p. 25.http://www.stard-statement.org/