Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 1
Rendimiento y Evaluación de Dispositivos Biométricos
Dr. Carlos Enrique Vivaracho Pascual
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 2
Índice Exposición
1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 3
1. Introducción
Evaluar:Estimar aptitudes y rendimiento de los sistemas
[Sharp]
Prestar igual atención a todos los aspectos, desde la adquisición de los datos, a la integración del
sistema
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 4
1. Introducción
Aspectos a analizar en la evaluación: Rendimiento. Seguridad, integridad y confidencialidad de los datos. Fiabilidad, disponibilidad y mantenimiento de la
aplicación informática. Aceptación y/o facilidad de manejo. Comercialización del producto. Cuestiones legales.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 5
1. IntroducciónObjetivos: Comparar tecnologías. Ver si es factible su realización práctica. Analizar el cumplimiento de requisitos. ...
Importante: objetiva. Realizada por instituciones independientes.
Evaluaciones estándar. Seguimiento de prácticas y criterio comunes.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 6
1. IntroducciónEvaluaciones estándar: Comercial:
International Biometric Group (IBG). International Biometric Industry Association (IBIA).
No comercial: National Institute of Standars and Technology (NIST).
Voz.Caras, Face Recognition Vendor Test (FRVT): FERET
Fingerprint Verification Competition (FVC). Audio and Video-Based Biometric Person Authentification
(AVBPA) face constest: XM2VTS
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 7
1. IntroducciónCriterios comunes. En elaboración:
ISO: JCT1/SC5 (Biometrics) / WG5 (Biometic Testing and
Reporting).
Documentos: Common Criteria:
Common Evaluation Methodology, Biometric Evaluation Methodology Supplement (V1.0, 2002).
Biometric Working Group:Best Practices in Testing and Reporting Performance of
Biometric Devices (V2.01, 2002).
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 8
Índice Exposición
1. Introducción.2. Planificando la Evaluación.
2.1 Introducción.2.2 Aspectos a Definir.
3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico.6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 9
2.1 Planificando: Introducción
Definición de aspectos que condicionan: Ámbito de aplicación. Alcance. La adquisición de los datos. Alcance de los rendimientos obtenidos.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 10
2.1 Planificando: IntroducciónDecisiones condicionadas por: El sistema.
Ej. Tiene o no dispositivos de almacenamiento. El entorno de aplicación.
Ej. Voz: vía teléfono - vía micrófono. El fabricante del dispositivo.
Ej. Proporciona o no SDK. El ámbito del estudio.
Ej. Tecnológico, de escenario u operacional. Aspectos cuya influencia se quiere analizar.
Ej. Ruido de fondo, condiciones de iluminación, ...
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 11
2.1 Planificando: IntroducciónDefiniciones: Muestra: rasgo biométrico capturado.
Ej. Imagen huella dactilar o de la cara. Patrón: referencia almacenada del usuario
Muestras de entrenamiento. Parámetros del clasificador.
Inscripción: proceso de añadir nuevos usuarios Operación: intento por parte del usuario de validación
o identificación de su identidad. Se pueden usar una o más muestras.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 12
2.2 Planificando: Aspectos a Definir
1. Clasificación de la muestra (I): Online
la inscripción o la clasificación se realiza en el momento de la captura
No es necesario almacenar los datos. Se aconseja: permite su tratamiento posterior. Si no es posible: medidas más completas si se toman
decisiones con distintos niveles de seguridad.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 13
2.2 Planificando: Aspectos a Definir
1. Clasificación de la muestra (II): Offlinela inscripción o la clasificación se realiza con
muestras previamente grabadas Mayor control y versatilidad en las pruebas. Coste pequeño al modificar la evaluación. Problema: definir la adquisición. El número y
características de los datos tomados condiciona: Las pruebas a realizar. La fiabilidad de los resultados medidos. El alcance del rendimiento observado.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 14
2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (I): Tecnológica
El objetivo es medir el estado de la tecnología, determinar el progreso que ésta ha logrado e
identificar lo enfoques más prometedores Más general. Offline: completamente repetible. Tarea a abordar: ni muy fácil, ni muy difícil.
Sólo así habrá separación entre sistemas. Bases de datos: no vistas de antemano. Evaluaciones estándar: FVC, NIST (voz, caras).
Bases de datos usadas: estándares de hecho. A tener en cuenta: sesgos debido a los sensores
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 15
2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (II): De Escenario
El objetivo es determinar si la tecnología está suficientemente madura como para cumplir los
requisitos de una determinada aplicación Medida del rendimiento: en escenario prototipo.
Modela un determinado campo de aplicación. Se extiende a todo el sistema.
No sólo clasificación, también etapa de captura. Sensores captura distintos muestras distintas Aconsejable: probar combinaciones sensores -
algoritmos reconocimiento. Ej.: coordina NPL, patrocina CESG (UK).
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 16
2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (II): Operacional
El objetivo es analizar si un sistema biométrico concreto, cumplo los requisitos de una determinada
aplicación concreta Similar a la de escenario, pero para un sistema
concreto y en un entorno de uso real. Puede ser online u offline.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 17
2.2 Planificando: Aspectos a Definir3. Tarea a abordar (I): VerificaciónSe trata de autentificar la identidad reclamada por el
usuario Comparación muestra/s - patrón usuario. Respuesta: identidad reclamada/rechazada. Ej. de uso: acceso a servicio de uso personal
(ordenador, cuenta bancaria, etc.)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 18
2.2 Planificando: Aspectos a Definir3. Tarea a abordar (II): Identificación
Positiva: Se trata de comprobar que un usuario que reclama estar inscrito, lo estáEj. uso: control de acceso a lugares restringidos.
Negativa: Se trata de comprobar que un usuario que reclama no estar inscrito, no lo estáEj. uso: evitar dobles inscripciones en servicios, ej. desempleo.
Comparación muestra - patrones todos usuarios O pertenecientes a una determinada partición.
Reclamación identidad: Implícita, sin dar identidad. Explícita, proporcionando la identidad.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 19
2.2 Planificando: Aspectos a Definir
4. Factores que afectan al rendimiento: Análisis Buscando:
Cuáles son poco relevantes: control no importante Cuáles afectan a la medida del rendimiento:
Se Fijan de antemano sus valores.Se diseñan las pruebas de modo que se pueda medir su
influencia en el sistema. Prever potenciales problemas: anticipar controles. Identificar casos excepcionales que puedan ser
interesantes a considerar en las pruebas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 20
2.2 Planificando: Aspectos a Definir4. Factores que afectan al rendimiento: Tipos
Inherentes a la tecnología o al dispositivo:
Ajenos al dispositivo. Destacar: Tiempo transcurrido entre inscripción-prueba. Composición de la población bajo estudio.
Factorambiental
Parámetrobiométrico
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 21
2.2 Planificando: Aspectos a Definir5. Políticas de inscripción/operación.
A tener en cuenta en inscripción: Número de muestras usadas para crear el patrón. Número y separación entre sesiones. Permitir o no actualizar el patrón con muestras
rechazadas. Si se permite validación del patrón: los resultados no se
deben incluir en la prueba. A tener en cuenta en operación:
Número de muestras usadas para la decisión. A tener en cuenta en ambas:
Controlar o no la calidad de la muestra adquirida.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 22
Índice Exposición1. Introducción.2. Planificando la Evaluación.3. Los Datos.
3.1 Introducción.3.2 Datos del Cliente.3.3 Datos de Impostores.
3.3.1 Impostores Genuinos.3.3.2 Impostores Simulados.
3.4 El tamaño de la Prueba.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 23
3.1 Los Datos: Introducción Idealmente: habría que realizar pruebas sobre
todo posible usuario. Imposible en la práctica.
Pruebas a realizar sobre un subconjunto.
Alcance de la evaluación. Confianza en las medidas del rendimiento.
Composición y datos adquiridos condicionan
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 24
3.1 Los Datos: IntroducciónConsideraciones generales: No es aconsejable el uso de muestras creadas
artificialmente, tanto en lo que se refiere a la muestra, como a las condiciones de adquisición.
Resultados no extrapolables a la realidad. Cuidado con errores como dobles inscripciones,
inconsistencias muestras-individuo o muestras incorrectas.
Es conveniente automatizar la adquisición. Se evita la subjetividad del operador humano. Datos más libres de errores. Adquisición más cercana a la real.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 25
3.1 Los Datos: IntroducciónElementos importantes a tener en cuenta: Entorno de la adquisición.
Iluminación, ruido de fondo, tipo de sensor, ... Composición de la población.
Evaluación de escenario y operacional: Representativos de la aplicación a estudio. Casos especiales: correctamente representados.
Evitar sesgos en los resultados.
Evaluación tecnológica: Suficientemente genéricos y representativos para
permitir comparaciones objetivas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 26
3.1 Los Datos: IntroducciónDefiniciones: Intento auténtico: la muestra a clasificar
pertenece al propietario del patrón con el que compara.
Intento impostor: la muestra a clasificar no pertenece al propietario del patrón con el que compara.
Cliente: usuario inscrito.
Impostor: usuario que se hace pasar por cliente. Activo: trata de imitar al cliente.Pasivo: no trata de imitar al cliente.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 27
3.2 Los Datos: ClienteProblema: envejecimiento del patrón.
El rendimiento del sistema decrece cuanto mayor es el tiempo transcurrido entre la inscripción y la operación
Hay que realizar pruebas con datos adquiridos con una separación “suficiente” en el tiempo.
“Suficiente”: Imposible de obtener de forma exacta. Aproximación: tiempo necesario para que sane esa
parte del cuerpo. Si está definido: recoger muestras con la misma
frecuencia que en el uso real del sistema.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 28
3.3 Los Datos: Impostores
Formas de operar: Impostores genuinos: datos provenientes de
usuarios diferentes a los clientes, y adquiridas ex profeso para ese fin.
Impostores simulados: se usan muestras de otros clientes.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 29
3.3.1 Los Datos: Impostores GenuinosForma más realista de evaluar el sistema.Mayor control sobre la definición de operaciones.No siempre posible en la realidad.Recomendable: adquirir un número alto de datos, y elegir aleatoriamente las pruebas por cliente.Diferente modo de adquisición: pasivos/activos.Condiciones de adquisición: las mismas que las de los clientes. No es aconsejable usar bases de datos distintas.
No usar muestras usadas para crear el clasificador.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 30
3.3.2 Los Datos: Impostores Simulados
Formas de operar:1. Selección aleatoria de un subconjunto por cliente.2. Realizar comparaciones cruzadas completas.
Usando muestras entrenamiento y/o prueba.
Problema: pruebas de impostores activos.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 31
3.4 Los Datos: Tamaño de la Prueba
Consideraciones generales: Definido por: número de voluntario e intentos. Fija la confianza en la estimación del error medida. Problema: tamaño mínimo que asegure un nivel
prefijado de confianza
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 32
3.4 Los Datos: Tamaño de la PruebaSolución 1: Regla del 3
[Mansfield y Wayman, 2002][Jovanic y Levy, 1997] Suposiciones:
Pruebas estadísticamente independientes. Probabilidad de error p igual en todas ellas.
Distribución de errores observados: binomial
Establece: la probabilidad de error p mínima que permite asegurar con una confianza del 95% que en N ensayos se pueden tener 0 errores es 3/N.
Ej.: 95% confianza de que p=0.01, es necesario, como mínimo, 300 pruebas sin error.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 33
3.4 Los Datos: Tamaño de la PruebaSolución 2: Regla del 30 (Doddington)
[Doddington,1998][Porter,2000]
Mismas suposiciones anteriores. Establece: para tener un 90% de confianza de que la
tasa de error verdadera está dentro del 30% de la tasa de error observada, debe haber al menos 30 errores.
Ej.: Si tenemos 30 errores en 3000 pruebas
Con un 90% de confianza el error estará entre 0.7% y 1.3%
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 34
3.4 Los Datos: Tamaño de la PruebaProblemas en las suposiciones anteriores: Independencia estadística entre pruebas, no se puede
asegurar si: Cada muestra de prueba no pertenece a un individuo
distinto. Se simulan operaciones de impostores mediante
comparaciones cruzadas completas.
Igual distribución de errores. La realidad demuestra los siguientes comportamientos:
“Oveja”: comportamiento normal. “Cabra”: personas difíciles de reconocer. PFalsoRechazo alta. “Cordero”: personas fáciles de imitar. PFalsaAceptación alta. “Lobo”: personas con facilidad para hacerse pasar por
otras. PFalsaAceptación alta.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 35
3.4 Los Datos: Tamaño de la PruebaConclusión Reglas anteriores: difícil aplicación práctica. Se usan como referencia.
Recomendaciones [Best Practices]: Número de voluntarios tan grande como se pueda:
cuanto mayor sea menor será el intervalo de confianza sobre la estimación del error medida.
Adquirir suficientes muestras por voluntario, tal que el número de pruebas exceda el requerido por la regla del 3 o del 30, la que sea adecuada.
Calcular la confianza sobre la medida del error estimada.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 36
Índice Exposición1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.
4.1 Introducción.4.2 Validación de la Muestra.4.3 Clasificación de la Muestra.4.4 El Algoritmo de Partición.4.5 Decisión Final.4.6 Productividad.
5. Análisis Estadístico de los Resultados.6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 37
4.1 Rendimiento: IntroducciónEsquema de un sistema biométrico
Parámetrobiométrico sensor muestra extracción de
característicasvector de
características
decisión sobrela muestra
coincide / no coincidecon el patrón
clasificaciónresultado delclasificador
patrón
válidaValidación
noválida
decisión final
aceptado / rechazado
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 38
4.2 Rendimiento: ValidaciónErrores. Tasa de Fallos en Inscripción (TFI): proporción de
voluntarios que no han sido inscritos en el sistema.
Tasa de Fallos en Operación (TFO): proporción de operaciones (tanto del cliente, como de impostores) que no han podido ser completadas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 39
4.3 Rendimiento: ClasificaciónErrores. Tasa de Falsos Positivos (TFP) (False Match Rate,
FMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como coincidente con el patrón de otro usuario.
Se estima: proporción de muestras falsamente asignadas a un cliente al que no pertenecen.
Tasa de Falsos Negativos (TFN) (False Non Match Rate, FNMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como no coincidente con el patrón de ese usuario.
Se estima: proporción de muestras del cliente falsamente rechazadas como no pertenecientes a él.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 40
4.3 Rendimiento: ClasificaciónTasas de error centradas en el algoritmo. Independientes de la política de decisión final. Las normalmente usadas en la evaluación tecnológica. Cálculo aconsejable siempre.
Resultados etapa clasificación: distribución típica.
Solapamiento imposible 100% aciertos.
El rendimiento depende del umbral de decisión.
Resultado clasificador
Cliente
Impostores
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 41
4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Características Muestran los valores de la TFP y la TFN para diversos
umbrales de decisión (puntos de funcionamiento). Permiten una visualización global del rendimiento. Permiten una comparación objetiva ente sistemas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 42
4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Curvas ROC.
(Receiver Operating Characteristics) Muestran la variación de la TFP (eje X), con respecto a
la tasa de “verdaderos positivos” (1-TFN) en el eje Y, para distintos umbrales de decisión.
El eje Y y la recta y=100 pueden ser consideradas las asíntotas de la curva: cuanto más se acerque ésta a ellas mejor es el rendimiento del sistema.
Tasa de Falsos Positivos (%)
Tasa
de
Verd
ader
os P
ositi
vos (
%)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 43
4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Curvas DET.
(Detection Error Tradeoff) [Martin et al., 1997] Representa el número de desviaciones normales en la
distribución normal estandarizada (media 0 y varianza 1) correspondiente a la TFP (eje X) y a la TFN (eje Y).
La escala original se cambia por la correspondiente probabilidad.
Representación casi lineal. Comparación más clara y fácil. Distancia entre curvas:
diferencia entre rendimientos. Cuanto más cercana a la recta,
más se acerca la distribución de resultados a la normal.Tasa de Falsos Positivos (%)
Tasa
de
Falso
s Neg
ativ
os (%
)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 44
4.3 Rendimiento: ClasificaciónEl sistema en un número. Se resume el rendimiento del sistema en un solo valor:
se escoge un punto de funcionamiento característico. Comparación más fácil que con las anteriores. Representación del rendimiento menos completa.
Medidas más usadas: Tasa de Equierror (TEE) (Equal Error Rate, EER): punto
donde se igualan la TFN y la TFP. Medida muy popular.
Coste de Detección (Detection Cost, Cdet): Cdet = cfn·TFN·Pcliente + cfp·TFp·(1-Pcliente)
cfn y cfp los costes de los errores correspondientes. Pcliente y (1-Pcliente) las prob. a priori de cliente e impostor Ej. NIST: cfn=10, cfp=1 y Pcliente=0.01.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 45
4.3 Rendimiento: Clasificación Dependencia con los errores de la etapa anterior.
Cuanto mayor sea la exigencia con respecto a la calidad de la muestra, mayor será la probabilidad de fallos en operación, pero menor será la probabilidad
de errores en clasificación.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 46
4.4 Rendimiento: Algoritmo de ParticiónMedidas de eficacia. Rango de Penetración (RP) [James y James,2000]:
proporción esperada de comparaciones a realizar sobre cada muestra, con respecto al número total de patrones, bajo la condición de comparación con todos los patrones de la partición asignada.
Cálculo: número medio de comparaciones por muestra, dividido entre el número total de patrones.
Cuanto menor sea RP, respuesta más rápida del sistema.
Tasa de Error en la Asignación de la Partición (TEAP): proporción de asignaciones erróneas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 47
4.4 Rendimiento: Algoritmo de ParticiónRelación entre ambas medidas. Cuanto mayor sea el número de particiones, menor
será el RP, pero mayor será la TEAP, y a la inversa. RP/TEAP=f(parámetros del algoritmo de partición). Representación de esa relación: curvas ROC y DET, por
ej.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 48
4.5 Rendimiento: Decisión FinalErrores. Tasa de Falsas Aceptaciones (TFA): proporción de
operaciones con identidad o no identidad falsamente reclamada que son incorrectamente confirmadas. Error de tipo II. Identificación positiva y verificación: identidad falsamente
asignada a un individuo. Identificación negativa: rechazo de un usuario inscrito.
Tasa de Falsos Rechazos (TFR): proporción de operaciones con identidad o no identidad correctamente reclamada que son incorrectamente rechazadas. Error tipo I Identificación positiva y verificación: cliente rechazado. Identificación negativa: sí inscrito un usuario no inscrito.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 49
4.5 Rendimiento: Decisión FinalRelación con errores anteriores. TFP/TFN: def. para comparaciones sobre cada muestra
TFA/TFR: definidas sobre operaciones Ej. verificación de usuario basada en 3 intentos: Falso
Rechazo cada vez que tengamos 3 Falsos Negativos.
TFA/TFR dependen de los anteriores. Ej. Decisión final basada en muestra única y operaciones
de impostores simuladas mediante comparación cruzada completa con las muestras de prueba de cada cliente.
TFA=(1-TFO)·RP·TFPTFR=TFO + (1-TFO)·TEAP + (1-TFO)·(1-TEAP)·TFN
Dependencia de TFA/TFR con el umbral: se representa igual que para TFP/TPN.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 50
4.6 Rendimiento: ProductividadMedidas de la productividad del sistema. Procesamiento en tiempo real: número medio de
inscripciones y número medio de operaciones por unidad de tiempo.
Procesamiento posterior a la adquisición de la muestra: tiempo medio por cliente del algoritmo de creación de patrones y tiempo medio por operación del algoritmo de clasificación.
Medidas interesantes desde el punto de vista práctico.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 51
Índice Exposición
1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.
5.1 Introducción.5.2 Sensibilidad Frente a Cambios.5.3 Confianza en los Errores Estimados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 52
5.1 Análisis Estadístico: IntroducciónTipos de errores en el cálculo del rendimiento:
[Best Practices, 2002] Aleatorios: debidos a la variación natural de las
muestras, los voluntarios, etc. Condiciona la confianza en el resultado obtenido.
Sistemático: debidos a sesgos en el procedimiento de evaluación.
Ej. probar sólo bajo determinadas condiciones ambientales, tipos de individuos sobre o infrarrepresentados, etc.
Interesante: estudiar como afecta al rendimiento del sistema determinadas modificaciones en las condiciones de prueba.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 53
5.2 Análisis Estadístico: SensibilidadSensibilidad frente a cambios (error sistemático). Objetivo: establecer la significación estadísticas de las
diferencias en el rendimiento observadas al modificar determinadas condiciones de prueba.
Alternativa [Mansfield et al.,2001]: prueba 2 Evalúa la certeza sobre la hipótesis nula, H0: “x e y son
independientes”, con x e y los factores bajo estudio.Ej. x=“resultados para hombres”, y=“res. para mujeres”
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 54
5.3 Análisis Estadístico: ConfianzaConfianza en las estimaciones (error aleatorio). Única forma de calcular el error real p del sistema sería
probando sobre todo usuario y condición de uso. Imposible en la práctica: se obtiene una estimación p’.
Problema: deducir el comportamiento real del sistema
a partir del estimado. Cuestiones importantes a resolver:
Prefijado un nivel de confianza sobre la medida de error, encontrar el número mínimo de pruebas que lo garantice.
Prefijado el tamaño de la población de prueba, y las condiciones experimentales, encontrar el intervalo de confianza sobre la estimación de error obtenida.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 55
5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo intervalo confianza. Para un número suficiente de pruebas, ni muy grande,
ni muy pequeño: la distribución del error observado se puede aproximar por una gaussiana.
Con un nivel de confianza del 100(1-)%, se puede afirmar que el error real p de nuestro sistema estará dentro del intervalo de confianza:
V’(p’) estimación de la varianza del error observado. (1-/2) el área de la distribución normal entre - y z1-/2.
Ej. 95% nivel de confianza: z0.975 = 1.96
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 56
5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: condiciones cálculo anterior. Los voluntarios son representativos de la población
bajo estudio. Intentos de distintos voluntarios son independientes. La tasa de error puede variar entre voluntarios.
Se permite la existencia de “lobos”, “ovejas”, “cabras” y “corderos”.
El número de errores observado no es muy pequeño.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 57
5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo de V’(p’). Para TFN, n voluntarios, ai FN para voluntario i, y con:
1 intento por voluntario:Con
m intentos por voluntario:Con
mi intentos por vol.:Con
Con
ii
nap
i
i
mnap
i
i
nmm
ij j
i
map
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 58
5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo de V’(p’). Para TFP, n voluntarios, bi FP para voluntario i, y con:
1 intento por impostor:Con
Impostores simulados usando las muestras de prueba de otros clientes, comparación cruzada completa:
m: muestras por voluntario. bij: muestras del voluntario i FA como pertenecientes al cliente j (bii =0).
ii
nbp
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 59
5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: conceptos generales Solución más general: no presupone una forma en la
distribución de errores observados. Descripción general:
Crear muestras boostrap mediante muestreo con reemplazo del conjunto de prueba original.
Muestra bootstrap: reproduce la estructura y dependencias del conjunto de prueba original.
Obtener de manera empírica la distribución de errores, mediante el cálculo de éstos para cada una de las muestras bootstrap.
Calcular a partir de esa distribución el intervalo de confianza.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 60
5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: ejemplo aplicación.Estimación de TFN, n voluntarios, m intentos de cada uno
Creación de la muestra bootstrap:1. Elegir aleatoriamente y con reemplazo n voluntarios del
conjunto original: 1, 2, ..., n.2. Elegir aleatoriamente y con reemplazo para cada i, m
intentos de ese voluntario: ti1, ti2, ..., tim.3. La muestra bootstrap es: Y={X(i,tij) / 1i n 1jm}.
X(i,tij): resultado del clasificador perteneciente al cliente i sobre la muestra de prueba tij.
Se genera un número grande de muestras bootstrap. Se calcula para cada una la TFN. Distribución obtenida: aproximación a la real.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 61
5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: cálculo intervalo confianza. Cálculo del intervalo [L,M] dentro del cual estará con
un 100(1-)% de confianza, la tasa de error real p:
L: error para el que la fracción de muestras bootstrap con tasas de error menor que L sea /2.
M: error para el que la fracción de muestras bootstrap con tasas de error mayor que M sea /2.
Recomendaciones [Best Practices 2002]: 1000 muestras bootstrap si se quiere un nivel de confianza del 95% y 5000 si se quiere del 99%.
p’
Frac
ción
mue
stra
s Y
L M
=/2
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 62
Índice Exposición
1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 63
6. BibliografíaUK Biometrics Working Group, Use of Biometric for Identification and Authentication Advice on Product Selection. Issue 2.0, Marzo 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricsAdvice.pdfJ.P Campbell, Speaker Recognition: A tutorial, Proceedings of the IEEE, vol. 85, no. 9, pp. 1437-1462, Septiembre 1997.The Common Criteria Biometric Evaluation Methodology Working Group, Biometric Evaluation Methodology. Common Criteria for Information Technology Security Evaluation. Biometric Evaluation Methodology Supplement. Version 1.0, Agosto 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BEM_10.pdf.[Doddington, 1998] G. Doddington, Speaker Recognition Evaluation Methodology. An Overview and Perspective, Proc. de Speaker Recognition and its Commercial and Forensic Applications (RLA2C), pp. 60-66, Abril 1998.G. Doddington, W. Ligget, A. Martin, M. Przybocki y D. Reynolds, Sheep, Goats, Lambs and Wolves. A Statistical Analysis of Speaker Performance in the NIST 1998 Speaker Recognition Evaluation, en Proc. of International Conference on Spoken Language Processing, Artículo 608 del CD-ROM, Noviembre 1998. G. Doddington, M. Przybocki, M. Martin y D. Reynolds, The NIST Speaker Recognition Evaluation: Overview Methodology, Systems, Results, Perspective, Speech Communication, vol. 31, no. 2-3, pp. 225-254, 2000.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, Naval Postgraduate School Technical Report, NPS-MA-99-001, Enero 1999.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, National Biometric Test Center Collected Works 1997-2000, pp. 45-49, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 64
6. BibliografíaThe International Biometric Group, Comparative Biometric Testing. Official Test Plan 2.12, 2003. Disponible en http://www.ibgweb.com.[James y James, 2000] Kang James y Barry James, The “Penetration Rate” in Automatic Fingerprint Identification Systems, National Biometric Test Center Collected Works 1997-2000, pp. 173-174, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf. [Jovanic y Levy, 1997] B.D. Jovanovic y P.S. Levy, A Look at the Rule of Three, The American Statisticiam, vol. 51, no. 2, pp. 137-139, 1997.Dario Maio, Davide Maltoni, Raffaele Cappeli, J. L. Wayman y Anil K. Jain, FVC2000: Fingerprint Verification Competition, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 24, No. 3, pp. 402-412, Marzo 2002. [Best Practices, 2002] A.J. Mansfield y J.L. Wayman, Best Pratices in Testing and Reporting Performance of Biometric Devices. Version 2.01, Agosto 2002, Documento online http://www.cesg.gov.uk/site/ast/biometrics/media/BestPractice.pdf.T. Mansfield, G. Kelly, D. Chandler y J. Kane, Biometric Product Testing Final Report, National Physical Laboratory, UK, CESG contract X92A/4009309, Marzo 2001, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricTestReportpt1.pdf .[Martin et al., 1997] A. Martin, G. Doddington, T. Kamm, M. Ordowski y M. Przybocki, The DET Curve in Assessment of Detection Task Performance, Proc. Eurospeech, vol. 4, pp. 1895-1898, Septiembre 1997.P. Jonathon Phillips, Alvin Martin, C. L. Wilson y Mark Przybocki, An Introduction to Evaluation Biometric Systems, IEEE Computer, pp. 56-63, Febrero 2000. P. Jonathon Phillips, Patrick Grother, Ross J. Micheals, Duane M. Blackburn, Elham Tabassi y Mike Bone, Face Recognition Vendor Test 2002: Evaluation Report, Marzo 2003, Disponible en http://www.frvt.org/FRVT2002/documents.htm
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 65
6. Bibliografía[Porter, 2000] Jack E. Porter, On the “30 Error” Criterion, National Biometric Test Center Collected Works 1997-2000, pp. 51-56, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.Douglas A. Reynolds, Speaker Identification and Verification using Gaussian Mixture Speakers Models, Speech Communications, vol. 17, nos. 1-2, pp. 91-108, Agosto 1995.K.R. Sharp, Whose Face Is It Anyway?, idSYSTEMS, vol. 20, no. 4, Abril 2000. Disponible en www.scs-mag.com/reader/2000_04/whose0400.Weicheng Shen, Marc Surette y Rajiv Khanna, Evaluation of Automated Biometrics-Based Identification and Verification Systems. Proceedings of the IEEE, vol. 85, no. 9, pp. 1464-1478, Septiembre 1997.J.L. Wayman, Biometric Technology Testing, Evaluation, Results. Disponible en http://www.engr.sjsu.edu/biometrics/publications.html. J. L. Wayman, Confidence Interval and Test Size Estimation for Biometric Data, Proc. Automatic Identification Advanced Technologies (AutoID), Summit, NJ (USA), 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 91-102, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdfJ. L. Wayman, Error Rate Equations for the General Biometric System, IEEE Robotics and Automation Magazine, vol. 6, no. 9, pp. 35-48, Enero 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 103-128, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, “Degrees of Freedom” as Related to Biometric Device Performance. National Biometric Test Center Collected Works 1997-2000, pp. 201-208, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 66
6. Otra BibliografíaJ. L. Wayman, Technical Testing and Evaluation of Biometric Identification Devices, en Biometrics: Personal Identification in a Networked Society, Editado por A. Jain, R. Bolle y S. Pankanti, Kluwer Academic Press, Boston, 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 67-90, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, A. Jain, D. Maltoni y D. Maio, Biometric Systems: Technology, Design and Performance Evaluation, Springer Verlag, 2003.