modelización de sistemas biológicoslaurel.datsi.fi.upm.es/_media/docencia/asignaturas/msb/... ·...
TRANSCRIPT
1
Modelización de Sistemas Biológicos
Modelización de Sistemas Biológicos
Diseño Experimental y Validación/Verificación
2
Modelización de Sistemas Biológicos
Diseño Experimental
Verificación y Validación
3
Modelización de Sistemas Biológicos
Contenidos
1. Verificación y Validación.2. Diseño Experimental.
4
Modelización de Sistemas Biológicos
Verificación y Validación (Revisión)• Verificación: Probar a que la lógica
operacional del proceso de simulación es correcta.
• Depuración del código de la simulación.
• ¿El modelo hace lo que yo quiero que haga?
• Validación: Probar que el modelo representa fielmente el sistema objetivo.
• Comparación de los resultados del modelo con los datos recogidos del sistema real.
• ¿El modelo hace lo que hace el sistema real?
Sistema Objetivo (Real)
Sistema Asumido
Modelo Conceptual
Modelo Lógico
Modelo Simulado
Verificación
Validación
5
Modelización de Sistemas Biológicos
Verificación y ValidaciónIntroducción
6
Modelización de Sistemas Biológicos
Análisis de un Modelo Simulado
• El objetivo de analizar (validez/veracidad) los resultados de un modelo:• NO consiste en demostrar que es CORRECTO.• Consiste en probar que es INCORRECTO.
• Verificación:• Analizar el paso desde la especificación del modelo lógico al modelo simulado.
• Validación:• Estudiar el grado de precisión del modelo sujeto a que:
• Todos los modelos tiene un cierto grado de error.• Los modelos se diseñan para un fin específico.
• Diferencia entre validez y precisión:• La precisión se mide en una escala (de 0 a 100%) y está asociado a un error cometido.• Validez es una cualidad binaria (es válido o no es válido): ¿La precisión es suficiente?
7
Modelización de Sistemas Biológicos
Verificación y Validación Dentro del Diseño de un Estudio Basado en Simulación
Solución o Prototipo
Sistema Real (problema)
Modelos Conceptual y
Lógico
Modelo Simulado
Validación de Datos
Valid
ació
n de
Caj
a Bl
anca
Valid
ació
n de
Caj
a N
egra
Robinson S (2004). Simulation: The Practice of Model Development and Use
8
Modelización de Sistemas Biológicos
Validación Conceptual
• Determinar que el concepto, las suposiciones de partida y las simplificaciones que conforman el modelo propuesto son suficientemente precisas para el objetivo del modelo.
• Circular y discutir el modelo propuesto entre experimentalistas y modeladores.
• Ambos deben acordar de forma conjunta las suposiciones y simplificaciones incluidas.
Sistema Real (problema)
Modelos Conceptual y
Lógico
9
Modelización de Sistemas Biológicos
Validación de Datos
• Determinar que los datos del entorno y los datos experimentales asociados con el modelo son suficientes para el objetivo del mismo.
• Tanto datos par construir el modelo (entradas) como para validarlo (salidas).
• Se deben investigar las fuentes de datos y su fiabilidad y disponibilidad.
Solución o Prototipo
Sistema Real (problema)
Modelos Conceptual y
Lógico
Modelo Simulado
Validación de Datos
10
Modelización de Sistemas Biológicos
Validación de Caja Blanca
• Determinar que las distintas partes del modelo simulado representan los elementos correspondientes del sistema real con suficiente precisión para el objetivo del modelo (comprobación detallada).
• Comprobación del código.• Aspectos a considerar:
• Temporizaciones.• Control de los elementos. • Control de los flujos de ejecución.
• Comprobar los informes generados.
Valid
ació
n de
Caj
a Bl
anca
Sistema Real (problema)
Modelo Simulado
11
Modelización de Sistemas Biológicos
Validación de Caja Negra
• Determinar que el modelo (en su conjunto) representa el sistema real con suficiente precisión para el objetivo del mismo.
• Comparación con el sistema real.• Comparación con otros modelos:
• Habitualmente modelos más sencillos o lo que sería la implementación directa del fenómeno de forma más simplista.
Valid
ació
n de
Caj
a N
egra
Sistema Real (problema)
Modelo Simulado
12
Modelización de Sistemas Biológicos
Validación Experimental
• Determinar que los procedimientos experimentales adoptados proporcionan resultados suficientemente precisos para el objetivo del modelo.
• Métodos estadísticos o de visualización para determinar el tiempo hasta el punto estacionario, duración de las simulaciones y número de repeticiones (hasta tener una buena precisión).
• Análisis de sensibilidad (para mejorar la comprensión del modelo).
Solución o Prototipo
Modelo Simulado
13
Modelización de Sistemas Biológicos
Validación de Solución
• Determinar que los resultados obtenidos por el modelo para el prototipo son suficientemente buenos para el objetivo del mismo.
• Nota:• La validación de la solución compara el modelo contra el
prototipo.• Las pruebas de caja negra comparan el modelo contra el
sistema real.• Una vez construido el prototipo es posible validar su
funcionamiento contra los resultados del modelo.
Solución o Prototipo
Sistema Real (problema)
14
Modelización de Sistemas Biológicos
Verificación
• Comprobar la fidelidad con la cual los modelos lógico y conceptual se han programado en el modelo de simulación implementado.
• La verificación garantiza que el modelo se ha programado correctamente, los algoritmos se han programado adecuadamente y el código no tiene errores o bugs.
• Los métodos son muy parecidos a las pruebas de caja blanca (revisar el código, comparar salidas, …) salvo:
• La verificación comprueba el modelos simulado frente a los modelos conceptual y lógico.
• Las pruebas de caja blanca comparan el modelo frente al sistema real.
Modelos Conceptual y
Lógico
Modelo Simulado
15
Modelización de Sistemas Biológicos
Aspectos a Considerar
• Validación de caja negra: ¿El modelo es válido?• Ejemplo: Entradas (2,2) y salida (4). Un modelo sencillo podría ser:
• Confiar en la validez de las pruebas de caja negra tiene el riesgo de un calibrado artificial del modelo.
• Eso puede llevar a que la simulación no sea representativa del sistema real.• Es importante combinar pruebas de caja blanca y negra.
IN12
IN22OUT 4
16
Modelización de Sistemas Biológicos
Aspectos a Considerar
• Dificultades:• No existe lo que se podría considerar como validez general en cualquier caso.
• Los modelos son válidos para un objetivo en concreto.• Hay casos en los cuales no hay un sistema real contra el que compararse.• Si lo hay puede no ser “único”:
• Diferentes perspectivas pueden tener distintas interpretaciones del sistema real.• En muchos casos lo que sabemos del sistema real es impreciso:
• Si los datos recogidos no son fiables es difícil determinar si los resultados del modelo son correctos.
• Incluso si los datos son precisos, el sistema real que se estudia es sólo una muestra de los posibles otros sistemas a estudiar (eso de por sí ya es una fuente de imprecisión).
• El tiempo y los recursos para verificar y validar todos y cada uno de los aspectos del sistema es potencialmente enorme.
17
Modelización de Sistemas Biológicos
Aspectos a Considerar
• Consideraciones finales:• La verificación/validación es un proceso continuado e iterativo que se lleva a cabo
a lo largo de todo el ciclo de vida del estudio por medio de la simulación.• Ejemplo: Si el modelo conceptual se revisa cuando el proyecto va evolucionando entonces se
tiene que re-validar.• La verificación/validación se integra dentro del proceso para eliminar barreras y
objeciones en el uso del modelo y así mejorar su credibilidad de cara a los expertos del dominio.
• Conclusión:• A pesar de que, en teoría, un modelo o es válido o no lo es, llevar eso a la práctica
es mucho más difícil.• Es mejor hablar en confianza que se deposita en los resultados del modelo.
18
Modelización de Sistemas Biológicos
Diseño ExperimentalIntroducción
19
Modelización de Sistemas Biológicos
Preparación de los Experimentos
• Para cualquier proceso de simulación con una componente estocástica se necesita:
• Extraer resultados precisos del modelo (estimar el resultado promedio, de alguna manera).
• Esto no tiene que ver con que el resultado sea correcto (eso implica una validación de caja negra).
Modelo Simulado
Múltiples Ejecuciones
Resultado promediado del modelo
Sistema Real
Validación de Caja Negra
20
Modelización de Sistemas Biológicos
Tipología de los Sistemas
• Para realizar el análisis de un sistema hay que considerar:
Por Estado de Terminación
Modelo de Sistema Terminal
Modelo de Sistema No
Terminal
La simulación tiene un punto natural de finalización.
La simulación se detiene en un punto arbitrario para analizar los resultados.
Por Convergencia de Resultados
Datos Transitorios
Datos Estacionarios
La distribución de los datos de salida cambia constantemente.
La variación de los datos se centra en un valor al que se converge (dentro de una distribución acotada).
21
Modelización de Sistemas Biológicos
Aspectos de Inicialización• Las simulaciones basadas en el tiempo
tiene un periodo de “calentamiento” que determinan la fase en la cual las salidas del sistema cambian.
• Las variaciones son no sólo dentro de una simulación sino que también entre simulaciones inicializadas con diferentes valores.
• Posteriormente, si la simulación converge llegará a un estado estacionario (de mínima o acotada variación) .
¿Cómo se determina el punto a partir del cual el sistema está en un estado estacionario?
Múltiples datos experimentales
Fase transitoria Fase estacionaria
22
Modelización de Sistemas Biológicos
Métodos de Determinación de Estacionalidad• Método de las series temporales:
• Realizar varias ejecuciones (N>>10).• Calcular la media de todas las ejecuciones para
cada instante de tiempo.
• Método de Welch:• Realizar una serie de ejecuciones (N~5).• Calcular la media por cada instante de tiempo
(como en el caso anterior).• Calcular una segunda media a lo largo del tiempo
con una ventana deslizante de tamaño n.
Diferentes series temporales
Tiempo
Ej
ecuc
ión
23
Modelización de Sistemas Biológicos
Métodos de Determinación de Estacionalidad
0
20
40
60
80
100
120
1 21 41 61 81 101 121 141 161 181 201 221 241 261 281 301 321 341 361 381 401 421 441 461 481 501 521 541 561 581 601 621 641 661 681 701 721 741 761 781 801 821 841 861 881 901 921 941 961 981
Mea
n of
obs
erva
tion
Periods
Método de las Series Temporales
0
20
40
60
80
100
120
1 21 41 61 81 101 121 141 161 181 201 221 241 261 281 301 321 341 361 381 401 421 441 461 481 501 521 541 561 581 601 621 641 661 681 701 721 741 761 781 801 821 841 861 881 901 921 941 961 981
Mov
ing
aver
age
Periods
Método de Welch
Robinson (2004)
24
Modelización de Sistemas Biológicos
Tiempo de Ejecución
• Habitualmente se usa el siguiente criterio:• El tiempo hasta encontrar la estacionalidad se asume que es el 10% del tiempo de
ejecución:1. Se ejecutan una serie de simulaciones largas.2. Se determina el punto de estacionalidad.3. Se repiten las ejecuciones, poniendo como tiempo de ejecución el resultado anterior x11.4. De cada ejecución se elimina hasta el instante de estacionalidad y se usa el resto.
25
Modelización de Sistemas Biológicos
Precisión de los Datos
• Un segundo problema de las simulaciones (que se da en todas aquellas que tienen una componente estocástica) es cómo acotar el grado de precisión de la simulación:
• Para ello se requiere ejecutar varias veces la simulación completa y tener una forma de agregar los resultados.
• No es cuestión de reportar lo que sería el estimador puntual de los resultados (la media)
• También es importante conocer el grado de variabilidad (aleatoriedad que repercute en el resultado de la simulación).
26
Modelización de Sistemas Biológicos
Precisión de los Datos: Medias Acumuladas
• Representación acumulada de la media de múltiples valores:• Según se incrementa el número de ejecuciones el valor converge (la gráfica se
hace plana).• El número de ejecuciones a realizar se puede subjetivamente fijar a cuando la
gráfica es plana.• Pueden ser valores o series de valores.
0,001,002,003,004,005,006,007,008,00
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20Valo
r ac
umul
ado
de la
med
ia
Número de EjecucionesRobinson (2004)
27
Modelización de Sistemas Biológicos
5,605,806,006,206,406,606,807,007,207,407,607,80
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20Valo
r ac
umul
ado
de la
med
ia
Número de Ejecuciones
Precisión de los Datos: Intervalos de Confianza
• Valor estadístico de cómo la media puede variar debido al número de muestras:
• Cuanto más reducido sea el intervalo de confianza mayor precisión habrá en el cálculo de la media.
• El umbral de confianza de los intervalos se fija a priori (5% es lo habitual, salvo el caso de aplicaciones críticas 1%).
Robinson (2004)
0,001,002,003,004,005,006,007,008,009,00
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20Valo
r ac
umul
ado
de la
med
iaNúmero de Ejecuciones
C.I. al 5% C.I. al 1%
28
Modelización de Sistemas Biológicos
Cálculo de los Intervalos de Confianza
𝑡𝑡𝑛𝑛−1,𝛼𝛼/2 = Valor de la distribución t-Student con n-1 grados de libertad para el valor de significancia de α/2.
Estimador de la desviación estándar:
𝐶𝐶𝐶𝐶 = �𝑋𝑋 ± 𝑡𝑡𝑛𝑛−1,𝛼𝛼/2𝑆𝑆𝑛𝑛
𝑆𝑆 =∑𝑖𝑖=1𝑛𝑛 (𝑋𝑋𝑖𝑖 − �𝑋𝑋)2
𝑛𝑛 − 1
𝐶𝐶𝐶𝐶 es el intervalo de confianza para:• n ejecuciones• Con un umbral de confianza del α.
(α=0,05 para 5%)
29
Modelización de Sistemas Biológicos
Referencias
• Peer-Olaf Siebers (2013). University of Nottingham Verification & Validation / Experiment Preparation.
• Law and Kelton (2006) Simulation Modelling and Analysis • Robinson (2004). Simulation: The practice of model development and
use. John Wiley & Sons: Chichester, UK • Roy and Mohapatra (2000). Causality and validation of System Dynamics
models incorporating soft variables: Establishing an interface with structural equation modelling. In: Proceedings of the 18th International Conference of The System Dynamics Society, Bergen, Norway.
• Sargent (2000). Verification, validation, and accreditation of simulation models. In: Proceedings of the 2000 Winter Simulation Conference, Orlando, FL.
30
Modelización de Sistemas Biológicos
Modelización de Sistemas Biológicos
Diseño Experimental y Validación/Verificación