evaluación de modelos validación y prueba de modelos información adaptada del libro de sterman,...

Evaluación de Modelos

Validación y prueba de modelos

Información adaptada del libro de Sterman, 2000. y del curso de dinámica de sistemas de la Universidad Nacional de Colombia Sede Medellín

K. Popper

“Las teorías científicas no son enteramente justificables o verificables pero sí pueden ser contrastables o corroborables”

“El objetivo de la ciencia consiste en ofrecer explicaciones satisfactorias para todo aquello que requiera de una explicación. Para que la explicación no sea ad-hoc se tendrá que analizar una gran variedad de consecuencias contrastables (falseables)”

K. Popper

“Se considera preferible la teoría que nos diga más; es decir, la teoría que contenga mayor cantidad de explicación o contenido empírico; que sea lógicamente más fuerte; que tenga mayor poder explicativo y predictivo; y que, por ende, pueda ser examinada más severamente comparando los hechos predichos con las observaciones. En resumen, preferimos una teoría interesante, audaz e informativa en alto grado, a una teoría trivial”

K. Popper

“La verdad no es el único objetivo de la ciencia. Queremos más que la mera verdad: lo que buscamos es una verdad interesante, verdad a la cual es difícil llegar... Una verdad con un alto poder explicativo”

Introducción

¿Qué hace que un modelo sea bueno?

Como modelador, como sabe si puede confiar en los resultados?

Como contratante de un modelo, cuando debe aceptar usted un modelo para tomar decisiones?

Que preguntas debería usted formularse?, Qué preguntas deberán hacerse? Que estándares debe aplicar?

Introducción

Desafortunadamente, las prueban se utilizan a menudo para “probar” que el modelo es “correcto”.

Peor aun, muchos test importantes simplemente no se llevan a cabo!!

Muchos modeladores se enfocan excesivamente en la replicación de datos históricos!!!


Las preguntas podrían enfocarse a problemas como:–¿Qué tan apropiadas son las suposiciones base?–¿Robustez?–¿Sensibilidad de los resultados a suposiciones concernientes a los límites del modelo y la estructura de realimentación?

Modeladores y los clientes sufren de “sesgos de confirmación”

Presentan datos favorables a sus preconcepciones y por tanto se aferran a su “cuento” a pesar de las evidencias........


La Prueba del Modelo debe estar dirigida a descubrir los errores de forma tal que modeladores y clientes:

–Entiendan las limitaciones del modelo–Lo mejoren–Usen el mejor modelo disponible para asesorar la toma de decisiones importantes.


Los modelos no pueden ser validados o verificados. Porque?

Todos los modelos están malos! Como simplificaciones de la realidad, no son susceptibles a pruebas...

Forrester (1961)

“Cualquier procedimiento de validación de modelos “objetivo” se basa eventualmente en algún nivel de

juicio o fé en que tanto el procedimiento o sus metas son aceptables sin una prueba objetiva”

Preguntas que los usuarios de un modelo deberían formularse, pero que corrientemente no se hacen.

Muchos modelos son como las estrategias de guerra:

Grandiosos cuando se conciben pero olvidados en el calor de la batalla

Las preguntas debe estar dirigidas a:– Discutir la conveniencia general del modelo a los

propósitos– Su conformidad a los principios de formulación

fundamentales– La sensibilidad de los resultados a la incertidumbre en

las suposiciones– La integridad del proceso de modelamiento


Propósito, Adecuación, Límites

– Cuál es el propósito del modelo?– Cuál es el límite del modelo?

(Las cuestiones importantes se tratan endógenamente? Que variables importantes han sido consideradas exógenamente, o excluidas? ¿Se excluyen variables importantes por falta de datos?)

– Cuál es el horizonte de tiempo relevante al problema?– Es el nivel de agregación consistente con el

propósito?


Estructura Física

– El modelo se ajusta a las leyes básicas de conservación de la materia? (Las ecuaciones son dimensionalmente consistentes sin el uso de “charles”?)

– La estructura de niveles y flujos es explícita y consistente con el propósito del modelo?

– El modelo representa desequilibrios dinámicos o asume que el sistema esta en o cerca de el equilibrio en todo momento?

– Se toman en cuenta y de manera apropiada los retardos, restricciones y cuellos de botella?


Estructura de Toma de Decisiones

– Se asume que la gente actúa racionalmente y que optimizan su desempeño?(El modelo considera limitaciones cognitivas, realidades organizacionales, motivos no económicos, factores políticos?)

– Las decisiones simuladas están basadas en la información que los tomadores de decisión reales poseen actualmente?

(El modelo considera los retardos, distorsiones y ruido en los flujos de información?)


Robustez y sensibilidad a Suposiciones Alternativas

– El modelo es robusto ante condiciones extremas en las condiciones de entrada o en las políticas?

– Las recomendaciones de políticas son sensibles a variaciones significativas en cuanto a:

Suposiciones?

Parámetros?

Agregación?

Límites del modelo?


Pragmática y Políticas de Uso del Modelo

– Está documentado el modelo?(La información está disponible públicamente? Puedo correr el modelo en mi computador?)

– Qué tipos de datos se utilizaron para desarrollar y probar el modelo?

(Estadísticas agregadas recolectadas por terceros, fuentes primarias de datos, observaciones y datos de campo cualitativos, archivos, entrevistas?)

– Cómo describen los modeladores el proceso utilizado para probar y construir la confianza del modelo?(Terceras partes independientes revisaron el modelo?)


Pragmática y Políticas de Uso del Modelo

– Cuánto cuesta correr el modelo?(El presupuesto y el tiempo permiten hacer pruebas de sensibilidad adecuadas?)

– Cuanto tiempo toma revisar y actualizar el modelo?– El modelos será operado por sus diseñadores o por

terceras partes?– Cuáles son los sesgos, ideologías y agendas políticas

de los modeladores y clientes?(Como pueden estos sesgos afectar los resultados, tanto deliberada como inadvertidamente?)

Modelamiento Protectivo vs. Modelamiento Reflectivo

– Protectivo: modelos usados para

Probar un punto Mantener ocultas las

suposiciones Usar datos selectivamente

Apoyar preconcepciones y respuestas preseleccionadas

... y cubrir la preselección!! Promover la autoridad del

modelador

– Reflectivo: modelos usados para

Promover dudas Exponer las suposiciones

ocultas Motivar un amplio rango de

pruebas empíricas Retar las preconcepciones y

apoyar múltiples puntos de vista

... involucrando a toda la empresa!! Promover el empoderamiento de

los clientes

Prueba de modelos en la práctica

– Los modeladores de dinámica de sistemas han diseñado una amplia gama de test específicos para descubrir fallas y mejorar los modelos

– Los test están orientados a responder las preguntas anteriores

1. Pruebas de Límites 7. Reproducción del Comportamiento

2. Valoración de la Estructura 8. Anomalías de Comportamiento

3. Consistencia Dimensional 9. Pertenencia a otros sistemas (Family Member)

4. Valoración de Parámetros 10.Comportamiento Sorpresivo

5. Condiciones Extremas 11. Análisis de Sensibilidad

6. Errores de Integración 12. Mejoramiento del Sistema

Reproducción del comportamiento

Reproduce el modelo los síntomas del problema y el comportamiento observado en la vida real?

Comportamiento anómalo

Se presenta un comportamiento anómalo al eliminar alguna hipótesis del modelo?

Miembro de familia

Puede el modelo reproducir el comportamiento en otros casos similares?

Comportamiento sorpresa

Muestra el modelo la existencia de un modo no reconocido previamente?

Comportam modelo (1/2)

Pregunta de la prueba

Políticas extremas

Se comporta el modelo de manera adecuada cuando se somete a políticas extremas?

Adecuado en la frontera

Se pueden representar políticas alternas?

Sensibilidad al comportamiento

Es sensible a variaciones de los parámetros?

Carácter estadístico

Es el comportamiento del modelo similar al de la vida real?

Comportam modelo (2/2)


Implicación de política


Mejoramiento del problema

Mejora el comportamiento del sistema?

Predicción del comportamiento

Describe el modelo de manera correcta los resultados de las nuevas políticas?

Adecuado en la frontera

Son las recomendaciones de política sensibles a teorías alternas?

Sensibilidad a políticas

Son las recomendaciones de política sensibles a cambios en los parámetros?

Métrica Definicion Formula

R2 Fracción de la varianza explicada por el modelo.

(adimensional)

r = coeficiente de correlación entre el modelo y las series de datos

MAE Error Medio Absoluto (unidades)

MAPE Porcentaje de Error Medio Absoluto (adimensional)

(Multiplicar por 100)

Estadisticos usados para “validar”

2

22

1;

1

))((1;

XXn

sXn

X

ssXXXX

nrrR

md

mmdd

dm XXn

MAE1

d

dm

X

XX

nMAPE

1

Otros: MSE, RMSE; MAE/Xd

evaluación de modelos validación y prueba de modelos información adaptada del libro de sterman,...

Documents