Modelos de Modelos de evaluación para evaluación para programas de programas de capacitacióncapacitación

Anibal VelásquezAnibal Velásquez

epiweb@hotmail.comepiweb@hotmail.com

Objetivos de la presentaciónObjetivos de la presentación

►Exponer algunos modelos de Exponer algunos modelos de evaluación de Programas de evaluación de Programas de CapacitaciónCapacitación

Pseudo evaluacionesPseudo evaluaciones

►La que se hace para relaciones La que se hace para relaciones públicas (solo se muestra las públicas (solo se muestra las fortalezas de un programa, y a veces fortalezas de un programa, y a veces se manipulan los datos para resaltar lo se manipulan los datos para resaltar lo positivo).positivo).

►La que se maneja políticamente (se La que se maneja políticamente (se esconde información que no esconde información que no conviene).conviene).

Evaluación basada en Evaluación basada en objetivosobjetivos

►PPropuesto por Tyler (1966)ropuesto por Tyler (1966)[1][1], es un , es un modelo tradicional de evaluación para modelo tradicional de evaluación para determinar si los objetivos del programa han determinar si los objetivos del programa han sido alcanzados. sido alcanzados.

► [1][1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106Directions for Evaluation, 2001; 89: 7-106

Evaluación basada en Evaluación basada en objetivos (cont)objetivos (cont)

► Este modelo esencialmente especifica objetivos Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información operacionales y recolecta y analiza información pertinente para determinar cuán bien cada pertinente para determinar cuán bien cada objetivo fue alcanzado. objetivo fue alcanzado.

► Para demostrar la causalidad utiliza diseños Para demostrar la causalidad utiliza diseños experimentales. experimentales.

► Este tipo de evaluación es especialmente Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que aplicable en evaluaciones de programas que tienen objetivos claros y medibles.tienen objetivos claros y medibles.

El PCMI El PCMI Programa de Programa de

Capacitación Materno Capacitación Materno Infantil Infantil

Proyecto 2000Proyecto 2000

Intervención en los 5 Intervención en los 5 componentescomponentes

•Programa de capacitación para la calidad en servicios materno perinatales.

•Detección de problemas de la calidad y PMCC

•Determinaciónde indicadores y

estándares

•Supervisón externade la calidad

CALIFICACION(Acreditación)

Lo anterior Lo anterior demuestra que el demuestra que el

PCMI tuvo un PCMI tuvo un impacto?impacto?

Un ejemplo de Un ejemplo de evaluación de evaluación de

impactoimpacto

Marco conceptual

FactoresIndividuales

del Parto Institucional

Calidad de los servicios

Factores de la

comunidad

Área de programa

Marco conceptual

FactoresIndividuales

del Parto Institucional

Calidad de los servicios

Factores de la

comunidad

Área de programa

Capacidad Resolutiva

Mortalidad materna 1997

Tasa de MM

Modelo Basado en la Teoría Modelo Basado en la Teoría [[11]] ► Por lo difícil que es obtener Por lo difícil que es obtener loslos requerimientos requerimientos

experimentales, se experimentales, se utiliza este modelo.utiliza este modelo.► [1][1] se refiere al uso de la teoría de programas se refiere al uso de la teoría de programas

(o modelos lógicos) como un marco para la (o modelos lógicos) como un marco para la determinación de causalidad. determinación de causalidad.

► IInicia con una teoría bien desarrollada y nicia con una teoría bien desarrollada y validada, partiendo de la premisa que validada, partiendo de la premisa que programas de un cierto tipo con similares programas de un cierto tipo con similares características pueden producir los mismos características pueden producir los mismos resultadosresultados..  

► [1][1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: 17-26Evaluation, 2000; 87: 17-26

Modelo Basado en la Teoría Modelo Basado en la Teoría (Cont)(Cont)

• El principal procedimiento típico de este El principal procedimiento típico de este modelo es usar la lógica de programas. modelo es usar la lógica de programas.

• Esto puede ser un diagrama de flujo de cómo Esto puede ser un diagrama de flujo de cómo se piensa que los “in puts” deben ser se piensa que los “in puts” deben ser procesados para producir resultados previstos. procesados para producir resultados previstos.

• El análisis de esta red causal es un proceso de El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y teorización que involucra a los evaluadores y personas quienes se supone conocen cómo personas quienes se supone conocen cómo se espera que opere el programa y produzca se espera que opere el programa y produzca resultados.resultados.

TEORIATEORIASi mejora la Si mejora la calidad y la calidad y la capacidad capacidad resolutivaresolutiva

Se incrementa el Se incrementa el acceso al parto acceso al parto institucional y institucional y

luego entonces se luego entonces se reduce la reduce la

moratalidad moratalidad materna y materna y perinatalperinatal

Relación entre la proporción de partos atendidos por Relación entre la proporción de partos atendidos por profesionales de salud con la razón de muerte materna profesionales de salud con la razón de muerte materna

en 50 países en víasen 50 países en vías de desarrollo de desarrollo. .

Letalidad obstétricaLetalidad obstétricaFigura 3.2.

Evolución de la letalidad maternas por complicaciones obstétricas según estimado de Naciones Unidas/OMS en Centros de Salud*

0,0

0,5

1,0

1,5

2,0

2,5

3,0

1997 1998 1999 2000 2001

P2000 No P2000

Letalidad neonatalLetalidad neonatalFigura 3.10.

Evolución de la tasa de muertes Perinatales en Centros de Salud*

35,82

19,02

9,0411,35

14,3411,39

14,49

10,48

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

1997 1998 1999 2000

P2000 No P2000

Esto demuestra un efectoEsto demuestra un efecto

Limitaciones de los modelos Limitaciones de los modelos anterioresanteriores

► EEstán enfocados en obtener información de la relación stán enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. pertinente para mejorar los procesos de los programas.

► Además que la evaluación en sí, no contribuye a que se Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del cumpla con las responsabilidades de cada actor del Programa. Programa.

► Por este motivo la evaluación de resultados debe incluir los Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados cómo estos cambios se relacionan con los resultados

obtenidos por el programa.obtenidos por el programa.

Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability)..

►La ventaja de este modelo es que al medir La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, el cumplimiento de las responsabilidades, por personas o instituciones externas a por personas o instituciones externas a cada actor social, se constituye en sí misma cada actor social, se constituye en sí misma un fuerte estímulo para que los actores un fuerte estímulo para que los actores sociales cumplan con sus sociales cumplan con sus responsabilidades.responsabilidades.

Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability).. Cont. Cont.

► Este modelo llega a ser prominente en la década Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)de los 70, fue propuesto por Lessinger (1970)[1][1], y , y surge debido a que había amplio descontento con surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias algo positivo (al no encontrar diferencias estadísticamente significativas cuando se estadísticamente significativas cuando se comparaba con áreas no intervenidas).comparaba con áreas no intervenidas).

► [1][1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for

Evaluation, 2001; 89: 7-106Evaluation, 2001; 89: 7-106

Evaluación de Responsabilidades Evaluación de Responsabilidades (accountability)(accountability).. Cont.2 Cont.2

► PPara asegurar que los proveedores de servicios ara asegurar que los proveedores de servicios cumplan sus responsabilidades cumplan sus responsabilidades y y para mejorar los para mejorar los servicios, y que los evaluadores encuentren los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. personas y grupos tuvieron éxito y cuales no.

► El componente clave de muchos sistemas de El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y este modelo se acompaña de premios y sanciones. sanciones.

Avance Global de la Calidad en Avance Global de la Calidad en Establecimientos que han reportado Establecimientos que han reportado

AutosupervisionesAutosupervisiones

47%

61%

71%

82%

72%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1ra. (n=30) 2da.(n=29) 3ra. (n=25) 4ta (n=13) 5ta (n=3)

Autosupervisiones

► La desventaja deLa desventaja del modelo anterior esl modelo anterior es que se que se desarrolla en un marco de verticalidad, con escasa desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de participación de los actores sociales en el proceso de evaluación. evaluación.

► Por lo que necesita combinarse la medición de las Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. que delibere los resultados de esta evaluación.

► Este modelo se denomina Este modelo se denomina Evaluación Democrática Evaluación Democrática DeliberativaDeliberativa, y fue propuesto por House y Howe , y fue propuesto por House y Howe (1998(1998[1][1], 2000, 2000[2][2]))

► [1][1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-10689: 7-106

► [2][2] House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: 3-12.2000; 85: 3-12.

Evaluación democrática y Evaluación democrática y deliberativadeliberativa

► El modelo de evaluación democrática y El modelo de evaluación democrática y deliberativa funciona dentro de un marco deliberativa funciona dentro de un marco democrático explícito. democrático explícito.

► La evaluación democrática deliberativa tiene tres La evaluación democrática deliberativa tiene tres dimensiones principales: dimensiones principales: participación democrática, participación democrática, diálogo para examinar y autenticar los aportes de los diálogo para examinar y autenticar los aportes de los

actores sociales, y actores sociales, y la deliberación para llegar a evaluaciones defendibles la deliberación para llegar a evaluaciones defendibles

de los méritos y valores de un programa.de los méritos y valores de un programa.►   

Evaluación democrática y Evaluación democrática y deliberativa. Cont.1deliberativa. Cont.1

►Los métodos empleados pueden incluir Los métodos empleados pueden incluir discusiones con los actores sociales, discusiones con los actores sociales, encuestas, y debates. encuestas, y debates.

►La inclusión, el diálogo y la deliberación son La inclusión, el diálogo y la deliberación son considerados relevantes en todos los considerados relevantes en todos los estadios de la evaluación (discusión del estadios de la evaluación (discusión del modelo causal, diseño, implementación, modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y análisis, síntesis, relato, presentación y discusión).discusión).

Evaluación externa

Relación proveedor- usuario-comunidad

Estandarizació de procedimientos

Decisiones basadas en evidencia- uso de datos

Gestión y disponibilidad de recursos

Educación permanente

Estado actual de los estándares

Brecha

¿Quieren?¿Pueden?¿Saben?

Plan AnualMCC

PlanesTrimestrales

ImplementaciónAutosupervisión

Gere

ncia

Pre

sta

ció

n

Avance de Procesos de los Avance de Procesos de los Establecimientos de Salud que han Establecimientos de Salud que han

reportado autosupervisionesreportado autosupervisiones

51%53%

47%

35%

48%

61%64%

62%

54%

62%67%

72%74%

65%

78%80%

82%86%

80%83%

80%

69%

75%

64%

74%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1ra. (n=30) 2da.(n=29) 3ra. (n=25) 4ta. (N=13) 5ta (n=3)

Autosupervisiones

Gestión y Disponibilidad de Recursos

Manejo Clínico Estandarizado

Relación Proveedor-Usuario-Comunidad

Educación Permanente en Salud

Uso de Datos

Control de Procesos: Control de Procesos: Control de Calidad y Control de Calidad y

Validación Validación

Anibal VelásquezAnibal Velásquez

epiweb@hotmail .comepiweb@hotmail .com

La lógica del control de La lógica del control de procesosprocesos

► Es muy simple.Es muy simple.► Consiste en comparar con estándares el Consiste en comparar con estándares el

cotidiano accionar de un servicio.cotidiano accionar de un servicio.► Es fácil de hacerlo.Es fácil de hacerlo.► Pero tiene barreras que no tienen que ver Pero tiene barreras que no tienen que ver

con el método o técnica.con el método o técnica.► El problema principal es que a nadie le El problema principal es que a nadie le

gusta que le pidan cuentasgusta que le pidan cuentas► Y el sistema es propicio para favorecer el no Y el sistema es propicio para favorecer el no

cumplimiento.cumplimiento.

LOS PROCESOS DEBEN SER:LOS PROCESOS DEBEN SER:

ObjetivosObjetivos, Logran los resultados, Logran los resultados EfectivosEfectivos, Minimizan los recursos, Minimizan los recursos FlexiblesFlexibles, Se adaptan a los cambios, Se adaptan a los cambios RepetiblesRepetibles, Todos lo harán igual, Todos lo harán igual MediblesMedibles, Se controlan y mejoran, Se controlan y mejoran

LOS PROCESOSLOS PROCESOS

“ “ A menos que usted A menos que usted modifique el proceso, modifique el proceso, ¿Cómo podría usted ¿Cómo podría usted

esperar que el esperar que el resultado cambie?resultado cambie?

ANÁLISIS DE PROCESOSANÁLISIS DE PROCESOS

► Identificar el procesoIdentificar el proceso►Desarrollar un diagrama de flujo del Desarrollar un diagrama de flujo del

proceso.proceso.►Analizar el diagrama para simplificarlo Analizar el diagrama para simplificarlo

y asignar puntos de controly asignar puntos de control

IDENTIFICACIÓN DE IDENTIFICACIÓN DE PROCESOSPROCESOS

►Un proceso de trabajo: Que se hace Un proceso de trabajo: Que se hace REALMENTEREALMENTE Diferencias entre el DEBE SER y el ES.Diferencias entre el DEBE SER y el ES. Cada persona puede hacerlo distinto.Cada persona puede hacerlo distinto. No hay acuerdo en la mejor manera de No hay acuerdo en la mejor manera de

hacerlo.hacerlo.

►Que se produce: Un producto, reportes, Que se produce: Un producto, reportes, decisión, información ? decisión, información ?

►Quien usa ese producto.......REALMENTE!Quien usa ese producto.......REALMENTE!

Diagramas de Flujo de un Diagramas de Flujo de un ProcesoProceso

Empezar/Terminar

Acción

Punto de Decisión

Dirección del Flujo

Esperas

Usos del DiagramaUsos del Diagrama► Ilustra la relación entre varias etapas del Ilustra la relación entre varias etapas del

procesoproceso► Ayuda a identificar ineficienciasAyuda a identificar ineficiencias► Indica las etapas claves donde el proceso Indica las etapas claves donde el proceso

fallafalla► Ayuda a la comunicación entre clientes Ayuda a la comunicación entre clientes

internos o externosinternos o externos► Ilustra pasos innecesariosIlustra pasos innecesarios► Ayuda a entrenar nuevos empleados en el Ayuda a entrenar nuevos empleados en el

proceso.proceso.

EN TODO PROCESO ....EN TODO PROCESO ....

CAUSA CAUSA

CAUSACAUSACAUSA

CAUSA

RESULTADOSRESULTADOSÍndices Numéricos

ITEMS DECONTROL

ITEMS DEVERIFICACIÓN

CONTROL POR DETECCIÓNCONTROL POR DETECCIÓN

MedioAmbiente

Mano de Obra

Método MáquinasMateriales

PRODUCTO BUENO?

SI

CLIENTECLIENTE

NO

REPROCESAR DESPERDICIO

INSPECCIÓN MASIVAPROCESOPROCESO

CONTROL POR PREVENCIÓNCONTROL POR PREVENCIÓN

MedioAmbiente

Mano de Obra

Método MáquinasMateriales

CLIENTE

PROCESOPROCESOVERIFICACIÓNDEL PRODUCTO

CONTROL DE PROCESO

► PREVENCIÓNPREVENCIÓN

Trabaja para el Trabaja para el futurofuturo

Evita el desperdicioEvita el desperdicio Busca el Busca el

mejoramiento mejoramiento permanentepermanente

Se compromete Se compromete con el procesocon el proceso

Si algo está mal, la Si algo está mal, la misma área lo misma área lo detectadetecta

► DETECCIÓNDETECCIÓN

Trabaja para el Trabaja para el pasadopasado

Tolera el desperdicioTolera el desperdicio Busca cumplir la Busca cumplir la

especificaciónespecificación Se compromete con Se compromete con

el productoel producto Es el producto, en el Es el producto, en el

área de inspección, área de inspección, quien dice que algo quien dice que algo anda malanda mal

CONTROL Y MEJORA DE LOS CONTROL Y MEJORA DE LOS PROCESOSPROCESOS

Tiempo

Des

empe

ño

MEJORA

PROCESOBAJO CONTROL

PROCESOBAJO CONTROL

MEJORAMIENTO CONTINUOMEJORAMIENTO CONTINUOD

es

emp

eño

Tiempo

De

sem

peñ

o

Tiempo

Reflexión finalReflexión final

Todo se puede medir?Todo se puede medir?

►Si, solo se necesitan indicadores.Si, solo se necesitan indicadores.►Si algo varía o cambia quiere decir que Si algo varía o cambia quiere decir que

existe algo que nos permite darnos existe algo que nos permite darnos cuenta de que cambia. cuenta de que cambia.

► Dime qué es lo más difícil de medir?Dime qué es lo más difícil de medir?► La verdadLa verdad► Hay algún cambio?Hay algún cambio?► Si... una gama entre lo verdadero y falsoSi... una gama entre lo verdadero y falso► Entonces será verdad cuando cumpla con nuestro Entonces será verdad cuando cumpla con nuestro

criterio de verdad=indicador dicotómico SI y NOcriterio de verdad=indicador dicotómico SI y NO► Si nuestro criterio considera que la verdad es Si nuestro criterio considera que la verdad es

relativa, entonces será más verdadero cuando se relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición magnitud nivel de verdad, escala de medición cuantitativa.cuantitativa.

►Lema de los evaluadores:Lema de los evaluadores: No moneyNo money No measureNo measure No dataNo data No nathingNo nathing