diseños de evaluación chile crece contigo - … · depresión reducción escala de síntomas 0,44...
TRANSCRIPT
Diseños de evaluación Chile Crece Contigo
Dra. Paula Bedregal MD, MPH, PhD
Seminario: “La evaluación en un
contexto de gestión por resultados”
Montevideo Uruguay
12 diciembre 2012
Contenidos
1. Consideraciones para el diseño de las evaluaciones: el caso Chile Crece Contigo
– Efecto esperado y su magnitud
– Marco regulatorio para evaluaciones
2. Tres modelos de evaluaciones a) Evaluación Programa de Apoyo al Desarrollo
b) Evaluación del Programa Nadie es Perfecto.
c) Evaluación de la calidad del Programa de Modalidades de Apoyo
La promesa…
“Los programas con enfoque en desarrollo infantil temprano prometen reducir los efectos de la pobreza y reducir las desigualdades económicas en el mundo”
Engle et al, 2007; Grantham-McGregor et al 2007; Lancet.
Intervenciones Área del desarrollo Tamaño del efecto
Transferencias condicionadas Total 0,292
Cognición 0,170
Conducta 0,207
Salud 0,382
Nutrición Total 0,248
Cognición 0,255
Conducta 0,406
Salud 0,375
Escolaridad 0,113
Mixtas Total 0,306
Cognición 0,347
Conducta 0,266
Salud 0,232
Escolaridad 0,409
Inicio recién nacido o antes Total 0,339
Inicio preescolares Total 0,285
Programas con enfoque en desarrollo infantil temprano Efectos a corto plazo
Nores & Barnett (2010)
Tamaño de los efectos a corto plazo son PEQUEÑOS!!!!
Programas con enfoque en desarrollo infantil Efectos en niños alto riesgo durante la adolescencia
ES: Éxito escolar CD: Cognición SED: Socioemocional D: Trastornos conductuales SP: Participación social CJ: problemas ley FW: bienestar familiar
Efectos en problemas de salud a largo plazo (adultos)
Conductas de riesgo Evidencia Reducción riesgo
Consumo de tabaco Reducción de la prevalencia consumo 13- 16%
Consumo de marihuana Reducción de la prevalencia consumo 7-23%
Consumo psicofármacos sin receta
Reducción de la prevalencia consumo 9%
Consumo alcohol No es concluyente No concluye
Actividad física Incremento actividad sólo si participación en programas por más de dos años
10-52% (incremento)
Uso de servicios de salud No es concluyente No concluye
Enfermedades crónicas del adulto
No es concluyente No concluye
Malnutrición por exceso Reducción del IMC (los más deprivados) 4,5-50%
Depresión Reducción escala de síntomas 0,44 (tamaño efecto)
Personalidad esquizotípica
Reducción en síntomas (en grupo desnutrido)
0,42 (tamaño efecto)
Autoestima No hubo efecto No hay efecto
Fuente: D'Onise K (2010) Public Health
Resultados finales esperados ChCC a) Reducción de las tasas de riesgo y retraso del desarrollo infantil.
– A CORTO PLAZO
b) Reducción de las brechas territoriales y socioeconómicas en desarrollo
infantil – A CORTO PLAZO
c) Niños y niñas ingresan al sistema escolar con las competencias y habilidades
necesarias para continuar su aprendizaje. – A MEDIANO PLAZO
d) Padres y las madres son agentes activos en la educación de sus hijos e hijas, al
integrarse al sistema escolar. – A MEDIANO PLAZO
e) Reducción de brechas en capital humano.
– A LARGO PLAZO
Marco regulatorio en evaluaciones Ministerio de Hacienda. DIPRES • Sistema de Evaluación y Control de
Gestión: • Definiciones estratégicas e
Indicadores de desempeño (Ley Presupuesto)
• Evaluación de programas e
instituciones (ex-post) • Evaluación de Programas
Gubernamentales (marco lógico, desde 1997)
• Evaluación de Impacto del Programas (2001)
• Evaluación Comprensiva del Gasto (2002)
• Evaluación de Programas Nuevos (2009)
Ministerio de Desarrollo Social • Subsecretaría Evaluación Social
• Monitoreo Política: CASEN • Evaluación de calidad y de
programas propios. • Sistemas de información
integrados.
Ministerios sectoriales • Cumplimiento objetivos sectoriales. • Indicadores básicos:
• Cobertura y Cobertura efectiva Calidad y seguridad
Eficiencia Efectividad Cobertura efectiva Cumplimiento de garantías. Percepción usuarios.
Enfoque sobre evaluación Primer diseño 2008-9
EVALUACIÓN CHILE CRECE CONTIGO
MDS (Ex MIDEPLAN)
1) Evaluación y monitoreo de la
implementación (redes,
Programas, otras).
2) Evaluación del impacto global de
Programas (resultado en población
beneficiaria y brechas)
3) Sistema informático de apoyo para
garantías de acceso a prestaciones
4) Evaluación de la calidad de
prestaciones propias
HACIENDA
1) Evaluación de
impacto del
Sistema.
2) Evaluación
económica
MINISTERIOS
SECTORIALES
1) Evaluación y
monitoreo de la
calidad y
seguridad de los
servicios
prestados (oferta
de servicios)
Evaluaciones de Chile Crece Contigo
Evaluación cuasi-experimental del
PADBP (cohortes no concurrentes en el
tiempo), ya realizada la medición de base.
Evaluación experimental de tres brazos del Taller grupal de habilidades de
crianza “Nadie es Perfecto”.
Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP).
Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial.
Estudio de satisfacción del PADBP.
Estudio de satisfacción y usabilidad del PARN.
Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo.
Estudio de seguimiento de casos de usuarias de CHCC.
Evaluaciones en el marco de Chile Crece Contigo
1. La evaluación de efectividad del Programa de Apoyo al Desarrollo Biopsicosocial • Ejecutor: Universidad Católica de Chile • Mandante: MDS
2. La evaluación de impacto del programa Nadie es Perfecto.
• Ejecutor: Banco Mundial-Universidad Católica de Chile • Mandante: MDS-MINSAL-Fondos concursables
3. La evaluación de la calidad del programa de Modalidades de
Apoyo al Desarrollo Biopsicosocial • Ejecutor: Universidad Católica de Chile • Mandante: MDS
V. Atención de niños(as) en situación de
vulnerabilidad
IV. Fortalecimiento del desarrollo
integral del niño(a)
III. Atención al Desarrollo Integral del
niño(a) hospitalizado
II. Atención Personalizada del proceso de
nacimiento
I. Fortalecimiento del Desarrollo Prenatal
A B C A B A B A B A
Gestación Nacimiento 0 a 4 años de edad
ATENCIÓN PRIMARIA ATENCIÓN PRIMARIAHOSPITALES
A. Fortalecimiento de los Cuidados Prenatales
B. Desarrollo del Plan de Salud con Enfoque Familiar
C. Educación a la Gestante y su Pareja o Acompañante
A. Atención Personalizada
del Parto
B. Atención Integral en el
Puerperio
A. Atención Integral al Recién
Nacido(a) Hospitalizado en
Neonatología
B. Atención Integral al Niño/Niña
Hospitalizado(a) en Pediatría
A. Fortalecimiento del Control de
Salud del Niño/Niña para
el Desarrollo Integral
B. Intervenciones Educativas de
Apoyo a la Crianza
A. Fortalecimiento
de las Intervenciones en Niños/Niñas en Situación de Vulnerabilidad, Rezago y Déficit en su Desarrollo
Integral
Programa de Apoyo al Desarrollo Biopsicosocial
V. Atención de niños(as) en situación de
vulnerabilidad
IV. Fortalecimiento del desarrollo
integral del niño(a)
III. Atención al Desarrollo Integral del
niño(a) hospitalizado
II. Atención Personalizada del proceso de
nacimiento
I. Fortalecimiento del Desarrollo Prenatal
A B C A B A B A B A
Gestación Nacimiento 0 a 4 años de edad
ATENCIÓN PRIMARIA ATENCIÓN PRIMARIAHOSPITALES
A. Fortalecimiento de los Cuidados Prenatales
B. Desarrollo del Plan de Salud con Enfoque Familiar
C. Educación a la Gestante y su Pareja o Acompañante
A. Atención Personalizada
del Parto
B. Atención Integral en el
Puerperio
A. Atención Integral al Recién
Nacido(a) Hospitalizado en
Neonatología
B. Atención Integral al Niño/Niña
Hospitalizado(a) en Pediatría
A. Fortalecimiento del Control de
Salud del Niño/Niña para
el Desarrollo Integral
B. Intervenciones Educativas de
Apoyo a la Crianza
A. Fortalecimiento
de las Intervenciones en Niños/Niñas en Situación de Vulnerabilidad, Rezago y Déficit en su Desarrollo
Integral
Programa de Apoyo al Desarrollo Biopsicosocial
Evaluación Programa de Apoyo al Desarrollo Biopsicosocial
Metodología: (2010-2013) • Estudio observacional de 3 cohortes históricas
– Cohorte que no recibió ChCC desde prenatal y se
atiende en sector público (nació antes 2007-2008) • N= 1800 niños entre 30-54 meses al 2010.
– Cohorte que no recibió ChCC desde prenatal y se
atiende en sector privado (antes 2007-2008) • N = 380 niños entre 30 – 54 meses al 2010.
– Cohorte que recibió ChCC desde prenatal(desde
2009) • N=1400 niños entre 30-54 meses al 2012.
Elementos considerados en la evaluación
1. Marco conceptual: – Desarrollo bioecológico – Determinantes sociales
2. Modelo de cambio: – Prestaciones PADB modifican determinantes del desarrollo (crianza,
salud del niño y cuidador, acceso a servicios), lo que mejora el desarrollo del niño/a.
3. Identificación de la población y tamaño de la muestra. – Usuarios sector público de salud (o privado) desde la gestación. – Estratificación por tipo de red de salud (con componente rural o sin
componente rural; con medicina familiar y sin medicina familiar). – Cálculo con tamaño del efecto pequeño-moderado.
• Limitación: recursos disponibles.
18
Variables del estudio
INDEPENDIENTE
Tipo de Programa recibido
DEPENDIENTE
Desarrollo infantil
INTERMEDIAS Factores de riesgo o protectores
Inventario Battelle completo Encuesta Chile Crece y fichas clínicas:
• Características del niño/a: sociodemográficas, salud, antecedentes perinatales, antecedentes parto, trayectoria de salud.
• Características cuidador principal: sociodemográficas, capital social, salud mental, salud física
• Características de la crianza: creencias sobre niños, disponibilidad de recursos estimulación en el hogar, emociones en la relación con el niño/a, involucramiento paterno, materno y cuidador principal.
• Características socioeconómicas del hogar • Utilización de servicios (salud y educación)
Evaluación Programa de Apoyo al Desarrollo Biopsicosocial
• Análisis: – Descriptivo e inferencial. Comparación entre cohortes. – Efectividad. Ajustes resultados por Propensity Score.
• Ética: Visado por comités de ética SSMO y CEI Medicina. – Uso de consentimiento informado. – Devolución resultados a la muestra y facilitación acceso a
servicios casos daño.
• Rechazo:
– Red pública control: 10% – Red privada: 28% – Red pública tratada: 15%
30% desarrollo alterado
Brechas importantes en casi todas las áreas en desarrollo, mediado por condiciones sociales y del cuidador principal (estrés tóxico)
30,4
32,5
29,2
35,3
36,8
12,1
0 5 10 15 20 25 30 35 40
Total
Personal social
Adaptativa
Motora
Comunicación
Cognitiva
Frecuencia %
Dimensión Desarrrollo
Desarrollo alterado en niños de 30-53 meses. Redes pública y privada de salud
Chile (2010-2011)
Privado
Público
Bedregal, Hernández et al (2012)
Conclusiones línea de base
• DESIGUALDADES NOTABLES
– ¿Seremos capaces de lograr cambios?
• Violencia
• Aislamiento social
• Desigualdad socioeconómica importante
• ¿QUE NO TIENE CHCC?
– Aislamiento social, autoeficacia.
– Énfasis en el ámbito laboral femenino
Evaluación Nadie es Perfecto
• Talleres con sesiones estructuradas que se ejecutan de manera flexible.
• Facilitadores entrenados en manejo grupal
• Población objetivo: niñ@s de 0-5 años adscritas a sistema público de salud.
Objetivo: promover cambios en conocimiento y actitudes hacia una crianza positiva!!
Modelo de cambio
MEDIADORES DE CORTO PLAZO
• Conocimiento sobre Desarrollo Infantil
• Creencias y preferencias personales hacia la crianza.
• Motivación
• Autoeficacia parental y Autoestima.
• Percepción de apoyo social
INDICADORES INTERMEDIOS DE MEDIANO PLAZO
• Aumento prácticas de crianza positiva
• Afecto
• Estructura/Disciplina
• Mejor calidad del tiempo con los niños
• Mayor inversión en recursos de educación y alimentación en niños.
RESULTADOS DE LARGO PLAZO
• Mejor ambiente hogar
• Mejor Interacción
• Mejor desarrollo infantil:
• Lenguaje
• Cognitivo
• Socioemccional
• Conductas disruptivas
Control: Estrés Parental y Depresión
Metodología
• Diseño: Estudio Experimental Comunitario Aleatorizado – 163 Centros de Salud estratificados por tipo (CESFAM, CSU, CSR, Hospital),
escogidos aleatoriamente – 45-60 familias invitadas a participar en cada centro – Asignación de familias a grupos de tratamiento y control aleatoriamente. – Cumplimiento de criterios éticos.
• Tamaño muestra: • 3.650 niños de 0 a 5 años
• Cálculo de la muestra:
• Correlación intra-clúster: 0.1 • Tamaño mínimo del efecto 0.25*40% participación=0.125 • Poder: 80% Error tipo I: 5%.
29
Gradiente de desarrollo por por educación materna
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Primary Dropout HS degree College
Lenguaje Expresivo
Retraso
Normal
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Primary Dropout HS degree College
Lenguaje Auditivo
Retraso
Normal
Peor en lenguaje expresivo (25%) Trastornos conductuales hasta 30%
30
Funciones ejecutivas. Dimensional Change Card Sort (DCCS)
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
70,0%
Primary HS droput HD degree College
Funciones ejecutivas según nivel educativa cuidador principal
alterado
normal
Hasta 40% alteraciones funciones ejecutivas
Conclusiones Línea de Base Nadie es Perfecto
• MEJOR DESARROLLO INFANTIL
– Disponibilidad de materiales de juego y aprendizaje.
– Inversión de tiempo en el aprendizaje y juegos.
– Autoestima y autoeficacia parental asociado con mejor desarrollo infantil.
– Estilo de crianza seguro
– Uso de estrategias de crianza positiva y afecto
• PEOR DESARROLLO INFANTIL
– Estilo de crianza autoritario.
– Problemas de salud mental cuidador principal
Problemas prácticos en las evaluaciones
• Costo del trabajo de terreno. – Disponibilidad de RRHH de calidad para trabajo de campo – Riesgos del trabajo de campo (violencia)
• La disponibilidad de información para generar buenos marcos
muestrales.
• Necesidad de trabajo de ajuste de los datos para lograr comparabilidad
• SIEMPRE pilotar los sistemas de captura de datos y el proceso de aplicación
• El apoyo de los implementadores locales es clave!
Evaluación de la Calidad de la atención en modalidades de apoyo (2012)
• Tipos de modalidades: • Servicio Itinerante de
estimulación (84)
• Atención domiciliaria (48)
• Ludotecas (47)
• Sala de estimulación (74)
Calidad de la atención en modalidades de apoyo (2012)
• Estructura
– Censal con base a levantamiento cualitativo
• Procesos
– Censal con base a levantamiento cualitativo
• Resultados
– Muestra aleatoria
• Recursos disponibles
• Gestión
• Desarrollo infantil (T1-T2)
• Satisfacción usuaria
Modelo calidad total A.Donabedian
Resultados: área resultados
• Desarrollo infantil:
– Mejoría del 14,7% en desarrollo infantil.
– Mejoran en sala de estimulación y servicio itinerante.
– Sin efecto la atención domiciliaria y ludoteca.
Modalidad Satisfacción usuaria (1-7)
Servicio Itinerante de estimulación
6,6
Sala de estimulación 6,2
Atención domicilio 6,0
Ludoteca 5,1
SATISFACCIÓN USUARIA
Resultados: área estructura y procesos
• Tasa de respuesta: 46% del censo. » Causas:
• no se implementó;
• implementación parcial;
• cambio de personal;
• no quiso responder. (20%)
• Áreas críticas:
– Estandarización de procesos
– Gestión ingresos y egresos niños.
Conclusión calidad programa
• Mejor implementación y con mejores resultados – Sala de estimulación: procesos claros con objetivos claros.
• Implementación parcial con buenos resultados
– Servicio itinerante de estimulación: procesos claros y objetivos claros.
• Implementación regular con malos resultados
– Ludotecas: procesos poco claros, confusión de objetivos. Acceso bajo de los usuarios
– Atención domiciliaria: discontinuidad.
Evaluaciones de Chile Crece Contigo
Evaluación cuasi-experimental del
PADBP (cohortes no concurrentes en el
tiempo), ya realizada la medición de base.
Evaluación experimental de tres brazos del Taller grupal de habilidades de
crianza “Nadie es Perfecto”.
Encuesta Nacional de Implementación (condiciones de eficiencia para la implementación del PADBP).
Evaluación cualitativa de la instalación del Programa de Apoyo al Desarrollo Biopsicosocial.
Estudio de satisfacción del PADBP.
Estudio de satisfacción y usabilidad del PARN.
Evaluación cuanti-cuali de las redes comunales de Chile Crece Contigo.
Estudio de seguimiento de casos de usuarias de CHCC.
Aprendizajes generales
• Trabajo conjunto entre entidades de gobierno-academia-financiadores
• Incorporación desde la planificación.
• Financiamiento asegurable y mantenido.
• Marcos analíticos claros, para identificar trayectorias de cambio.
• Difusión de los resultados
• Líneas de base útiles para establecer si las propuestas de políticas
están alineadas bien con las necesidades. Permite ajustes.