![Page 1: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/1.jpg)
EVALUACIONES DE IMPACTO EN LA PRÁCTICAEjemplos en el sector de agua y saneamiento
Germán SturzeneggerDivisión de Agua y SaneamientoBanco Interamericano de Desarrollo
![Page 2: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/2.jpg)
EL EVALUADOR VS. EL POLÍTICO
PREGUNTAS EVALUADOR POLÍTICO
¿QUÉ MEDIMOS?Lo que aporte mejores insumos
para el diseño de políticas El impacto en salud
¿CUÁNTO TARDA LA EVALUACIÓN?
Depende de los resultados que quieras medir
Menos de lo que dure mi mandato
¿QUÉ TIPO DE DISEÑO USAMOS?
El metodológicamente + sólido El que me dé mejor
¿CUANTO CUESTA?Depende del diseño y lo que
quieras medirNo importa. Lo pagas tú
no?
![Page 3: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/3.jpg)
DEFINIR QUÉ SE QUIERE EVALUAR (teoría del cambio)
Outcomes de interés
Tipo de intervención: no es sólo evaluar ladrillos
DEFINIR CÓMO EVALUARLO:
Método: experimental o cuasi-experimental (viable log/fin/etic/pol)
Grupo de tratamiento y control
Tipo de datos: primarios / secundarios (administrativos)
DEFINIR QUÉ NECESITAMOS PARA EVALUAR
¿QUÉ DEFINICIONES HACEN A TODA EVALUACIÓN?
![Page 4: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/4.jpg)
EQUIPO: FINANCIADOR + GOBIERNO + EXTERNO
DISEÑO: QUÉ – CÓMO – CUÁNDO?
INSTRUMENTOS
RECURSOS: CUÁNTO CUESTA EVALUAR?
ESTRATEGIA DE SEGUIMIENTO (EVITAR ATTRITION)
EVALUACIÓN DE PROCESOS: el efecto depende de la calidad de la ejecución
ESTRATEGIA DE DISEMINACIÓN/RETROALIMENTACIÓN
¿QUÉ NECESITAMOS PARA EVALUAR?
![Page 5: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/5.jpg)
NO EVALUAR POR EL PAPER ACADÉMICO (retroalimentación)
BUSCAR OPORTUNIDADES DE POLÍTICA / PRIORIZAR
SUPERAR PRECONCEPTOS
Éticos: aleatorización (limitación presupuestaria)
No aceptación / spillovers (se pueden controlar desde el diseño)
TRANSPARENTAR IMPLICANCIAS OPERATIVAS
Conoce tus reglas de operación
INSERTAR EL MARCO DE EVALUACIÓN DESDE EL DISEÑO
¿QUÉ CONSIDERACIONES HACEN A TODA EVALUACIÓN?
![Page 6: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/6.jpg)
El efecto del hardware (obra)
Salud – Uso del Tiempo – Ingresos – Bienestar
Cobertura efectiva
El efecto del software (informac., capacitac., educac., incentivos)
Salud – Uso del Tiempo – Ingresos – Bienestar
Awarness y/o cambio de comportamiento
Cobertura efectiva
Conectividad a redes
Modelos de gestión (cent./desc. – particip./no particip. – púb./priv.)
EFECTO DIRECTO VS. INDIRECTO (SPILLOVERS)
¿QUÉ PODEMOS EVALUAR EN EL SECTOR?
![Page 7: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/7.jpg)
EN EJECUCIÓN
PARAGUAY (PR-L1022) → Rural – Experimental
BOLIVIA (BO-L1065) → Rural – Experimental
BOLIVIA (BO-L1034) → Periurbana – Experimental + Cuasi
EN DISEÑO
HAITÍ → Rural – Experimental
AGENDA DE EVALUACIÓN
![Page 8: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/8.jpg)
BOLIVIA: PROCESO DE ALEATORIZACIÓN PÚBLICO
![Page 9: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/9.jpg)
400 comunidades - 4 años de ejecución (obras)
PARAGUAY: CRONOGRAMA PROYECTO & EVALUACIÓN
EVALUAC
AÑO 1 AÑO 2 AÑO 3 AÑO 4
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 1
PROYECTO
SELECCIÓN ALEATORIA DE 100
COMUNIDADESAÑO S 2 (T) Y 4 (C)
LEVANTAM. LINEA DE BASE
COMUNIDADES AÑOS 2 (100) Y
4 (100)
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 2
SELECCIÓN ALEATORIA DE 200 COMUNIDADES (2-4) Y SELECCIÓN NO ALEATORIA DE 200
COMUNIDADES(1-3)
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 3
CONSTRUCCIÓN 100 COMUNIDADES
AÑO 4
LEVANTAM. DE ENCUESTA DE
SEGUIMIENTO EN COMUNIDADES AÑOS 2
(100) Y 4 (100)
DESAFÍOS → “blindar” el grupo de control (100 comunidades año 4)
→ ejecución paralela del treatment (paquetes de obra)
AÑO 0MAPEO DE DEMANDA
(400 COMUN.)
![Page 10: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/10.jpg)
SANTA CRUZ: PLAN 3000
FRONTERA COMPARABLE
![Page 11: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/11.jpg)
SANTA CRUZ: 20.600 hogares
![Page 12: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/12.jpg)
SANTA CRUZ: PLAN 3000
![Page 13: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/13.jpg)
Objetivo: impacto de diferentes estrategias de saneamiento en nivel
de cobertura, uso de las soluciones de saneamiento y salud
Metodología: Experimental
Randomized phased implementation (450 comunidades)
150 T1: Agua + Saneamiento (Promoción + Subsidio Parcial) + Higiene
150 T2: Agua + Saneamiento (Promoción ) + Higiene
150 T3: Agua + Higiene
HAITI: MARCO DE EVALUACIÓN
![Page 14: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/14.jpg)
HAITÍ: DISEÑO METODOLÓGICO
T2
T3
T1
T2
T3
T1
T2
T3
T1
T2
T3
n=25
n=25
n=25
n=50
n=50
n=50
n=25
n=25
n=50
n=50
n=50
n=25
Baseline Year 1 Year 2 Year 3 Year 4
Pure Control
Pure Control
Pure Control
Pure Control
Pure Control Pure Control
BASELINE FOLLOW UP FOLLOW UP FOLLOW UP ENDLINE
T1
![Page 15: EVALUACIONES DE IMPACTO EN LA PRÁCTICA · EVALUACIONES DE IMPACTO EN LA PRÁCTICA Ejemplos en el sector de agua y saneamiento Germán Sturzenegger División de Agua y Saneamiento](https://reader033.vdocuments.pub/reader033/viewer/2022041710/5e47b7ebc76dab5fe747a95a/html5/thumbnails/15.jpg)