Experimentando procesos de mejora Experimentando procesos de mejora en evaluación de proyectos de en evaluación de proyectos de

empleo empleo Capacitación, intercambio de experiencias e Capacitación, intercambio de experiencias e

identificación de buenas prácticasidentificación de buenas prácticas

Nuria Bolaños Márquez

Asistencia Técnica a la Iniciativa Comunitaria Equal en Andalucía

DG de Fomento del Empleo. Servicio Andaluz de Empleo.

Visualizando y transfiriendo prácticas evaluativas

Experiencia desarrollada con 21 proyectos Equal andaluces acogidos a la IC Equal. Convocatoria 2001-2004

La experiencia nace con vocación de ser trasladada a otras actuaciones de empleo, tanto su metodología como las conclusiones obtenidas.

Asumir cultura de evaluación pasa por establecer un itinerario participativo de formación y puesta en valor de prácticas exitosas.

La base para el desarrollo de esta práctica estaba en la participación activa e “interesada” de agentes y entidades involucradas en los procesos de evaluación de los proyectos.

Creación de conocimiento a partir del “saber hacer” de los equipos técnicos encargados de la coordinación y evaluación de los proyectos.

Seminario: Bases conceptuales e inicio

recogida de informaciónCórdoba sept./ oct. 2003

Diagnóstico sistemas de

seg. y ev.; oct/dic. 2003

Taller: Intercambio y validación de prácticas

evaluativasSevilla, dic. 2003

Jornada de intercambio y presentación de evaluaciones de proyectos Equal en

Andalucía: Jaén, oct. 2004Compendio: buenas

prácticas en seg. y ev.marzo 2004

Seminario: Bases conceptuales e inicio recogida de información

Córdoba sept./ oct. 2003

Mejora de los niveles de conocimiento y competencia técnica

El carácter eminentemente formativo supuso un refuerzo de los sistemas de seguimiento y evaluación de los proyectos y la adecuación de éstos a los requerimientos de la IC Equal.

Énfasis en comprender la evaluación como mecanismo de mejora de las intervenciones y del funcionamiento de las propias entidades. Mejora de los métodos, procedimientos y toma de decisiones.

Diagnóstico sistemas deseg. y ev.;

oct/dic. 2003

Desarrollo de un proceso participativo de análisis y detección de prácticas exitosas

Enfoque seguido por los proyectos. Perspectiva global.

•Integrado y proactivo.

• Orientado hacia la utilización de los resultados.

• Flexible.

• Participativo.

• Formativo.

• Informativo

Aspectos críticos. Perspectiva global.

• Escasa participación de los agentes que participan en los proyectos.

• No siempre se contempló una evaluación mixta con objeto de mejorar el compromiso y la objetividad.

• No señalar la temporalidad y momentos de la evaluación.

• No se contemplaba el análisis de la pertinencia, eficacia e impacto.

• Dificultad para sistematizar la información utilizando técnicas cuantitativas y cualitativas.

• No todos los proyectos poseían planes técnicos que guiaran la evaluación.

• Déficit en la coordinación de las tareas de evaluación interna y externa.

• Falta de previsión de acciones de difusión en los planes de evaluación que dificulta la divulgación de resultados

Taller: Intercambio y validación de prácticas evaluativas

Sevilla, dic. 2003

Desarrollo de un proceso participativo de análisis y detección de prácticas exitosas

Validación, por parte de cada uno de los proyectos, del análisis realizado.

Puesta en común de factores y elementos que favorecen y/o dificultan el desarrollo de sistemas de seguimiento y evaluación, a partir de las propias prácticas evaluativas.

Construcción participativa de recomendaciones y buenas prácticas.

Dos niveles de análisis para la detección de buenas prácticas:

– Experiencias que de forma parcial o global presentan contenidos ejemplarizantes.

– Prácticas que se ajustan a los siguientes criterios:

• Coherencia: adecuación a los objetivos para los que han sido utilizadas.

• Eficacia: proporciona resultados concretos.

• Valor añadido: contribución a la evaluación de proyectos de empleo.

• Transferibilidad: capacidad de ser adaptada a otros contextos.

• Carácter innovador.

Compendio: buenas prácticas en seg. y ev.

marzo 2004

Difusión de buenas prácticas desarrolladas en evaluación

La publicación se presenta como vehículo de transferencia de experiencias exitosas.

Prácticas de evaluación Metodología / técnicas / herramientas

Sistema integrado de seguimiento y evaluación

Unidad de análisis en el contexto de una evaluación etnográfica

Taller de escenarios de futuro (EASW)Metodología participativa

Metodología Empowerment

Panel de expertos

Historias de vida

Encuentros y reuniones grupales

Seminarios productivos

Cuaderno de campo

Aplicación informática de seguimiento

Diario común

Técnicas para el control de calidad Grupo de pilotaje para la validación de herramientas

Mecanismos de gestión y coordinación Manual de procedimientos de evaluación interna y externa

Herramientas de evaluación sobre el funcionamiento interno de la Agrupación de Desarrollo

Cuestionario e inventario para la evaluar el funcionamiento de la Agrupación de Desarrollo

Herramientas de evaluación de los principio de la IC Equal

Cuestionarios, fichas y otras herramientas.

Herramientas de seguimiento y evaluación continua

Técnicas cualitativas

La evaluación participativa: quién, cómo y cuando

Evaluación interna versus evaluación externa: evaluación mixta

Incorporación de la perspectiva de género

Construcción de indicadores

Relación entre las técnicas y herramientas con el contenido de la evaluación

Utilización de los resultados de evaluación

Principales orientaciones para el desarrollo de procesos de S y E

Jornada de intercambio y presentación de evaluaciones de proyectos Equal en Andalucía:

Jaén, oct. 2004

Intercambio final de experiencias en evaluación

Para finalizar la experiencia, resultaba interesante que ......una vez puesto en común los elementos claves para el desarrollo de procesos evaluativos......

......realizado el estudio sobre aciertos, dificultades y prácticas innovadoras de un conjunto de proyectos......

......fomentada la reflexión y validación de los elementos definitorios de los distintos sistemas de evaluación......

......se desarrollara un último encuentro donde se mostraran los resultados finales de los procesos de evaluación puestos en marcha por los proyectos y se pusieran de manifiesto los aprendizajes obtenidos en clave de mejora de la evaluación.

Las conclusiones obtenidas fruto de la reflexión de los participantes en el proyecto, se encuentran en relación con:

Definición del valor de los procesos de seguimiento y evaluaciónDefinición del valor de los procesos de seguimiento y evaluación

Estrategias de evaluación puestas en marchaEstrategias de evaluación puestas en marcha

Dificultades para el desarrollo de procesos de evaluación óptimoDificultades para el desarrollo de procesos de evaluación óptimoss

Recomendaciones a incorporar en futuros procesos de evaluación dRecomendaciones a incorporar en futuros procesos de evaluación de e proyectos de empleoproyectos de empleo

Definición del valor de los procesos de seguimiento y evaluaciónDefinición del valor de los procesos de seguimiento y evaluación

El seguimiento y evaluación de este tipo de proyectos supone una fuente de información y aprendizaje de sumo interés para el conjunto de agentes y entidades que promueven, financian y coordinan los proyectos.

Es necesario aprovechar la evaluación como herramienta para la gestión, toma de decisiones y mejora continua de las actuaciones y procedimientos de los proyectos.

El desarrollo de procesos evaluativos participativos facilita la cooperación entre agentes internos y externos al propio proyecto, asegurando así la sostenibilidad de las intervenciones en el futuro y hacia otros ámbitos.

La evaluación favorece la comprensión de las estrategias desarrolladas en los proyectos y cómo contribuyen éstas al cambio social y a la transferencia.

La realización de un modelo de evaluación integrado y participativo debe entenderse como elemento básico de cualquier proyecto desterrando la idea de la evaluación como un anexo a este.

Estrategias puestas en marcha por los proyectosEstrategias puestas en marcha por los proyectos

Necesidad de aplicar enfoques participativos que impliquen a los diferentes agentes que intervienen en los proyectos.

La metodología participativa debe ir acompañada por técnicas e instrumentos que permitan recoger información cualitativa que expliquen los procesos.

Los principales agentes para la obtención de información cualitativa son las personas beneficiarias de los proyectos y los/as agentes implicados/as en la gestión del mismo.

Desarrollo de un enfoque de evaluación como proceso de negociación, aprendizaje y retroalimentación que permita testar y validar el modelo de intervención, motivar a las personas implicadas y aumentar su capacitación, y optimizar actuaciones y resultados.

Importancia de elaborar “manuales de procedimientos” para la evaluación, consensuado entre los agentes que desarrollan el proyecto.

Abordar evaluaciones de proceso que permitan analizar como se ha ido desarrollando el proyectos a lo largo del tiempo y poder establecer formulas para reconducir o potenciar determinados elementos.

Necesidad de evaluar métodos de trabajo en red para identificar los aspectos claves que contribuyen o dificultan la consecución de objetivos.

Dificultades para el desarrollo de procesos de evaluación óptimoDificultades para el desarrollo de procesos de evaluación óptimoss

Realidad compleja ( diversas tipologías de colectivos, necesidades con carácter multidimensional, control de diferentes políticas y marcos de programación que influyen en los proyectos y disparidad de ámbitos geográficos).

Inclusión de diversos agentes (disparidad de objetivos en relación con la evaluación).

Escasa cultura de evaluación. Queda en algunos ámbitos la idea de evaluación como control o auditoria más que como herramienta de gestión y aprendizaje.

Escasez de recursos destinados de manera específica al desarrollo de sistemas de seguimiento y evaluación dentro de los proyectos.

Descoordinación de tiempos producida entre el calendario de ejecución de los planes de evaluación y el propio de actuaciones.

Recomendaciones a incorporar en futuros procesos de evaluación Recomendaciones a incorporar en futuros procesos de evaluación de proyectos de empleode proyectos de empleo

Incorporar la evaluación desde el diseño de las actuaciones, para contemplar así el ciclo integral del proyecto y aumentar su evaluabilidad.

Realización de talleres iniciales de capacitación a los equipos técnicos que realizaran la evaluación y a los cuadros de gestión del proyecto.

Aumentar la dotación de recursos para el desarrollo de la evaluación.

Coordinar los sistemas de evaluación interna y externa con objeto de evitar la duplicidad de tareas e información.

Crear y/o fortalecer los canales de comunicación entre los responsables de la gestión y decisión y los equipos de evaluación.

Recomendaciones a incorporar en futuros procesos de evaluación Recomendaciones a incorporar en futuros procesos de evaluación de proyectos de empleode proyectos de empleo

Recoger los cambios actitudinales de las personas y colectivos con los que se interviene para comprobar los efectos de las actuaciones.

Realizar el paso de “participar en evaluaciones” a realizar “evaluaciones participativas”

Analizar con mayor profundidad el funcionamiento interno del conjunto de entidades que ejecutan un proyecto. Comprensión del trabajo en red.

Difundir y transferir los resultados y aprendizajes de la evaluación.

Hacer uso de las nuevas tecnologías de la comunicación en las tareas de seguimiento y evaluación por su condición de agilidad, flexibilidad y comodidad.

HAN DESARROLLADO LA EXPERIENCIA

DG de Fomento del Empleo. Servicio Andaluz de Empleo.

Escuela Superior de Gestión Comercial y marketing (ESIC)

Fundación Mujeres

Instituto de Desarrollo Regional (IDR)