anexos · nombre de la evaluación: ... registrar en una base de datos la totalidad de solicitudes...

Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012

1

Meta evaluación del Fondo Nacional para el Fomento

de las Artesanías (FONART)

ANEXOS

Equipo Evaluador:

Guillermo M. Cejudo

(coordinador)

Cynthia L. Michel

Roberto Gerhard


2


3

9. ANEXOS

Anexo 1. Fichas técnicas de Evaluaciones 2007-2012 del Fondo Nacional para el Fomento a las Artesanías (FONART).

Nombre del programa: Fondo nacional para el Fomento a las Artesanías

Año de Evaluación: 2007

Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2007

Tipo de la Evaluación: Consistencia y Resultados

Metodología utilizada: Trabajo de gabinete

Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados

Valoración técnica: La ECyR 2007 al FONART ofrece una visión general sobre el programa, sin embargo se detectaron las siguientes inconsistencias: 1. Uno de los aspectos positivos del programa fue que la 2007 mide el impacto que sus acciones tienen en los beneficiarios, pues se trata de indicadores de los productos (componentes), además de que no cuentan con una línea base". No se puede tener una MIR que no mida el impacto de sus acciones y que al mismo tiempo tenga consistencia lógica vertical. 2. En la sección de Resultados la ECyR 2007 declaró que las evaluaciones realizadas al programa le habían permitido registrar la percepción de sus beneficiarios, mientras que en la sección de Percepción de la PO la evaluación declaró que el FONART no cuenta con instrumentos para medir la satisfacción de su PO. 3. La evaluación también declaró que las evaluaciones externas al programa se han realizado bajo metodologías rigurosas, mismas que le han permitido medir el impacto del programa; pero más adelante la evaluación declaró que "el Diseño del Programa no permite la elaboración de evaluaciones de impacto rigurosas debido a que el FONART, al determinar su población objetivo en Reglas de Operación, establece condiciones simultáneas, que no necesariamente se pueden cumplir". 4. Entre las fortalezas del programa se señaló que el Fin y Propósito del programa contribuyen a la solución del problema identificado; no obstante también se señaló que el problema que pretende resolver el programa no estaba bien definido.

Principales resultados: Respecto al diseño del FONART, en la ECyR 2007 se destacó que tanto la lógica vertical de la MIR como la horizontal era válida, pero que el problema público que FONART busca atender no estaba definido con claridad, ya que presentaba el doble objetivo de atender a los artesanos en pobreza y de fomentar las artesanías tradicionales y de calidad. Además, se señaló que las definiciones de PP y PO son incorrectas. Se destacó que el FONART carecía de datos sobre las características socioeconómicas de los artesanos beneficiarios. En cuanto a la planeación estratégica del programa, en la ECyR 2007 se destacó que éste contaba con planes de corto y mediano plazo, que recolectaba información sobre su operación de manera periódica, que tenía metas y plazos específicos para sus indicadores de gestión, y que había realizado evaluaciones externas cuyas recomendaciones había usado para mejorar su operación. Sin embargo, también se señaló que en los planes de corto y mediano plazo del FONART no se indicaron las estrategias para alcanzar las metas de sus indicadores ni se utilizaron indicadores para medir el impacto que sus acciones tienen en los beneficiarios. En lo referente a la cobertura y focalización, la evaluación detectó que se carecía de un método para cuantificar a la PP y PO, y que la PA no se apegó a las especificaciones de las ROP. Por otra parte, en la evaluación se detectó que no existe homogeneización en los formatos de solicitud de los apoyos puesto que adquisición y capacitación se basan en un escrito libre. Además, se dijo que el FONART no tenía un sistema que le permitiera conocer la demanda total de apoyos y que los sistemas para llevar la administración financiera están desintegrados. La evaluación también detectó que dentro de la estructura organizacional no se contaba con un área específica para la operación de la vertiente de Financiamiento; y la vertiente de concursos sólo es operada por el subdirector con el apoyo del director. Se señaló que el FONART carecía de una cuantificación sobre el costo de apoyo de cada vertiente, y que los mecanismos de actualización del padrón no eran adecuados en tanto que no tenían procedimientos ni documentación que permitiera validar su creación y actualización. En cuanto a la percepción de la PO, la ECyR 2007 detectó que el FONART no contaba con instrumentos para medir el nivel de satisfacción de la población objetivo; mientras que en materia de Resultados, la evaluación señaló que FONART había realizado evaluaciones externas basadas en metodologías rigurosas, que le habían permitido medir el impacto del Programa en su PO


4

y registrar la percepción del beneficiario respecto a los apoyos que le brinda FONART. Finalmente, la ECyR 2007 declaró que el programa no había demostrado un adecuado progreso para alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño.

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y Recomendaciones

Fortalezas identificadas por la ECyR 2007: 1. El Fin y el Propósito del FONART contribuyen a la solución del problema identificados y están claramente definidos. 2. Las lógicas horizontal y vertical de la MIR se validan en su totalidad 3. FONART ha usado las recomendaciones de las evaluaciones externas para mejorar su operación, destacan la unificación del padrón de beneficiarios, reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación.

La ECyR 2007del FONART no identificó oportunidades

Debilidades identificadas por la ECyR 2007: 1.El FONART requiere reflejar en su diseño el doble objetivo de atender a artesanos en pobreza y de fomentar las artesanías. 2. El FONART no cuenta con un diagnóstico que de sustento al programa. 3. La PP y PO presentan problemas en su definición y cuantificación. 4. Aunque existe la información sobre los beneficiarios, ésta no incluye las características socioeconómicas. 5. Ninguno de los indicadores en las ROP mide el impacto que las acciones del FONART tiene en sus beneficiarios. 6. Ninguna de las vertientes del FONART cuenta con una estrategia de cobertura de corto, mediano y largo plazos. 7. No existe homogeneidad entre los formatos de solicitud de apoyos de las distintas vertientes. 8. El programa no tiene un sistema de información que le permita conocer la demanda total de apoyos. 9. Ninguna de las vertientes del FONART cuenta con instrumentos para medir el nivel de satisfacción de la PO.

Recomendaciones planteadas por la ECyR 2007: 1.Reflejar en el diseño del FONART su doble objetivo 2.Generar un diagnóstico. 3. Establecer en ROP definiciones concisas de las PP y PO delimitando, en el caso de la PP, a los artesanos que presentan la problemática en general. 4.Levantar y anexar una Cédula de Información Socioeconómica a la solicitud de apoyo para incorporar dichos datos en un padrón de beneficiarios. 5. Cumplir con el apartado 5.1 de las ROP del FONART y establecer los mecanismos de coordinación necesarios para garantizar que sus programas no presenten duplicidades con otros programas del gobierno federal. 6. Se debe cuantificar a la PP y PO, las propuestas para hacerlo se presentaron en el anexo IX de la ECyR 2007. 7. Elaborar una estrategia de cobertura de corto, mediano y largo plazo para cada una de las vertientes del programa. 8. Crear un formato único de solicitud de apoyo para las cuatro vertientes. 9. Registrar en una base de datos la totalidad de solicitudes que recibe cada vertiente. 10. Especificar los criterios de elegibilidad para los artesanos que busquen financiamiento, así como analizar la viabilidad de incorporar montos máximos. 11.Adecuar la estructura organizacional para que exista un área encargada de la vertiente de Financiamiento y determinar el personal necesario para su operación. 12. Desarrollar un padrón de acuerdo a los criterios establecidos por la Dirección de Padrones de SEDESOL. 13. Diseñar cuestionarios que le permitan al FONART identificar la opinión de sus beneficiarios respecto de sus resultados y procesos.


5



Nombre de la Evaluación: Evaluación Específica de Desempeño 2008-2009

Tipo de la Evaluación: Específica de Desempeño

Metodología utilizada: Trabajo de gabinete.

Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores

Valoración técnica: 1. Se considera que la evaluación no aportó a la mejora del FONART puesto que presentó algunas inconsistencias, señalo apenas incipientes recomendaciones y evidenció una falta de análisis. Dentro de las inconsistencias detectadas se encuentran las siguientes: a. En un apartado se declaró la inexistencia de la cuantificación de la PO; mientras que en otro apartado de la evaluación se presentó una cifra que cuantifica dicha población. b. En la EED 2008 se hizo una valoración positiva de la ECyR 2007 al declarar que “propuso una serie de mejoras que resultaron oportunas y pertinentes", sin embargo, dicha evaluación propuso muchos de los indicadores revisados por esta evaluación, mismos que fueron criticados por provenir de una encuesta y depender de la opinión de los beneficiarios. c. En lo relativo a la valoración de los indicadores, en la evaluación se calificaron como confiables en el apartado de valoración de cada indicador y posteriormente se criticó el hecho de que la mayoría de ellos provinieran de una encuesta a los beneficiarios, lo cual “no les da plena confiabilidad”. 2. A pesar de que la evaluación detecta múltiples debilidades, no realiza ninguna recomendación. 3. Según los datos presentados en la evaluación, la mayoría de los indicadores analizados (6 de 10) superaron sus metas por un margen importante –en el menor de los casos se superó la meta por más del 12%-, sin embargo este fenómeno no fue comentado. Por el contrario, la valoración de dichos indicadores se limita a identificarlos como pertinentes, relevantes y confiables. Hubiera sido deseable algún comentario respecto a la estimación –o subestimación- de las metas y cómo se podría haber corregido el problema. Otra inconsistencia (EED, 2008: 14).

Principales resultados: Los resultados de la EED 2008-2009 se pueden agrupar alrededor de los indicadores, los relacionados con cobertura y presupuesto y los relacionados con ASM. En cuanto a la valoración sobre los resultados y productos la EED señaló que "los indicadores estratégicos y de gestión toman como base una encuesta de artesanos con datos para 2006. Asimismo, los indicadores no son totalmente confiables porque se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló que "el principal problema para evaluar la eficiencia de los indicadores radica en que no existe la definición y cuantificación de las poblaciones potencial y objetivo" (EED, 2008: 13). También destacó que "hay indicadores que se refieren a grupos solidarios -definidos como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de medida del indicador, a saber, artesanos en lugar de grupos solidarios" (EED, 2008: 14). Con respecto al presupuesto aprobado la EED 2008-2009 identificó que éste ha aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en 2009. La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto pudo deberse a que la cobertura del FONART depende del presupuesto asignado, no obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con la EED, si ben el programa tiene cobertura en 30 estados, sus acciones se concentran en 10 entidades. Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de operación del programa, mismos que mejoraron su funcionamiento y que comenzaron a aplicarse en 2008. En ese sentido, la evolución destacó la disposición del FONART para atender las recomendaciones de evaluaciones externas.


6

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y

Recomendaciones

Fortalezas identificadas por la EED 2008: La EED 2008-2009 identificó como fortalezas del FONART el haber ampliado su cobertura y haber mejorado los criterios de selección de los beneficiarios. También destacó el incremento en el número de acciones aplicadas –suponiendo que se refiere al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular diferentes programas para ofrecer un apoyo integral al beneficiario.

Oportunidades identificadas por la EED 2008: La EED señaló que el FONART no cuenta con evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; esto se interpreta como una oportunidad de mejora por parte del programa.

Debilidades identificadas por la EED 2008: La EED identificó como debilidades del programa la ausencia de una correcta definición y cuantificación de las poblaciones potencial y objetivo. La otra debilidad señalada por la EED fue que, "aunque en las ROP-2008 se define el término 'técnicas tradicionales', el programa debe precisar la manera en que califica las adquisiciones de artesanías como 'realizadas con técnias y diseños tradicionales'".

La EED 2008 no planteó recomendaciones.


7







Valoración técnica: Se considera que las recomendaciones de la EED 2009-2010 son pertinentes y buscan la mejora del programa, sin embargo se detectaron las siguientes inconsistencias:

" (2009: 19) en tanto que agregó la palabra “artesanos” productores; sin embargo con la nueva definición se perdió la especificación sobre la fuente para considerar los criterios de pobreza. Por otro lado, la definición de PO presentada en la evaluación no coincide exactamente con la de las ROP 2009. 2. No se identificó el hecho de que están definidas de la misma manera la PP y la PO, pero cada una está cuantificada de forma distinta. 3. En el análisis del indicador "Porcentaje de ejecución de presupuesto para capacitación", en la evaluación se declaró que éste era pertinente, relevante y confiable y que medía la capacidad ejecutora de los recursos del programa en la vertiente de capacitación; sin embargo la definición del indicador declara que este refleja los "artesanos capacitados para mejorar el proceso y la calidad de su producto". Esto quiere decir que no existe consistencia entre el título del indicador y su definición (una cosa es el presupuesto y otra es el número de artesanos capacitados), y en ese sentido se debería haber señalado que la definición no corresponde con el título ni con el método de cálculo y por lo tanto se hubiera tenido que ajustar, por ejemplo: porcentaje de los recursos que se ejercen para la capacitación de artesanos entre el total del monto de recursos programados para su capacitación. 4. No se realizó ningún comentario sobre la necesidad de valorar la forma en la que se calculan las metas de los indicadores, aun cuando la mayoría las superaron. 5. En la evaluación se señaló que FONART implementó en su totalidad las acciones que se plantearon en la ECyR 2007, no obstante, una de las observaciones de la ECyR 2007 fue "definir entre los objetivos estratégicos del FONART el fomento y la comercialización de las artesanías con un enfoque dirigido a todos los artesanos que cumplan con los requisitos de promover la actividad artesanal del país preservando técnicas y colores tradicionales y, adicionalmente, establecer un programa específico que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y concursos)". Esta sugerencia no fue retomada por las EED's y podría ayudar a refinar las definiciones de Población Potencial y Población Objetivo así como su cuantificación.

Principales resultados: Respecto al análisis de los indicadores de resultados, 4 de los 5 indicadores fueron identificados por la evaluación como relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART señaló que su mayoría reportó valores superiores a sus metas, "siguiendo la tendencia del año anterior” y que no se cuenta con elementos en el SED “para explicar cambios entre periodos o cumplimientos de metas” (EED, 2009-2010: 12).

" y36%. Que la población

atendida sea mayor a la objetivo puede deberse a la disponibilidad de recursos asignados" (EED, 2009-2010: 19). Finalmente, con relación a las mejoras del programa la EED declaró que se han implementado en su totalidad las acciones relativas al diseño y a la gestión que se plantearon en la ECyR 2007. En cuanto al análisis de los hallazgos relevantes, destacaron el "haber incorporado en la definición de la población objetivo los artesanos en condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los mecanismos para la identificación de los beneficiarios al incorporar en reglas de operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del fideicomiso con el propósito definido en la Matriz de Indicadores del programa FONART. Esto evita confusiones y duplicidades" (EED, 2009-2010: 13).


8

Resumen de Análisis de Fortalezas,

Oportunidades, Debilidades y

Recomendaciones

Fortalezas identificadas por la EED 2009-2010: 1. Se llevaron a cabo acciones de mejora tales como la inclusión de nuevos indicadores y el hecho de recolectar información abundante que se podría usar para crear indicadores más relevantes, y avances en cuanto a la definición y cuantificación de la PO. 2. Una mejora en el diseño del FONART gracias a que éste se ha centrado en apoyar a los artesanos quienes, a partir de su ingreso, se les puede clasificar en situación de pobreza. 3. Existe un esfuerzo del programa para diseñar un mayor número de indicadores de actividades y para recolectar información sobre su operación 4. Se establecieron criterios de elegibilidad y montos máximos de apoyo para las cuatro vertientes. 5. La focalización del programa mejoró de manera sustantiva gracias a la recolección de información socioeconómica y al uso de Zonas de Atención Prioritaria (ZAP). 6. Las acciones de cobertura se han complementado con la medición de la satisfacción de los beneficiarios.

Oportunidades identificadas por la EED 2009-2010: 1. Se debe seguir avanzando en la elaboración de un Plan Estratégico de corto, mediano y largo plazo que genere un círculo virtuoso entre objetivos, metas, acciones, plazos e indicadores de impacto.

La EED 2009-2010 no identificó debilidades.

Recomendaciones planteadas por la EED 2009-2010: 1. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se observó que requería de mayor claridad conceptual para ser confiable. Con relación a los indicadores de gestión la EED recomendó "considerar el diseño de indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos (días capacitación, cobro de cheques, duración del proceso de adquisición de artesanías, etc.)" (2009-2010: 15). 2. Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin de evitar duplicidades y aprovechar complementariedades y producir un Plan Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (2009-2010: 22). 3. Cuando se concrete el Plan Estratégico del programa será recomendable “diseñar indicadores que además de la relación ejecutado/programado, incluyan la relación ejecutado/demandado” (2009-2010: 15). 4. Avanzar en el mecanismo de criterios para la recolección de información de los indicadores. Con respecto a la operación del programa la evaluación sugirió seguir "avanzando en adecuar la estructura organizacional de las cuatro vertientes del programa" (2009-2010: 22). 5. Estudiar la factibilidad de una evaluación de seguimiento de los beneficiarios.


9

Nombre del programa: Fondo Nacional para el Fomento a las Artesanías




Metodología utilizada: Trabajo de gabinete.


Valoración técnica: 1 . La evaluación omitió comentar las implicaciones que tiene el que 7 de 9 indicadores hayan superado sus metas. 2. La EED 2009-2010 tampoco hizo recomendaciones concretas de mejora-. 3. En esta evaluación la definición de PO y su cuantificación sí corresponden a un subconjunto de la PP.

Principales resultados: Con respecto a los principales hallazgos de Fin y Propósito, la EED destacó el trabajo en ciertas tareas de seguimiento a los beneficiarios, que de concretarse permitirán determinar si el programa contribuye a mejorar los ingresos de los artesanos. Por otro lado, al revisar los ASM producto de evaluaciones pasadas, la EED destacó los esfuerzos realizados por el FONART para perfeccionar su MIR, el trabajo en curso por estudiar la factibilidad de darle seguimiento a los beneficiarios, la conclusión de las estrategias de corto, mediano y largo plazo, así como la estrategia de cobertura y del padrón de beneficiarios. La EED también identificó que para el año 2009 se habían implementado la totalidad las acciones de la ECyR 2007 y se resaltó la adecuación de la estructura organizacional del FONART a través de la elaboración de un Manual de Organización General y el mecanismo para prevenir duplicidades con otros programas Federales. La mejora a la definición de PO volvió identificarse como uno de los resultados destacados de la evaluación. El cambio se refiere a la inclusión de los artesanos que habitan en las Zonas de Atención Prioritaria, y los que habitando fuera de éstas que se encuentren en pobreza patrimonial. Con respecto a indicadores con perspectiva de género la EED destacó que se observa “una incipiente preocupación por elaborar mecanismos concretos del programa que propicien una igualdad de oportunidades entre hombres y mujeres" (EED 2010: 4).



Recomendaciones

Fortalezas identificadas por la EED 2010-2011: 1. Hay una mejora en la definición de PO gracias a la incorporación de Zonas de Atención prioritaria y la medición de la pobreza patrimonial. 2. Existe un fortalecimiento de la confiabilidad de los indicadores de propósito a causa de la reelaboración de su línea base. 3. Se concretaron mecanismos para evitar duplicidades con otros programas.

Oportunidades identificadas por la EED 2010-2011: 1 -indicadores, métodos de cálculo, etc), y sobre el seguimiento a ASM que son responsabilidad de otras instancias distintas al programa.

Debilidades identificadas por la EED 2010-2011: 1. Los indicadores de resultados del FONART no son objetivos, y los indicadores de propósito y componentes son muy parecidos.

Recomendaciones planteadas por la EED 2010-2011: 1. Ajustar su estructura organizacional a las cuatro vertientes que tiene, continuar mejorando la MIR, específicamente desarrollando indicadores de componentes, servicio y gestión que midan la eficacia del programa en términos de tiempos programados. Realizar una medición objetiva de los indicadores de Propósito, en vez de la percepción de los beneficiarios 3. Disponer de información desagregada por sexo, así como elaborar un plan de mediano y largo plazo para incorporar la perspectiva de género al programa. 4. Finalizar los siguientes proyectos: un plan estratégico de corto, mediano y largo plazo, una estrategia de cobertura de corto, mediano y largo plazo y, el Padrón de Beneficiarios. 5. Adecuar la PP a la nueva medición multidimensional de pobreza.


10



Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2011

Tipo de la Evaluación: Consistencia y Resultados


Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados

Valoración técnica: 1. La evaluación ofrece una visión general sobre el FONART y sus principales obstáculos, pero no abordó uno de los problemas señalados regularmente en las evaluaciones previas 2. La evaluación también revela que las debilidades se concentran en el área de planeación –particularmente la estimación de su PO- y en la de medición de resultados. Sin embargo, se considera que faltó enfatizar el problema de la cuantificación de las metas de los indicadores de resultados. 3. No se hace mención sobre la fuente de información subjetiva con la que se están alimentando los indicadores de propósito del programa. Esta fue una discusión que estuvo presente a lo largo de las evaluaciones previas pero que fue obviada, lo cual se considera una omisión importante. 4. Se detectaron algunas inconsistencias dentro de la evaluación. Se señaló como fortaleza del programa la validación de su lógica vertical, no obstante, también señaló que se deben revisar los indicadores de resultados, cuidando que se cumpla con el requisito de medir los efectos del programa en términos del fin y el propósito. Se considera que no se puede validar la lógica vertical si los indicadores de resultados no miden los efectos del programa. Además, primero se señaló que no se cuenta con información para saber si el programa cumple con el indicador de satisfacción de los beneficiarios y más adelante mencionan una herramienta que se ha diseñado para ese propósito y propone formas de mejorarlo.

Principales resultados: Entre los resultados destacados relativos al diseño del FONART, se cumplió con los requisitos administrativos de tener un diagnóstico, una justificación, una vinculación con objetivos sectoriales, además de estar alineado con los objetivos del milenio. Para la realización de la ECyR el FONART también contó con una definición de PP y una metodología para su medición. Otra de las conclusiones respecto al análisis del diseño del FONART fue que existe correspondencia entre las ROP y la MIR. Por su parte, los principales resultados respecto a la planeación del FONART, se refirieron a la subestimación de la PO –por lo cual la PA siempre ha superado a la PO- y a la falta de evidencia sobre la contribución del programa para mejorar el ingreso de los beneficiarios. Los hallazgos positivos relacionados con la planeación se refirieron a las mejoras en el Plan Operativo –ya que ahora incorporó misión, visión y objetivos del programa, así como actividades y componentes- y a la generación de información que le ha permitido al programa identificar si se esta cumpliendo con sus actividades y componentes. Con respecto a la cobertura la ECyR simplemente señaló que ésta creció sistemáticamente durante la administración. La ECyR ofreció más hallazgos con relación a la operación del FONART pues, para empezar, destacó que el programa ha registrado mejoras en sus ROP respecto a los montos económicos para los beneficiarios (para las vertientes de apoyo a la producción y la comercialización), pero que este es un proceso que debe continuar y el siguiente paso es la documentación de una serie de acciones que el programa realiza pero que no están contempladas en las ROP, por ejemplo la asistencia a espacios y eventos artesanales; registro de marca; renta, construcción o acondicionamiento de espacios artesanales, inclusión de niños como beneficiarios, entre otros. En el área de percepción de la PO la evaluación concluyó que el programa cuenta con 10 ítems dicotómicos para medir el grado de satisfacción de los beneficiarios, lo cual muestra que existe interés en conocer cuál es la percepción que tiene la población atendida. Sin embargo, las metas establecidas para los mismos deben ser revisadas, ya que es prácticamente un hecho, independientemente de lo que suceda, que éstas se alcancen, lo cual sugiere que han sido subestimadas. Una ausencia considerable es la falta de evaluaciones externas que les hayan permitido identificar el impacto del programa en términos de Fin y Propósito.


11



Recomendaciones

Fortalezas identificadas por la ECyR 2011: 1. FONART usó las recomendaciones de las evaluaciones externas para mejorar su operación, tales como la unificación del padrón de beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación 2. El Fin y Propósito del programa contribuyen a la solución del problema identificado y estén claramente definidos. Las lógicas vertical y horizontal del programa se validaron en su totalidad.

La ECyR 2011 FONART identificó las siguientes oportunidades:

Debilidades identificadas por la ECyR 2011: 1. La definición de la PO ha sido subestimada a lo largo de la Administración 2. No se cuenta con una Estrategia de Cobertura. 3. El programa no cuenta con evidencia sobre su contribución para mejorar las fuentes de ingreso de los artesanos que habitan en Zonas de Atención Prioritaria, a causa de una falta de evaluaciones que permitan identificar los logros en términos de Fin y Propósito.

Recomendaciones planteadas por la ECyR 2011: 1. Mejorar la calidad del diagnóstico y fortalecer la justificación. 2. Homogeneizar los términos utilizados en los distintos documentos del programa (por ejemplo, en el Documento Estratégico y en el Diagnóstico se refieren con términos diferentes a la PP en algunos casos se refiere a indígenas y en otros a artesanos en pobreza y en otros a artesanos en pobreza patrimonial). 3. Revisar la definición de los indicadores, cuidando que se midan los efectos del programa en términos de Fin y Propósito. 4. Mejorar la planeación del FONART mediante una definición más precisa de la PP y PO 5. Justificar teórica o empíricamente el hecho de que la intervención del FONART sea la mejor opción de política pública. 6. Mejorar el diseño y el método del instrumento para medir el grado de satisfacción de los beneficiarios refinando la definición conceptual y empírica de satisfacción, y usar una escala numérica del 1 al 10, para tener mayor varianza. 7. Establecer las metas de los indicadores con el fin de lograr alcanzar los objetivos de Fin y Propósito del programa, y no con el de cumplir un requisito administrativo. 8.Explorar alternativas viables económicamente y sólidas desde un punto de vista técnico, para poder llevar a cabo evaluaciones de impacto.


12

Nombre del programa: Fondo Nacional para el Fomento a las Artesanías


Nombre de la Evaluación: Evaluación de satisfacción

Tipo de la Evaluación: de satisfacción

Objetivo de la evaluación: medir las percepciones de las personas que reciben los beneficios de ciertos programas sociales, entre ellos el FONART

Metodología utilizada: en un primer momento se construyó un modelo teórico para estimar el Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales (IMSAB), a través del uso de ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la estimación de los índices de satisfacción de cuatro programas sociales, entre ellos FONART, a través del Método de Estimación de Máxima Verosimilitud.

Valoración técnica: 1 . No se hacen explícitos los rangos utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido en el índice.

Principales resultados: De acuerdo con la evaluación, el FONART cumple sólo “regularmente” con las expectativas del beneficiario, por lo que el nivel de satisfacción fue de 7.20 (en una escala del 1 al 10). Esto tiene que ver con dos cuestiones fundamentales. En primer lugar, los beneficiarios perciben poca amabilidad por parte del personal del programa y de quienes les entrega el apoyo; en segunda instancia, los beneficiarios perciben un efecto “regular” en sus condiciones de vida tras haber recibido el apoyo, lo cual se explica por el hecho de que probablemente los artesanos continúan padeciendo problemas de ingresos.



Recomendaciones

En el informe de la evaluación se presentan los resultados del índice, más no se hace referencia a las fortalezas, oportunidades o debilidades de los programas a los que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para mejorar la satisfacción de los beneficiarios de los apoyos de los programas sociales


13

Anexo 2. Fichas técnicas de Evaluaciones realizadas al programas similares al Fondo Nacional para el Fomento a las Artesanías

(FONART).

Nombre del Programa similar: HACER: Honduran Artisans Catalyzing Economic Revitalization (Honduras)

Señalas las características similares o tipos de apoyo que entrega considerados como similares: HACER buscó aumentar las oportunidades de empleo y el acceso a los mercados de los artesanos de bajos ingresos en zonas urbanas y rurales, así mismo buscó aumentar la capacidad de producción y marketing de las artesanías hondureñas, por último buscó integrar a los artesanos hondureños al mercado internacional. Las actividades que realizaron se hicieron en comunidades seleccionadas por el tipo de habilidades, la necesidad de asistencia técnica y probabilidad de vender los productos (marketability). Las actividades que se desarrollaron fueron: desarrollo del producto y diseño, talleres de control de calidad y eficiencia en la producción, un programa de entrenamiento en producción y un programa de entrenamiento sobre el mercado (realizado en Estados Unidos), participación en ferias internacionales y el desarrollo de mercados para exportar. Se considera que la población objetivo de ambos programas es similar así como los objetivos que buscar (aumentar las oportunidades de empleo, acceso a los mercados y capacidades de producción).

Año de evaluación: 2003

Nombre de la Evaluación: HACER Final Report and Project Evaluation.

Tipo de Evaluación: Evaluación del Proyecto.

Objetivos de la Evaluación: El estudio buscó medir el impacto directo e indirecto del programa, de acuerdo a sus objetivos. También estudió la sostenibilidad del impacto logrado, identificó efectos no anticipados del programa sobre el sector de artesanías Hondureño, identificar lecciones aprendidas de la intervención y cuáles son las necesidades del sector que no se han atendido.

Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cualitativa y cuantitativa, combinado entrevistas (140 artesanos, líderes artesanales, socios exportadores, compradores de las artesanías y personal de Aid to Artisans –ATA-), visitas a las oficinas y a las tiendas. Los datos se obtuvieron de los reportes que cada tres meses la organización HACER tenía en enviar ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.

Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa para dimensionar y contextualizar el análisis de los indicadores del programa. No es propiamente una evaluación de impacto en cuanto que no existe un grupo de control. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte bastante completo que señala el desempeño del programa respecto a sus metas e integra las opiniones de los actores principales.


14

Principales Resultados: A través de las actividades del programa se beneficiaron a 2, 209 artesanos (la meta era de 2000). De los beneficiarios, el 70% son mujeres, y dado que en promedio, cada artesano es responsable por 2 o 6 miembros más de su familia, se estima que el programa influyó la vida de 8,000 individuos. Se ofrecieron 1,748 días de entrenamientos en temas diversos y asesorados por profesionales de las industrias de regalos, accesorios y productos para el hogar. El costo de incorporar nuevos beneficiarios disminuyó con el tiempo, sobretodo después de la fase inicial en la que incorporó el mayor número de artesanos. El proyecto terminó 6 meses antes de lo planeado, sin embargo en dos años y medio cubrieron el 70% de la meta en términos de ingresos por las ventas de artesanías (USD $614,000 de $800,000). Así mismo, las proyecciones de las ventas de artesanías una vez que termine la intervención son positivas. El proyecto generó aproximadamente 800 trabajos o oportunidades de generar ingresos para 800 artesanos; estos trabajos –con una estimación conservadora- deberían generar, en promedio, un ingreso de USD$ 2,300 anual, lo cual representa in ingreso mensual promedio de USD$164 (entre 35 y 42% por encima del salario mínimo en Honduras). El aumento en el ingreso de los artesanos tuvo efectos positivos sobre sus familias pues en algunos casos aumentaron los recursos destinados para la educación de sus hijos, en la infraestructura de sus hogares (pisos de concreto) o en la autoestima de los beneficiarios.

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caracteres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: 1. Se considera que el programa tendrá un efecto sostenible pues, gracias a los entrenamientos ofrecidos los artesanos tendrás la capacidad de innovar constantemente y estar al corriente de las tendencias del mercado. 2. Se fortalecieron las redes del sector artesanal y se espera un mayor dinamismo gracias a la competencia interna del sector. 3. El programa ayuda a preservar tradiciones culturales y tuvo un efecto positivo sobre la autoestima de los artesanos beneficiarios. Debilidades: 1. La reducción de la duración del programa. 2. Se detectó una falta de cultura empresarial, principalmente en términos del funcionamiento del mercado y reglas básicas de administración. Oportunidades/Retos: 1. Ampliar sus contactos con el mercado exterior. 2. Ampliar las capacidades de producción. 3. Buscar un nicho de productos y vincularse con redes locales de turismo. 4. Mayor acceso al financiamiento.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que sólo duró dos años y medio (en vez de los 3 que estaba programado) y que sólo funcionó en 8 de las 17 municipalidades de Honduras. La información en la evaluación no deja del todo claro cómo es que se llevaba un registro sobre las ventas de las artesanías ni sobre sus precios. Aunque esta no fue una evaluación de impacto propiamente dicha, pues careció de grupo de control, logró ofrecer una perspectiva bastante general sobre el desempeño del programa gracias al haber contado con objetivos claros e indicadores relevantes para monitorear su desempeño –en este caso todo estaba claramente dirigido a medirse en términos económicos-. Bajo los criterios del programa se podría decir que fue una intervención exitosa.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CFcQFjAC&url=http%3A%2F%2Fpdf.usaid.gov%2Fpdf_docs%2FPDABX905.pdf&ei=hVUbUNO8MeOh2QW05oCAAQ&usg=AFQjCNEw8wY-f4lMIac83Y_LpnWKfgpePg


15

Nombre del Programa similar: Microentreprise and Small Producers Support Project (MSP), Perú.

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El objetivo del programa fue reducir la pobreza entre los artesanos a través un aumento en las exportaciones de artesanías, las principales actividades realizadas fueron 18 presentaciones en exhibiciones internacionales, identificación de compradores para las artesanías y 850 días de asistencia sobre el diseño y producción. El programa comparte con el FONART de, a través del mercado de las artesanías, mejorar la calidad de vida de sus beneficiarios.


Nombre de la Evaluación: A Revolution in Design-Driven Export: A case study of Aid to Artisans in Peru, 1994-2002.


Objetivos de la Evaluación: La evaluación buscó medir el impacto que ha tenido el programa, evaluar su desempeño y derivar algunas lecciones sobre la intervención en Perú.

Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cuantitativa y cualitativa, la cual se obtuvo por medio de encuestas (se encuestaron 65 artesanos principalmente ubicados en Lima, 10 exportadores, 8 compradores de las artesanías y 5 miembros de Aid to Artisans –ATA-). Los datos se obtuvieron de los reportes que cada tres meses la Asociación de Exportadores de Perú y ATA tenían que en enviar sobre ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.

Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa a través de una encuesta averiguando sobre sus ingresos en los trabajos que realizaban antes de dedicarse a ser artesanos de tiempo completo; así como los ingresos de trabajos alternativos. En la evaluación no dice cómo fue que se seleccionó a los beneficiarios, y entre los beneficiarios tampoco explica como se seleccionó a los que serían encuestados. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte comprensivo sobre el desempeño del programa respecto a sus metas y las condiciones de vida de los artesanos.

Principales Resultados: En el proyecto participaron 30 exportadores y se ofrecieron talleres a 600 artesanos. De acuerdo con la encuesta, los salarios de artesanos están tan bien remunerados como cualquier otro trabajo que los artesanos pudieran desempeñar dadas sus calificaciones. Los trabajos de artesano son ligeramente más demandantes pues se trabajan entre 6 y 9 horas al día. La evaluación identificó que era más probable que los artesanos beneficiarios tuvieran los recursos suficientes para cubrir sus necesidades diarias. La evaluación también identificó que el programa tuvo un efecto positivo sobre la vida de los artesanos pues consideraban que tenían más dinero y estabilidad, por otra parte también se identificó que 75% de los artesanos proveían entre el 90 y 100% del ingreso de sus hogares. De acuerdo con la evaluación, el programa tuvo un fuerte impacto sobre la exportación de artesanías peruanas lo cual ha revitalizado al sector, las exportaciones aumentaron de usd$16 a usd$29.8 millones. A pesar de sus logros el programa sólo benefició a un reducido número de artesanos.


16

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. Aumentaron las ventas por exportaciones de artesanías. Debilidades: El número de artesanos beneficiados fue muy pequeño con relación al sector de las artesanías en Perú. A pesar de que se entrenó a varios artesanos, el hecho de no contar con suficiente financiamiento impidió el desarrollo exitoso de varias empresas y así se impidió que varios artesanos y exportadoras se beneficiaran plenamente del programa. ATA, como una agencia consultora externa, no tuvo mucho margen de maniobra para influir sobre el diseño del programa. Oportunidades/Retos: La sostenibilidad del proyecto no es muy clara una vez que termine la intervención pues los actores involucrados sienten que las relaciones establecidas no están suficientemente consolidadas. Para aumentar el número de artesanos beneficiarios habría que realizar un mayor esfuerzo interinstitucional con el gobierno y ONG’s para informarles del proyecto y para comprender mejor las necesidades de los artesanos de cada región. Para conocer verdaderamente el impacto del programa se debería instaurar un sistema de impacto y monitoreo.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 8 años y que en esta ocasión se trabajó directamente con los exportadores y sólo de manera indirecta con los artesanos. Habría que analizar porqué después del tiempo que operó el proyecto los actores involucrados sienten que las relaciones no están suficientemente consolidadas. Al leer la evaluación se percibe que hubo una controversia sobre el enfoque de trabajar directamente con los exportadores que no se encuentra aclarada.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEoQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D56&ei=XmsbUJ27F6m62wWS6YC4CQ&usg=AFQjCNEAwgOUxsx7aAh0D0BHUokMBdKaKQ


17

Nombre del Programa similar: Fostering Craft Enterprise and the Voluntary Buisness Assistance Sector in Russia

Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los objetivos de la intervención en Rusia fueron, en primer lugar, aumentar las oportunidades de empleo, especialmente para las mujeres; en segundo lugar, fortalecer las asistencias de ONG’s hacia el sector artesanal. Para llevar a cabo sus objetivos el programa realizó talleres de capacitación a los artesanos, colocó las artesanías en 4 exposiciones internacional y facilitó vínculos con importadores estadounidenses. Se considera que el FONART comparte las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.


Nombre de la Evaluación: Entrepreneurs Prosper in Russia: A Case Study of Aid to Artisans in Russia, (1993-1996).


Objetivos de la Evaluación: Ocho años después de haber terminado la intervención, la evaluación buscó medir el impacto que tuvo el programa, así como su sostenibilidad.

Metodología utilizada: Para lograr sus objetivos la evaluación trató de localizar a las ONG con las que se había colaborado así como a los beneficiarios para entrevistarlos sobre su vida como artesanos y la influencia del programa.

Valoración técnica: La evaluación llevó a cabo un trabajo destacado al buscar a los beneficiarios y actores principales del proyecto 8 años después de su término. Esta evaluación reveló información sobre la sostenibilidad del proyecto para el caso Ruso –que se enfocó principalmente en mujeres artesanas-. Por otro lado, no es una evaluación de impacto pues no hay grupo de control y toda la información proviene de entrevistas.

Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del programa a 4 años de haber terminado el proyecto. Se alcanzaron ventas por usd$60,ooo de artesanías al final del proyecto. La mayoría de las ONG’s con las que se había trabajado se habían disuelto. Las principales empresas de artesanas seguían operando y daban trabajo a 169 personas. Adicionalmente, el principal importador americano de productos rusos daba trabajo a 200 artesanos, lo cual da un total de 369 trabajos que se sostuvieron por 8 años. En términos de ingreso, las artesanas ganan 100,000 rublos al mes, esto significa un ingreso entre 35 y 53% menor que el ingreso per cápita nacional; sin embargo este salario es mayor que la mayoría de trabajos disponibles para mujeres.


18

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. El programa facilitó la transición de una económica controlada a una de libre mercado. Se lograron mantener las principales compañías de artesanas. Se creó una asociación informal entre los principales participantes del proyecto (por lo menos 5 de los líderes artesanales estaban en comunicación entre ellos). Debilidades: La innovación en cuanto al diseño de productos ha sido mínima desde que terminó el proyecto. La mayoría de las ONG que participaron en el proyecto se desintegraron. Los salarios de las artesanas son muy bajos.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 3 años y que se evaluó 8 años después de que había terminado, que no se contó un una línea base y que la mayoría de los beneficiarios fueron mujeres. Un aspecto positivo de la evaluación es que incorpora un anexo con los principales indicadores de resultados del proyecto (definición, meta y resultados al final del proyecto). Estos indicadores podrían servir como sugerencias para refinar los indicadores del FONART.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEsQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D59&ei=LXsbUK3BGqeU2wWlwIHAAw&usg=AFQjCNF5au95org2Odc0eAfEJe8vJczn4A


19

Nombre del Programa similar: Sharan Craft Center (SCC) in Yerevan, Armenia

Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los principales objetivos del proyecto fueron generar empleos dentro del sector artesanal, preservar la cultura de artesanías en Armenia y mejorar la calidad de vida de los artesanos. El proyecto ofreció asistencia técnica en cuestiones empresariales, realizó talleres con consultores sobre pequeños cambios o adecuaciones para que sus productos tuvieran una mayor posibilidad de insertarse en el mercado internacional, facilitó la exposición de las artesanías a través de su presentación en ferias y facilitó el vínculo con importadores. Al igual que el FONART el programa busca mejorar la calidad de vida de los artesanos y preservar la cultura de las artesanáis, entre las actividades comparten el hecho de realizar talleres así como la exposición de los productos.


Nombre de la Evaluación: Entrepreneurship and Cultural Passion: A Case Study of Aid to Artisans’ Work in Armenia, 1995-1997.


Objetivos de la Evaluación: El estudio buscó determinar los factores que contribuyeron al éxito de la compañía SCC, enfatizando los insumos provistos por la organización Aid to Artisans; asimismo evaluó la sostenibilidad del proyecto al darle seguimiento 5 años después de que hubiera concluido la intervención.

Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (22), consultores, personal de ATA y SCC así como con consumidores. El estudio se realizó en 2002, 5 años después de que terminó la intervención.

Valoración técnica: El estudio ofrece información que permite contextualizar el desempeño de la intervención en términos de ventas, empleos generados, la tasa de retorno de la inversión y la opinión de los beneficiarios.

Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del El proyecto comenzó con la meta de generar empleos para 300 artesanos, cuando éste concluyo 505 estaban empleados. De los 1,100 artesanos que se registraron al principio del proyecto con SCC, 500 seguían activos en 2002, de los cuales 400 eran mujeres. Entre los resultados de la evaluación se destacó que la intervención había servido para encarar la crisis por la que atravesó Armenia luego de su independencia de la URSS en 1991, y ante la enorme tasa de desempleo algunas personas encontraron refugio en el sector artesanal; de acuerdo con la evaluación, muchos artesanos eran ingenieros, físicos, maestros y trabajadores de fábricas durante la era soviética. Al inicio del proyecto se buscó que el ingreso mensual de los artesanos se aproximara a USD$ 30, al concluir el proyecto, el ingreso mensual promedio de los artesanos armenios durante el tiempo de la intervención fue de USD$ 30.7 lo cual era 164% superior al ingreso promedio nacional. Para 2002, la evaluación halló que el ingreso de los artesanos beneficiarios había aumentado a USD$ 60 al mes y que era 128% mayor al salario promedio en armenia. Durante los primeros 17 meses de vida del proyecto se generaron ventas por USD$ 61, 124, en contraste los últimos seis meses del proyecto las ventas ascendieron a USD$ 129,000, las ventas continuaron creciendo y cubriendo sus objetivos hasta superar los USD$ 600,000 en el año 2002.


20

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: El proyecto demostró ser sostenible 5 años después de la intervención. Los salarios de los artesanos beneficiarios eran, en promedio, mayores al ingreso armenio promedio. Los salarios de los artesanos beneficiarios aumentaron. El volumen de venta ha aumentado. Los consultores externos y los entrenamientos aportaron habilidades y conocimientos fundamentales para el adecuado desarrollo del proyecto y su sostenibilidad. La realización de actividades previas al inicio del proyecto de dos años abonaron a su factibilidad. Debilidades: Son muy pocos los artesanos beneficiarios. Si la compañía exportadora SCC quebrara, todos los artesanos se quedarían sin vínculos con el mercado externo. Conforme la economía mejore existe la posibilidad de que los artesanos busquen regresar a sus trabajos anteriores.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 2 años y que se evaluó 5 años después de que había terminado y que no se contó un una línea base. En esta intervención la ONG vinculada con ATA se convirtió en una empresa exportadora y de ventas locales de artesanías y para 2002 empleaba a 500 artesanos. Los indicadores para medir el éxito del proyecto cambiaron conforme el proyecto se fue desarrollando. Al inicio del proyecto el indicador principal era el número de artesanos empleados, sin embargo, hacia el final del proyecto se enfatizó la necesidad de generar suficientes ingresos para cubrir los costos de operación, logrando así que transitar de una lógica de proyecto de asistencia para las artesanías a una lógica de negocios orientada al mercado. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=entrepreneurship%20and%20cultural%20passion%3A%20a%20case%20study%20of%20aid%20to%20artisans%E2%80%99%20work%20in%20armenia%2C%201995-1997.&source=web&cd=1&ved=0CE8QFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D57&ei=U-sbUKLiFYqa2AW_wYGIAQ&usg=AFQjCNGdijGNXvyOzn6PRrPIDcRNcOO7iQ&cad=rja


21

Nombre del Programa similar: Aid to Artisans Ghana (ATAG)

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El quinto programa revisado se implementó en Ghana entre los años 1993 y 1997. El objetivo del programa fue mejorar la calidad de vida de los artesanos y de sus familias, para lograrlo se ofrecieron capacitaciones (sobre la calidad del producto y sobre cuestiones administrativa), se promocionaron los productos y se creó una red de consumidores internacionales. Se consideró que el FONART compartía con esta intervención las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.


Nombre de la Evaluación: A Rich and Deeply Cultural Tradition, A Case Study of Aid to Artisans in Ghana, 1993-1997.


Objetivos de la Evaluación: La ATAG ha realizado labores relacionadas con las artesanías en Ghana desde 1987, sin embargo la evaluación se concentró en el periodo de 1993-1997, que fue el periodo durante el que duró la intervención financiada por USAID. La evaluación busca documentar las principales actividades, los resultados y las lecciones aprendidas del proyecto; así como ofrecer un seguimiento a las empresas artesanales que fueron beneficiarias.

Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (62), consultores (2), personal de ATAG así como con consumidores, en total se entrevistaron a 100 personas. El estudio se realizó en 2003, 6 años después de que terminó la intervención.

Valoración técnica: El estudio reconoció que es imposible distinguir los impactos derivados de la intervención realizada con financiamiento de USAID del trabajo ralizado por ATAG de manera posterior. La mayoría de los datos del estudio provienen de los reportes de indicadores del programa y esta información fue complementada con las entrevistas con los actores relevantes del proceso que sirvieron para contextualizar los resultados de la intervención. Es interesante que esta evaluación se hubiera realizado 6 años después de que se realizó la intervención para probar la supervivencia de los proyectos.

Principales Resultados (máximo 1,500 caractéres): El valor de las ventas acumuladas se aproximó a USD$ 859,000, lo cual superó el presupuesto destinado por ATA para la operación del proyecto. Las exportaciones de artesanías de Ghana aumentaron de USD$ 160,000 en 1989 a USD$ 11 millones en 2002; de acuerdo con la evaluación, 60% de este aumento es atribuible a la intervención de ATA y ATAG. Los artesanos reportaron tener un ingreso 155% superior al ingreso promedio en Ghana, sin embargo, en promedio pasan 3 meses sin trabajo. De acuerdo con la evaluación, existen 6 empresas artesanales que se pueden identificar como grandes productores exportadores, es decir que un modelo de producción en el que venden colecciones enteras a mercados americanos y europeos, que cuentan con una bodega, que dan seguimiento y análisis a sus ventas y que tienen in proceso empaquetado y envío. Existen más de una docena de pequeñas y medianas empresas artesanales que no existían antes de la intervención, y que dan crédito a los talleres de diseño impartidos por la ATA por haber sido fundamentales para su supervivencia. Se difundió el trabajo de los artesanos en 8 ferias internacionales y también se coordinaron visitas de los compradores al sitio. Entre 11 consultores se impartieron 424 días de talleres sobre diseño. Se otorgó también una asesoría de negocios y un programa de entrenamiento para el mercado en NY.


22

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Existió una buena coordinación entre ATA y ATAG, y al terminar la intervención el hecho de que ATAG permaneciera realizando talleres y vinculando artesanos fue muy importante. El programa logró que aumentara el número de empresas artesanales. El haber otorgado talleres sobre innovación en los diseños artesanales resultó en una ventaja para las artesanías ghanesas a la hora de venderse en el mercado internacional. La intervención resultó en efectos positivos sobre las vidas de los artesanos en términos de ingresos, ahorros y compra de equipo. Debilidades: Algunos de los miembros que trabajaron en ATAG crearon sus propias empresas de artesanías, esto fue visto con desconfianza por el gremio artesanal original que fue apoyado por la intervención. Actualmente ATAG esta tratando de adoptar una actitud más empresarial lo cual la podría poner en una situación de competencia con los que fueron antiguamente sus beneficiarios.

Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 4 años, se evaluó 6 años después de que había terminado y no se contó un una línea base. Una carencia de la evaluación es que no reportó cuántos artesanos se capacitaron, la mayoría de los logros de la intervención se presentaron en términos de ventas de artesanías. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos. En términos de sostenibilidad y ventas de artesanías se podría decir que la intervención en Ghana fue todo un éxito. Después de la revisión de las experiencias en Honduras, Perú, Rusia, Armenia y Ghana se podría decir que el modelo de fomento a las artesanías de USAID-ATA funciona bastante bien, aunque no tiene las mismas proporciones que el FONART. Hay aspectos positivos que se podrían aprender de estas intervenciones como el énfasis en talleres y cursos para hacer más atractivas las artesanías para el mercado, y los talleres y capacitaciones sobre temas empresariales.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEwQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D58&ei=X2EcUPrBLZKiqwHgwoCoCA&usg=AFQjCNHK5d3WW7CBiebhJgzHCx0Mlzt1fQ


23

Nombre del Programa similar: Mpukunyoni Craft Market Project

Señalas las características similares o tipos de apoyo que entrega considerados como similares: El programa se ubicó dentro del Proyecto de Desarrollo Económico Local del gobierno local de KwaZulu-Natal, cuyo objetivo general era estimular y apoyar el desarrollo económico a nivel local. El proyecto surgió por iniciativa de los artesanos en la municipalidad de Hlabisa, quienes operaban de manera informal en sus casas y se concibió como una oportunidad para que los artesanos rurales involucrados con la elaboración de prendas tradicionales expusieran sus trabajos y mejoraran su situación económica al conectarse a los mercados doméstico, provincial, nacional e internacional. El producto final de la intervención fue la creación de un espacio en el que los artesanos de la región pudieran concentrarse y exponer sus productos. El objetivo particular del programa de artesanías era reducir la pobreza mediante la creación de empleo en el sector de las artesanías, enfocado para mujeres y jóvenes en la municipalidad de Hlabisa. El proyecto se implementó a lo largo de la ruta R618 para atender las necesidades los artesanos de la región. Compartía con el FONART el hecho de que buscaba reducir la pobreza enfocándose al sector de las artesanías y que buscaba facilitar su acceso al mercado.


Nombre de la Evaluación: Mpukunyoni Craft Market Project Impact Assessment Report.


Objetivos de la Evaluación: La evaluación buscó averiguar cuál fue la utilidad de los recursos destinados para este programa y si se han logrado sus objetivos. Un segundo objetivo de la evaluación fue probar diferentes herramientas de evaluación y monitoreo.

Metodología utilizada: Para evaluar el impacto del programa se recurrió a una revisión de los documentos del programa así como a una serie de entrevistas con los actores principales.

Valoración técnica: Esta no es una evaluación de impacto pues no se comparó el efecto de la intervención sobre un grupo de tratamiento y uno de control, más bien se aproxima a una evaluación de resultados. La mayoría de los datos presentes en el reporte se refieren a los resultados documentados por el programa y están contextualizados por las entrevistas a los beneficiarios. Cabe señalar que el equipo evaluador reportó que entre la documentación otorgada por el programa no se contaba con estudios de probabilidad de éxito del programa ni un plan de negocios, supuestamente estos reportes debían contener toda la información necesaria del proyecto.

Principales Resultados (máximo 1,500 caractéres): Con base en las entrevistas con los beneficiarios se les preguntó sobre los orígenes del programa a lo cual los artesanos respondieron que había sido producto de una iniciativa de varias organizaciones artesanales que se congregaban a vender sus artesanías a lo largo de la carretera. Los beneficiarios reportaron que el propósito del proyecto es crear una situación de ingreso estable y sostenible, consideran que las artesanías son una opción de tiempo completo con lo que podrán reducir la pobreza. Respecto al financiamiento los beneficiarios reportaron que los recursos se usaron para la adquisición de estructura física, poner bardas, entrenamientos de habilidades artísticas, compra de maquinaria y materia prima. En términos de perspectiva de género se constató que el proyecto está dirigido por mujeres y sólo un hombre atendió a los talleres. Respecto las habilidades de los artesanos, los beneficiarios reportaron que no se sentían con el mismo entrenamiento que otros competidores en la región y que por lo tanto sus productos eran de menor calidad.


24

Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: De acuerdo con las entrevistas, los beneficiarios consideran que este era un proyecto importante en su región, por encima de otros relacionados con parques, aves de corral o tejidos. Debilidades: No existió una adecuada comunicación entre las autoridades y los beneficiarios. Existe la percepción de que el plan de negocios no fue adecuadamente monitoreado; además que no se le dio seguimiento por parte de las autoridades. La falta de registros documentales es una práctica negativa que se debe eliminar en un futuro. Existió una falta de continuidad entre los coordinadores del proyecto que dio una mala impresión a los beneficiarios y afecto el liderazgo del proyecto. Recomendaciones: La ausencia de un plan de negocios revela un escaso conocimiento en prácticas administrativas; dicho plan se debe elaborar y poner al alcance de todos los actores involucrados. Se debe hacer un mayor esfuerzo por mantener informada a la comunidad sobre el desarrollo del proyecto, los resultados de los estudios y las decisiones que les conciernan. Se debe llevar a cabo un monitoreo constante, realizado con base en un plan acordado entre los administradores y proveedores del proyecto. Se debe desarrollar una estrategia de salida y hacerla del conocimiento de sus beneficiarios para eliminar la dependencia del sector hacia el departamento.

Observaciones Generales: Este fue un programa que no tuvo un adecuado registro documental y con serios errores de comunicación que afectaron su desempeño. En comparación con los proyectos desarrollados por USAID-ATA se observa que hizo falta un mayor énfasis en la capacitación a los artesanos sobre el uso o modernización de técnicas tradicionales, así como un mayor esfuerzo por vincular a los beneficiarios con el mercado. Ciertamente no fue una evaluación de impacto y las información presentada difícilmente sirve para evaluar el éxito o su desempeño pues no se presentan metas ni resultados ni recursos utilizados.

Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CE0QFjAA&url=http%3A%2F%2Fwww.kznded.gov.za%2FPortals%2F0%2Fdocs%2FReports%2FDED%2520Mpunkunyoni%2520Craft%2520Market.pdf&ei=u2IcULGmIcqqrQGtrIDQDg&usg=AFQjCNE47lib7DqXjLKAl1_axiBBvtrH4w


25

Anexo 3. Agenda de Evaluación para el Fondo Nacional para el Fomento a las Artesanías (FONART).

Año de

inicio

Tipo de Evaluación

Objetivos

Duración o

periodo de

ejecución

Componentes a evaluar Justificación e importancia Refere

ncia Insumos Necesarios

2013 Diagnósti

co

Identificar el problema que busca atender el programa

2013 Problema Público que atiende el programa.

Existe una tensión entre el objetivo del programa por contribuir al desarrollo artesanal y al desarrollo económico.

Pg.59

Para realizar el diagnóstico no se requiere contar

con ninguna información previa

2013-2018

Evaluación

Específicas de

Desempeño

Conocer la evolución de los indicadores, la

cobertura y el desempeño general del programa.

Cada dos

años

Desempeño y calidad de los indicadores

Es importante contar con evidencia para conocer si los programas, de manera regular, tiene un adecuado desempeño

Pg.64

Para todas las evaluaciones se

recomienda recoger

información socioeconómica

de los beneficiarios (información acerca de las

ganancias que los artesanos

productores generan por concepto de

ventas), a partir de la entrada en vigor

de las ROP de 2013, utilizando

como mecanismo de recolección al

2013

Evaluación de

Indicadores

Verificar que los indicadores de la MIR del FONART estén capturando la información para la cual fueron diseñados.

2013-2014

Diseño y desempeño de los indicadores

Los indicadores con los que hasta ahora cuenta el programa presentan algunas dificultades en cuanto a los medios de verificación de la información, con lo cual la confiabilidad de la información que alimenta los indicadores resulta cuestionable.

Pg.59

2014 Evaluació

n de procesos

Conocer cómo los procesos del programa conducen al logro del Propósito, así como para detectar problemas operativos.

2014-2015

Aspectos del proceso relativos a la gestión de proyectos y entrega de apoyos.

De acuerdo con la evaluación de satisfacción, existe una mala percepción del programa por parte de los beneficiarios, que tiene que ver con cuestiones de índole administrativo, por lo que esta evaluación será ideal para identificar en que eslabón del proceso de implementación es en donde surgen los problemas de eficiencia,

Pg.60


26

que terminan por afectar la percepción de la PA sobre el programa

CUIS o al instrumento ad hoc ideado para

este fin.

Se requiere contar con dicha

información al inicio del

Programa y, para un grupo

representativo, en los años siguientes para poder llevar a

cabo distintas evaluaciones del

programa.

2015

Evaluación

Complementaria

Generar evidencia sobre cómo distintos componentes del programa generan efectos diferenciados en el Propósito y el Fin de la intervención.

2015-2016

Los tipos de apoyos que se deben otorgar, a quién se les debe dar el apoyo y cuánto se le debe otorgar. Conocer si los errores en el proceso han sido enmendados de forma adecuada.

Esta evaluación se justifica puesto que muchas de las decisiones sobre el diseño

del programa no están sustentadas en evidencia que permita especificar por qué

conviene un diseño sobre otro

Pg.61

2016 Análisis Costo-

Beneficio

Conocer cuánto le está costando al programa generar cada proyecto artesanal, dado el beneficio que genera (en términos de ventas) , y contar con la información necesaria para poder evaluar si el proyecto está siendo eficaz

2016-2017

Costos del programa y beneficios de los beneficiarios en términos de ventas.

En comparación con otros programas similares al FONART, éste cuenta con un amplio presupuesto, y se desconoce el beneficio que está generando para los beneficiarios.

Pg.62

2017

Evaluación de

Satisfacción

Conocer la percepción que los beneficiarios tienen con respecto al programa.

2017-2018

Satisfacción de los beneficiarios con

respecto al programa, la calidad

de los apoyos, y la eficacia de los

mismos.

Al haber sido atendidas las áreas de oportunidad detectadas a partir de las evaluaciones complementarias y de proceso, el programa estará sujeto a ciertos ajustes que deberán ser evaluados nuevamente en términos de la satisfacción de los beneficiarios

Pg.62


27

2017 Evaluació

n de Impacto

Conocer cuál es el impacto que el programa tiene en los beneficiarios, en términos de bienestar económico

2017-2018

Nivel de ventas antes y después de la intervención, y bienestar económico de la población atendida

Hasta el momento no se cuenta evidencia sólida para poder saber si ha habido un cambio en el bienestar económico de la PA del FONART, por la intervención del mismo. Se espera que para este punto, se cuente con evidencia de este efecto. A fin de poder atribuirle este efecto al programa, se recomienda llevar a cabo esta evaluación de impacto.

Pg. 63 Datos sobre las ventas de los beneficiarios


28

Anexo 4. Principales fortalezas, retos y recomendaciones para el Fondo Nacional para el Fomento a las Artesanías (FONART). Tema de

evaluación Aspecto Identificado Referencia Recomendación

Fortaleza

El Propósito de FONART está alineado a la estrategia 1.4 del Programa Sectorial de Desarrollo, así como al objetivo 2 del Plan Nacional de Desarrollo, con lo cual se demuestra que el programa contribuye a atender problemas tales como la falta de ingresos y de calidad de vida de la población más pobre.

Pg. 97 NA

Existe un esfuerzo del FONART por atender las recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y planeación del programa.

Pg. 97 NA

Oportunidad

Incorporación de aspectos de diseño (sobre todo relativos a la sostenibilidad de los proyectos), identificados en programas similares al FONART en otras partes del mundo

Pg. 98 Incorporar el elemento de "sostenibilidad" a las características que idealmente deben tener los proyectos artesanales

Debilidad

Falta de un diagnóstico claro que justifique la intervención desde la SEDESOL

Pg. 97 Realizar un nuevo diagnóstico del problema que atiende el FONART

Resúmenes narrativos poco claros para los niveles de Fin y Propósito pues no existe una diferencia entre el Fin y el Propósito del programa

Pg. 97

Modificar los resúmenes narrativos para los niveles de Fin y Propósito en el sentido propuesto en el aparato de Monitoreo. Además, se recomienda hacer explícitos los criterios mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas.

El indicador de la MIR utilizado para el nivel de Fin es poco económico y carece de información. Los indicadores de Propósito corresponden al nivel de Componente.

La percepción de los beneficiarios de que no existe una mejora en sus condiciones de vida tras haber participado en el programa, así como de la existencia de muchos problemas de índole administrativo resultado de la evaluación de satisfacción

Pg. 97 Se recomienda realizar una evaluación de procesos con el fin de detectar problemas de eficiencia operativa en el programa


29

Amenaza

La naturaleza del mercado, pues si la demanda por bienes artesanales no es suficiente para permitir su sostenibilidad, FONART estará obligado a otorgar apoyos permanentemente sin que esto se traduzca en una mejoría en el bienestar de la PA.

Pg. 99 Se recomienda orientar los proyectos artesanales hacia una lógica de sostenibilidad, pues sólo de esta forma se

podrá lograr que éstos permanezcan en el mercado.


30

Anexo 5. Evolución del Resumen Narrativo para los niveles de Fin, Propósito y Componente

2007 2008 2009 2010 2011 2012

FIN

Contribuir al incremento del ingreso

de los artesanos en situación de pobreza.

No cambió.

Contribuir a mejorar las fuentes de ingreso de

los artesanos en situación de pobreza,

mejorando sus condiciones productivas.

Contribuir a mejorar las

fuentes de ingreso de los artesanos que habiten en

Zonas de Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación

de pobreza patrimonial.

No cambió.

Contribuir a mejorar las

fuentes de ingreso de los artesanos cuyo ingreso es

inferior a la línea de bienestar, mejorando sus condiciones productivas

PR

OP

ÓS

ITO

Artesanos en situación de pobreza fortalecidos en su ciclo productivo

Artesanos en situación de pobreza mejoran su condición

productiva.

No cambió.

Artesanos productores que habiten en Zonas de Atención Prioritaria, o fuera de éstas y

se encuentren en situación de pobreza patrimonial mejoran

su condición productiva.

No cambió.

Artesanos productores cuyo ingreso es inferior a la línea de bienestar mejoran

su condición productiva.

CO

MP

ON

EN

TE

S

Artesanos apoyados con capacitación

No cambió. Artesanos capacitados. No cambió. Artesanos capacitados. No cambió.

Artesanos apoyados con financiamiento

No cambió. Artesanos apoyados con financiamiento.

Artesanos beneficiados con apoyos a la producción

No cambió. No cambió.

Artesanos beneficiarios por la adquisición de

artesanías

Artesanos beneficiados por la

adquisición de artesanías.

Artesanos beneficiados con adquisición de

mercancías

Artesanos beneficiados con adquisición de artesanías y

apoyos a la comercialización. No cambió. No cambió.

Artesanos beneficiados a través de concursos

de arte popular

Artesanos beneficiados a través

de concursos artesanales.

Artesanos beneficiados mediante concursos

Artesanos beneficiados mediante concursos de Arte

Popular. No cambió. No cambió.


31

Artesanos Beneficiados. No cambió. No cambió.

Anexo 6. Evolución de los indicadores para los niveles de Fin y Propósito

2007 2008 2009 2010 2011 2012

FIN

Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.

No cambió.

Porcentaje de artesanos beneficiados que

incrementaron su ingreso derivado de la actividad

artesanal

No cambió. No cambió. No cambió.

PR

OP

ÓS

ITO

Porcentaje de artesanos beneficiados por adquisición que

ampliaron mercado con respecto a los artesanos beneficiados por

adquisición.

No cambió.

Porcentaje de artesanos beneficiados por

adquisición que ampliaron mercado

Porcentaje de artesanos beneficiados por

adquisición de artesanías y apoyos a la comercialización

que ampliaron mercado


Porcentaje de artesanos que declararon mejora en la calidad de

su producción después de participar en los concursos con respecto al total de artesanos

concursantes.

No cambió.

Porcentaje de artesanos que declararon mejora en

la calidad de su producción después de participar en

los concursos


con respecto a los artesanos capacitados.

No cambió.

Porcentaje de artesanos

capacitados que aplican en su producción las técnicas

enseñadas

Porcentaje de artesanos que aplican en su

producción las técnicas enseñadas en las

capacitaciones que imparte la vertiente


Porcentaje de artesanos financiados que incrementaron su

producción con respecto al total de artesanos financiados.

Porcentaje de artesanos que incrementaron su

producción con respecto al total de artesanos

financiados.

Porcentaje de artesanos financiados que

incrementaron su producción



32

Porcentaje de Beneficiarios que perciben mejoras con

los bienes y servicios prestados por el programa

respecto al total de beneficiarios apoyados

Porcentaje de beneficiarios que se sienten satisfechos

con el servicio prestado por el programa

anexos · nombre de la evaluación: ... registrar en una base de datos la totalidad de solicitudes...

Documents