Diseño, Análisis y Evaluación del Impacto de Proyectos de

Cooperación CulturalCooperación Cultural

Victoria Ateca Amestoy (UPV/EHU)(UPV/EHU)

Madrid, 8 de julio de 2014

Europa Creativa – Cultura DESK

www mapsi euwww.mapsi.euwww.facebook.com/mapsiproject

@MAPSI j@MAPSIproject

Conceptos claveConceptos clave

• Definir el impacto de un proyecto (identificación)

• Incluir en el desarrollo del proyecto

• Llevar el impacto y las acciones para gestionarlo • Llevar el impacto y las acciones para gestionarlo

y medirlo a la solicitudy

Conceptos clave: ciclo de vida del proyecto

• Inputs/recursos: todos los recursos (humanos o de capital), invertidos en la actividades de la organización / consorcio.

• Actividades: las acciones concretas, tareas y trabajos llevados a cabo por la y jorganización / consorcio para crear sus outputs y resultados y paraconseguir sus objetivos.

• Outputs/productos: los productos tangibles y servicios que resultan de lasOutputs/productos: los productos tangibles y servicios que resultan de lasactividades de las organizaciones.

• Resultados: los cambios, beneficios, aprendizajes y otros efectos (tanto en el l l l ) l d l i id d d l corto como en el largo plazo) que resultan de las actividades de la

organización.• Impacto (social): la contribución de las actividades de la organización a

resultados más amplios y de largo plazo.

A Practical Guide to Measuring and Managing Impact – EVPA 2013A Practical Guide to Measuring and Managing Impact EVPA 2013

La cadena de valor del impactoLa cadena de valor del impacto

Características y tipo de impactoCaracterísticas y tipo de impacto

Resultados más amplios y de largo plazo

• Que afecten no sólo al público /s objetivo/s

– Análisis de los “stakeholders”

• Que trasciendan el horizonte temporal del proyecto (periodo de p p y (p

elegibilidad de gastos)

– SostenibilidadSostenibilidad

– Legado material o inmaterial

• Que tengan que ver con la “transferibilidad” de los resultados• Que tengan que ver con la transferibilidad de los resultados

obtenidos:

A t i i i ti d d t d l i– A otras iniciativas de cada partner del consorcio

– A otros agentes que desarrollen proyectos similares

Características y tipo de impactoCaracterísticas y tipo de impacto

• Impacto económico

• Impacto social

• Impacto medioambiental

• Impacto en diseño de políticas• Impacto en diseño de políticas

• Sinergias con otros proyectos

• Diseminación a la comunidad de práctica

• Otros beneficios del consorcio

Survey and outcomes of cultural heritage research projects supported in the context of EU Survey and outcomes of cultural heritage research projects supported in the context of EU

environmental research programmes – Comisión Europea, 2011

Características y tipo de impactoCaracterísticas y tipo de impacto

• Impacto económico: Libro Verde de las ICC, Estudios de Impacto de

iniciativas similares (http://www.forum-avignon.org/en/edition-

2011/publications-2011)

• Impacto social: Comunidades más fuertes y seguras (dialogo inter-grupos,

diversidad e identidad, relaciones familiares, crimen y comportamiento

antisocial), Refuerzo de la vida social (participación y compromiso cívico,

capacidades, espacios seguros e inclusivos, empoderamiento,

correspondencia de servicios públicos con necesidades), Salud y bienestar

(estilos de vida saludables, mayores, niños y dependientes).

• Impacto tecnológico: Retos de la digitalización (desarrollo de innovación

de proceso o de producto: adopción por otros agentes).

Características y tipo de impactoCaracterísticas y tipo de impacto

I t A l l ió Al b d E 2020Impacto A la conclusióndel proyecto (2015 +2/4)

Al cabo de n años de la conclusión

En 2020

SocialEconómicoEducacionalEducacionalMedio ambientalTecnológicogInnovación en gestión

Proceso de medición de impactoProceso de medición de impacto

Fij ió d bj ti l di ióFijación de objetivos para la medición•Motivos de medir impacto, recursos dedicados, tipo de proyecto, nivel de rigor,

marco temporal

Análisis de los stakeholders•Cualquier parte que afecte o sea afectada por el desarrollo del proyecto•Dos pasos: identificar + involucrar

Medición: resultado, impacto e indicadores•Definir resultados y seleccionar los más importantes de conseguir•Establecer indicadores: specific, measurable, achievable, relevant and timed (SMART)

Verificación y evaluación del impacto•Medición: cuantitativa y cualitativa. •A través de control interno, encuestas, focus-groups

Monitorización y reporte•Análisis de resultados•Aplicación a la gestión / informe final

Impacto e indicadoresImpacto e indicadores

• “Performance Indicators”, “Key Performance Indicators (KPIs)”, “Indicators of Impact/outcome”

V l ió d l i t d l ió d l • Valoración del impacto y de la consecución de los objetivos.

• SMART• SMART– La medida ha de tener un propósito eSpecífico.

– Medible para conseguir valor del indicador.Medible para conseguir valor del indicador.

– Asequible / Conseguible

– La consecución / mejora en el indicador es Relevante

– En un marco Temporal adecuado (se manifiestan y miden en tiempopredefinido)

Impacto e indicadoresImpacto e indicadores

• Definición: parámetro o valor que señala, describe o proporciona

información sobre el estado de un fenómeno y que es significativo

más allá del valor que toma (OECD, 2003)

• Alternativamente, una característica o dimensión particular que se , p q

usa para medir los cambios deseados en los resultados de un

proyecto Sirven para observar el progreso y medir los resultadosproyecto. Sirven para observar el progreso y medir los resultados

obtenidos frente a los resultados esperados.

H d d é i ifi bl ( bj i • Han de estar expresados en términos cuantificables (objetivos y

mensurables: número de individuos, porcentaje, variación positiva o

negativa…)

Conceptos clave: en los criterios de evaluación

ó ó á“Criterios de concesión para proyectos de cooperación” (página 5)http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/call-culture-ce-

2013_es.pdf

E1. Pertinencia (35 puntos).

E2. Calidad del contenido y las actividades (25 puntos)

E3 Comunicación y difusión (20 puntos): Enfoque del proyecto con respecto a la comunicación E3. Comunicación y difusión (20 puntos): Enfoque del proyecto con respecto a la comunicación

de sus actividades y resultados y a la puesta en común de conocimientos y experiencias con

el sector y más allá de las fronteras. El objetivo es maximizar el impacto de los resultados del

proyecto, poniéndolos a disposición, de la forma más amplia posible, a nivel local, regional,

nacional y europeo, de manera que no solo lleguen a quienes participan directamente en el

proyecto, sino que, además, tengan un impacto más allá del período de vigencia de este.

E4. Calidad de la colaboración (20 puntos): En qué medida la organización general y la

coordinación del proyecto garantizarán la aplicación efectiva de las actividades y

t ib i á t ibilid dcontribuirán a su sostenibilidad.

Conceptos clave: en la solicitudConceptos clave: en la solicitud

ó O C í“Descripción de contenidos del E-FORM”. Capítulo “Proyectos de cooperación europea” http://www.mcu.es/cooperacion/docs/MC/EuropaCreativa/Contenidos_eFORM_Acc

C d f df_Coop_def.pdf

– Parte E – Criterios de concesión

E1. Relevancia:

E.1.2. To what extent is the project aiming at producing results which will go beyond the sole interest of the partners and direct participants and have

? 000potential long-term impacts? (Max. 1000 characters)

How complementary is the project to cultural actions implemented at national, regional or local level?

E3. Comunicación y difusión:

E.3.1. How clear and appropriate is the strategy to communicate on the activities of the partners' network including the objectives target groups tools channels of the partners network, including the objectives, target groups, tools, channels, media, impact and Timeline?

Conceptos clave: en la solicitudConceptos clave: en la solicitud

E 1 2 T h i h j i i d i l hi h ill E.1.2. To what extent is the project aiming at producing results which will go beyond the sole interest of the partners and direct participants and have potential long-term impacts? (Max. 1000 characters)

How complementary is the project to cultural actions implemented at national How complementary is the project to cultural actions implemented at national, regional or local level?

Contribución del proyecto a conseguir objetivos más amplios: Contribución del proyecto a conseguir objetivos más amplios:

(C.3 Relevance to the specific objectives of the Programme. Please choose as appropriate. If more than one priority is ticked, you will have to provide a pp p p y , y pranking)

• Dimensión y retos de EUROPA CREATIVAy

• Respuesta del proyecto

• Métrica del impacto

Conceptos clave: en la evaluación de la solicitud

Check-list

Correspondencia entre:

• Los objetivos generales del EUROPA CREATIVA que hemos marcado • Los objetivos generales del EUROPA CREATIVA que hemos marcado (C3)

• Objetivos del proyecto (en la aplicación electrónica y en la memoria anexa)

• Resultados del proyecto: para quién (E3.1)

• Impacto a largo plazo: en qué áreas (E1 2)• Impacto a largo plazo: en qué áreas (E1.2)

• Mecanismo de medición y de evaluación establecidoy

Conceptos clave: en la evaluación de la implementación del proyecto

PROGRAMME CULTURE 2007 2013 FINAL TECHNICAL IMPLEMENTATION REPORT 4 PROGRAMME CULTURE 2007-2013. FINAL TECHNICAL IMPLEMENTATION REPORT 4. EVALUATION OF PROJECT ACTIVITIES (between 2 and 5 pages)

http://eacea.ec.europa.eu/culture/beneficiaries/2012/report_strand_121_en.php

Based on the information presented above, please provide an evaluation of the development, progress and achievements of the project.

• 4.1 Objectives and priorities: How have the objectives been implemented? Please specify how your project related to the objectives of the Programme the relevance to the European Year and your project related to the objectives of the Programme, the relevance to the European Year and to the field selected in your application.

• 4.2 Who has benefited from the project? Please specify what the target groups were and how many people from each target group benefited directly and indirectly from the results of each

i iactivity.

• 4.3 How did the project contribute to the selected objectives of the European Agenda for Culture?

• 4.4 What will be the impact of the project on a long term basis?

• 4 5 How were the project activities communicated/disseminated? (Please attach a copy of press 4.5 How were the project activities communicated/disseminated? (Please attach a copy of press releases, banners, posters or other type of communication material used.)

• 4.6 Have you already made use (or do you intend to do so) of the European Commission's electronic platform (EVE: http://www.ec.europa.eu/eve) for the dissemination and exploitation of project results?project results?

• 4.7 Please describe how you promoted and ensured the visibility of your project?

• 4.8 What was the role (i.e. tasks) of the associate partners (if any) involved in the project?

SugerenciasSugerencias

Sinergias

Con otros proyectos e instituciones (algunas pautas dadas ya por la EACEA: Europa Creativa DESK, Representaciones UE en países, EVE p , p p ,– nueva versión)

C d Cartas de apoyo

Antiguo rol de “associated partner” – identificación a priori de los principales stakeholders del proyecto (presentación y apoyo)p p p y (p y p y )

Cuidar la comunicación interna hacia esos agentes.

Buscar efectos multiplicadores.Buscar efectos multiplicadores.

Trabajar en la sostenibilidad ya desde la fase de diseño.

RecursosRecursosA P ti l G id t M i d M i I t EVPA 2013A Practical Guide to Measuring and Managing Impact – EVPA 2013http://evpa.eu.com/login/?redirect_to=%2Fdownloads%2F%3Fpdf%3D2010%2F11

%2FEVPA_A_Practical_Guide_to_Measuring_and_-Managing_Impact_final.pdf

Survey and outcomes of cultural heritage research projects supported in the Survey and outcomes of cultural heritage research projects supported in the context of EU environmental research programmes – Comisión Europea, 2011

http://ec.europa.eu/research/environment/pdf/survey_and_outcomes_cultural_heritage.pdfitage.pdf

Measuring Museum Impacts – report 3. “The Learning Museum” project 2013http://www.lemproject.eu/WORKING-GROUPS/audience-research-learning-styles-

and-visitor-relation-management/3rd-report-measuring-museum-impactsg / p g p

Measuring the economic benefits of arts and culture: Practical Guidance onResearch Methodologies for Arts and Cultural Organizations. Arts Council England, 2012

http://www.artscouncil.org.uk/media/uploads/pdf/Final_economic_benefits_of_arts.pdf

MAPSI Projectwww.mapsi.eu