1

Nombre de la materia: Desarrollo y gestión local del turismo.

Clase Nº: 8

Docente: Mariana Caminotti

Fecha: 12 de agosto de 2009

Unidad Nº: 3

2

Tema de la clase: El ciclo del proyecto III. La evaluación: fines y principales tipos. Componentes.

Objetivos de la clase:

Familiarizar a los participantes con las múltiples tareas que implica la evaluación de proyectos de desarrollo, considerando especialmente sus fines, tipos y principales componentes.

Presentar algunos lineamientos de orden analítico y metodológico que permitan realizar acciones

de auto-evaluación de proyectos.

Lecturas obligatorias de la clase Comisión Europea / Europe Aid (2002). Guía Gestión del Ciclo del Proyecto. Capítulo 2:

“Gestión del ciclo del proyecto: Visión global”. González, Lara (2000). “La evaluación ex post o de impacto. Un reto para la gestión de proyectos

de cooperación internacional al desarrollo”. Cuadernos de Trabajo de Hegoa Nº 29. Facultad de Ciencias Económicas, Bilbao.

3

Introducción Evaluación es uno de los términos de los cuales más acepciones

puedan encontrarse en la bibliografía especializada. Entonces, ¿qué significa evaluar? Antes de desarrollar los contenidos de la clase, nos vamos presentar algunas definiciones básicas que servirán de punto de partida de nuestra discusión posterior.

Dicho en términos simples, evaluar implica una lectura de la realidad

(de un recorte) a partir de la cual quien evalúa efectúa un juicio y un pronunciamiento sobre ella. En este sentido, la evaluación siempre supone un proceso de interacción entre la realidad a evaluar y quien realiza la evaluación (Bertoni et al. 1995).

Para emprender cualquier evaluación, es necesario construir un

referente, esto es, establecer un conjunto de criterios que servirán de grilla del objeto a evaluar. El referente, entonces, es una especie de “ideal” o “deber ser” y hace que la evaluación implique, siempre, una lectura orientada por la óptica y por la perspectiva de análisis privilegiada por el evaluador1. Por el contrario, lo referido está constituido por el conjunto de observables que se recortan de un objeto de evaluación y que se consideran representativos de éste.

Durante el proceso de evaluación, el evaluador toma decisiones y

construye tanto el referente como lo referido. Tomar decisiones significa, entre otras cosas, que recorta, selecciona, se plantea desde qué marcos organizará su lectura de la realidad a evaluar. Esto pone en cuestión la existencia de referentes universales, puesto que el evaluador siempre opta por alguna perspectiva, alguna toma de posición o algún recorte en particular). La puesta en relación entre el referente y lo referido puede ser abordada en dos sentidos. El primero es el más habitual: del referente a lo referido, de las expectativas a la realidad; el segundo, de lo referido al referente, de lo existente (por lo menos, de aquello que un recorte pone en evidencia) a lo deseado.

A partir de lo que hemos señalado hasta aquí, cabe subrayar las

siguientes cuestiones: o La evaluación de proyectos debe ser entendida como un proceso

de construcción de conocimiento sobre el objeto de evaluación. o Por definición, implica un acto de interrogación sobre aquello

que se evalúa.

1 El término latino referens significa “que reenvía a”. Por otra parte, y para no distraer la atención, podemos señalar que éste puede ser construido de modo previo al proceso de evaluación o durante dicho proceso. Esto se denomina evaluación apreciativa con o sin referente predeterminado, según uno u otro caso (Bertoni, Poggi y Teobaldo 1995: 27).

4

o Siempre supone algún tipo de recorte (tanto desde los referentes que se construyen, como desde los aspectos -lo referido- que se seleccionan del objeto a evaluar y que se consideran representativos de éste).

Desarrollo de la clase

1. ¿Para qué se evalúa? En el marco del estímulo del desarrollo local (y del desarrollo del

turismo local), la evaluación tiene dos fines principales: a) mejorar las intervenciones a través de un mejor conocimiento de su contenido y consecuencias; b) documentar los resultados alcanzados mediante la gestión de proyectos.

El fin más importante del trabajo de evaluación consiste en

producir conocimiento y experiencia que puedan mejorar la calidad de las acciones en pos del desarrollo. Al contar con análisis profundos y técnicamente sólidos, los decisores tendrán la posibilidad de tomar decisiones fundadas y, de ser necesario, corregir el rumbo de sus intervenciones. 2. Evolución conceptual de la evaluación

Paulatinamente, la evaluación ha ido ganando cada vez más importancia en la gestión de proyectos de desarrollo. Tradicionalmente, se contemplaban dos momentos clave para la evaluación:

o Antes del inicio de la ejecución, la evaluación previa debía asegurar que la opción tomada era la mejor entre las alternativas posibles, prestando especial atención a la relación entre los objetivos perseguidos y los costos del proyecto.

o En segundo lugar, se consideraba una evaluación final cuyo

propósito era determinar en qué medida los objetivos propuestos habían sido logrados.

Otras características que poseían las evaluaciones hace unos años era

su énfasis en la utilización de métodos cuantitativos y la preeminencia de la función de rendición de cuentas. Actualmente, en cambio, se hace un mayor hincapié en las evaluaciones como procedimientos al servicio del aprendizaje de las personas y entidades implicadas en la gestión de proyectos, así como en la utilización de métodos cualitativos.

Una de las definiciones clásicas de evaluación puede encontrarse en

Aguilar y Ander-Egg (1992: 18), quienes afirman que “la evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante en que apoyar

5

un juicio acerca del mérito y el valor de los diferentes componentes de un programa (tanto en la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades específicas que se realizan, se han realizado o realizarán, con el propósito de producir efectos y resultados concretos; comprobando la extensión y el grado en el que dichos logros se han dado, de forma tal, que sirva de base o guía para una toma de decisiones racional e inteligente entre cursos de acción o para solucionar problemas y promover el conocimiento y la comprensión de los factores asociados al éxito o al fracaso de sus resultados”

LEER ATENTO

Resumiendo, entonces, la evaluación de un proyecto consiste en la formulación de preguntas y en la búsqueda de respuestas precisas respecto de algunos aspectos del mismo, ya sean relativos a su planificación, ejecución o finalización.

La formulación de preguntas integra el diseño de evaluación, en el cual

se identifican, además, las fuentes, los métodos y técnicas para la recolección de información y los procedimientos de análisis.

-------------------

3. Importancia del diseño para la evaluación

El diseño tiene una importancia capital para iniciar el proceso de evaluación. Un diseño sólido es un prerrequisito para una adecuada evaluación. Cuando se habla de “evaluabilidad” se hace referencia, entre otras cosas, a un diseño adecuado.

La “evaluabilidad” es la calidad que debe poseer el diseño del

proyecto para sentar las bases que permitan una correcta evaluación. A saber:

o Una definición precisa de la situación de partida,

fundamentalmente de beneficiarios y problemas. o Una definición inequívoca de objetivos que cuenten con

indicadores para su medición y sistemas de recolección de datos para su verificación.

o La existencia de procedimientos para incorporar los resultados

en la toma de decisiones. Aunque la evaluación aparece en el ciclo de vida del proyecto en la

fase final que daría paso a nuevos ciclos, se entiende que hay cuanto menos tres o cuatro momentos específicos en los que pueden abordarse procesos de evaluación. Esos momentos permiten diferenciar otros

6

tantos tipos de evaluaciones, que es lo que vamos a examinar a continuación.

4. Tipos de evaluación y acciones evaluativas en el ciclo del proyecto

a) Según el momento en que se realiza la evaluación, hablamos de:

Evaluación previa o ex ante (también denominada evaluación a priori y, en ocasiones, estudio de viabilidad)

Cada vez el énfasis se pone más en la viabilidad y sostenibilidad,

dado que muchos proyectos fracasan en lograr efectos positivos perdurables. Esta evaluación constituye a menudo un filtro previo a la ejecución de proyectos, cuyo propósito es proporcionar información significativa para tomar la decisión sobre si el proyecto debe o no ejecutarse o para elegir entre proyectos alternativos o identificar las modificaciones a introducir en la formulación.

En este sentido, los tres aspectos que suelen tener más importancia

son: o La pertinencia de la intervención desde el punto de vista de las

políticas de quien la promueve.

o La solidez técnica de la formulación (correcta definición de beneficiarios y lógica interna del proyecto).

o Las posibilidades de permanencia en el tiempo de los efectos

positivos perseguidos.

Evaluación intermedia (también llamada concurrente, simultánea, formativa, ex dure, etc.)

Esta modalidad de evaluación tiene la finalidad de extraer

información y conclusiones sobre la marcha del proyecto, examinando críticamente la validez de las hipótesis en que se fundamentó el diseño y detectando problemas y progresos durante la ejecución. Tiene bastantes puntos de conexión con el seguimiento y se basa fundamentalmente en éste. Evaluación final (también llamada sumativa o de cierre)

La evaluación final tiene por objeto valorar el desempeño global de

un proyecto cuya ejecución ha finalizado y extraer las correspondientes enseñanzas. Como resultado, se elabora un informe final que recoge las conclusiones acerca del proceso de intervención.

7

Evaluación ex post (posterior o de impacto)

La evaluación ex post busca estimar la verdadera dimensión de las intervenciones en cuanto a sus efectos de desarrollo, con atención particular a los impactos y la sostenibilidad.

El plazo temporal que debe transcurrir entre la finalización del

proyecto hasta la realización del ejercicio de evaluación varía dependiendo del tipo de proyecto y de los intereses y posibilidades de las instituciones ejecutoras.

b) Según los actores que intervienen, hablamos de:

Evaluación interna/externa

Estos términos aluden, en primera instancia, al origen de la

evaluación. Desde otras perspectivas, puede sumarse también a este primer aspecto el grado de control sobre el proceso y los resultados de la evaluación, así como el de la participación de los actores en la realización de la evaluación. Si bien se trata de un binomio de términos que, a veces, son presentados como dilemáticos, es posible lograr articulaciones y potenciaciones mutuas entre una y otra evaluación.

Es sabido que ambas modalidades presentan ventajas y desventajas,

las cuales están muy bien planteadas en la bibliografía especializada. Sin embargo, nos parece importante señalar algunas fortalezas de la evaluación interna y luego avanzar en su articulación con la evaluación externa.

La evaluación interna (o auto-evaluación) es el proceso de

indagación y estudio de un proyecto, generado, organizado y gestionado por sus propios ejecutores. Al respecto, podemos señalar las siguientes ventajas:

o Se incrementa el conocimiento del proyecto que se autoevalúa. o Se favorece la revisión y adecuación de fines y objetivos de las

acciones que se realizan.

o Se clarifican y dimensionan mejor las fortalezas y los problemas.

o Se logra una mejor organización y jerarquización de la información del proyecto.

o Se incrementa la comunicación efectiva entre los actores

involucrados en el proyecto.

o Se fortalece la racionalidad de las decisiones.

o Se promueve la capacitación interna y fortalecimiento del personal profesional.

8

o Se facilita una mayor participación y apropiación de los resultados de la evaluación.

Si bien es cierto que algunos de los rasgos mencionados pueden ser

también adjudicados a la evaluación externa, en la auto-evaluación se potencia y fortalece la autonomía, el mejoramiento y la profesionalización de los actores de un proyecto y contribuye en gran medida a que se promuevan cambios a partir de los resultados de la evaluación. En otros términos, supone un compromiso con el cambio y con la innovación.

Sin embargo, además de sus numerosas ventajas, también es

necesario destacar algunas debilidades o problemas que presenta la auto-evaluación:

o Conlleva el riesgo de que cada grupo actúe con criterios que

sirvan para justificar aquello que están haciendo. Es decir, fácilmente puede convertirse en una auto-justificación.

o No siempre existen condiciones internas para llevar a cabo el

proceso de auto-evaluación, que requiere capacidades metodológicas y técnicas instaladas en los equipos de los proyectos, tiempos y motivación para realizarla y un decidido respaldo institucional.

o La instalación y diseminación de una cultura evaluativa y de

colaboración en proyectos e instituciones, o su carencia, es un factor importante a la hora de sostener procesos de auto-evaluación. No obstante, la instalación de una cultura evaluativa implica un proceso gradual y extenso que sólo puede hacerse efectivo... evaluando. Dicho en otros términos, puede ser considerada un requisito o condición preexistente para la auto-evaluación, o bien una cuestión que progresivamente se va construyendo en el proceso de evaluación de un proyecto.

Para superar posiciones o planteos dilemáticos, la evaluación

externa e interna pueden ser pensadas de modo que se articulen y complementen entre sí. Más aún, la evaluación externa puede contrarrestar algunos de los riesgos de la auto-evaluación. En realidad, el acceso a la información sobre un proyecto que provee una evaluación externa encuentra en este hecho su mejor fundamentación.

Otra de las ventajas que generalmente se le asigna a la evaluación

externa se vincula con el hecho de que es realizada por profesionales con mayor grado de independencia que los actores directamente involucrados en los proyectos y en la acción. Mayor grado de independencia significa que tienen menos intereses comprometidos con los resultados de la evaluación; esto no significa mayor grado de objetividad (la que puede lograrse tanto en la auto-evaluación como en la evaluación externa mediante ciertos cuidados y los debidos recaudos metodológicos y técnicos).

9

Cuando evaluadores externos se articulan con procesos de auto-

evaluación, su presencia puede aumentar la credibilidad y contribuir a que se tome conciencia de problemas en los que no se había reparado. Incluso aparece en la bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”, términos que dejan claramente planteada la idea de una interlocución reflexiva que puede potenciar las ventajas de la auto-evaluación.

c) Según el énfasis en métodos o herramientas:

Los paradigmas sobre la evaluación han tenido un extenso

tratamiento en la bibliografía especializada. En muchas ocasiones, las concepciones metodológicas han sido presentadas de modo fragmentado y polarizado y, en el extremo, como planteos dilemáticos entre lo cuantitativo y lo cualitativo.

No es motivo de esta clase dar cuenta del conjunto de discusiones sobre el tema. Sin embargo, podemos afirmar que no hay nada, excepto quizá la tradición, que impida combinar aspectos de los enfoques cualitativo y cuantitativo de investigación social para lograr una fórmula que resulte más adecuada al problema de la investigación. Por tanto, los evaluadores obrarán adecuadamente si emplean cualquier método que resulte adecuado a las necesidades de su investigación.

En el mismo sentido en que afirmamos la importancia de la

complementación de estos enfoques, es necesario destacar al menos tres ventajas potenciales del empleo y la articulación de ambas metodologías.

En primer lugar, dado que la investigación evaluativa generalmente

tiene múltiples propósitos, éstos deben ser atendidos con referencia a una variedad de métodos. Esto supone, en otras cosas, atender tanto al proceso como a los resultados y considerar, en muchos casos de manera simultánea, los objetivos vinculados con la comprobación, la valoración del impacto y la búsqueda de explicaciones sobre los aspectos evaluados.

En segundo lugar, la utilización articulada de ambos métodos puede

contribuir a su potenciación. Esto implica que uno no puede sustituir al otro, dado que aportan formas diferentes de abordar el objeto de evaluación y que, en consecuencia, requieren su complementación.

Finalmente, dado que no hay método que no presente problemas o

dificultades, la tercera ventaja que ofrece la articulación de ambos enfoques es la de posibilitar una triangulación de métodos que permita disminuir los sesgos propios a cada uno de ellos.

10

LEER ATENTO

Como hemos visto en nuestra cuarta clase, la triangulación consiste en la combinación de diferentes métodos y técnicas que permite analizar los datos desde diferentes ángulos con el propósito de contrastarlos entre sí.

-------------------

Así como consignamos algunas de las posibles ventajas de la

combinación de ambos enfoques, también es necesario dejar planteados algunos de los inconvenientes que esta articulación presenta. En primer término, la disponibilidad de recursos y tiempo que exigen y, en segundo término, la formación metodológica y técnica requerida.

De todos modos, más allá de las objeciones que puedan realizarse, la

cuestión principal a considerar es la selección de los métodos más apropiados en función del o los problemas de evaluación que se hayan formulado en el diseño del proceso.

5. Componentes de la evaluación2

En la evaluación, generalmente se enfatizan cinco componentes

principales que representan los puntos más importantes a tener en cuenta en relación con las decisiones sobre proyectos. Éstos son:

o Pertinencia / relevancia o Eficiencia o Eficacia o Impacto o Viabilidad/ Sostenibilidad

Pertinencia ¿En qué medida el proyecto se justifica en relación a las prioridades

locales y de las entidades ejecutoras y receptoras? Cuando se analiza la pertinencia de un proyecto, se está efectuando una valoración acerca de su utilidad en la promoción de procesos de desarrollo (se valora si la solución propuesta por el proyecto es adecuada a la situación-problema original).

Eficiencia

La eficiencia remite a la capacidad del proyecto para transformar los

insumos (recursos financieros, humanos y materiales) en resultados. La eficiencia es, así, un criterio compartido por la evaluación y el seguimiento.

2 Tomado del Manual para Evaluadores – INAP.

11

Para el análisis de la eficiencia, es clave establecer valores de

referencia que permitan tener un marco con el cual comparar: siempre se es eficiente con respecto a algo. Los documentos básicos para la valoración de la eficiencia son: el presupuesto, el cronograma, la organización y asignación de las responsabilidades de la ejecución entre los actores o unidades involucradas.

Eficacia

La eficacia indica la contribución de un proyecto al logro de su

objetivo. Ello puede ser planteado a partir de la siguiente pregunta: ¿En qué medida el objetivo del proyecto ha sido alcanzado o espera ser alcanzado?

Impacto

El impacto remite a los cambios y a los efectos positivos y negativos,

previstos o no previstos, del proyecto. En tal sentido, se diferencia del criterio de eficacia, restringido a los efectos positivos de la intervención.

La determinación de los impactos de un proyecto es una de las

cuestiones más difíciles a las que se enfrenta cualquier evaluación. Tal como lo sugerimos en la cuarta clase, resulta extremadamente complejo precisar qué efectos son producidos por una intervención y cuáles tienen su origen en otra serie de factores que están afectando a la realidad analizada.

LEER ATENTO

La evaluación de impacto busca determinar los “efectos netos” (exclusivamente atribuibles al proyecto) y no el cambio que se ha producido en un período determinado de ejecución (“efecto bruto”, consecuencia además de otros factores externos al proyecto).

Se pretende evaluar a la realidad “con” y “sin proyecto”, no “antes” y

“después” del proyecto.

-------------------

Viabilidad / sostenibilidad En el contexto de los proyectos de desarrollo, viabilidad y

sostenibilidad resultan ser sinónimos. Ambos conceptos se refieren a la perdurabilidad de los efectos generados por el proyecto. Según la OCDE (1989), la sostenibilidad es la “prueba final” del éxito de un proyecto de desarrollo.

La pregunta a responder, en este caso, es: ¿en qué medida los efectos

positivos del proyecto continuarán luego de su finalización?

12

6. Fases y requisitos metodológicos para diseñar y organizar un modelo de auto-evaluación

La evaluación de un proyecto no puede reducirse a una serie de etapas o pasos diferenciados de modo estricto desde el punto de vista cronológico. No obstante, si se pretende que sea sistemática, es importante tener en cuenta algunas consideraciones que permitan diseñar y organizar el proceso y algunos recaudos que aseguren que los juicios e hipótesis a los que se arribe estén fundamentados. Esto es, en última instancia, lo que permite diferenciar un juicio informal, sin sustento empírico, de una evaluación sistemática y formalizada3.

Sin pretender establecer una serie estrictamente ordenada desde el

punto de vista cronológico y, mucho menos, una secuencia lógicamente lineal, creemos necesario esbozar algunas orientaciones metodológicas para comenzar a diseñar un proceso de auto-evaluación.

Un diseño de evaluación deberá anticipar y definir las siguientes

cuestiones: o Formular el marco de referencia y encuadre de la evaluación. o Elaborar las preguntas clave para orientar la búsqueda de

información. o Identificar variables, dimensiones e indicadores ya elaborados al

diseñar el proyecto o construir aquellos necesarios para la evaluación.

o Determinar las fuentes de información e identificar la información ya disponible.

o Identificar el universo de estudio. Diseñar los instrumentos de recolección de información.

o Diseñar un plan de ordenamiento, procesamiento, análisis e interpretación de la información.

o Preparar el trabajo de campo. o Diseñar el esquema general del informe de evaluación.

Revisaremos los principales aspectos que deben ser considerados en

cada una de las cuestiones enumeradas. 6.1. Formular el marco de referencia y el encuadre de la evaluación

La formulación o elaboración del marco de referencia y encuadre de una evaluación de proyectos debe incluir: a) la definición del para qué y el por qué de la evaluación; b) la identificación de las fases,

3 Preferimos el término “fases” al de “etapas” ya que el primero introduce una metáfora más rica y próxima al complejo proceso de evaluación. En efecto, este término resalta que no se trata de una agregación de partes predeterminadas sino que alude a sucesivas reconfiguraciones de una misma totalidad. De este modo, en el proceso de investigación evaluativa, las fases más avanzadas ya están presentes desde las fases iniciales.

13

componentes o acciones del proyecto que se van a evaluar; y c) la definición de los conceptos clave del proyecto.

En relación con la definición del para qué y del por qué de la

evaluación, cabe realizar algunas aclaraciones respecto a qué nos conduce cada una de estas preguntas. Entendemos que “si nos preguntamos por qué se evalúa, la cuestión remite inmediatamente a la intención de quien construye el objeto de la evaluación (conocer). Si, en cambio, el interrogante está referido a para qué se evalúa, la preocupación refiere a los efectos de la evaluación sobre la acción (¿qué se hará con los resultados?). En el primer caso, los propósitos o intenciones del evaluador dependen de cuál sea su concepción sobre la evaluación. Las intenciones más reconocidas son las de medir, apreciar y comprender… Los resultados de la evaluación tienen relación directa con el objetivo de ella, con la pregunta de para qué se evalúa. En este sentido, es importante tener en cuenta que la relación entre quién o quiénes evalúan y el objeto de evaluación no es independiente del contexto en el que aquélla se realiza. En efecto, cualquiera sea la forma que adopte, la evaluación se inscribe siempre en un ámbito de decisiones” (Bertoni Poggi 1996: 18 y 19).

Las preguntas sobre el para qué y el por qué se evalúa, al formularse

en el proceso de diseño de una propuesta de evaluación, promoverán la búsqueda de respuestas contextualizadas en función de la especificidad y singularidad de cada proyecto.

Con respecto a las fases, componentes o acciones que se pretende

evaluar, la evaluación puede centrarse en el momento de inicio de un proyecto (evaluación diagnóstica), durante el proceso (evaluación durante la ejecución, monitoreo, en otras definiciones) o en el momento de la finalización del proyecto (evaluación sumativa, de resultados, etc.). En este sentido, algunos tipos de evaluación están determinados en parte por la fase del proyecto que se pretende evaluar.

LEER ATENTO

Sólo para mencionar algunos ejemplos: La evaluación ex ante puede

relacionarse con la fase de preparación de un proyecto. El monitoreo, con la fase de desarrollo de éste. La evaluación de resultados y la de impacto, con la etapa de finalización del proyecto.

Por supuesto que no debe establecerse una correspondencia estricta

entre fases y tipos o modalidades de evaluación. Sin embargo, en ocasiones aparecen unas y otros aparecen fuertemente asociados.

-------------------

Además, sin perder de vista la globalidad del proyecto, la evaluación

puede focalizarse en algunos componentes y acciones de modo de

14

profundizar el análisis y la interpretación que resulten de la información que se releve.

Por último, con respecto a la definición de los conceptos clave del

proyecto que integran el marco de referencia de la evaluación, puede darse el caso de que éstos ya hayan sido definidos en el diseño del proyecto o que sea necesario elaborar las definiciones con posterioridad. Por ejemplo, si pretendemos evaluar “acciones destinadas a la capacitación de promotores turísticos en un determinado municipio”, cuyo resultado puede ser definido como “X promotores turísticos capacitados”, el acuerdo sobre qué se entiende por “capacitados” se vuelve imprescindible. Si no es así, corremos el riesgo que aún en el interior del equipo del proyecto (y mucho más si se indaga a otros actores vinculados con éste) entiendan esto de modo similar, complementario o divergente.

La definición de los conceptos clave puede tener diferentes alcances.

Por ejemplo, pueden emplearse significados establecidos en la literatura especializada o, por el contrario, elaborarse una definición ad hoc de acuerdo con las características del proyecto. También se puede convocar a distintos actores (por ejemplo, al conjunto de los participantes del proyecto o a algunos de grupos específicos) para elaborar, en conjunto, una definición. En cada caso, las decisiones dependen del alcance y la profundidad de la evaluación, de los tiempos y recursos disponibles, y de la amplitud de las acciones del proyecto.

6.2. Elaborar las preguntas clave para orientar la búsqueda de información

La formulación de las preguntas clave sobre las fases, los

componentes y acciones del proyecto que se pretende evaluar contribuye a precisar la información que debe ser recolectada e interpretada. Las preguntas clave pueden variar en relación con los propósitos de la evaluación y sus diferentes destinatarios.

Por otra parte, estos interrogantes vehiculizan, de forma más o menos

explícita, aquellas concepciones que los equipos que las elaboran tienen sobre el proyecto mismo, sobre su desarrollo, sobre las formas de concebir la interacción y la participación de los actores, etc. Una revisión de la propuesta de los objetivos generales y específicos que se han establecido en cada proyecto puede constituir el primer paso para iniciar la formulación las preguntas de evaluación.

Aguilar y Ander-Egg (1992) plantean una serie de preguntas que

pueden orientarnos en esta tarea4:

4 Las preguntas que planteamos a continuación son tomadas de los autores indicados, pero con algunas adaptaciones propias.

15

Preguntas para la evaluación de la instrumentación y seguimiento (o evaluación de proceso)

o ¿Llega el proyecto a su población objetivo (destinatarios)? o ¿Existe conocimiento, accesibilidad y aceptación del proyecto

por parte de sus potenciales usuarios? o ¿Cuál es el grado de participación de los destinatarios?

o ¿Se implementa el proyecto como estaba previsto en el diseño? o ¿Existe un adecuado sistema de información de seguimiento? o ¿Se están utilizando adecuadamente los recursos?

o ¿Cuál es la capacidad de los responsables de la gestión del

proyecto para organizar el trabajo y resolver problemas?

o La estructura organizativa de la institución responsable del proyecto, ¿contribuye o perjudica el desarrollo del programa?

o El estilo de dirección y los mecanismos de tomas de decisiones ¿son coherentes con los objetivos del proyecto?

o ¿La organización de los recursos humanos, técnicos y materiales es adecuada y útil para la realización de las acciones programadas?

o Las modalidades de gestión, ¿permiten articular adecuadamente las actividades de las diferentes personas implicadas en la realización del proyecto?

Preguntas para la evaluación de la eficacia y eficiencia o evaluación de resultados y efectos

Evaluación de resultados

o ¿Es efectivo el proyecto en relación con el logro de los objetivos

perseguidos? o ¿Se ha modificado la situación de los beneficiarios con el

proyecto? o ¿En qué ha cambiado la situación-problema que dio origen al

proyecto como consecuencia de su realización? o Los cambios observados, ¿pueden deberse a procesos exógenos

al proyecto? o ¿Qué resultados o efectos no previstos han surgido?

Evaluación de la eficiencia

o ¿Qué costos se han proyectado y qué costos se han producido realmente?

o ¿Ha habido un uso eficiente de los recursos asignados si se lo compara con otros usos alternativos?

o ¿Cuál es la relación existente entre los resultados finales y el esfuerzo realizado en términos de dinero, recursos y tiempo?

o ¿Podrían alcanzarse los mismos resultados de una manera más económica?

16

En este punto, puede surgir el siguiente interrogante: ¿cuál es el

“buen” número de preguntas a formularse en el diseño de una propuesta de evaluación? De hecho, no podemos responder de modo genérico esta inquietud, porque para aproximarnos a una respuesta más o menos adecuada es necesario contemplar varios aspectos. Entre ellos, y sin pretender ser exhaustivos, se encuentran la extensión y complejidad de un proyecto (en cuanto a sus componentes, líneas y acciones, actores involucrados, etc.), los tiempos y recursos destinados al proceso de evaluación, el grado de profundidad que pretende asignársele.

Sin embargo, algunas preguntas no pueden estar ausentes en el

diseño de una propuesta de evaluación. Por ejemplo:

o ¿Los objetivos formulados en el proyecto han sido logrados? ¿En qué medida? ¿Cuáles son las razones que permiten explicar los logros y las dificultades para su consecución? (Variables contextuales y de gestión del proyecto).

o ¿Se han logrado o producido otros resultados e impactos no

previstos? ¿En qué medida? ¿Cuáles son las razones que permiten explicarlos? (Variables contextuales y de gestión del proyecto).

o ¿En qué aspectos se ha modificado la situación de la población

objetivo / los destinatarios del proyecto?

o ¿Qué hemos aprendido en el transcurso del proyecto? Tomando éstas como algunas preguntas básicas y como un punto de

partida, puede completarse el listado según la particularidad de cada proyecto y sus componentes centrales. De cualquier modo, podemos considerar que una evaluación que pueda dar cuenta de modo fundamentado de estos interrogantes ya habrá logrado su propósito central.

6.3. Identificar variables / dimensiones e indicadores elaborados al diseñar el proyecto, o construir aquellos necesarios para la evaluación

Este es uno de los puntos donde pueden encontrarse, tal vez, mayores divergencias en cuanto a los significados adjudicados a algunos de los términos. No es nuestro objetivo saldar la discusión en esta clase. Sin embargo, es necesario dejar establecidos algunos acuerdos, de modo que se vuelvan operativos a los fines del diseño de la evaluación.

Cohen y Franco plantean que una instancia central en la evaluación

de proyectos es la determinación del grado en el que se han alcanzado sus objetivos. Si bien no circunscribimos la evaluación sólo a la de

17

objetivos, finalidades o metas, ésta constituye una cuestión clave que no puede ser omitida en la evaluación de proyectos.

Para éstos, como para otros autores, existiría un cierto paralelismo

entre el proceso deductivo que supone el pasaje de conceptos a indicadores (pasando por la identificación de variables y, en algunos casos, de dimensiones) y el proceso de operacionalización de objetivos generales de un proyecto en objetivos específicos. Sin embargo, esta suerte de paralelismo encuentra un límite en el siguiente hecho: mientras en el primer caso el proceso está claramente orientado por una deducción analítica propia de la investigación evaluativa, en el segundo supone que además se deben tener en cuenta prioridades políticas en función de las orientaciones y perspectivas propias de cada proyecto. Dichos en otros términos, mientras en el primer caso el proceso de operacionalización está orientado fundamentalmente por una racionalidad científica, en el segundo es la dimensión política la que regula, centralmente, dicho proceso.

Dado que en muchas ocasiones (la mayor parte, por cierto) algunos

aspectos que se pretenden evaluar no son directamente observables, es necesario realizar un proceso de operacionalización, según la complejidad de dichos aspectos. Algunos autores parten de variables, otros de dimensiones. Pero, en uno u caso, llegan a identificar los indicadores como una cuestión sustantiva del proceso de operacionalización.

De este modo, los indicadores constituyen la forma de abordar

aspectos abstractos de conceptos con el propósito de aprehenderlos a partir de observables. Algunos indicadores remiten a información que puede cuantificarse, mientras que otros sólo reenvían a un tratamiento cualitativo de la información5.

6.4. Determinar las fuentes de información e identificar la información ya disponible

Para determinar las posibles fuentes de información primaria, es

preciso identificar quiénes son las personas que podrían responder un cuestionario o ser entrevistadas de acuerdo con el propósito de nuestra evaluación (por ejemplo, residentes de un municipio que está llevando a cabo acciones de desarrollo del turismo; prestadores de servicios; o incluso visitantes/usuarios).

5 Sin duda, resulta mucho más sencillo identificar indicadores cuantitativos, porque también facilitan el relevamiento de la información correspondiente. Pero si bien es importante recurrir a ellos porque proveen una mirada general sobre la variable o dimensión que se pretende indagar, lo cierto es que constructos abstractos y complejos no pueden ser aprehendidos en muchas ocasiones por este tipo de indicadores y debe recurrirse a la definición de otros de carácter cualitativo.

18

Por otro lado, debemos indagar la existencia de registros, documentos escritos, informes, memorias, actas, información estadística oficial, grabaciones en video o en audio, fotografías, etc., que nos puedan aportar información de utilidad para la evaluación (fuentes secundarias).

A propósito de esta distinción entre fuentes primarias y

secundarias, recordar lo que planteamos en nuestra cuarta clase.

6.5. Identificar el universo de estudio

Cuando se pretende recabar información, es importante definir el universo de estudio, haciendo referencia a las poblaciones a las que se ha decidido indagar (a través de entrevistas o encuestas, por ejemplo). Asimismo, en muchas ocasiones, será necesario acotar o delimitar algunos o varios grupos de la población total (universo de estudio) y construir una muestra para hacer más viable la recolección de información.

LEER ATENTO

Repasemos algunas definiciones: “Se denomina población o universo de estudio a cualquier colección de

personas o cosas que poseen en común atributos susceptibles de ser observados. Se dice también que es un conjunto de elementos con determinadas características compartidas” (Cohen y Franco 1992: 151).

Por población se entiende “el conjunto de todos los individuos (objetos,

personas, eventos, etc.) en los que se desea estudiar el fenómeno”; por muestra “el conjunto de casos extraídos de una población, seleccionados por algún método de muestreo”; “individuo: cada uno de los elementos que componen la muestra y de los que se obtiene la información. Los individuos pueden ser personas, objetos o acontecimientos” (Arnal, del Rincón y Latorre 1992: 74).

“Si bien el término población suele referirse a los respondientes o

participantes potenciales de un estudio, también los fenómenos no humanos y los objetos inanimados pueden constituir poblaciones” (Gotees y LeCompte 1988: 88).

-------------------

Para la construcción de una muestra puede resultar interesante

responder a las siguientes cuestiones6: o ¿A quiénes se referirá la evaluación? o ¿Qué actores serán seleccionados? o ¿Cómo se elegirá estos actores? ¿Con qué criterios?

6 Algunas preguntas se retoman de SIEMPRO (1999: 69); otras son nuestras.

19

En este punto, otra cuestión importante es la identificación de

informantes clave. Éstos que son personas con conocimiento relevante para la evaluación, dispuestas a cooperar con el evaluador. Frecuentemente son elegidos porque tienen acceso (por tiempo, espacio o perspectiva) a datos inaccesibles para quien investiga. La utilización de informantes clave puede añadir a los datos de base un material imposible de obtener de otra manera. Por otra parte, al ser los informantes clave individuos reflexivos, pueden sensibilizar al investigador hacia las cuestiones valorativas de una cultura y las implicaciones de algunos de los hallazgos concretos” (Gotees y LeCompte 1988: 134).

6.6. Diseñar los instrumentos de recolección de información

Las técnicas e instrumentos propuestos por la investigación social

permiten asegurar que se releve información pertinente y válida en el proceso de evaluación.

LEER ATENTO

El diseño y la validación de los instrumentos definen la calidad y confiabilidad de la información a recoger.

El diseño de un instrumento consiste en la elaboración de la ficha,

la guía de entrevistas; etc. Tiene tres aspectos importantes a considerar: a) el contenido; b) las instrucciones de procedimiento; y c) la forma o diagramación del mismo.

El contenido de los instrumentos debe estar relacionado

directamente con las variables e indicadores de la evaluación. En efecto, los instrumentos constituyen el medio a través del cual se recoge la información requerida por los indicadores en el grupo o población definida.

Las instrucciones explicitan el procedimiento o “la ruta que se

debe seguir” (por ejemplo, el entrevistador al realizar una entrevista o el beneficiario directo al completar una ficha de datos).

Por último, la forma o diagramación alude a la presentación

gráfica de los instrumentos, que debe favorecer la claridad y la amplitud de espacios para registrar en forma completa las respuestas o la información solicitada.

Todo instrumento debe ser sometido a prueba antes de su

aplicación definitiva (recordemos, en este sentido, la noción de Pre-test, o prueba piloto, presentada en nuestra cuarta clase). Esta prueba permite revisar el lenguaje, la secuencia y los tiempos empleados en su aplicación. Los sujetos elegidos para esta aplicación de prueba deben cumplir las

20

características de la muestra del estudio, pero a ellos no se les debe administrar nuevamente el instrumento final elaborado.

-------------------

Dada la variedad de técnicas e instrumentos posibles de utilizar (que pueden encontrarse en cualquiera de los buenos manuales sobre investigación y evaluación existentes), a continuación presentamos algunos criterios para la selección y utilización de técnicas e instrumentos para la recolección de información.

Al respecto, sostenemos que un diseño de evaluación debe ser

flexible en la selección y utilización de los métodos y técnicas que se prioricen, en función de los siguientes criterios:

o Pertinencia: el conocimiento de los proyectos, por un lado, y de

las metodologías propias de la investigación evaluativa, por el otro, orientan la utilización de los métodos, técnicas e instrumentos, en función de la información que se desea obtener.

o Adaptabilidad: las técnicas e instrumentos deben adecuarse a la

naturaleza de los aspectos que pretenden indagarse y en función del momento y el lugar en el que serán utilizados.

o Variabilidad: dado que todas las técnicas e instrumentos

presentan ventajas y también problemas, si se utilizan instrumentos de índole diferente permitirán contrastar la información y compensar los problemas que éstos puedan tener (por ejemplo, entrevistas y observaciones). De este modo, se busca asegurar mayor confiabilidad. En este sentido, es también altamente recomendable la utilización de técnicas que permiten obtener tanto datos cuantitativos como cualitativos (por ejemplo, entrevistas a informantes clave y encuestas representativas a usuarios de un servicio). La variedad de instrumentos permite el relevamiento de diferentes visiones y perspectivas de aquello que se quiere estudiar.

A partir de lo expresado en estos últimos puntos, la matriz que se

presenta a continuación puede resultar organizadora en el diseño del proceso de auto-evaluación.

Preguntas de evaluación

Variables / Dimensiones

Indicadores Fuente de información

Población/ Muestra

Técnicas / Instrumentos para la recolección de información

21

6.7. Diseñar un plan de ordenamiento, procesamiento, análisis e interpretación de la información

Si bien no es cierto que, en un sentido estricto, el momento de recolección de datos se continúa con el de su análisis –tal como lo discutimos en nuestra cuarta clase, cuanto más se utilizan las técnicas cualitativas más se integran los momentos de recolección y de procesamiento y análisis de datos– es importante prestar atención a esta fase porque existe, en ocasiones, una tendencia a recolectar abundante información, a veces mucha más de la que puede emplearse, y con ello, los tiempos del análisis quedan reducidos o minimizados en su importancia.

El análisis de los datos constituye tanto una de las tareas más interesantes como, también, más complejas en la evaluación. “Definimos el análisis de datos como un conjunto de manipulaciones, transformaciones, operaciones, reflexiones, comprobaciones que realizamos sobre los datos con el fin de extraer significado relevante en relación con un problema de investigación” (Rodríguez Gómez, Gil Flores y García Jiménez 1999). En nuestro caso, diríamos “de evaluación”.

6.8. Preparar el trabajo de campo

El “campo” es, en el caso de los proyectos de desarrollo del turismo local, el territorio en el cual se han venido llevando a cabo sus acciones. En este sentido, esta tarea presenta connotaciones diferentes según se trate de una auto-evaluación o de una evaluación externa. En el caso de la primera, que es la que nos ocupa, hay una ventaja dada por la inmersión “natural” de quienes evalúan en el territorio.

Sin embargo, esta ventaja supone que es necesario tomar algunos

recaudos al preparar el trabajo de campo:

o La auto-evaluación implica, en algún sentido, un cambio de rol (de responsables de determinadas acciones a evaluadores). Este cambio de rol está marcado, fundamentalmente, por la posibilidad de tomar distancia e intentar “objetivar” aspectos desarrollados a partir del proyecto. Es por ello que, siendo el territorio un espacio familiar y conocido, exige al mismo tiempo una mirada capaz de tomar una distancia crítica.

o En el caso de la auto-evaluación se plantea una compleja

relación, dado que “evaluadores” y “evaluados” son grupos prácticamente coincidentes (aún cuando un equipo especialmente organizado sea el responsable de la orientación y conducción de este proceso). El momento de la evaluación implica, en este sentido, un movimiento dialéctico de recolección y recepción de información, de elaboración de inferencias, de verificación de enunciados que se intercambian y de hipótesis que se producen. La evaluación supone entonces,

22

como otras actividades humanas, una acción comunicativa (Barlow 1992).

6.9. Diseñar el esquema general del informe de evaluación

El diseño de un esquema general del informe de evaluación

contribuye a la organización del proceso y a la delimitación del recorte necesario de la evaluación. Un punto central a tener en cuenta es quién o quiénes son los usuarios / destinatarios de la evaluación y qué tipo de decisiones se esperan a partir de ella. Focalizar el análisis en estas cuestiones puede ayudar también a delimitar qué información es pertinente incluir en el informe en relación con los resultados de la evaluación.

Conclusión A modo de síntesis, y retomando el conjunto de cuestiones abordadas

en esta clase, queremos dejar planteadas las preguntas más significativas para orientar un proceso de la auto-evaluación:

o ¿Para qué y por qué vamos a evaluar el proyecto? o ¿Qué vamos a evaluar? ¿Qué preguntas significativas vamos a

formular? o ¿Qué haremos con la información ya disponible en el proyecto? o ¿Qué nueva información vamos a recabar? o ¿A quiénes vamos a indagar? o ¿Sobre qué aspectos focalizaremos la evaluación? o ¿Cómo aseguramos que nuestros juicios estén bien

fundamentados? o ¿Qué queremos aprender del proceso de evaluación?

Como hemos mencionado, la evaluación de proyectos es una de las

tareas más complejas y difíciles de implementar, pero esperamos haber aportado algunas herramientas conceptuales y analíticas que hagan posible encarar esta tareas, que resulta central para mejorar las intervenciones orientadas a promover el desarrollo local, y el desarrollo del turismo local.

Bibliografía empleada

Aguilar, M. J. y Ander-Egg, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.

Arnal, J., del Rincón, D. y Latorre, A. (1992). Investigación educativa. Fundamentos y metodología. Barcelona: Labor.

Barbier, Jean- Marie (1993). La evaluación en los procesos de formación. Barcelona: Paidós.

Bertoni, Poggi y Teobaldo (1995). Evaluación. Nuevos significados para una práctica compleja. Buenos Aires: Kapelusz.

23

Boudon, R. y Lazarsfeld, P. (1985). Metodología de las Ciencias Sociales (Volumen I). Barcelona: Laia.

Cohen, E. y Franco, R. (1992). Evaluación de proyectos sociales. México: Siglo XXI.

Cook, T. D. y Reichardt, Ch. S. (1986). Métodos cualitativos y cuantitativos en investigación evaluativo. Madrid: Morata.

Goetz, P. y LeCompte, M. D. (1988). Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata.

Hadji (1992). L'évaluation, règles du jeu. Des intentions aux outils. Paris : ESF.

House, E. (1995). Evaluación, ética y poder. Madrid: Morata. INAP (s/d). Manual para evaluadores. Niremberg, O., Brawerman, J. y Ruiz, V. (2000). Evaluar la

transformación. Innovaciones en la evaluación de programas y proyectos sociales. Buenos Aires: Paidós.

Rodríguez Gómez, G., Gil Flores, J. y García Jiménez, E. (1999). Metodología de la investigación cualitativa. Málaga: El Aljibe.

Samaja, J. (1999). Epistemología y metodología. Elementos para una teoría de la investigación científica. Buenos Aires: EUDEBA.

SIEMPRO (1999). Gestión Integral de Programas Sociales Orientada a Resultados. Manual Metodológico para la Planificación y Evaluación de Programas Sociales. Buenos Aires: SIEMPRO, UNESCO, Fondo de Cultura Económica. Referencias de Internet

o Agencia Española de Cooperación Internacional (AECI): www.aeci.es

o Agence Canadienne de Développement Internacional: www.acdi-cida.gc.ca

o Grupo del Banco Mundial: www.worldbank.org o Department for International Development (DFID), Reino

Unido: www.dfid.gov.uk o Organización de Cooperación y Desarrollo Económico (OCDE).

Comité de Ayuda al Desarrollo (CAD): www.oecd.org/cad o Programa de Naciones Unidas para el Desarrollo (PNUD).

Oficina de Evaluación: www.undp.org