1

Guía de Metodologías e Indicadores de Evaluación

De acuerdo al Artículo 68, del Reglamento Interno de la Secretaria de Finanzas, Inversión y

Administración y el 102 octies de la Ley para el Ejercicio y Control de los Recursos Públicos para

el Estado y los municipios de Guanajuato, se emite la siguiente Guía para el diseño de una

evaluación externa, así como para la selección de metodologías e indicadores de evaluación.

Es importante señalar que el proceso de evaluación se desarrolla dentro del marco de

implementación del presupuesto basado en resultados. En este sentido:

Actualmente ya existe una serie de modelos de TdRs con metodologías que desde el

aspecto normativo o como buena práctica son referentes, tanto en el ámbito nacional como

en el estatal.

La valoración del desempeño se debe realizar a partir de indicadores estratégicos y de

gestión.

Esta guía reconoce estos modelos, siempre que sean acordes al tipo de programa presupuestario y al

tipo de evaluación a realizar. Asimismo, parte de que la evaluación deberá ser con base en

indicadores de estratégicos y de gestión.

Introducción

Una metodología es un proceso sistemático de recolección de información, que tiene como objetivo

organizar sus elementos, sistematizar sus fases, temporalizar sus acciones, proveer los recursos,

construir o seleccionar los instrumentos. En cualquier caso, desde planteamientos multivariados en

cuanto a los instrumentos, técnicas y métodos, así como responsables.

El proceso evaluativo ha de tener una utilidad. En este sentido, las metodologías buscan fortalecer

la ejecución de las evaluaciones para que sea orientada hacia la toma de decisiones. Esto significa

que la evaluación ha de ser un medio pero no un fin en sí misma.

De acuerdo al organismo y al ámbito en que se realizan, existen evaluaciones internas y externas,

siendo estas últimas las consideradas para la implementación del PbR-SED, de acuerdo a los

Lineamientos Generales de Gestión para Resultados para la Administración Pública del Estado de

Guanajuato.

A quién va dirigido:

Responsables de coordinar la realización de las evaluaciones externas en las dependencias y

entidades de la administración pública estatal.

Objetivo general:

Proporcionar mecanismos a seguir para el diseño de la evaluación de programas y proyectos, así

como para la revisión de la calidad de los entregables de la evaluación.

2

Objetivos particulares:

La presente guía tiene como propósito:

Presentar los aspectos a considerar previo al diseño de una evaluación.

Presentar un esquema estandarizado que apoye al responsable de coordinar las evaluaciones

externas en el diseño de la evaluación, así como el tipo de evaluación acorde a la finalidad

que tendrá la misma.

Dar a conocer un conjunto de metodologías cuantitativas y cualitativas para la recolección y

análisis de datos de los que se puede disponer en la evaluación.

Dar a conocer el conjunto de modelos de TdR utilizados por los sistemas de evaluación en

el Estado de Guanajuato, los cuales contienen metodologías estandarizadas y de

reconocimiento nacional e internacional.

Dar a conocer los indicadores que deberán considerarse para valorar el desempeño de un

programa presupuestario o alguno de sus elementos.

Aspectos a considerar

Existe una serie de documentos y actividades que son necesarios tomar en cuenta o revisar:

I. Las evaluaciones a realizar durante un ejercicio fiscal, deberán de estar previstas dentro de

la Agenda Anual de Evaluación para dicho ejercicio.

II. Evaluaciones externas previas realizadas al programa, proyecto y política pública que se

desea evaluar.

III. La Matriz de Indicadores de Resultado (MIR) que se tome en cuenta para realizar la

evaluación debe ser la que está registrada en el Sistema de Evaluación del Desempeño

(SED).

IV. Tomar en cuenta las recomendaciones realizadas por parte de los órganos de vigilancia al

funcionamiento del programa, proyecto y política pública.

V. Para la difusión de las evaluaciones, utilizar el Anexo 1 de la Norma para establecer el

formato para la difusión de los resultados de las evaluaciones de los recursos federales

ministrados a las entidades federativas.

Referentes de la evaluación

Los criterios de la evaluación estarán en función del tipo de evaluación, del programa a evaluar y

del origen de la evaluación. En cualquier caso, en el diseño de la evaluación se deberá de identificar

los criterios en relación a los cuales se emitirá el juicio valorativo.

Los criterios que se podrán valorar son la pertinencia (de la intervención con respecto a la

necesidad o problemática existente), la relevancia (de la intervención con relación a la magnitud

3

del problema), coherencia de la intervención, la complementariedad con otras políticas o

programas, la implementación, la cobertura, la eficacia, la eficiencia, la sostenibilidad (si se

mantienen los efectos después de concluida la intervención), la equidad, la participación social.

Consideraciones para el Diseño la Evaluación

La evaluación tiene un componente normativo, que consiste en la valoración objetiva los resultados

del ejercicio de los recursos públicos, así como en la identificación de medidas a implementar que

permitan el adecuado ejercicio del gasto.

La evaluación tiene la finalidad de proporcionar información útil y necesaria para tomar decisiones

en función de lograr la mejora de los programas y proyectos evaluados, los mecanismos de

transparencia y rendición de cuentas y, por ende, generar valor público.

Para garantizar que una evaluación cumple con su finalidad se deberá de considerar:

Precisión en el objeto, alcance y propósito de la evaluación.

Coherencia en los objetivos, preguntas, procedimientos, resultados y conclusiones de la

evaluación.

Explicación clara de la metodología utilizada y de las herramientas de recolección de

información

Fiabilidad y validez de la información recolectada, así como un análisis riguroso de la

misma.

Consistencia de los hallazgos con los resultados del análisis de la información.

Recomendaciones sustentadas en los hallazgos y lo suficientemente claras, útiles y factibles

de implementar.

Para ello, la Evaluación utiliza distintas metodologías de investigación que permiten responder a un

conjunto de inquietudes o preguntas de evaluación. De esta manera, se deben plantear en el diseño

de la evaluación una serie de cuestionamientos que permitan dar claridad al ejercicio de evaluación

que se tiene programado realizar.

A continuación, se describen 12 pasos que se sugieren recorrer para la planeación, gestión,

realización, revisión y utilización de un proceso de Evaluación de programas y proyectos.

Objetivos de

la Evaluación

Preguntas de

la Evaluación

Metodología de

la evaluación Hallazgos Recomendaciones

4

Proceso de diseño de la Evaluación

Etapa Preguntas guía Comentarios

1. El origen de la

evaluación

¿Quién solicita la

evaluación?

Marco Normativo, Alta gerencia, Unidad de

Evaluación, Unidad Responsable, Convenios, etc.

2. Finalidad de la

evaluación

¿Para qué? ¿Cuál es su

justificación?

Mejorar los programas y proyectos, Insumo para

la toma de decisiones y Rendición de cuentas.

3. Objeto de

evaluación

¿Qué evaluar? ¿Cuáles

serán los alcances y

limitaciones?

Programas, proyectos, programas presupuestarios

y Políticas Públicas.

Aspectos que serán cubiertos por la evaluación,

limitaciones y restricciones.

4. Los referentes de la

evaluación

¿Qué tipo de evaluación

se realizará? ¿Qué

criterios, modelos y TdR

aplicar?

Derivados de la normativa, por la ejecución del

programa, compromisos, convenios.

Pertinencia, eficacia, eficiencia, economía,

resultados, impacto.

Para esta etapa, se habrá definido el tipo de

evaluación que se llevará a cabo: diseño,

consistencia y resultados, procesos, resultados,

estratégica, complementaria, entre otras.

5. La metodología a

emplear

¿Qué modelo soporta

nuestra evaluación?

Metodología cuantitativa.

Metodología cualitativa.

Metodología mixta.

6. Técnicas e

Instrumentos*

¿Cómo recolectar los

datos y la información?

Cuantitativos: estadísticas, test, indicadores y

encuestas.

Cualitativos: entrevistas, cuestionarios, grupos de

discusión, análisis de documentos y notas de

campo.

7. Selección de las

fuentes de

información

¿A quién o a dónde

dirigirnos para recabar la

información?

Beneficiarios, ejecutores, agentes sociales,

empresarios, memorias, informes, documentos,

actas, registros administrativos, estadísticas,

legislación y normativa.

8. Ubicación y

temporalidad

¿Cuándo y dónde se

realizan los procesos de

evaluación?

Evaluación ex ante, durante la ejecución, ex post.

Elaboración de Cronograma de la evaluación.

9. Responsabilidad

de la acción

¿Quién recoge la

información o aplica los

instrumentos?

Evaluadores externos, Unidad de evaluación,

Unidad responsable.

10. Costos ¿Con qué recursos

contamos?

Presupuesto disponible.

11. Toma de

decisiones

¿Cuál es la utilidad de

los resultados de la

evaluación?

De acuerdo a los hallazgos y recomendaciones de

la Evaluación

12. Responsabilidad

de la toma de

decisiones

¿Quién debe tomarlas? Unidad de evaluación, Unidad responsable,

Titulares de dependencias, otras instituciones

involucradas derivado de los hallazgos, tomadores

de decisiones presupuestales y de política pública.

* Las técnicas e instrumentos son enunciativos y no limitativos.

Fuente: Elaboración propia.

5

Metodologías de campo y de gabinete

El cuadro muestra los dos métodos de recolección de datos para realizar una evaluación. En este

sentido, los principales métodos de recolección de información podrán ser de campo o de gabinete

de acuerdo a los objetivos y preguntas de evaluación que se plantearon en los Términos de

Referencia.

Trabajo de campo Trabajo de gabinete

• Entrevistas

• Cuestionarios

• Encuestas

• Grupos de enfoque

• Grupos de discusión

• Reunión de consulta con involucrados

• Estudio de caso

• Normatividad

• Documento conceptual del Fondo

• Lineamientos (Federal, Estatal)

• MIR del programa presupuestario

• Modalidad presupuestaria

• Diagnóstico

• Otros documentos que el evaluador

considere relevantes

* Los presente métodos son enunciativos, no limitativos.

Consideraciones para la Encuesta

En cuanto a los Instrumentos de levantamiento de información cuantitativa mediante encuestas es

necesario que la muestra sea representativa (con mejor distribución espacial, más heterogenea y de

mayor tamaño) para poder inferir de los datos observados al universo general de la población.

Determinar el tamaño de la muestra que se va a seleccionar es un paso importante en cualquier

levantamiento mediante encuestas, y se debe justificar convenientemente de acuerdo al

planteamiento del problema, la población, los objetivos y el propósito de la evaluación.

La estadística inferencial y probabilidad nos permite, bajo el adecuado uso de herramientas, poder

concluir y/o inferir resultados sobre nuestro sujeto de estudio o sobre nuestra población objetivo. Es

por ello, que la determinación correcta del tamaño de nuestra muestra es fundamental para conocer

si las investigaciones tienen o no validez para poder aseverar o emitir conclusiones válidas.

Para la determinación de una muestra específica, y con ello el número de encuestas completas a

realizarse en una evaluación, existe una fórmula definida1, en la cual previamente debemos conocer

por lo menos el tamaño de nuestra población objetivo, el nivel de confianza que buscamos

(usualmente se utiliza el 95% el 99%) y el error de la muestra que se está dispuesto a asumir

(usualmente se establece en 5%). Cabe señalar que el error de la muestra se relaciona con el tamaño

1 Partiendo del supuesto que la población de nuestra evaluación está plenamente identificada y

cuantificable en la evaluación a realizarse la fórmula definida para determinar el número de la muestra es:

6

y de manera muy directa: a mayor tamaño muestral, menor error estadístico. Mientras que el

volumen de la muestra a elegir depende de la elección de los parámetros: nivel de confianza y el

error de estimación elegidos. La combinación de éstos factores determinan directamente el tamaño

de la muestra, definiendo el número de encuestas necesarias para la evaluación y en términos

monetarios, el costo de la evaluación.

Para garantizar la representatividad y aleatoriedad en la muestra (y con ello poder obtener

resultados con validez estadistica) se puede recurrir a diferentes tipos de selección muestral

(métodos de muestreo probabilísticos) :

Aleatoria simple o con reposición. Trata de mantener el que todos los elementos tengan

las mismas posibilidades de pertenecer a la muestra.

Por cuotas o sistemático. Se toman elementos del universo de K en k unidades a partir de

uno elegido aleatoriamente.

Estratificado. Cuando el listado de las unidades del universo no es posible se recurre a

dividir el universo en estratos o grupos con arreglo a una variable que desempeña un papel

importante con el objeto de estudio.

Por conglomerado o áreas. Se escogen unidades muestrales formadas por grupos

(escuelas, empresas y ciudades) en vez de sujetos individuales. Cuando los grupos o

conglomerados están determinados por límites geográficos de denomina por “áreas”. Se

clasifican en: (1) Encuestas de una sola etapa, (2) Encuestas bietápica y (3) Encuestas

polietápica

Mixtas. Recogen en cada una de las distintas fases de su diseño formas de muestreo de los

anteriores sistemas.

Además del esquema de muestreo, dentro del diseño es pertinente considerar una adecuada

definición del tamaño, el calculo de los factores de expansión y los estimadores que se requieren

para inferir los resultados hacia la población de estudio. Asimismo, el desglose conceptual

(población por rango edad, vulnerabilidad, discapacidad, por ejemplo) y geográfico (regional,

estatal y municipal).

Tipos de evaluación por temporalidad

Las dependencias ejecutoras que realicen evaluaciones deberán tomar en cuenta la madurez y etapa

del programa considerando los tipos de evaluación existentes. La evaluación según el momento en

que se lleva acabo puede ser de tipo ex ante, durante o ex post.

Ex ante Durante Ex post Diagnóstico Específica de desempeño Consistencia y Resultados

Diseño Procesos Indicadores

Línea base Estratégica Impacto

Investigaciones Complementarias

Investigaciones o estudios

Investigaciones o estudios

Fuente: Guía para la Operación del Monitoreo y Evalaución. Secretaria de Desarrollo Social y Humano.

7

Modelos de Términos de Referencia

Los TdRs o términos de referencia, son documentos de carácter técnico que deberán elaborar las

Dependencias y Entidades de la administración pública estatal a fin de establecer los objetivos,

preguntas de investigación, alcances, entregables y características técnico-metodológicas

específicas para la realización de una evaluación.

Estos TdRs, servirán como documento base para la contratación de los servicios de una persona o

institución evaluadora externa, así como para la revisión y validación de los productos que entregue

la misma.

Para la construcción de los TdRs, las dependencias y entidades de la administración pública estatal

podrán recurrir a los modelos de TdRs y metodologías que para tal efecto dispongan los sistemas de

evaluación del Estado de Guanajuato.

De acuerdo a lo establecido en la Agenda Anual de Evaluación, los modelos a considerar serán los

siguientes:

Paquete Evaluativo. Se deberán de considerar los modelos de TdRs que elabore el Grupo

Coordinador del Sistema de Evaluación del Estado de Guanajuato (SEEG). Dichos modelos

estarán disponibles en la página del IPLANEG. Los TdRs deberán ser aprobados por el

Consejo Estratégico del SEEG.

Plan anual de evaluación de los programas sociales estatales. Se deberán de considerar

los TdRs base que emita la Secretaría de Desarrollo Social y Humano para cada tipo de

evaluación.

Evaluaciones al gasto federalizado. Se deberán de considerar los modelos de TdRs que

para tal efecto determine la Secretaría de Finanzas, Inversión y Administración. De manera

enunciativa, y según aplique, se podrán utilizar:

o Los modelos de TdR establecidos por la dependencia federal coordinadora del

fondo o programa a evaluar.

o Los modelos de TdRs establecidos por el Consejo Nacional de Evaluación de la

Política de Desarrollo Social.

o Los modelos de TdRs establecidos por la SHCP.

Indicadores para la Evaluación

De acuerdo a lo establecido en la Ley para el Ejercicio y Control de los Recursos Públicos, el

sistema de evaluación del desempeño consiste en la valoración objetiva del desempeño de los

programas presupuestarios, bajo los principios de verificación del grado de cumplimiento de metas

y objetivos, con base en indicadores que permitan conocer su impacto.

En este orden de ideas, en la definición de los Modelos de TdRs y los propios TdRs, se deberán de

considerar los siguientes criterios:

8

I. Los indicadores de desempeño serán la base para atender las disposiciones vigentes en

materia de monitoreo, evaluación, transparencia y rendición de cuentas, establecidas en las

disposiciones aplicables.

II. Los indicadores para medir los resultados de los programas presupuestarios, componentes,

programas y proyectos deberán definirse con base en la Metodología de Marco Lógico,

utilizando la MIR de los programas presupuestarios establecidos en la fase de planeación y

programación del Sistema de Evaluación del Desempeño.

III. Según el elemento de la MIR a evaluar, así como el tipo de evaluación, se deberán de

considerar tanto indicadores estratégicos como de gestión.

Los indicadores de desempeño para medir el avance físico deberán:

I. Estar asociados al cumplimiento de los objetivos de los programas presupuestarios.

II. Contar con metas.

III. Contar con una ficha técnica.

Asimismo, se deberá documentar mediante bitácoras, memoria de cálculo, minutas, reportes, o

cualquier otro medio de verificación el avance físico de los indicadores.

Principales Técnicas para el análisis y recolección de la información

Se incluye el presente apartado con el propósito primordial de enunciar las principales técnicas

utilizadas en una evaluación para el análisis de información y que afectan con frecuencia

incrementos considerables en los costos.

Los instrumentos para la recolección, procesamiento y validez de la información en general se

realizan mediante encuestas. Las empresas interesadas en efectuar las evaluaciones utilizan dichas

encuestas y deben proporcionar los resultados de su estudio con claridad, objetividad y sin

ambigüedades. En la actualidad existen dos maneras de realizar encuestas por evaluadores externos

y que afectan los costos unitarios por el levantamiento de cada una de ellas:

a) Cara a cara

b) Mediante tecnologías de información

Las encuestas cara a cara son el tipo de encuesta tradicional y también las más conocidas; como su

nombre lo menciona, se realiza “cara a cara” mediante una persona capacitada para aplicar el

instrumento (encuestador) e individuos de la población sobre la cual se requiere la recolección de

información (encuestados). El costo unitario de cada encuesta multiplicado por el tamaño de la

muestra necesaria del estudio, tienden a elevar las propuestas económicas que realizan los

evaluadores a contratar y constituyen el principal costo de la elaboración de las evaluaciones.

Adicionalmente, en éste tipo de encuestas, el evaluador requiere de personal que capture la

información recolectada en cada encuesta, así como el procesamiento y sistematización de la misma

conforme a los requerimientos de contratación previamente establecidos. Éste tipo de encuestas es

intensiva en el uso de capital humano y con ello los correspondientes incrementos en el costo de la

evaluación.

9

Las encuestas realizadas mediante el uso de tecnología de información, aprovecha el uso intensivo

de las mismas para la aplicación de los instrumentos, automatización y sistematización de la

información. El número de personas necesarias para el levantamiento de información se reduce

considerablemente y, se esperaría que los costos unitarios por encuesta aplicada sean

considerablemente menores a las encuestas “cara a cara”.

Cabe señalar, que en ambos casos expuestos, es necesario que se contemple explícitamente en los

términos de referencia y de contratación del evaluador la entrega de los siguientes productos como

parte integral del paquete final de la consultoría (no limitativo y son adicionales al producto

principal evaluativo):

Instrumento aplicado y alineación de reactivos a los objetivos del estudio

Bases de datos con información capturada de todos los cuestionarios

Paquete de encuestas aplicadas en físico o digitales

Metodologías utilizadas

Sitios y referencias

Se ponen a consideración los siguientes enlaces con referencias en materia de monitoreo y

evaluación:

1. Guía práctica para el diseño y realización de evaluaciones de políticas públicas:

http://www.aeval.es/export/sites/aeval/comun/pdf/evaluaciones/Guia_Evaluaciones_AEVA

L.pdf

2. Lineamientos Generales de Gestión para Resultados para la Administración Pública del

Estado de Guanajuato:

http://finanzas.guanajuato.gob.mx/c_disposiciones_administrativas_2019/lin_gestionresulta

dos.php

3. Términos de referencia vigentes:

https://www.coneval.org.mx/Evaluacion/Paginas/Normatividad/Terminos_de_Referencia_v

igentes.aspx

4. Modelo de Términos de Referencia para la Evaluación Estratégica al Fondo de

Aportaciones para el Fortalecimiento de las Entidades Federativas (FAFEF) en el ámbito

estatal, 2018 (SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo_TdR_SHCP_FAFEF_2018.docx

5. Modelo de Términos de Referencia para la Evaluación en Materia de Diseño (SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo_de_TdR_Evaluacion_de_Diseno_SHCP.docx

6. Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados

(SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo_TdR_CR_SHCP_2018.docx

10

7. Modelo de Términos de Referencia para la Evaluación Específica de Consistencia y

Resultados con Módulo completo de Diseño (SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo%20TdR_EE_CR_DI_2018.docx

8. Modelo de Términos de Referencia para la Evaluación de Procesos (SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo_TdR_Procesos_SHCP_2018.docx

9. Modelo de Términos de Referencia para la Evaluación Específica de Procesos con módulo

completo de Diseño (SHCP):

https://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mod

elo_TdR_EE_PR_DI_2018.rar

10. Términos de Referencia Evaluación Estratégica Ramo 33, (SHCP):

http://www.transparenciapresupuestaria.gob.mx/work/models/PTP/SED/Documentos/Mode

lo_TdR_Ramo_33_SHCP_2017.docx

11. Lineamientos para la construcción y diseño de indicadores de desempeño mediante la

Metodología de Marco Lógico.

http://www.conac.gob.mx/work/models/CONAC/normatividad/NOR_01_15_002.pdf

12. Lineamientos sobre los indicadores para medir los avances físicos y financieros

relacionados con los recursos públicos federales.

http://www.conac.gob.mx/work/models/CONAC/normatividad/NOR_01_15_001.pdf

13. Anexo 1. Norma para establecer el formato para la difusión de los resultados de las

evaluaciones de los recursos federales ministrados a las entidades federativas.

http://www.conac.gob.mx/work/models/CONAC/normatividad/NOR_01_14_011.pdf

14. Lineamientos Generales para la Evaluación de los Programas Federales de la

Administración Pública Federal.

https://www.coneval.org.mx/rw/resource/coneval/eval_mon/361.pdf

15. Metodología de evaluaciones. Academia Nacional de Evaluadores de México. (ACEVAL)

http://aceval.org/recursos/metodologia-de-evaluaciones/

11

Bibliografía

I. Guía para la Operación del Monitoreo y Evaluación de los PSE. Secretaria de Desarrollo

Social y Humano. Primera edición, mayo 2015.

II. Diseño de la muestra en proyectos de encuesta. Instituto Nacional de Estadística y

Geografía. INEGI, 2011.

III. Metodología Cuantitativa. Encuestas y muestras. Universidad de Murcia, Docencia.

http://www.um.es/docencia/pguardio/documentos/master2.pdf

IV. Tejada, José. Evaluación de programas. Universidad Autónoma de Barcelona.

V. Reglamento de la Ley de Desarrollo Social y Humano para el Estado y los Municipios de

Guanajuato en materia de monitoreo y evaluación de programas sociales estatales.

Secretaria de Desarrollo Social y Humano. Publicado en Periódico Oficial el 30 de octubre

del 2015.

VI. Guía práctica para el diseño y realización de evaluaciones de políticas públicas:

http://www.aeval.es/export/sites/aeval/comun/pdf/evaluaciones/Guia_Evaluaciones_AEVA

L.pdf

12

Glosario de Términos

Análisis de

documentos

Conjunto de conocimientos relativos a los principios, métodos y técnicas que

permiten examinar, distinguir y separar cada una de las partes de un

documento, para determinar la categoría a que pertenece, su estructura formal,

propiedades y significado de sus contenidos temáticos.

Se trata, pues, de un método de conocimiento que facilita el estudio de los

documentos ya sea en grupo o aisladamente.

Cobertura* Estudia el grado en el que un programa alcanza a una parte o toda la población

objetivo de un programa o política. El criterio de cobertura consiste en evaluar

hasta qué punto el proyecto ha llegado a la población necesitada, analizar el

posible sesgo en la cobertura y sus causas.

Coherencia de la

intervención*

Existen dos niveles de coherencia en las intervenciones. Por una parte la

coherencia interna, que debe existir entre los objetivos planteados en la

intervención y el conjunto de medidas diseñadas e implementadas. Las

medidas y acciones deben ser consecuentes con los objetivos establecidos,

dentro de un esquema lógico, formal y racional. Debe existir una relación de

causa-efecto. Si los objetivos no pueden ser alcanzados con las medidas

diseñadas e implementadas, porque éstas son contradictorias con aquellos, o

porque no exista evidencia científica o real de que con dichas medidas se

obtienen determinados resultados, se carecerá de coherencia interna. A su

vez, la coherencia interna puede presentar niveles verticales (entre objetivos

de diferente nivel) o niveles horizontales (entre objetivos de diferentes

componentes del programa).

La coherencia externa hace referencia a las actuaciones llevadas a cabo en el

ámbito de otras políticas con el objeto de resolver determinados aspectos no

contemplados por la intervención que es objeto de evaluación. La coherencia

externa aparece claramente vinculada a la multidimensionalidad de los

problemas y de las posibles soluciones.

Complementariedad* La complementariedad hace referencia al grado de coordinación o alineación

entre dos políticas que intervienen en la resolución de un problema,

contribuyendo, de este modo, a una mejor resolución de dicho problema.

Cuestionario Es el instrumento, que tiene forma material impresa o digital, utilizado para

registrar la información que proviene de personas que participan en una

encuesta, en una entrevista o en otros procedimientos.

Eficacia* Es la medida en que el problema, demanda o necesidad que motivó la

intervención ha sido resuelto. La eficacia también hace referencia al grado en

que se alcanzaron los objetivos establecidos en la intervención. Éstos deben

ponerse en relación con los resultados esperados de un programa, si éstos son

explícitos. O bien, derivados de un constructo de dichos resultados.

13

Eficiencia* Medida en la que se obtuvieron los resultados y/o efectos deseados con la

menor cantidad de recursos posible. Entre varias posibilidades de obtener los

mismos resultados, las diferencias de costes determinan el grado en que una

intervención (la más económica) es más eficiente que otra (la que más

recursos consume). Este criterio complementa al de eficacia.

Encuesta Es un procedimiento para la recolección de información en una población o

muestra concreta y a su vez la técnica que se utiliza para guiar la recolección

de la misma. Se define como “una estrategia de investigación basada en las

declaraciones verbales de una población o muestra concreta, a la que se realiza

una consulta para conocer determinadas circunstancias políticas, sociales o

económicas, o el estado de opinión sobre un tema en particular”.

Entrevista Técnica en la que una persona (entrevistador) solicita información de otra o de

un grupo, para obtener datos sobre un problema determinado.

Presupone, pues, la existencia al menos de dos personas y la posibilidad de

interacción verbal.

Equidad* El criterio de equidad hace referencia al grado en que las intervenciones

públicas siguen criterios distributivos equitativos y no discriminatorios, según

las necesidades y situación objetiva en que se encuentran tanto los

destinatarios o grupos a los que va dirigida la intervención, como aquellos que

puedan resultar afectados.

Estadística Rama de las matemáticas aplicadas, que facilita estudiar los eventos cuyos

resultados son variables.

Evaluación Análisis sistemático y objetivo de los programas coordinados por los entes

públicos y que tienen como finalidad determinar la pertinencia y el logro de

sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados,

impacto y sostenibilidad.

Evaluación durante Evaluación que se ubica como lo expresa el término, en el momento de la

operación del programa/proyecto, tiene por finalidad extraer información,

reflexiones y conclusiones sobre la marcha y desempeño del programa.

Evaluación

ex ante

Evaluación que trata de simular el efecto de un proyecto/programa antes de

que éste se ponga en práctica o entre en operación. Proporciona elementos de

juicio para determinar cuál es el proyecto o la combinación de proyectos que

más conviene a la población en términos del cambio de las condiciones de

vida de los beneficiarios.

Evaluador externo Personas morales o físicas con el expertis necesario para realizar la evaluación

y que es ajena a la organización.

Ex post Evaluación que se ubica al intermedio o al final de la operación del programa,

para determinar si hubo cambios en el bienestar de la población objetivo. Es

decir, si su magnitud es atribuible a la intervención.

14

Grupos de discusión Es una técnica que utiliza la entrevista grupal para recopilar información

relevante sobre el problema de investigación, donde varias personas responden

simultáneamente a un cuestionario sistemático. Es una conversación

cuidadosamente diseñada, cuyo ambiente debe ser relajado, confortable,

agradable, donde los participantes se influyen, responden a preguntas y

discuten ideas y comentarios surgidos en la propia discusión.

Implementación* El criterio de implementación hace referencia al modo o forma en que se ha

implementado o puesto en práctica una política o programa. Se centra en el

análisis de las estructuras, procesos, actividades y lógicas desarrolladas para la

obtención de unos determinados resultados.

Indicadores Dato o información que sirve para conocer o valorar las características y la

intensidad de un hecho o para determinar su evolución futura.

Metodología Conjunto de procedimientos interrelacionados que determinan una

investigación de tipo científico.

Metodología

cuantitativa

El método cuantitativo, experimental y deductivo tiene sus premisas en el

positivismo, corriente filosófica predominante en las ciencias naturales, utiliza

el lenguaje objetivo de las cifras y procesos estadísticos, con énfasis en el

punto de vista del investigador. Como propósito de investigación busca

describir la magnitud de los fenómenos y sus causas, intenta simplificar la

realidad y establecer generalizaciones empíricas. La metodología cuantitativa

utiliza el método hipotético deductivo. Parte del planteamiento de hipótesis

que se confirman o verifican mediante la obtención de evidencia empírica,

tratando de eliminar el azar, su diseño es sistemático y apriorístico; su

muestreo, estadístico. Desde su perspectiva biopositivista da un carácter único,

operacional y objetivo a su información. Como técnicas de recogida de

información utiliza los cuestionarios cerrados, la observación, las encuestas y

las entrevistas estructuradas, entre otras. Realiza un procesamiento estadístico

a sus datos y los presenta en tablas de contingencia y gráficos.

15

Metodología

cualitativa

El método cualitativo, no experimental e inductivo se basa en las corrientes

filosóficas de la fenomenología y la etnografía. Utiliza un lenguaje verbal

subjetivo, con un enfoque antropológico o etnológico, donde predominan los

significados que los propios participantes dan al fenómeno estudiado. Tiene

como propósito entender la realidad desde la óptica de sus propios actores.

Busca la comprensión e interpretación del contenido, las motivaciones y las

condicionantes humanas de los fenómenos. La metodología cualitativa se basa

en el método inductivo exploratorio, lo que implica formular preguntas que se

exploran y se desarrollan en el proceso de la investigación y que pueden servir

para plantear hipótesis. Busca, más que "la verdad", la comprensión detallada

de las perspectivas de las personas que participan en el estudio, considera que

la verdad está compuesta por múltiples construcciones de la realidad más que

por una realidad única y objetiva. En este sentido trabaja con el universo de

signos, motivaciones, aspiraciones, creencias y valores buscando una

interpretación más profunda de los procesos y los fenómenos. Como técnicas

de recogidas de la información utiliza la observación participante, la entrevista

a profundidad, las discusiones de grupos, los grupos nominales y focales, los

informantes claves, las historias de vida y otras. Realiza un informe narrativo

de los fenómenos que estudia.

Metodología mixta Posibles combinaciones de las dos anteriores.

Notas de campo Las notas de campo son la primera forma de capturar los datos que son

recogidos de las observaciones participativas. Las notas que se toman para

capturar estos datos incluyen registros de lo que se observa, circunscribiendo

conversaciones informales con participantes, registros de actividades y

ceremonias durante las cuales el investigador está imposibilitado de preguntar

a los participantes sobre sus actividades, y las notas que fueron tomadas

diariamente.

Participación social* Se pregunta por el papel de los actores, tanto en el diseño de las medidas como

en su implementación y posterior seguimiento.

Pertinencia* Hace referencia al grado en que el conjunto de las medidas que componen la

intervención están orientadas a resolver la necesidad o problemática existente

en el contexto en el que ésta se produce. También puede definirse como la

medida en que los objetivos de una intervención son congruentes con las

necesidades existentes.

Relevancia* El criterio de relevancia inquiere sobre la importancia del papel de las medidas

en el marco más amplio de la política. El interés se centra en el conjunto de

medidas como herramienta de intervención.

Sostenibilidad* Los beneficios obtenidos continúan después de concluida la intervención.

Test Instrumento que se deriva de la encuesta, cuyo propósito es lograr información

acerca del comportamiento o características individuales o colectivas.

* Ministerio de Hacienda y Administraciones Públicas Agencia Estatal de Evaluación de las

Políticas Públicas y la Calidad de los Servicios, 2015, “Guía práctica para el diseño y la realización

de evaluaciones de políticas públicas” Enfoque AEVAL, colección: guías.