Mini curso
Análisis Cualitativo de datos para la evaluación
de resultados y percepciones de proyectos Sergio Martinic, PUC, Chile
V Seminário da Rede Brasileira de
Monitoramento.Universidade Estadual de
Campinas (UNICAMP).
25 Septiembre 2013
Objetivos mini curso
• Analizar importancia de análisis cualitativo de datos en
evaluación de proyectos y políticas.
• Diferencias métodos cuantitativos y cualitativos
• Bases conceptuales y procedimientos de método de
análisis estructural semántico.
• Conceptos claves: categorías y relaciones entre
categorías
• Interpretar resultados y plantear hipótesis interpretativas
• Criterios de rigor análisis de datos cualitativos.
•
Módulos temáticos • Modulo 1. Evaluación, paradigmas y análisis de datos cualitativos
• Evaluación cualitativa; Métodos cualitativos y cuantitativos; conceptos de
clasificación y construcción de categorías. Presentación general de métodos de
análisis de textos y de observaciones.
• Modulo 2. Análisis de opiniones y representaciones sociales
• Se analizarán el objeto de evaluación cualitativa y las bases teóricas del análisis
estructural de datos. Conceptos descriptivos (código de base y de calificación)
• Modulo 3. Códigos, relaciones entre códigos y estructura
• Presentación de conceptos claves de Análisis Estructural. Códigos (de base y
calificación);. Concepto de estructura y tipos de estructura (paralela, jerárquica y
cruzada).
• Modulo 4. Aplicaciones y construcción de interpretaciones.
• Ejemplos de aplicaciones. Construcción de hipótesis e interpretaciones mayores
• Criterios de rigor
Necesidades
Diseño
Evaluación
ex-ante
Ejecución
Seguimiento
Evaluación de
procesos
Resultados
Evaluación de
impacto
Aprendizajes
Reformas y evaluación
• Los ciclos de reformas están asociados a
enfoques y énfasis en evaluación.
• En cada ciclo se privilegian teorías, objetos y
métodos particulares.
• Los paradigmas cambian desde enfoques
lineales (insumos –productos) hacia otros mas
sistémicos y centradas en las interacciones
entre niveles y componentes.
Cambios evaluación educativa
• La evaluación educativa avanza de enfoques deterministas (explicación externa) hacia enfoques que observan aspectos internos de la escuela
• De explicaciones basadas solo en contexto social a otra que observa realidades internas (cognición, lenguaje, interacciones).
• Medición evaluativa centrada en resultados absolutos a otra centrada en progreso relativo (Valor agregado)
• Diseños mixtos y complementarios de evaluación cualitativa/, cuantitativa; externa/interna; resultados/procesos, etc.
• Cambios en los paradigmas y enfoque del conocimiento. Desarrollo de observaciones de practicas; saber pedagógico y reflexividad, didácticas; estrategias de comunicación y estilos de interacción.
Pu
nta
je P
ro
med
io
Año
Grupo Socioeconómico
Ejemplo relaciones: Aprendizaje y grupo
Socioeconómico Lectura 4° EB (Mineduc, Chile,
2011)
INSUMOS PROCESOS RESULTADOS
Contexto:
Realidad del
estudiante y
familia
Relación Familia-
Escuela
ESCUELA AULA
ALUMNO
Supervisión
PRACTICAS
PEDAGOGICAS
Calidad de
los
aprendizajes
Gestión escolar
Recursos materiales
Talleres de Profesores
Ayudante de
Profesores
Factores de calidad de evaluación 900 escuelas
Resultado Procesos Contexto/insumos
Alumnos Calidad y distribución
de logros de
aprendizaje y otros
Trayectoria escolar,
motivación, actitudes
individuales ,
compromiso con la
escuela
Entorno, familia y
contexto social
alumnos
Aulas Calidad de la
enseñanza (niveles de
desempeño eva.
Docente)
Prácticas
pedagógicas; clima
de aula
Condiciones de
trabajo profesores y
alumnos
Establecimientos Desempeño institucional Liderazgo director,
clima interno y
gestión
Políticas, Recursos
Sistema Educativo Desempeño general
del sistema Educativo
Diseño e
implementación de
políticas;
programas y
proyectos
focalizadas
Contexto demográfico
Políticas macro
Nuevas relaciones y objetos de evaluación
Necesidades
• Evaluar no sólo los resultados sino que también los procesos educativos.
• No solo perspectiva de quien diseña o ejecuta. Analizar perspectiva y percepción usuarios.
• Ampliación del foco y objeto de la evaluación, Concepto de calidad mas amplio.
• Nuevos métodos e instrumentos que permitan, evaluar el desempeños; observar prácticas; analizar opiniones, representaciones.
• Las preocupaciones señaladas favorecen nuevas relaciones entre los métodos cuantitativos y cualitativos.
Interpretaciones y representaciones sociales
• Son conocimientos prácticos, compartidos y elaborados socialmente
• Permiten aprehender lo real y dar sentido a las interacciones sociales
• Clasifican, distinguen, ordenan y jerarquizan la practica cotidiana
• Son sistemas de referencia que organizan las interpretaciones y sus relaciones
Dimensiones de las representaciones
• Distinciones cognitivas (conceptos, términos, información)
• Estructura (organización y relaciones que se establecen entre los términos)
• Valorización y normas de las distinciones y organización del sistema de referencia
• Dan sentido a la comunicación y practicas de los sujetos
Objetivistas / Subjetivistas
• Estructuras
• Realidad Externa al
sujeto
• Estructura
• Relaciones Causales
• Búsqueda verificación
• Deductiva
• Sentidos
• Realidad Interna del
sujeto
• Estructuración
• Relaciones probables
• Orientado al
descubrimiento
• Inductiva
Investigación cualitativa
• Fundada en opción epistemológica
(interpretación y comprensión)
• Métodos de generación de datos
sensibles al punto de vista del otro,
acciones y contextos cotidianos.
• Métodos de análisis y explicación que
abarcan comprensión de la complejidad,
el detalle y el contexto
(Vasilachis de Gialdino,2006:25)
Materiales y Métodos de análisis
Cuantitativa Cualitativa
Textos Análisis de contenido Análisis de discurso
Entrevistas Análisis descriptivo Análisis categorial
preguntas abiertas
Observación Análisis atribuciones Análisis interacción
Audios y Videos Análisis de desempeño Análisis de
conversaciones
Basado en Silverman, 2006
Análisis cualitativo de datos
• Proceso de interpretación y de respuesta
a las preguntas e hipótesis de trabajo
plantadas.
• Proceso teóricamente orientado a través
del cual se busca analizar y descubrir
relaciones que dan sentido a discursos e
interacciones
Análisis de contenido
• Es uno de los procedimientos clásicos para analizar el
material textual con independencia de su procedencia
(Flick, U., 2004).
• Opciones: análisis y clasificación del contenido
manifiesto o bien análisis de segundo grado que
comprende lo implícito (Bourgois, E. et al.1996).
• el contenido manifiesto es “una vía de tránsito” hacia
otra clasificación de lo dicho o escrito (Pérez Serrano
2005: 141).
Categorías de clasificación
• Es una operación básica de orden y distinción del material
discursivo que, por lo general, es abundante, complejo y disperso.
• Transforman los datos y el texto se reduce a unidades que puedan
ser relacionadas, comparadas y agregadas a unidades mayores
(Miles y Huberman, 1991).
• Implica pasar del texto y sentido literal a categorías y relaciones
entre categorías que producen un sentido no explícito.
• Hay dos grandes procedimientos para la construcción de
categorías: deductivo (deriva las categorías del marco conceptual )
e inductivo (define desde el conocimiento de los sujetos).
• la investigación cualitativa no se reduce a la inducción en forma
exclusiva (Hammersley y Atkinson, 1995).
Clasificación o codificación
• Las categorías clasifican unidades u objetos en un contexto de clases relacionadas de manera diferente (Strauss & Corbin, 2002:113)
• La clasificación no depende del objeto en si sino que de su definición y relaciones (Strauss & Corbin, 2002:113)
• La clasificación integra o separa unidades en función de los parecidos o diferencias de sus propiedades
ANALISIS CUALITATIVO
Tipo análisis Preguntas Técnicas
Descripción Cuáles son las
categorías de
clasificación?
Códigos
Codificación abierta
(A/B=T)
Relaciones Qué relaciones
existen entre
códigos?
dominios
Axial, estructuras,
Teoría Existen estructuras,
reglas y principios
organizadores?
Actancial, selectiva
Tipos de códigos
• 1. descriptivos: identifican características de
los segmentos de los registros.
• 2. explicativos: temas recurrentes o que tienen
el mismo significado en el mismo registro o
registros diferentes.
• 3. interpretativos: interpretación relacionada
con hipótesis inicial
Análisis estructural
• Análisis de los sistemas de clasificación y
reglas de combinacion objetivados y/o
interiorizados por los sujetos
• Estos sistemas y principios informan las
percepciones, interpretaciones y prácticas
de los actores
• se reelaboran en los contextos de
interacción y en el marco de las relaciones
sociales de dichos contextos
Análisis estructural: conceptos claves
1. Significado.
2. Código de base.
3. Códigos de calificación.
4. Protocolo analítico
5. Estructuras
1. Concepto de significado
• Significado asocia un significante
(material) y un significado (concepto).
• Esta asociación es arbitraria.
• La identidad o valor de los signos se
constituye por su diferencia y oposición en
una cadena asociativa.
• El significado solo es comprensible en un
contexto social de enunciación.
Relación semántica
• En el discurso hay discontinuidades:
distinciones que descansan en las oposiciones
que les dan origen
• Ej: A / r (S) / B donde:
• A y B = términos que clasifican realidades
• (S) = eje semántico
• r = relación semántica de los términos
2. Unidad de análisis: los códigos.
• Son la estructura mínima de significado a partir del cual se construye la organizacion del texto
• Pueden ser palabras, secuencias gestuales, disposiciones de objetos, etc.
• El método distingue codigos de base y de calificación
• Se construyen por la simultaneidad de principios de disjunción y de conjunción.
Disyunción y conjunción
• Disyunción es el principio que constituye
el sentido de un término o categoría por la
relación que tiene con otra opuesta.
• Por ejemplo; alto/bajo; bueno/malo, etc.
• Conjunción es el eje o contexto común en
el cual se constituye la oposición binaria
de base.
• Por ej. Alto/bajo=estatura
Fórmula de Código de base
A/B; A’ = B; B’ = A; A + B = T
Donde:
A, B = términos o realidades constituidas.
/ = relación de oposición o disjunción.
A’ , B’ = Terminos o realidades inversas
de A y B.
T = Totalidad.
Ejemplo de Código de base
c1 = A / r (S) / B
Futuro / r (tiempo) / presente
Entonces:
c1 = A + B = T
Futuro + Presente = Tiempo.
Donde:
A = B’ ; Futuro = (No presente)
B = A’ ; Presente = (No futuro)
3. Códigos de calificación
• Son aquellas apreciaciones o valoraciones que califican o atribuyen propiedades, implícita o explícitamente, a términos o realidades que aparecen como significantes en el texto.
• Contienen términos donde el primero de ellos atribuye o califica a una de las realidades del código de base y el segundo al otro término o realidad.
Código de Calificación y de Base
T
cc1 cA / cB Tc (término de calificación)
cb A / B T (términos objetos signifcantes)
Donde:
cA, cB = Calificaciones de los términos A y B A , B = términos o realidades objetos o significantes. cc = códigos de calificación. cb = códigos debase. Tc = totalidad calificativa. T = Totalidad.
4. Protocolo analítico
• Es ejercicio a través del cual “se hace hablar” al
código construido y las relaciones construidas.
• Es un primer nivel de interpretación que se dirige
hacia la construcción de principios simbólicos que
organizan la opinión expresada en el texto.
• También debe explorar las relaciones que se
infieren de las posiblidades lógicas y semánticas
que abren las oposiciones construidas.
Ejemplo 4: de protocolo analítico
• Del ejemplo anterior: “un niño desnutrido
tendrá problemas de aprendizaje en el
colegio”.
• Esto se puede complementar con la
siguiente proposición: “un niño
desnutrido con problemas de aprendizaje
estará fuera del colegio”
5. Las estructuras
• Son las relaciones que tienen los códigos
entre si.
• Esta relación se basa en el principio de
implicación recíproca
• Las relaciones que se establecen
construyen una estructura
• Las estructuras pueden ser: paralelas;
jerarquizadas y cruzadas.
Estructura paralela
•Los términos de dos o mas códigos estan unidos
por una relacion de doble implicacion reciproca.
•La relacion atribuye propiedades o valor a uno de
los términos (A) , al mismo tiempo y de un modo
inverso, el segundo término atribuye propiedades o
valor al otro término (B) del código de base.
A1 A2 y B1 B2
Fórmula de estructura paralela
cc1 ; cA1 / cB1
cc2 ; cA2 / cB2 cA1 + cA2 + cAn = A ; cb
ccn ; cAn / cBn cB1 + cB2 + cBn = B
Donde:
Cp = Calificación paralela
cc = Códigos de Calificación.
cA, cB = Calificaciones.
= Implicación recíproca.
A, B = Realidades del código de base.
cb = Código de base.
Indice de valorización paralela
• La valorización o calificación de uno de los
términos es suficiente para deducir la
valorización de los otros.
• Si uno de los términos tiene valor positivo
o negativo valoriza del mismo modo los
otros términos con los cuales tiene
relación recíproca y el conjunto de
categorías inversas estará connotado con
el valor opuesto.
Ejemplo
“La educación que se recibe en los colegios ahora
es pésima y tampoco en igualdad de condiciones,
porque el niño que vive en las Condes, en
Providencia, en los colegios pagados particulares,
recibe una excelente educación, es distinto a un
niño que vive en un barrio, porque la educación es
totalmente distinta, no hay igualdad de
condiciones” (Irene)
Ejemplo de valorización paralela.
T
(tipos de educación)
cA1(-) cB2(+) cc1= juicio
Pésima / (excelente)
cA2 cB2 cc= espacio
Barrio / Comunas (Las Condes...)
cA3 cB3 cc= costo
(gratis) / pagado
A1 B2 cb= Tipos de Colegios
(municipalizados) / Particulares.
Estructura jerarquizada
• Los términos de un código pueden tener
un doble status: el inverso de una
disyunción y el eje de otra
• Un término o mas puede tener el doble
status de inverso y de eje a su vez.
• A1 / B1 = T1
T2
A2 / B2
Valorización jerarquizada
• La valorización de un nivel jerárquico se
transmite a todos los niveles jerárquicos
inferiores
t1
A1 / B1 (+)
(-+) (++)
A2 / B2
Estructura cruzada
Construcción de relaciones cruzadas entre dos o más ejes de
calificación
Formula Productos axiales
Px; (A=cA1+cA2) / (B=cA1+cB2) / C=cA2+cB1) /
(D=cB2+cB1)
Donde:
Px= producto axial.
A, B, C, D = Realidades nuevas.
cA, cB= Términos o realidades de ejes de calificación.
Ejemplo.
Texto 1: (La educación) “es tener roce. Salir de la población.
Crear personalidad, sabe desenvolverse mejor, para conversar
tanta cosa, porque ha muchas personas que no tienen
educación, sin embargo el roce les sirve bastante” (Olga)
Texto 2: “A nosotras nos sirve el roce, la conversación, la
relación con la demás gente. Pero ¿qué pasa?... O sea si no
tiene una mínima educación (...) esa persona se tranca, se
retrae, y eso se ve, es mucho más calladita, mucho más tímida”
(Yolanda)
Texto 3: “sin educación el ser humano es cero a la izquierda”
(Eliana)
...Condensación descriptiva de
calificaciones
Ec1 =
cA1 = Con Educación: /crear personalidad1/; /Saber
desenvolverse2/; /para conversar/; /relacionarse con la demas
gente4/.
cB1= Sin educación: /...se tranca1/; /se retrae2/; /es mucho
más calladita3/; /más tímida4/.
...Condensación descriptiva de
calificaciones
Ec2 =
cA2= (Interior) término construido para expresar el opuesto de
/salir de la población/
cB2 = Exterior, término que describe la calificación /salir de a
población/.
Códigos a relacionar:
Ec1: cA1 Con educación / Sin Educación = Tc1 Tipos de
personas.
Ec2: cA2 (interior) / cB2 = Tc2 Espacio
Cruce de Ec1 y Ec2
(+)
cA1
Con Educación
Sin Educación
cB1
(-)
(-)
cA2
(Interior)
(+)
cB2
Exterior
A (x) (+-)
B “Ser alguien”
(++)
C
“cero a la izquierda”
(--)
D
“con roce”
(-+)
Eje existencial y espacio
(+)
Ser AlguienA1
Cero a la izquierda B1
(-)
(-)
A2 Interior, en
la poblacion
(+)
B2
Exterior,fuera de la
poblacion
Modelo de acción simbólica
• Los discursos generan un movimiento que
compromete los sentidos e interacciones
de los sujetos
• Este movimiento tiene una organización
simbólica
• Actores, categorías y códigos de los
discursos desempeñan roles y acciones
• Los actores son actantes (asumen
distintos roles a la vez)
Modelo de acción simbólica
Destinador+
Destinatario+
Ayudantes (+)
Sujeto + Objeto +
Sujeto - Objeto -
Oponentes (-)
Destinador -
Destinatario -
Modelo de acción simbólica
Destinador+
Derecho +
Ayudantes (+) Igualdad
Buenas escuelas
Sujeto + Objeto + ser alguien
Sujeto - Objeto - cero a la izq.
Oponentes (-)
Malas escuelas Destinador -
Injusticia -
Criterios convencionales (Lecompte y Goetz, 1982)
• Fiabilidad: alude a la posibilidad de replicar un estudio por parte de otro investigador y obtener los mismos resultados.
• Interna (descansa en constructo teórico) y Externa (descansa en contexto)
• Validez: Grado en que los constructos y conclusiones corresponden con la realidad.
• Interna implica que investigador e investigado atribuyen el mismo significado a categorías y conceptos. Externa refiere a la comparabilidad de los resultados con otros estudios.
Discusión
• Paradigma de base no permite aplicar los mismos criterios de rigor de metodología cuantitativa.
• En ciencias sociales no existe la posibilidad de predicción y control.
• Investigador e investigado se influyen mutuamente.
• La comprensión es distinta de la explicación.
• Los valores y la interpretación condicionan todo el proceso de investigación.
Criterios Propios o alternativos Guba y Lincoln (1985)
• Valor de verdad alude a la confianza en la
veracidad de los descubrimientos realizados en
la investigación. Se logra con: contactos
extensos, observaciones continuas, verificar
datos y triangulación de fuentes informativas.
• Transferibilidad grado en que los sujetos
analizados son representativos del universo al
cual pueden extenderse los resultados
obtenidos. Se logra con muestreo teórico.
Criterios Propios o alternativos (2)
• Consistencia o dependencia. Posibilidad de obtener los mismos resultados al replicar el estudio en sujetos y contextos similares. Para ello usar: triangulación; método paso a paso, etc.
• Neutralidad y confirmabilidad. Independencia de descubrimientos frente a opiniones y preferencias de investigadores. Se recomienda: Triangulación
Triangulación
• Los resultados de investigaciones
sociales difícilmente son convergentes y
por ello hay que buscar consensos
interpretativos.
• Campbell y Fiske (1959) proponen el
concepto aludiendo al uso de distintos
métodos para el mismo objeto.
• Denzin (1970) amplía el uso a: de fuentes;
técnicas, investigadores y teorías.
Dilemas éticos
• Aluden a: obtención de información; procesamiento y análisis y comunicación de resultados.
• Obtención de información: consentimiento de los sujetos; respeto de privacidad y límites; protección de grupos vulnerables.
• Procesamiento y análisis: procedimientos rigurosos en la clasificación; uso de teorías en interpretación y discusión de datos; conclusiones acotadas.
• Comunicación de resultados: cuidado sobre consecuencias de resultados en grupos y actividades sociales.