sociedad colombiana de pedagogía - socolpe.orgd3n%20cundinamarca.pdf · información del sector...

Estrategia Sistema de Investigación e Información Educativa. SIIED

Sociedad Colombiana de Pedagogía - SOCOLPE

Sociedad Colombiana de Pedagogía

Estrategia de Recuperación, Sistematización y análisis de información del sector educativo en 11 municipios del

Departamento de Cundinamarca

Bogotá, D.C., Mayo de 2002


Sociedad Colombiana de Pedagogía - SOCOLPE 2

I. ESTRATEGIA. SISTEMA DE INVESTIGACIÓN E INFORMACIÓN EDUCATIVA —SIIED ....... 4

A. INTRODUCCIÓN.......................................................................................................................................... 4 B. ÁMBITO DE LA INVESTIGACIÓN.................................................................................................................. 6

1. Componentes........................................................................................................................................ 6 a. Conceptual ....................................................................................................................................................... 7 b. Agentes y actores ............................................................................................................................................. 7 c. Instrumentos..................................................................................................................................................... 8

1) Categorías de Observación......................................................................................................................... 8 2) Objetos de observación .............................................................................................................................. 9

d. Subsistema de organización de la información .............................................................................................. 10 1) Los modelos jerárquicos (o tradicionales)................................................................................................ 10 2) Los análisis de correspondencias ............................................................................................................. 12 3) Los modelos log-lineales ......................................................................................................................... 12 4) El análisis bayesiano ................................................................................................................................ 14

2. Criterios de funcionamiento de la estrategia ..................................................................................... 16 a. Criterios derivados de los estudios sobre evaluación en Colombia ................................................................ 16 b. Criterios derivados de los componentes de la estrategia y sus relaciones ...................................................... 17

3. Fases de despliegue de la estrategia.................................................................................................. 17 a. Fase I. Elaboración de la línea de base (I) ...................................................................................................... 18

1) Etapa I. Elaboración de instrumentos....................................................................................................... 18 2) Etapa II. Trabajo de campo ...................................................................................................................... 18 3) Etapa III. Sistematización de la información ........................................................................................... 19 4) Etapa IV.Análisis cuantitativo de la información..................................................................................... 19 5) Etapa V. Análisis cualitativo de la información....................................................................................... 19 6) Etapa VI.Triangulación del análisis de la información y redefinición de la estrategia............................. 20

CUADRO N°1. ESTRUCTURA METODOLÓGICA DE LA ESTRATEGIA SIIED.............................................................. 21 C. ÁMBITO DE LA DECISIÓN ......................................................................................................................... 23

1. Dimensión estadística ........................................................................................................................ 23 2. Dimensión Descriptiva....................................................................................................................... 23 3. Dimensión Evaluativa ........................................................................................................................ 24 4. Dimensión prospectiva....................................................................................................................... 24

II. CONTEXTO DE LA EVALUACIÓN EN COLOMBIA....................................................................... 26

A. ALGUNOS ANTECEDENTES....................................................................................................................... 26 1. La evaluación masiva: iniciativa internacional ................................................................................. 26 2. Referentes de la política educativa antes y después de los ’90 en Colombia..................................... 28 3. Cruce de desempeño y factores como referente de la política educativa en Colombia ..................... 29 4. Desarrollo personal y social, un componente fracasado .................................................................. 30 5. Comienzo en Colombia de la evaluación masiva............................................................................... 31 6. Acuerdo total de los gobiernos subsiguientes .................................................................................... 31 7. Política fundamentada en la evaluación masiva o decisión política ................................................. 32 8. Una supuesta nueva visión del proceso educativo ............................................................................. 33

B. COMPONENTE DE EVALUACIÓN DEL DESEMPEÑO .................................................................................... 34 1. El objeto escogido para evaluar el desempeño.................................................................................. 34 2. Por qué no el Examen de Estado en la evaluación de la calidad....................................................... 34 3. A veces sí el examen de Estado .......................................................................................................... 35 4. Lo importante es la clasificación del desempeño............................................................................... 36 5. Las pruebas de desempeño no han sido equivalentes ........................................................................ 36 6. ¿Por qué esos cursos y no otros?....................................................................................................... 37 7. Pruebas muestrales o censales........................................................................................................... 37 8. ¿Sistema (evaluación) o investigación? ............................................................................................. 38

C. COMPONENTE DE FACTORES ASOCIADOS................................................................................................. 40 1. Los factores asociados, mención obligatoria..................................................................................... 40 2. Variabilidad de los instrumentos de factores asiociados................................................................... 40 3. Los textos, ejemplo de la heterogeneidad en la manera de preguntar ............................................... 41 4. Criterios técnicos, no académicos, para elegir el objeto de evaluación............................................ 42 5. Naturaleza de la información obtenida.............................................................................................. 43



6. Posición en la que pone la evaluación masiva a la comunidad educativa......................................... 45 7. Pragmática de la evaluación.............................................................................................................. 46

D. CÓMO SE ENCUENTRAN LAS ASOCIACIONES ............................................................................................ 48 1. Equipos independientes...................................................................................................................... 48 2. ¿Se sobrelapan desempeño y factores?.............................................................................................. 48 3. Puntos comunes de las diferentes conclusiones ................................................................................. 49 4. Conclusiones distintas, con base en los mismos datos....................................................................... 50 5. Conclusiones contradictorias sobre algunos factores ....................................................................... 52 6. Entonces, ¿de qué dependen las conclusiones? ................................................................................. 53

E. EL COMPONENTE INVESTIGATIVO ............................................................................................................ 55 1. La evaluación como investigación “objetiva”................................................................................... 55 2. La investigación que sugieren a partir de la evaluación masiva ....................................................... 55 3. Identificar factores como si se observara “objetivamente”............................................................... 56 4. Se enuncia una teoría no estadística, pero se deja de lado................................................................ 57 5. Lo validable no es necesariamente “objetivo” .................................................................................. 58 6. Hay que pensar para medir y no medir para pensar ......................................................................... 58 7. El mismo Banco Mundial exige otro tipo de investigación ................................................................ 59 8. La misma unesco exige otro tipo de investigación............................................................................. 60 9. La misma Planeación Nacional exige otro tipo de investigación ...................................................... 62

F. EL USO DE LA ESTADÍSTICA...................................................................................................................... 64 1. Especificidad de la estadística ........................................................................................................... 64 2. La investigación sobre la educación, subordinada a los aspectos técnicos....................................... 64 3. Selección arbitraria de los resultados................................................................................................ 65 4. Uso de procedimientos que no tienen que ver con la naturaleza de los datos ................................... 65 5. Discordancia entre modelo aplicado y objeto evaluado .................................................................... 66 6. Asignación de causalidades a partir de correlaciones de cifras........................................................ 67 7. Complejidad del objeto y método estadístico..................................................................................... 68 8. Lo que la estadística promueve a la existencia .................................................................................. 69 9. ¿Por qué una desviación estándar? ................................................................................................... 70 10. ¿Qué cifra para la “asociabilidad”?............................................................................................... 72 11. La decisión de la cifra clave es arbitraria ....................................................................................... 73

G. UNA MANERA DE CONCLUIR.................................................................................................................... 74 1. La investigación estadística como producto social............................................................................ 74 2. La exclusión de análisis sociales cualitativos .................................................................................... 75 3. El análisis “clásico” de la educación y el análisis estadístico .......................................................... 75 4. La educación y las evaluaciones como ideología .............................................................................. 77

H. HACIA UNA CONCEPCIÓN DE ESCUELA .................................................................................................... 80 1. Las tensiones constitutivas de la escuela ........................................................................................... 82 2. Los Campos tensionales como Categorías de Observación............................................................... 85

a. Orden Social................................................................................................................................................... 89 b. Currículo ........................................................................................................................................................ 89 c. Aprendizaje .................................................................................................................................................... 90 d. Regulación ..................................................................................................................................................... 90 e. Tipo de ciudadanía ......................................................................................................................................... 90 f. Proyecto educativo ......................................................................................................................................... 91 g. Proyecto escolar ............................................................................................................................................. 91 h. Institucionalización ........................................................................................................................................ 91 i. Integración social............................................................................................................................................ 92 j. División del trabajo......................................................................................................................................... 92 k. Identidad ........................................................................................................................................................ 93 l. Horizonte de sentido ....................................................................................................................................... 93

I. BIBLIOGRAFÍA........................................................................................................................................... 94

III. ANEXOS................................................................................................................................................... 98

A. INFORMES TRABAJO DE CAMPO .................................................................................................................. B. ANÁLISIS ESTADÍSTICOS..............................................................................................................................



I. ESTRATEGIA

SISTEMA DE INVESTIGACIÓN E INFORMACIÓN EDUCATIVA SIIED

A. INTRODUCCIÓN

La estrategia, Sistema de Investigación e Información Educativa, se constituye en una propuesta de recuperación, sistematización y análisis de información, que busca mediante un proceso investigativo, establecer las características del sector educativo del departamento en función de señalar lineamientos generales para el diseño y ejecución de políticas educativas. Concebimos la estrategia como un sistema complejo, es decir, como la articulación de diversos componentes que se interrelacionan y transforman entre sí como “... un conjunto de elementos relacionados por nexos múltiples, capaz, cuando interactúa con su entorno, de responder, de evolucionar, de aprender y de autoorganizarse”.1 Los elementos que componen la estrategia Sistema de Investigación e Información Educativa son: conceptual, subsistema de organización de la información, agentes e instrumentos. Para que la complejidad propia del sistema se haga visible y comprensible, se requiere como criterio de operación un trabajo de indagación y conceptualización permanente que a partir de la información que localice, recupere y analice, produzca resultados cuyo retorno reestructure y redefina los componentes del sistema. En este sentido, la investigación educativa es un proceso permanente y a largo plazo que permite entender una multiplicidad de elementos interrelacionados en el sistema que cambian en el tiempo. Dicha investigación reviste un carácter extensivo cuando se realiza en función de lograr un cubrimiento censal ya sea del sector a nivel departamental o de todas las categorías de observación; y un carácter intensivo cuando se realiza en función de lograr profundizar en unos municipios o en unas categorías de observación particulares. Cualquiera de estos procesos investigativos a la vez que actualizan permanentemente la información sobre el

1 MORIN Edgar. “la nature de la nature”- Tome I de “la méthode”-seuil, 1997 y J. Lesourne: “les Systémes du destin”. Dalloz. 1976. Citado por: MICHEL, Alain. «La conducción de un sistema complejo: la educación nacional». En: Revista iberoamericana de educación N° 10. Madrid: OEI, Enero-Abril de 1996.



sector, constituyen el acumulado histórico de la educación del municipio y del departamento. El despliegue de esta estrategia en el terreno de la indagación, transformación y reconceptualización de los componentes del sistema, lo hemos denominado ámbito de la investigación. En dicho ámbito se ponen en marcha un conjunto de actividad definidas y dirigidas desde los componentes mencionados, cuyos resultados potencian la transformación, ampliación o reestructuración del sistema. De manera simultánea la estrategia compone otro terreno, que para este caso hemos denominado el ámbito de la decisión, el cual se nutre de los resultados que proceden del campo de la indagación, y proyecta disposiciones que pueden estar enmarcadas en diferentes esferas de conducción del sistema: dimensión descriptiva, dimensión estadística, dimensión evaluativa y dimensión prospectiva. En este sentido, mediante la estrategia que proponemos no buscamos imponer un sistema de evaluación sino concertarlo con los distintos actores y agentes y teniendo en cuenta la diversidad de contextos; no partimos de presupuestos absolutos e incuestionables, sino de puntos de partida conceptuales provisionales; no aspiramos a poder decir la última verdad sobre la educación, sino a proponer unos acercamientos a la complejidad educativa; no partiremos de afirmaciones y resultados, sino que indagaremos, buscaremos a partir de ciertas preguntas e inquietudes. En última instancia, en lugar de apostar a una política educativa particular, buscamos interrelacionar los ámbitos de la decisión y de la investigación en función de formular una abierta y flexible política educativa que se transforme, adapte y responda equitativamente tanto a los intereses locales como centrales sobre la base del respeto a las particularidades de los contextos.



B. ÁMBITO DE LA INVESTIGACIÓN En el ámbito de la investigación se localizan los cuatro componentes del sistema y se realizan las diferentes acciones que permiten su interrelación, interdefinición y transformación permanente. Los componentes no se encuentran en el mismo nivel de importancia aunque si encarnan el mismo carácter, pues los cuatro pueden ser potencialmente afectados con los resultados que procedan del proceso investigativo. Cuando afirmamos de un lado, que no se localizan en el sistema en el mismo nivel de importancia, buscamos invertir el orden de prioridades que hasta ahora ha caracterizado la evaluación y definición de políticas educativas, en tanto subordinamos las acciones que se desarrollarán a la conceptualización que sobre escuela hemos construido y que encontramos carente en el balance que hacemos sobre evaluación en Colombia. De otro lado, siendo consecuentes con la imposibilidad de partir de certezas, el componente conceptual, también podrá ser reelaborado con la información que ingrese al sistema, es decir que mantendrá el mismo carácter de los otros elementos constitutivos de la estrategia en tanto puede ser retroalimentado con los resultados de los ejercicios de indagación. Una vez dicho componente se redefine en los primeros despliegues metodológicos (realización de las fases de investigación), el elementos conceptual determina nuevamente los otros elementos de la estrategia. Las acciones propias de este ámbito se trazan según la definición que de ellas hagan los componentes del sistema. El conceptual, las define y caracteriza, el de los agentes indica con quienes y de que manera desarrollarlas, los instrumentos establecen criterios de construcción de los artefactos que se usarán para desarrollarlas y por último el subsistema de organización de la información define por un lado, el curso de las acciones, su secuenciación y los procedimientos, es decir la memoria del proceso y por otro, los campos de organización de la información recuperada en cada ejercicio investigativo. 1. COMPONENTES Los componentes de la estrategia SIIED no existen de manera aislada sino a propósito de la relación entre ellos, no es posible prescindir de alguno o considerarlo de manera parcial pues la dinámica de la estrategia que se busca desplegar, los hace imprescindibles para su funcionamiento. Se caracterizan por estar contenidos en el ámbito de la investigación, por revestir una importancia diferencial de acuerdo con su función en el sistema –el conceptual subordina el funcionamiento de los otros tres- y por interrelacionarse e interdefinirse mediante el proceso de retorno de la información procedente de la indagación



a. Conceptual El componente conceptual se caracteriza por contener dos tipos de elaboraciones del equipo investigador: una en función de establecer con un sentido crítico lo que ha venido ocurriendo con la evaluación en Colombia, mediante la elaboración de un balance en el cual se caracterizan las evaluaciones aplicadas en el país y los usos político que se han hecho de ellas. En dicho balance se argumenta suficientemente que no existe en las evaluaciones aplicadas, en los estudios posteriores sobre factores asociados ni en las políticas de focalización y mejoramiento de las instituciones, una concepción de escuela clara desde donde se podría efectivamente adelantar acciones en el sector educativo. En este sentido, la segunda elaboración del equipo investigador se ha dirigido a construir un concepto de escuela, que permita explicarla como acontecimiento histórico, en tanto se constituye de unas tensiones que le dieron origen y como acontecimiento contemporáneo, en tanto se afecta de los contextos locales y de las exigencias que en el orden de lo global se le hacen. Es precisamente desde este concepto de escuela y a partir de la experiencia que ha dejado la evaluación, sobre todo en el DC, que se propone una determinación de este componente sobre los otros, de tal forma que los componentes y acciones propios del ámbito investigativo se realicen en función de una perspectiva conceptual clara que no se subordine a las propiedades y posibilidades de los modelos estadísticos sino que se sirva de ellos. b. Agentes y actores Los agentes son importantes en el funcionamiento de la estrategia, en tanto es posible identificar en el proceso de la investigación su posicionamiento frente a las acciones y decisiones. Una exploración sobre el lugar que ocupan estos agentes permite entender las discontinuidades que han problematizado las políticas homogéneas y la diversidad cultural, económica y social constitutiva de cada entorno local. El componente de agentes no se equipara a la jerarquía educativa, (docentes, jefes de núcleo, secretarios de educación entre otros) sino a todos los que se ven o se pueden ver implicados en las acciones y decisiones que caracterizan o demandan el sector (Alcaldes, secretarios de gobierno, secretarios de desarrollo social, sindicatos, estudiantes). Hasta ahora las evaluaciones han involucrado solamente algunos sujetos educativos (maestros y estudiantes), dejando por fuera otros agentes cuya actividad incide en el funcionamiento y organización de la educación en el orden local. A nivel departamental es de vital importancia para el funcionamiento de la estrategia, tal como se pudo ver en el trabajo de campo adelantado en 11 municipios



de Cundinamarca en los cuales se aplicó la prueba SABER, conocer la manera como se encuentran dispuestos los agentes educativos, no solo en cuanto a la posición que ocupan en la jerarquía organizativa, sino también en cuanto a la información que hacen circular mediante el trabajo que realizan. Desde las instancias centrales, hasta los jefes de núcleo y docentes departamentales, se produce y circula información de diferente orden que permite asumir posturas, adelantar acciones y tomar decisiones a todos estos agentes. Igualmente quienes operan en las instancias municipales desde la alcaldía hasta las secretarías en las cuales se ejecuta la política local producen y hacen circular un volumen importante y complejo de información desde donde realizan su actividad cotidiana. Los padres de familia, el sector productivo, las instituciones y organizaciones dedicadas al desarrollo de proyectos de carácter educativo y social, también tendrían voz en esta estrategia, pues ellos tejen las dinámicas locales de la educación municipal y permiten ampliar el mapa exploratorio de lo que será la cartografía educativa de los municipios. De esta manera se busca que éste componente sea lo suficientemente flexible para involucrar agentes y actores que se han dejado de lado en otros trabajos de indagación y evaluación, que no han sido convocados a participar de estos procesos y que evidentemente son fundamentales para componer el acumulado histórico de la educación de los municipios. c. Instrumentos En el marco de la estrategia los instrumentos son artefactos que hacen visibles las condiciones del sector educativo en cada uno de los municipios. Se constituyen en artefactos en tanto están ligados a un procedimiento analítico cualitativo y/o cuantitativo de acuerdo con las categorías de observación que se derivan del componente conceptual y de los objetos de observación elegidos en cada una de las fases de desarrollo de la estrategia. En este sentido, la estrategia no se fundamenta en el diseño y aplicación de unos instrumentos para su utilización a lo largo de las distintas fases. Por el contrario, la estrategia supone la permanente elaboración y reelaboración de instrumentos que, en ese sentido, serán cuestionados, ampliados, reestructurados o incluso desechados en el momento en que ya no puedan servir como artefactos para mirar el sector en el sentido propuesto por el funcionamiento de la estrategia.

1) Categorías de Observación Para el caso de la presente propuesta, no optamos por la indagación a partir de factores asociados, dadas las restricciones tanto técnicas como conceptuales que implica, en términos de la comprensión del fenómeno educativo; tampoco acogemos el enfoque de "indicadores" desarrollado por la OCDE. En su lugar proponemos la noción de categorías de observación.



Como se explica en el apartado correspondiente al componente conceptual, la noción de categoría de observación se deriva del modelo conceptual de escuela elaborado en el desarrollo de este proyecto. De acuerdo con tal modelo, las categorías de observación se producen como resultado de los cruces entre los tres ejes de las tensiones constitutivas de la escuela: el eje de las funciones (masificante e individualizante), el eje del saber (saber pedagógico y mecanismos de organización) y el eje de las condiciones (globales y locales). Esta perspectiva permite ver la educación, no como efectos y resultados de la institución, sino que visibiliza tendencias, procesos y las condiciones en que ellos acontecen, de modo que pueda observarse, en términos descriptivos, cómo la institución cuenta con propias condiciones organizativas, socioeconómicas, culturales, académicas, políticas, etc., que le definen un particular modo de operar, y cuya transformación depende del cambio de dichas condiciones. En otras palabras, el estado en que la escuela funciona se establece a costa de las pretensiones formuladas a su interior. Esto en razón de que consideramos el campo de la educación como un sistema, como una estructura. Un sistema cuyo comportamiento no es estático, de duración indefinida, sino que permanentemente puede irse adaptando a las circunstancias culturales y social de cada momento; de ahí, que consideremos aquellos componentes que conforman este campo, actuando en mutua relación y configurando maneras particulares de funcionamiento, de acuerdo con la interacción dada entre sus componentes, de manera que para realizar una indagación del sistema, bien en términos generales o bien en una situación específica, haya que indagar por la manera como interviene cada uno de los elementos que integran esta estructura, en relación con el contexto en que ocurre el evento educativo. De acuerdo con nuestros análisis, definimos las siguientes doce categorías de observación: Orden social, currículo, aprendizaje, regulación, proyecto educativo, proyecto escolar, horizonte de sentido, tipo de ciudadanía, división del trabajo, identidad, institucionalidad e integración social.

2) Objetos de observación En la perspectiva de dar cuenta de manera particular de cada una de las categorías de observación, la estrategia ha previsto la definición o determinación de objetos de observación. Estos se definirán como parte de la primera fase del trabajo y se podrán derivar:



de las características de las categorías de observación y constituirse en una especie de “indicadores” de tales categorías

de estudios o metodologías distintas a las planteadas en esta estrategia. Ejemplo de ello podría ser la utilización de algunos “factores asociados” como objetos de observación en la perspectiva de explorar en amplitud alguna de las categorías de observación. Los libros o los textos escolares se encuentran en distintas listas internacionales y nacionales de factores asociados; podrían llegar a ser, dentro de esta propuesta, objetos de observación, en la medida en que se indague por su uso en el contexto de las prácticas pedagógicas: en este caso, los libros o textos podrían ser —a la vez— objetos de observación para varias categorías: currículo, aprendizaje, proyecto escolar, etc.

d. Subsistema de organización de la información El componente denominado subsistema de información, es un recurso metodológico estructurado: desde la información producida a propósito del sector educativo del municipios; y desde las doce categorías de observación propuestas en el componente conceptual. Con respecto a la información que se encuentra disponible en los municipios, que ha sido producida por ellos o sobre ellos, se propone un modelo estadístico que permita articular dicha información (considerada para la estrategia como acumulado histórico local) con la nueva que se producirá, desde las categorías y objetos de observación en los ejercicios de indagación que propone la estrategia.

1) Los modelos jerárquicos (o tradicionales) De acuerdo con la estructura del actual sistema escolar, en un sentido conjuntista se tiene un arreglo jerárquico de las unidades de observación: los alumnos —que se pueden considerar como la unidad de observación primaria— conforman grados (y comparten profesores, aulas, saberes, entre otros); los grados, a su vez, están contenidos en una institución educativa; la cual a su vez es parte de una localidad, una zona un municipio, etc. Como puede advertirse, se dispone de unidades de observación en extensión y complejidad distintas. Una técnica estadística usada frecuentemente en los estudios de factores asociables a los desempeños de los estudiantes, ha sido la regresión clásica. Con esta técnica se construye un modelo donde los resultados de la variable logro se muestran en función de otras variables que ponen en juego a un mismo nivel características de los estudiantes, de los docentes, del plantel, de la localidad, etc. Otra alternativa, menos arrasadora, construye modelos de regresión para cada uno de los niveles de las unidades de observación, de manera que, por ejemplo, se propone un modelo de regresión para planteles mediante la agregación de las variables individuales de los estudiantes en los respectivos colegios o planteles.



Uno de los inconvenientes del primer caso es el incumplimiento del supuesto de independencia entre las observaciones, pues los alumnos de la misma aula, grado o plantel, por ejemplo, tendrán los mismos valores en cada una de las variables que representan a estas unidades. El problema con la segunda alternativa es que se pierde información sobre la variación dentro de las unidades (aula, grado, plantel, etc.), de manera que la asociación (colinealidad) entre las variables agregadas es más fuerte y diferente que entre las variables sin agrupar. De todas formas, la regresión clásica, así considerada, no permite explicar el logro en términos de las características del niño, del grado o aula, y del plantel, por ejemplo. En educación, la estructura de la información corresponde a una conformación jerárquica de las unidades de observación. Así, los niños están contenidos en cursos o aulas las cuales a la vez están contenidas en las instituciones. Esto hace que las variables observadas expliquen de manera conjunta y distinta los resultados con relación a una variable de interés. Se trata de modelar algunas variables en función de un conjunto de variables explicativas, las cuales están ligadas a las respectivas unidades de cada nivel. Este tipo de modelamiento corresponde a los llamados modelos jerárquicos o multinivel, con los cuales se podrá dar cuenta de los resultados, atribuibles a variables de los niños, a variables de los grados, de las instituciones, de las localidades2, etc. [cf. Goldstein, 1987]. El siguiente esquema, muestra cómo los desempeños de los estudiantes tienen una variabilidad (información) atribuible a la variabilidad de los mismos estudiantes, a la variabilidad de los grados, a la variabilidad de los planteles3 y a lo que quede por fuera de los anteriores (ruido):

Var. (desempeños)=Var. (estudiante) + Var. (Grado) + Var. (Plantel) + Var. (no explicada)

La descomposición anterior permite calcular la “importancia” de cada efecto, el cual expresa la proporción de la variabilidad de cada nivel con relación a la variabilidad total. Como se anotó, el problema es determinar el tipo de asociación existente entre las diferentes unidades de observación que hace que éstas tengan una jerarquía

2 Esta fue la metodología aplicada en el estudio de factores asociables en el DC [cf. SED-

Corpoeducación-DNP, 1999]. 3 Se conoce como modelo a tres niveles, éstos son: estudiantes, grado y plantel.



específica. No obstante, es una herramienta útil para apoyar la asociabilidad de un factor con los desempeños (resultados, logros, competencias...) de los estudiantes.

2) Los análisis de correspondencias Es una técnica para explorar la posible relación entre las variables que se dispongan en una tabla de contingencia (bidimensional o múltiple). En este contexto, una tabla de contingencia es una tabla cuyas celdas contienen alguna medida de correspondencia (asociación, similaridad, afinidad o interacción) entre las variables. Con esta técnica se procede a encontrar un número pequeño de dimensiones (a la manera de factores, componentes o ejes principales) que expliquen las asociaciones presentes en las variables dispuestas en la tabla, de tal modo que la primera dimensión explique la mayor parte de la asociación total entre las filas y las columnas, la segunda dimensión explique la mayor parte de la asociación no explicada por la primera, y así sucesivamente con el resto de las dimensiones. Cada una de las dimensiones (eje principal) es una suma ponderada de las categorías de las variables puestas para el análisis de correspondencias. Las puntuaciones (ponderaciones) se consideran como el grado de importancia de cada una de las categorías de una variable en la definición de la dimensión; de manera que mediante la magnitud de tales ponderaciones se puede “acuñar” un nombre genérico para la respectiva dimensión. Este ejercicio coadyuva a la identificación de factores posiblemente influyentes en el desempeño de los estudiantes. Una vez que se han encontrado los “nuevos” ejes o dimensiones, se pueden ubicar, por ejemplo en un plano determinado por los dos primeros ejes, cada una de las categorías y/o los individuos. Este gráfico o mapa posibilita la exploración de la asociación entre las diferentes variables (por ejemplo, factores y desempeños [cf. Díaz, 1999a]).

3) Los modelos log-lineales La mayoría de las investigaciones en las ciencias humanas involucra grandes tablas multidimensionales. En estas tablas se mide un número tal de variables, que la interrelación entre ellas resulta compleja. Frecuentemente, cuando el investigador se enfrenta a tablas de dimensión alta, el tratamiento ordinario que le hace a lo datos contenidos en éstas es seleccionar de a dos variables, colapsando las demás. Aunque estos procedimientos pueden ser útiles, tienen al menos los siguiente inconvenientes:

Se pierde habilidad para estudiar las interacciones entre más de dos variables; Las asociaciones marginales entre dos variables es muy distinta de la asociación que podría presentarse entre las mismas variables pero en presencia de otras;



No se pueden estudiar simultáneamente todos los pares de variables. La asociación marginal entre variables puede ser distinta de la asociación entre las mismas variables bajo un factor factor fijo de una tercera variable4.

Cuando se estudian varias mediciones simultáneamente, resulta útil conseguir una descripción parsimoniosa (con el menor número de variables) de los datos a través de un modelo matemático que explique, de alguna forma, las observaciones; a esto se le denomina modelamiento. El modelamiento consiste en la aplicación de una serie de procesos (estimación, contrastes de simplificación, diagnosis y replanteamiento) con el objeto de conseguir una explicación apropiada del comportamiento de una variable respuesta (datos) a partir de una función ponderada de una o más variables explicativas (modelo). La explicación en general, por fortuna, no suele ser perfecta, y por tanto, es pertinente observar la discrepancia entre los datos y el modelo. A esta diferencia se le denomina error o residual. La siguiente igualdad ilustra el concepto de modelo:

Datos = Modelo + Error

La igualdad anterior señala que los datos observados, objeto del modelado, son función de un componente estructural (sistemático), representado por algún modelo teórico apropiado y un componente aleatorio que representa la discrepancia o error entre los datos empíricos y el modelo teórico propuesto. Uno de los ejemplos clásicos de modelos estadísticos es el de regresión lineal múltiple, en el cual una variable respuesta (Y) es “explicada” a través de unas variables X1, X2, ..., Xp mediante el modelo estadístico:

Y=β0+β1X1+β2X2+... +βpXp

Los β que resulten ser significativamente distintos de cero dan cuenta de la asociabilidad de la respectiva variable X con la variable respuesta Y. En un caso en el que todos los β no son significativamente distintos de cero, lleva a concluir que los factores que las variables representan, no influyen, desde el punto de vista estadístico, sobre la variable respuesta en cuestión. El propósito del modelamiento estadístico es la búsqueda del modelo más simple (parsimonioso o “simple”, según dice la lingüística) que sea capaz de explicar los datos con el mínimo error posible [Ato y López, 1996:79]. Esto equivale a buscar un

4 Este resultado se conoce como Paradoja de Simpson [cf. Díaz, 1999b].



modelo que se ajuste adecuadamente a los datos. Para el investigador, modelar un conjunto de datos le implica:

seleccionar un modelo teórico simple que, en el conocimiento sustantivo del objeto de su investigación, contiene una función ponderada de las variables explicativas;

estimar los parámetros a través de la información disponible; calcular una medida de discrepancia para evaluar el ajuste entre los valores observados y los valores pronosticados por el modelo estimado;

optar, de acuerdo con la evalución observada en el punto anterior, por alguna de las siguientes alternativas: 1) si el ajuste es adecuado, pero el modelo es complejo, acepta el modelo

temporalmente y retorna al comienzo del proceso en busca de un modelo más simple;

2) si el ajuste es adecuado, acepta el modelo de manera tentativa, lo interpreta e integra al marco conceptual donde están inscritos los datos;

3) si el ajuste no es adecuado, lo rechaza y retorna al comienzo del proceso en busca de un modelo más apropiado (partiendo de la veracidad del marco conceptual asumido por investigador).

Los modelos para los datos de una tablas de contingencia son similares a los usados para datos cuantitativos, por ejemplo, los modelos empleados en el análisis de varianza. Una consecuencia de esta similaridad es que el término “interacción” se usa como una alternativa para describir y cuantificar la asociación entre las variables cualitativas que forman una tabla de contingencia. Cuando se quiera hacer referencia a la interacción entre un par de variables se hablará de “interacción de primer orden”, para la interacción entre tres variables se le dirá “interacción de segundo orden”, y así sucesivamente. Los principales atractivos del modelamiento de tablas de contingencia son, de un lado, que los modelos suministran una aproximación sistemática al análisis de tablas complejas y, de otro, que proveen una estimación de la magnitud de los efectos de interés, sean ellos principales o de interacción (de asociación) y, en consecuencia, suministran la importancia de diferentes efectos a juzgar [cf. Díaz, 1999b].

4) El análisis bayesiano La mirada desde la estadística clásica se ampara sobre un hecho coyuntural de la realidad (muestra), que sin embargo intenta dar cuenta de una situación más global y cambiante en el tiempo y en el espacio (es como un fotograma contra una película de la que hace parte). Entonces, como una muestra, en general, se corresponde con una mirada sobre una realidad inscrita en un tiempo y un espacio determinados, las



conclusiones que desde esta información se puedan obtener sólo apuntan hacia tal incrustación de los datos. En cambio, el enfoque bayesiano permite incluir información inicial sobre los parámetros (análisis secuencial); esta información surge del conocimiento que el investigador tiene a priori, lo cual expresa el estado de conocimiento o ignorancia sobre la realidad que se indaga. Además, cada muestra que se haga sobre la población permite actualizar la información disponible; de manera que esta incorporación de conocimiento (a través de los parámetros en juego) produce una aproximación cada vez mayor sobre el objeto construido. Los procedimientos bayesianos son una alternativa para no hacer “borrón y cuenta nueva” cada que se evalúa la calidad de la educación, mediante la indagación de los desempeños estudiantiles. Este subsistema de información permite, entonces, construir una línea de base desde la cual se proceda a localizar, recuperar y analizar información sobre el sector, desde los presupuestos del componente conceptual. Dicha línea constituirá campos de almacenamiento de información desde los cuales se vincule lo que ha sido producido (evaluaciones desde 1991 —pruebas SABER—), análisis de dichas indagaciones realizados a partir de instrumentos de factores asociados, monografías y tesis sobre diversas problemáticas de los municipios, entre otros estudios) con la información que se producirá en cada una de las fases de despliegue de la estrategia. En este sentido, la naturaleza de la información que será susceptible de ser sistematizada y procesada mediante este subsistema tiene las siguientes características:

La información que se involucra en el subsistema de información se deriva de una problematización conceptual

La información tiene validez si muestra de la heterogeneidad de los contextos desde el componente conceptual

La información combina una diversidad de procedimientos e instrumentos para cada fase de ejecución de la estrategia

La información es pertinente para los agentes del sector y se produce a propósito de la participación que estos tengan en su producción mediante la aplicación de los instrumentos en cada una de las fases y etapas de la estrategia. En tanto sistema, la estrategia SIIED incorpora la información producida por diferentes agentes del sector educativo municipal y departamental y establece las condiciones para producir nueva información de acuerdo a los requerimientos y posibilidades que en cada momento dichos agentes consideren necesarias para orientar el trabajo educativo en todas las instancias del sector.



2. CRITERIOS DE FUNCIONAMIENTO DE LA ESTRATEGIA Para que la estrategia pueda ser desplegada en sus aspectos metodológicos, se requiere de unos criterios derivados del componente conceptual que se encuentran inscritos en los dos tipos de elaboraciones llevadas a cabo por el equipo investigador: los derivados de los estudios sobre evaluación en Colombia y que proceden de los componentes de la estrategia y sus relaciones. a. Criterios derivados de los estudios sobre evaluación en Colombia

La estrategia SIIED tendrá en cuenta una multiplicidad de variables, incluso algunas que emerjan de los mismos contextos; además, propenderá por un análisis que relacione las variables, de manera que tengamos un todo que no sea la suma de las partes

La estrategia SIIED reconocerá las expectativas en relación con las cuales los desempeños se valoran socialmente en un contexto; en lugar de una estandarización ideal que no rige la vida de los actores educativos, se trata de establecer las variables mediante las cuales se configura la acción educativa de manera singular en cada municipio.

La estrategia SIIED construirá concepciones explícitas de escuela, en relación con las cuales algunos factores son asociables a los resultados educativos, en tanto valorados por comunidades específicas; con ello se atiende a la sugerencia que a escala internacional apunta a no seguir invirtiendo los recursos educativos en el “descubrimiento” de lo que ya sabemos.

La estrategia SIIED se llevará a cabo en interacción con los diversos actores educativos; cualquier propuesta, por bondadosa que sea, no es realizable sin el concurso de aquellos que, finalmente, hacen el día a día de la escuela; una propuesta así ejecutada gana en legitimidad para los docentes y, por lo tanto, se constituye en una base para realizar acciones conjuntas y productivas a futuro.

La estrategia SIIED respetará la especificidad del estudio cuantitativo que requiera (se generará un modelo estadístico específico); subordinará el manejo de datos a los modelos cualitativos de escuela que se construyan, de tal forma que la obtención de los datos, su procesamiento y comunicación reflejen varias voces y formen parte de un mismo proceso a partir del cual se puedan reconfigurar algunas acciones.

La estrategia SIIED en atención a recomendaciones de innumerables investigaciones nacionales e internacionales, permitirá establecer una línea base



(información de referencia y suficiente para estudios posteriores) para que la evaluación de la calidad educativa del Departamento construya su propia historia y se sirva de ella.

b. Criterios derivados de los componentes de la estrategia y sus relaciones

La estrategia dará cuenta de la manera como funcionan algunos objetos de observación que en el ámbito de la política internacional han sido analizados desde la perspectiva de factores asociables al desempeño.

La estrategia parte de una concepción según la cual la calidad de la educación es una noción contextual y, por tanto, las diferencias en los resultados y las relaciones entre las variables se interpretarán sobre la base de su significado en su contexto socio-económico.

La información que se aspira recuperar y procesar corresponde a unas categorías de observación derivadas de los campos tensionales propios del concepto de escuela definido en el componente conceptual.

Las categorías de observación definidas en el concepto de escuela del componente conceptual no pueden ser interpretada en forma aislada sino en función de sus relaciones con las demás categorías definidas

Los datos y estadísticas están subordinados al modelo explicativo: lo cualitativo explica lo cuantitativo.

3. FASES DE DESPLIEGUE DE LA ESTRATEGIA Cada una de las fases en las que se busca llevar a cabo la estrategia SIIED se constituyen en un proyecto de investigación formulado a partir de los componentes y criterios expuestos. Las dos primeras fases, se adelantarán desde la investigación de carácter extensivo y las dos últimas desde la investigación de carácter intensivo. Para cada una de estas fases se proponen seis etapas: elaboración de instrumentos, trabajo de campo, sistematización de la información, análisis cuantitativo de la información, análisis cualitativo de la información, triangulación de la información y retroalimentación de la estrategia. El despliegue metodológico de las etapas es de carácter secuencial y el de las fases es de carácter sistémico. Es decir, que para las primeras existe una relación de ordenación gradual en el tiempo y para las segundas existe una relación de interdependencia, pues el desarrollo de la siguiente fase parte siempre del acumulado histórico producido en cada ejercicio de investigación.



Para efecto de este primer documento se describirá detalladamente cada una de las etapas que compondrán la siguiente fase de despliegue de la estrategia y las siguientes fases se sintetizan en el cuadro N°1 mostrando las posibles actividades que implicarían su desarrollo. a. Fase I. Elaboración de la línea de base (I) Su desarrollo busca establecer la línea de base I (muestral) a partir de la indagación sobre el sector educativo en los 11 municipios en los cuales se desarrolló el trabajo de campo para la formulación de la estrategia SIIED. Uno de los puntos de partida para esta fase lo constituye el análisis estadístico de la información de las pruebas saber aplicadas en los municipios.5

1) Etapa I. Elaboración de instrumentos Las actividades que se desarrollarán en esta etapa son:

Construcción de un instrumento dirigido a directivos docentes en el cual se indagará por las 12 categorías propuestas desde preguntas asociadas a un objeto de observación desde el cual se puedan leer todas las categorías. Este instrumento será de pregunta de elección y se caracterizará por:

a. Un enunciado que ilustra una situación ante la cual se busca indagar por el

posicionamiento del sujeto a partir del componente conceptual b. El enunciado tendrá hasta 5 opciones de respuesta c. Se formularán 3 preguntas por cada categoría de observación

Planeación de una propuesta de carácter cualitativo (encuentros con directivos docentes municipales y departamentales) para ampliar la información recuperada en el instrumento aplicado. Estos encuentros serán convocados con el apoyo de las instancias administrativas de orden local y departamental.

2) Etapa II. Trabajo de campo

Las actividades que se desarrollarán en esta etapa son:

Monitoreo, ajuste y aplicación del instrumento en los 11 municipios en los cuales se adelantó el trabajo de campo correspondiente al momentos de conceptualización y planeación de la estrategia.

5 En el trabajo de campo se encontró que no en todos los 11 municipios se aplicó la prueba SABER y

que algunos en los cuales se aplicó no se encuentran reportados en el MEN, en el consolidado de los datos del Departamento, como puede verse en los informes anexos.



Realización de una propuesta cualitativa (encuentros con directivos docentes). Se adelantarán tres encuentros por cada uno de los 11 municipios con directivos docentes –en la perspectiva del componente de agentes y actores– inscritos en el orden municipal y departamental, en los cuales se propondrán grupos de discusión6 alrededor de las categorías de observación. De cada encuentro se transcribirán las discusiones que sostengan los grupos y se elaborarán relatorías de cada una de las reuniones, que servirán de insumos para la sistematización y para el análisis.

3) Etapa III. Sistematización de la información

Durante esta etapa se pondrá en funcionamiento el componente denominado subsistema de organización de la información, para sistematizar la información producida en la etapa anterior, a partir de las doce categorías de observación propuestas en el componente conceptual. Para este fin se diseñaran formatos de almacenamiento y procesamiento de la información cualitativa (tematización y categorización) y cuantitativa (bases de datos).

4) Etapa IV.Análisis cuantitativo de la información Durante esta etapa se adelantará un análisis cuantitativo de los datos arrojados por el instrumento (cruces entre categorías, establecimiento de tendencias en cada institución, entre instituciones, en cada municipio y entre municipios). Dicho análisis se realizará desde el enfoque de estadística bayesiana desde el cual es posible actualizar la información disponible para cada uno de los procesos de investigación que constituyen la estrategia. De esta manera se construirá en forma progresiva la línea de base de carácter cualitativo que se propone esta fase de la estrategia.

5) Etapa V. Análisis cualitativo de la información Durante esta etapa se adelantará un análisis cualitativo de la información que se recoja en los tres encuentros municipales que se realizarán con directivos docentes. Esta etapa se desarrollará mediante el análisis de la información desde el componente conceptual.

6 Los grupos de discusión se constituye en una herramienta para la investigación social, que se adelanta

con grupos que se reúnen a propósito de la indagación. Su objetivo consiste en desentrañar los significados y sentidos que los actores (en este caso educativos) confieren a la actividad que realizan Canales, Manuel y Peinado, Anselmo. 1995. Grupos de discusión. En: Métodos y técnicas cualitativas de investigación en ciencias sociales. Madrid. Editorial Síntesis.



6) Etapa VI.Triangulación del análisis de la información y redefinición de la estrategia

Las actividades que se desarrollarán en esta etapa son:

Análisis cruzado de la información (cualitativa y cuantitiva) recuperada en el desarrollo de la fase desde los componentes de la estrategia

Retroalimentación de la estrategia. Implica la posibilidad de ampliación y/o reformulación de los criterios y los componentes (ámbito de la investigación) en función de la comprensión del sector educativo en los municipios explorados con miras a la formulación y ejecución de políticas (ámbito de la decisión) para el nivel local.



CUADRO N°1. ESTRUCTURA METODOLÓGICA DE LA ESTRATEGIA SIIED E

TA

PA I

Ela

bora

ción

de

inst

rum

ento

s

Construcción de un instrumento dirigido a directivos docentes en el cual se indague por las 12 categorías de observación mediante un objeto de observación

Planeación de una propuesta de carácter cualitativo (encuentros con los directivos docentes de cada municipio) para ampliar la información recuperada en el instrumento aplicado

Construcción de un instrumento dirigido a los agentes educativos (se decidirá cuales una vez obtenidos los resultados de la fase anterior) en el cual se indague por las 12 categorías de observación mediante un objeto de observación

Planeación de una propuesta de carácter cualitativo (encuentros con agentes del sector y visitas a una muestra de instituciones educativas) para ampliar la información recuperada en el instrumento aplicado

Construcción de un instrumento dirigido a los agentes educativos (se decidirá cuales una vez obtenidos los resultados de la fase anterior) en el cual se indague por algunas de las categorías de observación en profundidad, mediante varios objetos de observación en una muestra de municipios

Planeación de una propuesta de carácter cualitativo (encuentros y entrevistas con agentes del sector y visitas a una muestra de instituciones educativas) para ampliar la información recuperada en el instrumento aplicado

Construcción de un instrumento dirigido a los agentes educativos (se decidirá cuales una vez obtenidos los resultados de la fase anterior) en el cual se indague por todas las categorías definidas en el componente conceptual, mediante varios objetos de observación en una pequeña muestra de municipios

Planeación de una propuesta de carácter cualitativo (encuentros y entrevistas con agentes del sector y visitas a una muestra de instituciones educativas) para ampliar la información recuperada en el instrumento aplicado

ET

APA

II

T

raba

jo d

e ca

mpo

Monitoreo, ajuste y aplicación del instrumento Realización de la propuesta cualitativa

(encuentros con los directivos docentes de cada municipio)


(encuentros con agentes del sector y visitas a una muestra de instituciones educativas)


(encuentros con agentes del sector y visitas a una muestra de instituciones educativas)


(encuentros con agentes del sector y visitas a una pequeña muestra de instituciones educativas)

ET

APA

III

Si

stem

atiz

ació

n de

la

info

rmac

ión

Sistematización del instrumento y de la propuesta de carácter cualitativo desde el componente: Subsistema de organización de la información

Sistematización del instrumento y de la propuesta de carácter cualitativo desde el componente: Subsistema de organización de la información.



ET

APA

IV

A

nális

is

cuan

titat

ivo

de la

in

form

ació

n Análisis cuantitativo desde el enfoque de estadística bayesiana de los datos arrojados por el instrumento aplicado a los directivos docentes

Análisis cuantitativo desde el enfoque de estadística bayesiana de los datos arrojados por el instrumento aplicado incorporando a dicho análisis el acumulado histórico que se recuperó en la fase anterior



ET

APA

V

Aná

lisis

cua

ntita

tivo

de la

in

form

ació

n Análisis cualitativo de la información recuperada en los encuentros con los directivos docentes.

Análisis cualitativo de la información recuperada en los encuentros con los agentes educativos de los municipios y en las visitas a la muestra de instituciones educativas, considerando como punto de partida el acumulado histórico que se recuperó durante el desarrollo de la propuesta cualitativa adelantada en la primera fase

Análisis cualitativo de la información recuperada en los encuentros con los agentes educativos de los municipios y en las visitas a la muestra de instituciones educativas, considerando como punto de partida el acumulado histórico que se recupere durante el despliegue de la estrategia

Análisis cualitativo de la información recuperada en los encuentros con los agentes educativos de los municipios y en las visitas a la muestra de instituciones educativas, considerando como punto de partida el acumulado histórico que se recupere durante el despliegue de la estrategia

ET

APA

VI

Tri

angu

laci

ón d

el a

nális

is d

e la

in

form

ació

n y

rede

finic

ión

de la

es

trat

egia

Análisis de la información (cualitativa y cuantitiva) recuperada en el desarrollo de la fase

Retroalimentación de la estrategia. implica la posibilidad de ampliar y/o reformular los criterios y los componentes (ámbito de la investigación) en función de la comprensión del sector educativo en los municipios explorados con miras a la formulación y ejecución de políticas (ámbito de la decisión) para el nivel local

Análisis de la información (cualitativa y cuantitiva) recuperada en el desarrollo de la fase tomando como punto de partida los resultados de la fase anterior



Recomposición de la estrategia. implica la ampliación y/o reformulación de los criterios y los componentes (ámbito de la investigación) en función de la comprensión del sector educativo en los municipios explorados con miras a la formulación y ejecución de políticas (ámbito de la decisión) para el nivel local



ETAPAS FASE I. LINEA DE BASE (I) (1 AÑO) FASE II (1 AÑO) FASE III (AÑO Y MEDIO) FASE IV (AÑO Y MEDIO)



C. ÁMBITO DE LA DECISIÓN Como resultado de las diferentes fases, el ámbito investigativo aportará información de diverso tipo y nivel sobre cada una de las categorías de observación. Esta información podrá ser utilizada en dos vías: por una parte, como proceso de retroalimentación en la perspectiva de redefinir y reorientar constantemente la estrategia; por otra, en función de aportar elementos para la toma de decisiones políticas y administrativas en el sector educativo tanto a nivel local como regional. Para una mejor utilización del volumen de información aportado durante las diversas fases, la estrategia ha contemplado la configuración de cuatro dimensiones: estadística, descriptiva, evaluativa y prospectiva. 1. DIMENSIÓN ESTADÍSTICA Hace referencia al volumen de información cuantitativa procesada a propósito del desarrollo de las distintas fases sobre las categorías de observación. Si bien, de acuerdo con los criterios definidos para la estrategia, la información cuantitativa estará subordinada a los análisis cualitativos que se hagan desde el ámbito investigativo, ésta información estadística estará disponible para su utilización por parte de las distintas instancias administrativas o agentes educativos. Una característica importante de esta dimensión tiene que ver con la capacidad del subsistema de información para asimilar información de diversa procedencia, valga decir, de información adicional a la que se recupere como efecto del despliegue de la estrategia. Pruebas estandarizadas, censos educativos y en general, diverso tipo de estadísticas escolares que sean producidas en otras instituciones ya sea de orden nacional o departamental, podrán incluirse dentro del subsistema y contribuirán tanto al ámbito investigativo como al ámbito de las decisiones. De esta manera, la dimensión estadística es abierta y permitirá acumulación de diversidad de información, de tal manera que los análisis se enriquezcan y la toma de decisiones esté mejor justificada y argumentada. La dimensión estadística constituirá la historia en cifras de la educación en los municipios y el Departamento, historia que podrá ser ampliada permanentemente y utilizada, para distintos propósitos por las diversas administraciones. 2. DIMENSIÓN DESCRIPTIVA Más allá de las cifras, la estrategia pretende crear las condiciones para realizar un acercamiento de tipo cualitativo a la educación en los municipios. Parte importante de la comprensión de la educación municipal tiene que ver con la capacidad de la estrategia para realizar descripciones exhaustivas sobre las distintas categorías de observación. Con base en esta información, se confrontarán tanto los instrumentos como los resultados que arrojen, se irá enriqueciendo el componente conceptual, se



ofrecerá información cualitativa a los distintos agentes y actores educativos y se ofrecerán puntos de referencia para la interpretación de la información estadística. 3. DIMENSIÓN EVALUATIVA Más allá de los análisis de resultados de pruebas estandarizadas, la estrategia se ha dispuesto para posibilitar la realización de un balance riguroso y exhaustivo de la educación en cada uno de los municipios. Desde esta perspectiva, la dimensión evaluativa está constituida por los distintos análisis cualitativos y estadísticos aportados por el despliegue de las diversas fases de la estrategia. Como parte de esta dimensión, se dispondrá de información y análisis siempre distintos de acuerdo con el énfasis de cada una de las fases. Sin embargo, y tal como se señaló en relación con la dimensión estadística, se podrá a la vez ir consolidando información del mismo tipo y sobre las mismas categorías de tal forma que la evaluación podrá entenderse tanto en una perspectiva histórica como en una multiplicidad de miradas o énfasis acerca de la actualidad de la educación en cada municipio. De esta manera, la evaluación no solo se complejiza sino que adquiere una perspectiva a la vez panorámica y profunda sobre los distintos aspectos que involucran las categorías de observación definidas como parte de la conceptualización sobre la complejidad de la escuela. 4. DIMENSIÓN PROSPECTIVA Parte central del diseño de la estrategia tiene que ver con la capacidad de generar información y aportar distintos criterios para poder prever el comportamiento y transformación —a mediano y largo plazo— del sector educativo. Las distintas dimensiones y el trabajo alrededor de los diversos componentes de la estrategia, facilitarán a administradores, agentes educativos e investigadores, puntos de referencia tanto cualitativos como cuantitativos para poder vislumbrar el futuro comportamiento de los diferentes componentes del sector educativo a nivel municipal y/o departamental. Esta dimensión resulta fundamental para orientar la elaboración de los planes de desarrollo educativo en tanto ofrece tendencias y explicaciones cualitativas sobre las variaciones y desarrollo del sector. En este sentido, podríamos decir que la dimensión prospectiva tendrá como apoyo las dimensiones estadística, descriptiva y evaluativa, a la vez que contará, de manera particular, con una línea de base comparativa y con la historia cualitativa y cuantativa del sector en los distintos municipios: así, la proyección de lo que se quiere hacer contará con la información sobre lo que hay y sobre lo que se ha hecho; la proyección se asentará sobre el



pasado de la educación de tal forma que las administraciones podrán tener información para decidir entre lo que se quiere hacer y lo que es posible hacer según la trayectoria del sector en cada municipio y el departamento.



II.

CONTEXTO DE LA EVALUACIÓN EN COLOMBIA

A. ALGUNOS ANTECEDENTES 1. LA EVALUACIÓN MASIVA: INICIATIVA INTERNACIONAL En el panorama internacional, los resultados de la educación se relacionan cada vez más con los sistemas de evaluación de la calidad, particularmente con los “factores asociados”. Según el actual modelo [Peña, 1999:25], son insuficientes las maneras como se habían definido hasta hace poco los indicadores educativos. Aun que esta “nueva” manera de hacer las cosas —conocida como “evaluación de la calidad educativa”— se haya presentado en Colombia como una iniciativa nacional, no resulta de la maduración de tendencias evaluativas, pedagógicas o disciplinares en nuestro país. Más bien es una dinámica internacional, según se lee en Triana [1996:37-38]: La demanda de respuestas objetivas y fiables a las cuestiones suscitadas acerca del sistema educativo estadounidense favoreció la canalización de notables recursos económicos hacia las actividades de evaluación, produciendo como consecuencia un gran impacto sobre su desarrollo académico y profesional. La evaluación educativa experimentaría así un apreciable desarrollo a partir de finales de la década de los sesenta, cuya influencia se haría sentir progresivamente en otros países. En el marco de esta “influencia” se hacen ciertos requerimientos, avalados por quienes toman las decisiones en política educativa en Colombia, y por los agentes educativos que los incluyen en sus expectativas. Los siguientes hechos ejemplifican la relación de “nuestra” evaluación de la calidad con las tendencias internacionales: Al argumentar a favor de la creación de un sistema de evaluación, el MEN [1991:6] enumeró una serie de documentos que venían sugiriendo la evaluación de la calidad (algunos desde hacía 10 años); entre ellos se sitúan recomendaciones de la UNESCO y las condiciones de un contrato con el Banco Mundial; 8 años después, la justificación es parecida: Peña [1999:26] plantea que, de un lado, habría una necesidad de unificar información a escala nacional, dada la autonomía de los establecimientos educativos7; y, de otro lado, plantea que hay “nuevas

7 Lo mismo se dice en España: «Las escuelas pueden y deben hacer uso del creciente margen de autonomía de que disponen, organizando los procesos de enseñanza y aprendizaje en ese nuevo marco. Pero, a cambio, deben rendir cuentas de sus resultados a través de diversos mecanismos de evaluación. Es este un estilo de funcionamiento frecuente en las organizaciones productivas, que ha ido arraigando también entre



demandas” de información y de rendición de cuentas, formuladas por varios actores: «el usuario directo, que quiere saber qué pasa con sus hijos en la escuela [...]» (pese a que siempre fue así, a esa demanda no siempre se le ha respondido con un Sistema de Evaluación); «[...] el sector productivo y la sociedad en su conjunto, que necesitan información sobre lo que sucede en el sistema educativo, dados los vínculos entre la educación y el desarrollo social [...]» (algo que tampoco parece nuevo, aunque se hace difícil saber quién puede hacer demandas a nombre de “la sociedad en su conjunto”, el cual, entonces, contradiría el diagnóstico de que nuestra educación está divorciada del contexto); «[...] y el sector de los financiadores de la educación, cuyo interés tiene que ver con sus expectativas sobre los rendimientos de los recursos que se invierten en ésta» (esta es la única demanda verosímil, hecha por un demandante con nombre propio)8. Idénticas medidas de evaluación abundan en otros países, con propósitos, instrumentos e incluso nombres muy parecidos: SINECE en Colombia, SINEC en Argentina, SIMCE en Chile, Sistema Nacional de Evaluación en México... idéntico nombre que en Estados Unidos, Italia e Inglaterra [cf. Triana, 1996:39; Michel, 1996:29; Peña, 1999]. Y esto parece obvio cuando sabemos que, para la UNESCO [1992:art.4], «Que el incremento de las posibilidades de educación se traduzca en un desarrollo genuino del individuo y de la sociedad depende en definitiva de que los individuos aprendan verdaderamente como resultado de esas posibilidades, esto es, de que verdaderamente adquieran conocimientos útiles, capacidad de raciocinio, aptitudes y valores. [...] De ahí que sea necesario determinar niveles aceptables de adquisición de conocimientos mediante el aprendizaje en los planes de educación y aplicar sistemas mejorados de evaluación de los resultados». La Quinta Cumbre Iberoamericana de Jefes de Estado y de Gobierno (San Carlos de Bariloche, Argentina, Octubre de 1995), que tuvo como tema central «La educación como factor esencial del desarrollo económico y social», creó el Programa de evaluación de la calidad de la educación para todos los países de Iberoamérica. En marzo de 1997, el Comité Ejecutivo de dicho programa tuvo su primera reunión. Con esto queda considerado como iniciativa regional lo que ha sido una política internacional, consentida país por país. Incluso las asesorías ahora se prestan entre países (Colombia asesora a Bolivia, por ejemplo).

las administraciones públicas. Parece ser que la educación no constituye una excepción a lo que va siendo una regla cada vez más extendida en la gestión de los servicios públicos» [Triana, 1996:42]. 8 Lo de la “rendición” de cuentas y lo de las múltiples “demandas” sociales tampoco es nuestro; es el mismo lenguaje en todos los países [cf. Triana, 1996:43-44, 57]. Esta estrategia de asignarle demandas a los estamentos sociales es de utilidad para la imposición de los sistemas de evaluación sin necesidad de sacar de los enunciados la diferencia y los contextos: «No se puede hablar de sistemas educativos mejores o peores en términos absolutos, sino mejor o peor adaptados a sus circunstancias específicas y más o menos capaces de dar respuesta a las demandas que se le formulan» [:59].



El primer instrumento que se desarrolló en Colombia para evaluar la calidad de la educación en el área de lenguaje fue abandonado a favor de otro tipo de instrumento, pero la decisión no la tomaron los grupos de trabajo en el país, sino una comisión del Banco Mundial [cf. Bustamante y Jurado, 1993]. Colombia participa en procesos evaluativos internacionales: «El país no ha rehuído tampoco las evaluaciones internacionales. Fue así como participamos en una evaluación internacional, junto a otros 40 países, sobre la enseñanza y los aprendizajes en ciencias y en matemáticas. Sabíamos de antemano que no nos iría muy bien al principio, como se corroboró en los resultados. Pero era necesario afrontar los riesgos de compararse con países de alto desarrollo» [MEN, 1997b:7]. Se trataba del TIMSS [cf. Díaz, 1998], pruebas que pretenden estandarizar los procesos evaluativos a escala internacional9; por ejemplo, en el asunto del tiempo: considerándolo como asociado positivamente al desempeño (a más tiempo de estudio, mejores desempeños), se compara el tiempo que en los distintos países los niños permanecen en la escuela, cotejándolo a su vez con los desempeños promedio que cada país logra en las pruebas internacionales [cf. DNP, 1994 y 1999; MEN, 1996b; Fundación Social, 1998]. 2. REFERENTES DE LA POLÍTICA EDUCATIVA ANTES Y DESPUÉS DE LOS ’90 EN COLOMBIA En decenios anteriores, los principales referentes de la política educativa eran algunos indicadores de gestión y eficiencia. El DNP [cf., 1981] sólo se refería a cobertura, escolarización, número de docentes y eficiencia interna (o sea: retención, escolaridad, tiempo promedio de duración de los estudios, alumnos por profesor y costos). Las cifras de unos y otros no se “cruzaban” estadísticamente. En estos estudios, el examen de Estado era un parámetro importante, en relación con el desempeño de los estudiantes, para establecer la calidad de la educación. En la década del 90, este panorama cambia: los indicadores tradicionales se tornan «insuficientes para evaluar el desempeño de los sistemas educativos [...]. Dichos indicadores respondían al supuesto implícito de que dentro de la escuela se aprendía, supuesto que ha dejado de tener vigencia» [Toranzos, 1996: 65]. Por su parte, la UNESCO [1992:art.4] dice: «[...] la educación básica debe centrarse en las adquisiciones y los resultados efectivos del aprendizaje, en vez de prestar exclusivamente atención al hecho de matricularse, de participar de forma continuada en los programas de instrucción y de obtener el certificado final».

9 La International association for the evaluation of educational achievement promueve y realiza estudios internacionales de evaluación educativa desde la década del 60; entre los últimos está el TIMSS [cf. Triana, 1996:38; UNESCO, 1998:61].



3. CRUCE DE DESEMPEÑO Y FACTORES COMO REFERENTE DE LA POLÍTICA EDUCATIVA EN COLOMBIA Así, desde comienzos de los 90, en Colombia aparece cada vez más visible una política educativa que se diseña mencionando un apoyo en los resultados de la “investigación” que relaciona estadísticamente dos tipos de información: i) sobre el grado de acercamiento entre los desempeños de los estudiantes y los objetivos del sistema educativo10, y ii) sobre los factores que pueden asociarse a ese desempeño [MEN, 1992:9]. Que sea “estadísticamente” es algo propio de los paradigmas que rigen nuestra “cultura”: Michel [1996:23], hablando de la “conducción” de los sistemas educativos, sitúa cuatro grandes funciones informativas que la evaluación masiva satisfaría, entre las que está «la función estadística o de conocimiento». Después de tener los análisis de desempeño y de factores, se procede a “cruzar” estas dos variables; es decir, se buscan asociaciones con ayuda de la estadística. Para ello se requiere que la evaluación del desempeño haga una clasificación de los estudiantes, tras lo cual se procede a ver cómo están distribuídos los diversos desempeños de los estudiantes, en relación con un factor asociable cualquiera. Se buscan relaciones sistemáticas entre logro y factor, de tal manera que pueda hablarse de una asociación positiva o negativa. Se argumenta la necesidad de tener evidencia empírica (datos) de que los aspectos sobre los que se va a intervenir influyen consistentemente sobre el desempeño estudiantil; de lo contrario, podría desperdiciarse la inversión, por muy bien intencionada que sea. Por ejemplo, distribuir textos a las escuelas, capacitar a los profesores, dotar a las escuelas de infraestructura, disminuír el número de alumnos por docente, aumentar la jornada de estudio, disminuir la repitencia, etc. son acciones cuya efectividad debe “probarse”: lo que parece importante (capacitación docente) puede mostrarse ineficiente en las cifras, y lo que parece contraproducente (TV) puede mostrarse eficiente en las cifras. Por estas razones, son cada vez más comunes expresiones como la siguiente: Mejorar la calidad de la educación exige no sólo medir los resultados del logro escolar de los estudiantes sino recopilar información en torno a los procesos y recursos que contribuyen a generar dichos resultados. El conocimiento de la relación entre estos dos tipos de aspectos facilita la planificación y ejecución de acciones tendientes a la solución de los problemas en la calidad educativa [MEN, 1992:10].

10 Nótese la poca diferencia con el concepto tradicional de evaluación (particularmente, evaluación del rendimiento): confrontar objetivos y resultados. Para Triana [1996:51], aunque «ese nivel de generalidad en la respuesta resulta insuficiente», más adelante [:53] cae en él: «la valoración de tales resultados es tan importante como difícil. Es importante porque constituye la medida fundamental del éxito alcanzado por un sistema educativo determinado en relación con el logro de sus objetivos centrales».



Obsérvese la similitud de estos enunciados con la jerga a escala internacional (España, en el siguiente caso): «La primera de las funciones que desempeña la evaluación en relación con la mejora cualitativa de la enseñanza es precisamente la de proporcionar datos, análisis e interpretaciones válidas y fiables que permitan forjarse una idea precisa acerca del estado y situación del sistema educativo y de sus componentes» [Triana, 1996:46]. Y, más recientemente, el MEN [1997b:10] afirma: «invertir en sistemas de evaluación tiene sentido, sólo en la medida en que se publican sus resultados y se utilizan en la toma de decisiones y mejoramiento de la calidad [...]. Estas evaluaciones tratan de obtener información sobre el efecto de la acción del “Sistema Educativo” que sea útil para la determinación de políticas educativas». Y la similitud continúa: «además de aumentar la capacidad de comprensión de los fenómenos educativos, pretenden proporcionar una base lo más sólida posible para la toma de decisiones» [Triana, 1996:48]; o, como se afirma en la investigación hecha en Colombia sobre repitencia: «con este aporte investigativo, esperamos contribuir a la reflexión sobre el tema y al diseño de políticas y acciones [...]» [MEN, 1993c.:2]. 4. DESARROLLO PERSONAL Y SOCIAL, UN COMPONENTE FRACASADO Además de los factores asociables y de los desempeños de los estudiantes, también se ha querido evaluar una dimensión “no académica” del trabajo escolar, mediante pruebas “de desarrollo personal y social” que intentan «aproximarse a aquellos factores que el individuo requiere para su proceso de adaptación al contexto social, cultural y político del país, no incluidos en los programas curriculares de un área específica» [MEN, 1992:24]. La evaluación de esta dimensión —según reconoce el mismo MEN— ha tenido poco éxito, en un contexto en el que «Las pruebas de Desarrollo personal y social (no cognitivo) han tenido un carácter experimental y están en exploración en los países con sistemas de evaluación» [Peña, 1999:27]. ¿Por qué insistir, entonces, en este tipo de factor?: «para convertirse en instrumentos de conducción más eficaces, estas evaluaciones de masa y sobre muestra deberán centrarse progresivamente en los conocimientos no cognitivos adquiridos: competencias transversales, comportamientos, valores, aptitud para el trabajo en equipo, etc. En resumen, en lo que respecta al “curriculum oculto”, sobre el que se centran las principales expectativas de los empleadores» [Michel, 1996:28]. Formar para el trabajo, que está en la expectativa de los empleadores. Solamente en el DC evaluaciones de esa naturaleza se han considerado fiables y se han publicitado sus resultados.



5. COMIENZO EN COLOMBIA DE LA EVALUACIÓN MASIVA El Plan de Apertura Educativa (gobierno Gaviria [DNP, 1991:36]) resolvió evaluar la calidad mediante pruebas anuales; se tendría información sobre los mismos cursos (para comparar y establecer el destino de las inversiones), y sobre las cohortes (para verificar si sus desempeños habían o no mejorado, en función de las inversiones). Se harían pruebas de desempeño periódicas, primero en 3°, 5°, y luego en 7° y 9°, en las áreas de matemáticas y lenguaje. Posteriormente, abarcaría todas las áreas académicas en ambos niveles. Más adelante, ante el evidente vacío que el grado 11° representaba en esta serie, se pensó en por qué un examen de Estado modificado no culminaba todo el sistema; cosa que la Misión ciencia, educación y desarrollo sugirió —supuestamente como factor de mejoramiento de la calidad— y que hoy es un hecho. Se creó, entonces, el Sistema Nacional de Evaluación de la Calidad de la Educación [SINECE] en Colombia, desde comienzos de los 90, y ha venido llevando a cabo la llamada evaluación de la calidad. Con la idea de sistema, también se pretendía «recopilar, documentar, clasificar y almacenar instrumentos de evaluación que hayan sido utilizados por el propio Sistema de Evaluación o por otros sistemas nacionales o internacionales […] mantendrá un banco de ítems utilizados en diferentes pruebas y se encargará de su clasificación y análisis» [MEN, 1991:24]. A partir de 1998, la SED de Bogotá también ha liderado una evaluación de la calidad. 6. ACUERDO TOTAL DE LOS GOBIERNOS SUBSIGUIENTES En sus Planes Sectoriales, los distintos gobiernos asumen el asunto así: el Plan de apertura educativa (gobierno de Gaviria) decía que los resultados de la evaluación de la calidad «soportarán los programas de mejoramiento de la calidad de la educación básica» [DNP, 1991:36]; El salto educativo (gobierno de Samper) usa los resultados de la evaluación de la calidad que comenzaron en el anterior gobierno, habla de conocer el rendimiento en las áreas básicas del currículo, y agrega: «Especial énfasis se otorgará al análisis de los factores que explican el rendimiento de los estudiantes [...]» [DNP, 1994:25]; y, en consecuencia, plantea que las bases de la asignación de recursos serán este juicio sobre la calidad, y el establecimiento de la eficiencia [:27 y ss]; y el Plan educativo para la paz (gobierno de Pastrana) dice: «Los estudios de factores asociados constituyen un elemento fundamental en el diseño y evaluación de la política educativa» [DNP, 1999:11].



En esto no se ven diferencias entre gobiernos ni entre partidos: según el Plan de Pastrana, «para mantener informada a la comunidad educativa y a la ciudadanía sobre el estado y los cambios en los logros de los estudiantes en áreas fundamentales de la educación básica y de los factores del entorno personal, familiar, escolar y social de los estudiantes que contribuyen a que ellos obtengan altos o bajos logros se continuará con los esfuerzos adelantados para la evaluación de la calidad de la educación» [DNP, 1999:53]. Idéntica decisión entre los dos últimos gobiernos distritales del DC. 7. POLÍTICA FUNDAMENTADA EN LA EVALUACIÓN MASIVA O DECISIÓN POLÍTICA En el informe sobre los factores asociados en la evaluación de competencias básicas del DC [DNP, 1999] se plantea que: «A partir de la descentralización administrativa del sector educativo, y con base en los resultados de evaluaciones, nacionales e internacionales, que destacan la incidencia que tiene la escuela en el logro de los alumnos, surgió un nuevo enfoque que privilegia el papel de la gestión educativa, en particular, de la organización y el funcionamiento de la institución escolar en los resultados de la educación». Dos argumentos pretenden sustentar la idea del «nuevo enfoque que privilegia el papel de la gestión educativa»: a) la descentralización administrativa del sector educativo y b) los resultados de evaluaciones, nacionales e internacionales. El primer argumento es una decisión política (incluida en un conjunto de políticas más amplio); el segundo, en cambio, anuncia una conclusión sacada a partir de unos resultados de procesos encaminados a obtener información (particularmente, evaluaciones). Se postula el “nuevo” enfoque no como una política educativa, sino como una conclusión sacada de las evaluaciones. Sin embargo, los planes sectoriales suelen incluir las decisiones que luego se dicen desprender de las evaluaciones (Cf. en el DC). Si está tomada la decisión, la evaluación es una legitimación, y habría que estar alertas sobre la manera como se encuentra tal evidencia, ya que la investigación está obligada a encontrarla. El segundo argumento plantea que hay evaluaciones nacionales e internacionales que destacan la incidencia que tiene la escuela en el logro de los alumnos. Pero no es claro si todas las evaluaciones nacionales e internacionales destacan eso, o si algunas de ellas no han encontrado esa incidencia y, entonces, de éstas no se habla. La pregunta se fundamenta en el hecho de que excluir los estudios que no señalan en la dirección que se quiere orientar la política educativa es un procedimiento explícito en Colombia. Además, no todas las evaluaciones destacan la incidencia de la escuela en el logro: uno de los informes más recientes del MEN [1997:56] plantea que «el mayor número de factores de logro del estudiante se registra en el “estudiante y su hogar”». De manera que ante la falta de coincidencia de los estudios, la decisión es política.



8. UNA SUPUESTA NUEVA VISIÓN DEL PROCESO EDUCATIVO El DNP [1999] plantea que «de una visión centrada en el proceso de enseñanza-aprendizaje, como núcleo explicativo de la calidad de la educación, se ha pasado a una visión más sistémica, que enfatiza el contexto y a la gestión institucional [...]». Si la enseñanza-aprendizaje se ha considerado como explicativa es porque fue promovida como tal por algunos agentes educativos. El actual modelo considera que eso es equivocado, pero ni caracteriza la participación oficial en el anterior modelo, ni demuestra por qué aquella idea es equivocada. Por estas razones, no hay manera de saber que la conclusión de hoy también es falible, con el agravante de que en cada caso ha habido los instrumentos para demostrar la veracidad de lo que se quiere imponer. Por esto se invoca la autonomía institucional, entendida como la responsabilidad sobre los resultados de la acción educativa que las pruebas miden. Pero, aún así, el mismo documento agrega: «si bien la autonomía de los establecimientos se postula como mecanismo para mejorar la calidad de la educación, los riesgos de atomización y dispersión que tiene este esquema institucional, deben ser contrarrestados por la instancia superior de regulación». O sea que, al lado de la autonomía, hay un nivel de heteronomía explícito: la instancia superior de regulación, la cual tiene como función contrarrestar ciertos efectos de la autonomía, suponemos que mediante la evaluación masiva. Es éste un discurso internacional: según CEPAL-UNESCO, si no se compensan las desigualdades iniciales, «la autonomía dará como resultado una mayor atomización y segmentación del sistema y en consecuencia, una mayor inequidad por el aumento de las diferencias en calidad, reforzando la correspondencia entre desigualdad social y desigualdad educativa». Esta cita tiene la virtud de señalar que las desigualdades educativas y sociales tienen relación, que —pensamos— no es de “correspondencia”, como dice la cita, sino de causalidad [Cf. Tort, 1979].



B. COMPONENTE DE EVALUACIÓN DEL DESEMPEÑO 1. EL OBJETO ESCOGIDO PARA EVALUAR EL DESEMPEÑO En relación con el objeto de evaluación, no da lo mismo hablar de “desempeño”, “logro cognitivo” o “académico”, “competencias”, pero esos términos han terminado utilizándose como sinónimos, con la connotación que esté en boga.. Durante la historia de la evaluación de la calidad de la educación en Colombia, estos términos cobraron una diferencia sustancial, que hoy prevalece en la decisión de evaluar “competencias básicas”: se trataba de la opción entre evaluar contenidos curriculares (lo que se conocía como “logros”), o evaluar con arreglo a las transformaciones curriculares que habían tenido lugar con ocasión de la renovación curricular —y que perduraron bajo la nueva legislación educativa— y que habían desplazado el énfasis de los contenidos a las habilidades. Ante el absurdo de preguntar sobre contenidos que los niños no habían visto, en Colombia se respondió a la exigencia de evaluar logros con la propuesta de evaluar competencias. Pero cuando se han estandarizado datos provenientes de evaluaciones con categorías de competencias (se hizo cuando el instituto SER analizó para el MEN los datos de la evaluación de la calidad en el país, y se hace ahora cuando el DNP analiza para la SED los datos de la evaluación de competencias básicas) se lo ha hecho sobre la base de la indiferenciación entre competencias y logros, siendo que para quienes diseñan las pruebas de competencias esa diferencia es fundamental. 2. POR QUÉ NO EL EXAMEN DE ESTADO EN LA EVALUACIÓN DE LA CALIDAD Para conocer el desempeño, en la evaluación de la calidad se diseñan pruebas específicas; no se utiliza el examen de Estado, porque se hacen aplicaciones a lo largo de toda la educación básica, cubrimiento que no tiene aquél, por ser una prueba de selección. Otra justificación se hizo con el nacimiento del SINECE: se dijo que ese examen establece la posición de quien presenta una prueba frente al resto de personas que también la presenta (es el análisis con arreglo a la norma que regularmente se ha hecho en el SNP del ICFES); mientras que evaluar la calidad educativa requiere establecer la posición de quien presenta la prueba en relación con un saber estratificado (es el análisis denominado con arreglo a criterio, sobre el cual el ICFES reconocía, a principios de la década del 90, no tener experiencia). De ahí que la evaluación de la calidad argumente a favor de una indagación de “logro cognitivo” y no de “desempeño”, a favor de pruebas con referencia a criterio y no a la norma: Estas “pruebas con referencia a criterio” se diseñan dentro de una evaluación que da significado al nivel obtenido por cada estudiante, con referencia a qué ha aprendido, qué ha aprovechado, qué ha logrado en su experiencia educativa, en nuestro caso, en



las áreas de matemáticas y lenguaje. En cambio, en las pruebas conocidas como de referencia a la “norma”, utilizadas fundamentalmente con fines de selección, como sucede en el examen de Estado para ingreso a la educación superior, los resultados de cada estudiante, al compararse con los de los otros estudiantes, se interpretan o expresan, en función del rendimiento promedio del grupo y de las diferencias individuales [MEN, 1997b:11]. De esta manera, y en consecuencia con la diferencia entre interpretación con arreglo a la norma e interpretación con arreglo a criterio, el SINECE produjo pruebas para ubicar a los estudiantes en relación con unos niveles de logro —establecidos mediante teorías explícitas sobre el desarrollo del conocimiento en las áreas básicas—. Y, por su parte, la Ley 115 (artículo 80) vuelve norma el Sistema de evaluación —después de varios años de consolidación— que tenía otra posición frente al examen de Estado entonces vigente. 3. A VECES SÍ EL EXAMEN DE ESTADO La idea de que el examen de Estado no servía para medir la calidad de la educación y, en consecuencia, que no servía como base para tomar las decisiones en política educativa, a veces parece no haber trascendido más allá de los equipos técnicos que desarrollaron las evaluaciones. Esto ha facilitado que, con la misma naturalidad, en algunos momentos se lo deseche y en otros se lo retome para ponerlo en función de la calidad, tal como se ve en los siguientes casos: al mismo tiempo que el SINECE diseñaba sus pruebas por oposición al examen de Estado, éste servía como instrumento para establecer los desempeños con los que se mediría la incidencia del programa PACES en la calidad de la educación secundaria. En la Ley 115, el artículo 99 premia a los mejores estudiantes en la prueba de Estado (es decir, el legislador cree que el examen de Estado mide el desempeño de los estudiantes, mide la calidad). El plan para el sector educativo del gobierno de Pastrana informa sobre la calidad de la educación con ayuda del examen de Estado: «Los resultados en materia educativa para la educación media son igualmente preocupantes. Al analizar los resultados obtenidos por los bachilleres colombianos en los exámenes de Estado del ICFES se puede apreciar un deterioro progresivo de la calidad de la educación» [DNP, 1999:9]; las cifras del examen de Estado comparadas son las que van de 1986 a 1995 [:10], es decir, que abarca 5 años de implementación del SINECE, el cual rechazó dicha prueba como indicio de calidad.



4. LO IMPORTANTE ES LA CLASIFICACIÓN DEL DESEMPEÑO Si el examen de Estado sirve para medir calidad, ¿por qué se lo cambió? Resulta paradójico que se lo transforme justamente a causa de sus limitaciones para hablar de los desempeños, y bajo el modelo de la evaluación de la calidad, es decir, hacia el concepto de competencias, que fue el que se impuso como objeto de evaluación en el SINECE desde el comienzo. Que la propiedad, que a veces se le reconoce, de medir la calidad sea independiente del hecho de que esta información sirva para dar acceso a la universidad o para “diagnosticar” la educación, muestra que al modelo de evaluación le interesa es una clasificación del desempeño, independientemente de la manera que se use para obtenerla. Por eso, pueden hacerse las pruebas de una manera y los análisis de otra: «El instituto SER se refiere a desempeño y a rendimiento escolar porque ajustó los resultados de logro suministrados por el ICFES a una escala que permitiera la aplicación del modelo multicorrelacional que utilizó» [MEN, 1997b:29]; lo que queda aclarado más adelante: «La transformación de los resultados de “logro cognitivo” (suministrados por el ICFES en escalas de naturaleza categórica ordenada) a puntajes teniendo en cuenta el número de preguntas totales correctas y obviando el nivel al que corresponde cada pregunta» [:39]. Igual ocurre en el DC: a la hora de cruzar los desempeños con factores asociables, se promedia el rendimiento sobre escalas estandarizadas [DNP, 1999]. 5. LAS PRUEBAS DE DESEMPEÑO NO HAN SIDO EQUIVALENTES En atención a que las pruebas de desempeño en la evaluación de la calidad han sido un reciente objeto de investigación, no han mantenido una misma conceptualización a lo largo del proceso: la investigación del desempeño no sabe todavía cómo son los procesos de conocimiento en las diversas áreas (sobre todo el asunto de los niveles de acceso al conocimiento). Por esta razón, sus resultados son hasta cierto punto incomparables. Sin embargo, no sólo se utilizan para hablar supuestamente de la misma educación, de la misma población, sino que a veces se comparan entre sí... incluso reconociendo a renglón seguido que «estas pruebas no se han estabilizado de manera que permitan hacer comparaciones en el tiempo de factores identificados como estratégicos para el mejoramiento de la calidad. El sistema de evaluación de la calidad de la educación es aun débil y no está articulado al diseño de la política educativa» [DNP, 1999]. A veces resultan incompatibles los objetos de evaluación entre pruebas de la misma área. Por ejemplo, la primera prueba de lenguaje para grado 3° utilizaba ejercicios de “completación”, de “pluralización”, etc.; el objeto de evaluación era: «el manejo de los aspectos formales de la lengua y la adquisición de las habilidades necesarias (hablar, escuchar, leer y escribir) para comunicarse» [MEN, 1993b:10]. En cambio,



las pruebas que se hicieron después para el mismo grado, y simultáneamente para 5°, no tienen este tipo de tareas; preguntan por la representación conceptual [cf. Baena, 1976], por lo que de la información dada se pueda inferir, y por las posiciones asumida frente a ella; en este caso, el objeto de evaluación fue la competencia comunicativa. Como teóricamente estos objetos de evaluación no son equivalentes [cf. Widdowson, 1983], las pruebas no hablan de lo mismo… pero se han comparado sus cifras. Este escollo es apenas uno entre los que ya son inherentes a la psicometría: la misma prueba, interpretada con categorizaciones diferentes, arroja resultados distintos [Bustamante-Díaz, 2000]; el orden de presentar idénticas preguntas puede variar los resultados [Oliverio, 1998]; etc. Entonces, como distintas pruebas o interpretaciones promueven a la existencia distintos objetos y perfiles de estudiante, no se justifican las comparaciones ni las políticas educativas que dicen basarse en una información que es obtenida cada vez de formas tan diferentes. En lugar de mencionar las condiciones bajo las que se obtuvo la información y, en consecuencia, las limitaciones que tienen las conclusiones, se usa esta especificidad de la decisión en relación con la discusión, justamente para no dar lugar a que se discuta. 6. ¿POR QUÉ ESOS CURSOS Y NO OTROS? En ningún caso, la escogencia de los cursos a evaluar constituye algo evidente desde una lógica del desarrollo del niño o desde una lógica curricular. Pero, en cualquier caso, se estaría diciendo que algo hay en esos “momentos claves” que se resiste a las políticas educativas, pues con regímenes tan distintos como la Renovación curricular y la Ley General de Educación, permanecerían intactos. Sea lo que fuere, este factor —que produce “momentos claves” y, lógicamente, “momentos no-claves”— no está incluido entre los asociados al desempeño que enuncian los documentos. Es decir, no se demuestra que aquellos cursos que se evalúan sean importantes (las razones por las cuales se evalúan esos y no otros), pero sí se concluye con esa base sobre la intervención oportuna que permite la información así obtenida... Tal procedimiento ayuda muy poco a entender la lógica de las evaluaciones y sus funciones, y menos la lógica del “acceso al conocimiento”. 7. PRUEBAS MUESTRALES O CENSALES Dada la magnitud (social y económica) del esfuerzo invertido en evaluaciones censales, vale la pena preguntar por la participación de una entidad territorial dentro de la evaluación muestral de la calidad educativa a escala nacional: si su participación en esa muestra es válida, ¿para qué disponer de una evaluación censal? Y, si no es válida, ¿por qué se incluye en la evaluación muestral de la calidad desde



hace 10 años? (como en el caso del DC). Si la muestral es válida, la censal es redundante. Si la censal es válida, la muestral no sirve. O sea, en cualquier caso, se están desperdiciando esfuerzos y dinero. 8. ¿SISTEMA (EVALUACIÓN) O INVESTIGACIÓN? Esto plantea una tensión: o permanencia de las pruebas y, en consecuencia, comparabilidad de las cifras (es decir, sistema), o transformación de los mecanismos de indagación de lo que los niños saben (es decir, investigación) y, en consecuencia, de un lado —para quienes se mantengan en ese tipo de indagación—, cifras con distintos grados de “incomparabilidad” que ninguna prueba, por “buena” que sea, eliminaría; y, de otro lado, indagaciones desde múltiples perspectivas. En este momento se procede como si hubiera certeza y por eso se habla de la educación y de los niños, y se toman medidas; pero podría tenerse incertidumbre y hablar del aprendizaje que el país ha ido teniendo, de la distancia, tanto con los procesos cognitivos de los niños, como con los fenómenos educativos, con lo que se tomarían medidas modestas11, que explicitan sus condiciones de posibilidad, que hacen historia y que se reconocen como limitadas; en tal sentido, Michel [1996:18] plantea: «la complejidad [...] puede conducir, en la esfera educativa, a la prudencia en las recomendaciones y a orientaciones estratégicas que privilegien acciones de mayor duración y a experimentos, antes que a intempestivas reformas basadas en análisis apresurados o parciales»; más adelante dice: «la conciencia de la complejidad del sistema educativo ha de llevar a renunciar a esquemas demasiado centralizados y simplistas de conducción y a tener mucho más en cuenta quiénes son las fuerzas en presencia» [:33, destacado del autor]. Estas recomendaciones, hechas por quienes están de acuerdo con la manera de justificar la política educativa, no han sido tenidas en cuenta en Colombia por las personas que comparten esos mismos propósitos. A continuación esquematizamos la diferencia entre lo detectado y lo que se propone: 11 Triana [1996:60] coincide, a su manera, en la idea de la modestia: no intentar cubrirlo todo, no hacer sistemas muy sofisticados ni complejos, no generar amplia contestación. Pero, como se ve en sus criterios, podría tratarse de una renuncia a la investigación y de una evitación del conflicto social.



PERSPECTIVA INVESTIGATIVA IMPOSICIÓN DE CIERTA POLÍTICA

EDUCATIVA Concertar un sistema de evaluación Imponer un sistema de evaluación Partir de cierta incertidumbre Partir de certezas Enunciar con cierta reticencia Enunciar como dueño de la verdad Buscar como resultado de que existen preguntas

Tener resultados antes de las búsquedas

Soportar una modesta y abierta política educativa

Institucionalizar una política educativa



C. COMPONENTE DE FACTORES ASOCIADOS 1. LOS FACTORES ASOCIADOS, MENCIÓN OBLIGATORIA Las menciones a los factores asociables comienzan a ser obligatorias: «Un sistema evaluativo que realmente pretenda tener impacto en la educación, no debe prescindir de la medición de tales factores ni de su relación con los resultados de logro académico, para poder así llevar a cabo una búsqueda de soluciones pertinentes y diferenciadas» [MEN, 1992:25]. Se considera necesario justificar en qué se invertirá el dinero, y se plantea la “investigación” estadística como la única manera de hacerlo: «factor (de), en general, es todo aquello que produce un efecto (en) si puede verificarse empíricamente y que, al utilizar un modelo estadístico para identificar los factores (de), se busca una explicación de carácter probabilístico» [MEN, 1997b:28]. Cualquier otro tipo de investigación, como se ve, queda descartada... y eso que propiamente hablando en lo que nos ocupa no hay “investigación estadística”, sino investigación que utiliza la estadística. 2. VARIABILIDAD DE LOS INSTRUMENTOS DE FACTORES ASOCIADOS Entre los factores asociables sobre los que se ha indagado durante la década del 90 y en estos primeros años del nuevo siglo, se han venido incluyendo aquellos indicadores tradicionales que se utilizaban en décadas anteriores, pero también una serie de aspectos que, sin embargo, varía de una aplicación a otra, aparentemente de manera inconsistente. A lo largo del proceso, los instrumentos de factores asociables muestran características como las siguientes: número muy variable de factores: el primer cuestionario de factores asociables para estudiantes que aplicó el SINECE tenía 41 preguntas; el segundo tenía 72 (con muchas más opciones cada ítem); el que aplicó la evaluación de impacto del PUEBP tenía 11; ajuste de los instrumentos a los recursos económicos disponibles para el estudio, y a la política educativa: «De estas variables descartadas se exceptuaron aquellas que presentaban especial importancia en relación con el diseño de políticas educativas» [MEN, 1992:55]; falta de relaciones entre los factores indagados; esto muestra la ausencia de una teoría que organice y, en consecuencia, lo que se presentan son listados de factores que presuponen que todas las variables están en interacción al mismo nivel. excluyentes entre sí, incluso a la hora de indagar el mismo aspecto, lo que confirma la carencia de una teoría explícita que organice la indagación;



copia de otras indagaciones, poco o nada explicitadas, cuyas condiciones de realización pueden diferir radicalmente; exclusión de ciertos factores que podrían ser fundamentales, pero que tocan a las instancias que determinan la realización de las evaluaciones: «Como parte de un sistema global juegan un papel muy importante en el proceso: la nación, las entidades territoriales y las entidades locales» [MEN, 1997b:42], pero, aclaran entre paréntesis: ese aspecto no forma parte del estudio. De ahí que las características de los diversos listados difiera de manera notable. Esto implica que a la fecha no se disponga de una historia del proceso: ni una “línea base” de factores asociables de la educación en el país, ni una teoría para su investigación; sin embargo, los estudios existentes se mencionan para hacer comparaciones, para tomar decisiones... De nuevo, aparece la tensión: sistema o investigación, aclarando que el sistema legaliza una política educativa no del todo legítima. 3. LOS TEXTOS, EJEMPLO DE LA HETEROGENEIDAD EN LA MANERA DE PREGUNTAR Veamos cómo se pregunta sobre el material impreso disponible en la casa, como factor asociable al desempeño de estudiantes de grado 3°:

SINECE, 1992:

10. En tu casa, lees libros distintos de los textos escolares: Muchas veces? Rara vez? Nunca?

MEN, 1997ª:

5. ¿Cuántos libros hay en tu casa? (No incluyas las revistas ni los periódicos) Solamente los textos escolares Los textos escolares y menos de 10 libros Los textos escolares y más de 10 y menos de 50 Los textos escolares y más de 50 libros

Evaluación censal D. C., 1998:

20. Para ayudarte a hacer las tareas en tu casa tienes: Enciclopedia (sí-no) Libros de literatura o cuentos (sí-no) Diccionario (sí-no) Otros libros (sí-no)

Como puede verse, hay más de una concepción sobre el material impreso:



En la evaluación de impacto y en la evaluación del SINECE, se hace una

diferencia, que la evaluación censal no hace, entre “texto escolar” y “libros”.

La segunda hace una jerarquización, que la tercera no hace, entre materiales impresos, pues solicita excluir revistas y periódicos (la primera tiene una pregunta sobre los periódicos que se refiere a la frecuencia de lectura de tal material en la casa del niño, no por parte del niño).

La primera y la segunda indagan desde cierta “unanimidad” del material

impreso; a la tercera, le interesa la diversidad de textos.

La segunda interroga por la tenencia de los libros, la tercera indaga por una de las posibilidades de su uso, y la primera por la frecuencia de lectura.

Preguntas como éstas no serían suficientes para justificar políticas a favor de determinado tipo de texto; a lo sumo, a favor de la importancia del material escrito —cosa evidente—, cuyas diferencias y cuya utilización no se exploran en la evaluación [cf. Jurado y Bustamante, 1994], asunto que, paradójicamente, sí resulta prioritario para el Banco Mundial: «No conocemos las condiciones exactas bajo las cuales se producen los efectos de los libros de texto […] Sería de utilidad que se realizaran esfuerzos para obtener más información a este respecto» [Heyneman et al., 1991:134]. 4. CRITERIOS TÉCNICOS, NO ACADÉMICOS, PARA ELEGIR EL OBJETO DE EVALUACIÓN No parece haber claridad ni obrarse en consecuencia con lo que se define como objeto de evaluación. Veamos, por ejemplo, las siguientes declaraciones [MEN, 1997b:19]: podríamos explorar sobre los “determinantes” del conocimiento concernientes a la estructura cognitiva del sujeto e irnos por una vía de investigación experimental que resultaría adecuada para propuestas de investigación universitaria en escuelas de postgrado. Podríamos por supuesto, explorar los factores de transformación y desarrollo del conocimiento, lo que nos llevaría a una historia del conocimiento científico. Así que lo más adecuado para los propósitos de la evaluación de la calidad educativa, a nivel global, es asumir que los hechos que la afectan se dan en el contexto escolar, comunitario, cultural..., y mediando o “desencadenando” los logros cognitivos. En otras palabras, no se hace la investigación que propiamente tendría lugar, la científica, sino una más asequible, más comprensible por los miembros de la



comunidad educativa (de antemano considerados incapaces de comprender cierto tipo de investigación) y por quienes toman decisiones de política educativa. La “adecuación” no es a principios epistemológicos, es a “los propósitos de la evaluación de la calidad”; es decir, una tautología: los objetivos de la evaluación de la calidad están determinados por los propósitos de la evaluación de la calidad. No se desecha teóricamente la opción de que el desempeño tenga que ver fundamentalmente con la estructura cognitiva del sujeto, con la transformación y desarrollo del conocimiento, pero se toma una decisión política: se va a evaluar el desempeño de los estudiantes como si tuviera que ver principalmente con los contextos escolar, comunitario, cultural. Pero, ¿y si lo desechado fuera cierto, al menos parcialmente? No se obra de esa manera porque estamos en Colombia; desde España se dice: «La evaluación es conceptual y empíricamente difícil, por eso desplaza la valoración de los resultados deseables a los efectivamente medibles» [Triana, 1996:53]; y desde Francia: «En este campo resulta preciso realizar un esfuerzo especial de conceptualización para construir algunos indicadores susceptibles de iluminar las decisiones a adoptar y los términos de un consenso social» [Michel, 1996:30]. Entonces, no se trata de conocer los factores asociados, sino de producir los factores en función de las “decisiones a adoptar” (es decir, los factores anteceden a la búsqueda) y en función del “consenso social” (no es que nos consulten a todos, sino que existen los conflictos sociales y se trataría de no exacerbarlos). 5. NATURALEZA DE LA INFORMACIÓN OBTENIDA De ahí que las informaciones:

tengan que estar en «un idioma común...» [Michel, 1996:23]12; es decir, sin problematización conceptual, que es la única forma de hacer consensos e “idiomas comunes”.

«... para poder ser agregadas y comparables»; es decir, la comparabilidad no

depende de la consistencia de la información, sino de su “reducción” a una nomenclatura de validez universal: transcultural, transcontextual; es decir, para que haya tal grado de validez, tal posibilidad de comparación con culturas y contextos diversos, debió ocurrir una reducción epistémica al mundo de la medida, una homogenización de procesos heterogéneos.

Además, «estas informaciones, en la medida de lo posible, deberán estar

cuantificadas...»; es decir, no se trata realmente de un “idioma común”, sino del idioma que que se quiere promover: los números; no obstante, como no

12 En todos los casos, los destacados son del autor.



todo conocimiento es reductible a cifras, esta declaración opta por cierto tipo de “conocimiento” y de “investigación”.

«... y ser puestas a disposición rápidamente»; es decir, estamos bajo la égida

de las leyes del mercado —que hacen todo perecedero—, no bajo la especificidad de lo educativo, que tal vez no podría reducirse a la categoría de “producto desechable”. Se trata de buscar una actuación «en tiempo real» [:24]: que los resultados de las evaluaciones no lleguen cuando las condiciones hayan cambiado, sino que constituyan una fotografía del aquí y el ahora para poder incidir en la educación real; es decir, se trata de la ilusión referencial de los mass media: lo que se transmite en directo es conocimiento “en tiempo real”, considerando la inmediatez como sinónimo de estatuto científico; como los enunciados de los medios no se juzgan verdaderos o falsos, sino verosímiles o inverosímiles, la impresión de objetividad que causa la transmisión en directo es un efecto de sentido;

Del hecho de que las necesidades de información sean «inmensas y muy

diversas en todos los niveles de responsabilidad» [:23], «deriva el problema de escoger las informaciones más pertinentes en función de una jerarquía de las necesidades, puesto que una abundancia excesiva de datos sería fuente de ineficacia» [:24]; es decir, la política impone una manera de hacer las cosas que implica obtención de información (los sistemas de evaluación masiva) y después se refiere a esos montos de información como un problema en el que la política no tiene responsabilidad, pero sabe que es fuente de ineficacia, cosa que ella ataca, porque está para eso; el criterio, entonces, es escoger la información más pertinente (lo que quiere decir que el sistema reconoce que produce información impertinente), salvo que la pertinencia, de nuevo, no está en función de los conceptos (que es como la nueva política se presenta a sí misma: técnica, no política), sino de la jerarquía de las necesidades... salvo que las necesidades cambian de acuerdo con el modelo.

«la información también ha de ser fiable, lo que implica protocolos de acceso

estrictos y procedimientos de control de la calidad de los datos» [:23]; es decir, de nuevo aparece el criterio técnico, cuando los términos de consenso y de necesidad los han excluído; en todo caso, se trata de “protocolos estrictos”, es decir, de acceso denegado para los que participan del consenso.

«Todas estas características explican el desarrollo de la informática en el seno

de la Educación Nacional y la creación de nuevos sistemas de información» [:24]; es decir, la causa se pone después como solución: se impone una manera de hacer las cosas que requiere la informática (por ejemplo, que las pruebas deban ser masivas, para que el procesamiento de los datos sea



imposible hacerlo manualmente) y después se la pone como algo que nos ayuda, que nos saca del problema.

En definitiva, «Se trata, pues, de construir un conjunto de indicadores que

den una medida sintética, y por ello aproximativa, de los costes, de la actividad y de los resultados del sistema educativo. Este conjunto constituye, en definitiva, un esbozo de “modelo” del sistema, con una finalidad más operativa que explicativa» [:24]… Que la finalidad sea “más operativa que explicativa” borra toda pretensión de cientificidad expuesta antes.

6. POSICIÓN EN LA QUE PONE LA EVALUACIÓN MASIVA A LA COMUNIDAD EDUCATIVA En la presentación al documento del MEN [1997b] que publica los resultados de la aplicación de instrumentos de “factores asociados” a estudiantes de 3°, 5° entre 1993 y 1995, el entonces ministro de educación habla de los “factores asociados al logro” como un tema de suma importancia «cuyo análisis permitirá a la comunidad educativa y a las autoridades locales y nacionales introducir innovaciones pedagógicas, curriculares, de materiales educativos o de políticas de apoyo, tanto en educación como en otros asuntos, para que el esfuerzo del maestro y del alumno conduzca de una manera más segura a una educación de calidad para todos» [:7]. Es decir, los propios agentes del proceso educativo no pueden pensar, investigar, decidir ni innovar por su propia cuenta, deben esperar a que los “expertos” apliquen sus instrumentos y les digan qué hacer13. Esa pretensión es consistente con el cuerpo del documento: cuando se promete dar cuenta de los enfoques para evaluar las áreas (matemáticas y lenguaje), se pretende «preparar al lector para la mirada e interpretación de los resultados que se presentan» [:10]. No es para discutir los datos, pues éstos están por fuera de toda duda, es para poner a los no preparados a tono con el lenguaje de los expertos (y eso que el documento en mención es un resumen en 67 páginas de una investigación que tiene 6 tomos). Pero no es esta una posición esporádica, accidental; es una perspectiva que le da razón a la “evaluación de la calidad”. En el DC se encuentra lo mismo: el objetivo de las pruebas es permitir «que cada institución reciba información sobre el desempeño de sus alumnos, con el fin de que pueda orientar sus planes de mejoramiento». Sin embargo, la idea de autonomía supone que las instituciones saben sobre sus desempeños, mientras que, según este objetivo asignado a la evaluación masiva, las instituciones, por sí mismas, nada saben de sus desempeños; si quieren saber sobre ello, deben recibir. Es una clasificación comprensible: si la evaluación decisoria (en este caso la masiva) se pone cada vez en manos de instancias meta-institucionales, a las instituciones educativas sólo les queda enseñar (cualquiera que sea la

13 No se entiende, en consecuencia, por qué la política no es volver expertos a los maestros.



concepción), y si quieren saber sobre la calidad de lo que hacen, deben esperar a que aquellas instancias meta-institucionales se lo informen. Y la idea de que, una vez recibida la información, las instituciones podrán orientar sus planes de mejoramiento, está en la misma tónica de la anterior: sin la información provista por la evaluación, las instituciones no tienen idea de cómo mejorar. Pero además postula, antes de aplicar los instrumentos, que la educación está mal; de donde cabe interrogar o bien unos instrumentos que están destinados a corroborar lo que ya se sabe, o bien una presuposición sin fundamento (a no ser que con ello se dé fe de otras evaluaciones, lo que requiere una explicitación de la validez de aquellas fuentes en las que se basa la hipótesis de entrada, y una justificación de la necesidad de hacer nuevas indagaciones para comprobar lo mismo). De otro lado, esta idea postula una nueva instancia institucional, más allá del PEI establecido por la Ley: los “planes de mejoramiento”. Lo curioso es que esta instancia corresponde a la postulada en las medidas de atención a las instituciones más necesitadas. ¿Por qué no, en lugar de planes de mejoramiento, Proyecto Educativo Institucional? Creemos que la razón es clara: vía el PEI, es forzoso respetar la manera particular como la comunidad educativa concibe sus funciones y sus acciones (y, entonces, no necesariamente habría “mala calidad”); mientras que vía “planes de mejoramiento”, se trata de todos iguales frente a los resultados de la evaluación, se trata de aceptar un juicio de otro que, además, califica de mala la propia iniciativa, la que se ha exigido desarrollar. 7. PRAGMÁTICA DE LA EVALUACIÓN Los instrumentos están constituídos por un conjunto de enunciados ante los cuales quienes responden se posicionan en forma diversa [Velásquez, 1995]: por ejemplo, preguntarse qué querrá el otro y, en consecuencia, responder sobre la base de esa expectativa. Esta pragmática de la evaluación [Caicedo y Bustamante, 1998] se deduce de una propiedad de la comunicación; no obstante, la nueva política educativa necesita hacer evaluaciones masivas para averiguarlo: «A menudo se tiene la sensación de que se contesta en los cuestionarios lo que los sujetos creen que debe ser respondido» [Cabrera, 1999:82]. Lo cual, como el mismo Cabrera afirma [:82], le resta credibilidad a los procesos de evaluación. Pero las muchas otras actitudes que son posibles (entre ellas está la “ideal” presupuesta por los instrumentos: responder como si el encuestador tuviera necesidad real de esa información y como si sus intenciones estuvieran claras a lo largo del cuestionario) no van a ser tenidas en cuenta, pues, para efectos de la “investigación” estadística, las posiciones frente al evaluador se consideran homogéneas (de lo contrario, la información obtenida con el instrumento no sería confiable [cf. Simiand, 1994]). Sin embargo, desde otro punto de vista, es posible pensar que esas posiciones son determinantes: lo que se “mide” es la capacidad del encuestado para enfrentar la pragmática del instrumento.



Los formularios de factores asociables siempre van encabezados con algún nombre como MEN, SINECE, SNP, SED, etc. Quien diligencia el formulario puede pensar que estos organismos tienen una relación con el asunto de la calidad educativa y, en consecuencia, que todo lo dicho en el instrumento apunta a eso. El que contesta puede creer que contribuye a la preocupación por la calidad de la educación, pues, además, lo interpelan como individuo: en todos los instrumentos se pide a los estudiantes identificarse. Sin embargo, en realidad el instrumento sólo necesita del sujeto una marca que permita sacar diversos tipos de conclusiones producto del “cruce de información” (perfectamente podría pedírsele una identificación aleatoria pero que se mantuviera sistemáticamente en todo el sistema); y, por otra parte, el efecto del diligenciamiento del formulario es en contra de la individualidad apelada: con él se obtendrá una estandarización de la población, una identificación de muchas personas sobre la base de los rasgos que el sistema de información hace aparecer como comunes, no sobre la base de sus rasgos específicos, sino a la escala en que se quiere mirar, como se expresa en la siguiente manera de expresar los resultados: «Los alumnos de los grados tercero y quinto de la educación básica primaria no muestran, en su mayoría, logros que reflejen el nivel educativo en el que están ubicados» [MEN, 1992:97].



D. CÓMO SE ENCUENTRAN LAS ASOCIACIONES 1. EQUIPOS INDEPENDIENTES Fiel al principio psicométrico de asegurar la validez vía “expertos” —principio que ameritaría una discusión epistemológica—, los aspectos cuya asociación se busca en la evaluación de la calidad son tratados independientemente, incluso por equipos distintos. Lo dice explícitamente el ICFES [1996:5]: En el desarrollo de este trabajo, que se inicia antes de la expedición de la Ley General de Educación, participaron paralelamente tres entidades: el MEN, el Instituto SER de Investigación y el SNP, con la condición de llevarlo a cabo en muy corto tiempo. Esto último originó que las instituciones trabajaran separadamente y que, incluso en su interior, hubiera poca comunicación. Sin embargo, cuando ha habido tiempo, tampoco se han relacionado los trabajos. El “análisis” puede ser desarrollado por una instancia que incluso sea ajena a aquellas que desarrollaron cada instrumento. Es el caso del estudio sobre repitencia en Colombia: «la parte cuantitativa del estudio se centró en el análisis estadístico de las respuestas a las preguntas cerradas de las entrevistas y en los resultados de las pruebas de logro académico. Dicho análisis fue adelantado por el equipo de Harvard Institute for International Development» [MEN, 1993c:7]. También es el caso de la evaluación de impacto del PUEBP: la muestra, cada prueba (matemáticas-ciencias, valores-actitudes infantiles, lenguaje, gestión, costo-efectividad), y el análisis “multivariado” fueron hechos por equipos distintos, sin articulación conceptual. Ahora, si cada instancia introduce una concepción no explícita, esto determina el tipo de interpretación. Entonces, las decisiones revelan la idea de que los instrumentos están hechos a prueba de sujetos, a prueba de interpretación. 2. ¿SE SOBRELAPAN DESEMPEÑO Y FACTORES? Pero si en los instrumentos de desempeño hay alguna(s) concepción —así sea implícita— sobre la educación y, por lo tanto sobre los factores que inciden en su calidad; y si en los instrumentos de factores hay alguna(s) concepción —así sea implícita— sobre desempeño, entonces a la hora de cruzar las informaciones que vienen de instrumentos aislados, se cruzan medidas realizadas sobre objetos que pertenecen, al menos parcialmente, a clases diferentes, hasta cierto punto incompatibles. De donde las correlaciones encontradas, en cualquier magnitud y sentido, pueden ser tan azarosas como las decisiones tomadas en política educativa a partir de esa información o usándola como legitimador. Veamos un caso. La prueba de lenguaje para evaluar el impacto del PUEBP concebía la competencia frente a los textos en función de las prácticas que con ellos se



realizan; de ahí que la base para realizar la prueba fuera una narrativa icónica [cf. Jurado et al., 1998] que enfatiza sobre la diversidad textual y sobre los usos de los textos. Pero en la misma evaluación de impacto, la concepción en los instrumentos de factores asociables gira en torno al concepto de “dotación” de textos, frente al cual resulta relevante la cantidad y resultan irrelevantes la diversidad y el uso. Entonces, se cruzan informaciones recogidas con ideas opuestas sobre el mismo objeto. 3. PUNTOS COMUNES DE LAS DIFERENTES CONCLUSIONES Algo en común tienen estos estudios, y es que señalan que las diferencias de desempeño tienden a coincidir con las diferencias sociales, y que la educación ya no es un factor de ascenso social:

En primera instancia, que las diferencias de desempeño tienden a coincidir con las diferencias sociales:

En su investigación sobre repitencia, el MEN [1993c.:8] dice que «los

resultados de los análisis estadísticos muestran que los niños de los sectores más pobres de la población —urbano-marginales y rurales— tienden […] a tener menos logros»; y más adelante: «las escuelas situadas en los sectores más pobres son las que presentan las peores condiciones materiales y académicas y por lo tanto, son aquellas en las que los niños tienen menos oportunidades de aprender» [:12].

Por su parte, el DNP [1999:20] afirma: «Cuando se analizan los factores

asociados de las pruebas de calidad (Saber), es evidente que buena parte de las ventajas que tienen los niños que estudian en colegios privados, no se debe a la calidad del establecimiento, sino a soportes que las familias de más altos ingresos dan a su educación».

La Misión de educación ciencia y desarrollo [1997:141], dice en qué estratos

está la baja calidad de la educación primaria: «sobre todo la oficial y la de gran parte de colegios privados de estrato medio y medio-bajo».

El MEN [1997b:40] afirma: «Se puede suponer que, a mayor nivel de

satisfacción de necesidades básicas, corresponden mejores condiciones iniciales de partida para el aprendizaje»;

DNP [1999:2] encontró lo mismo: «hay una fuerte asociación positiva entre

logro y nivel socioeconómico»; un poco más atrás dicen [:2]: «En general, los planteles privados, los de mayor nivel socioeconómico, los no mixtos, los de



jornada única y los que ofrecen todos los niveles educativos, son los planteles de mayor logro académico promedio».

En segunda instancia, tienen en común la idea de que la educación ya no es un factor de ascenso social, que no puede solucionar las diferencias sociales, pero que sí puede incidir sobre un porcentaje del desempeño, el debido a factores propiamente educativos. A partir de esto se habla de equidad, en un sentido compensatorio: «el maestro puede jugar un papel fundamental en el aprendizaje, a pesar de las condiciones desfavorables del medio en el que viven los niños» [MEN, 1993c.:5]; «[…] estas condiciones desfavorables sean compensadas con un buen ambiente escolar» [:8]. Y es que, según Michel [1996:37], «una actuación evaluativa constituye el resultado de una triple exigencia: eficacia, transparencia democrática y equidad»; así mismo, para Triana [1996:52], la reducción de las desigualdades ocupa un lugar prioritario entre los objetivos de la evaluación de la educación. Pero veamos qué es “democracia”: «Desde una lógica democrática, parece razonable que la toma de decisiones acerca de cuestiones que tanto y tan íntimamente afectan a la sociedad…» aquí espera uno de qué manera es que los afectados van a participar, a tomar decisiones, a controlar… pero la frase continúa: «… se realice a través de una evaluación cuidadosa y sistemática de los efectos producidos en las situaciones de cambio» [:50]. 4. CONCLUSIONES DISTINTAS, CON BASE EN LOS MISMOS DATOS Aunque toda iniciativa y política educativa se inscribe automáticamente en esta dinámica de cotejar desempeño y factores (evaluación de impacto del PUEBP, evaluación censal en el DC, estudio sobre repitencia, TIMSS), el desconocimiento de lo hecho incluso puede ser explícito: después de casi diez años de estar haciendo este tipo de estudios, el Plan educativo para la paz de Pastrana dice: «La investigación sobre factores asociados a la calidad es incipiente en el país»; y agrega que eso «limita el análisis costo-beneficio de los resultados obtenidos, y hace difícil el diseño de una canasta educativa de calidad que permita maximizar la utilización de los recursos asignados a mejorar la calidad educativa» [DNP, 1999:11]. A continuación se ve cómo cada plan de desarrollo educativo “usa” este mecanismo: El Salto educativo no sólo retoma la idea de que la calidad de la educación es deficiente (dice que los estudiantes fallan en las habilidades que requiere la continuación del aprendizaje), sino que agrega que ésta se ha deteriorado. Y, de otro lado, utiliza las asociaciones estadísticas entre indicadores para justificar la política educativa: «Las características del plantel y las de los procesos pedagógicos son las variables que más pesan en la explicación del rendimiento de los estudiantes. Esto indica que el sistema educativo tiene en sus manos las principales herramientas para mejorar la calidad de la educación. En efecto, docentes calificados, planteles bien



dotados, estudiantes con textos, y una mayor jornada, están asociados positiva y significativamente con el logro de los estudiantes» [DNP, 1994:11]. El Plan educativo para la paz plantea que los resultados del programa SABER indican que la calidad de la educación es deficiente: no se alcanzan los objetivos curriculares nacionales ni los estándares internacionales [DNP, 1999:8-9]. A partir del cruce con factores asociables, plantea que las variables escolares explican hasta el 30% del rendimiento escolar [:10] y que factores como textos, bibliotecas, medios pedagógicos, promoción de la lectura y tiempo efectivo de aprendizaje son factores decisivos14 para la calidad de la educación [:11]. Pese a obtenerse de los mismos estudios (o de estudios que tendrían que ser equivalentes), los factores que en cada caso se califican como más relevantes son distintos, sin justificación alguna. Mientras para el Salto educativo estos principios indican que el sistema tiene «las principales herramientas para mejorar la calidad de la educación», el Plan educativo para la paz las reduce a un 30%. Por su parte, el plan sectorial en educación de la SED [1998:3] dice: «La educación es una condición indispensable para lograr una sociedad más igualitaria, y puede compensar en parte las condiciones de pobreza a las que están sometidos muchos de nuestros conciudadanos»; y más adelante [:3-4]: «no tenemos desde el Estado la capacidad para hacer óptimo el hábitat individual de cada uno de los niños del Distrito, pero sí estamos en capacidad de ofrecerles ambientes educativos adecuados y placenteros. Buscaremos que la infraestructura educativa de los más pobres esté a la altura de la que tienen los mejores colegios». Para sustentar esto, que es parte de la jerga en educación a nivel mundial, se habla de manera que ¡nuevos factores, nuevas cifras, nuevas correlaciones y nuevos ámbitos aparecen!: La Misión Social del Departamento Nacional de Planeación ha realizado análisis con los datos de las diversas evaluaciones adelantadas, y una de sus principales conclusiones señala que los factores asociados al plantel educativo pueden afectar hasta en un 29% el logro. Los resultados de todos estos análisis plantean que la política tiene un gran margen de acción y que la escuela, por consiguiente, merece mayor atención. Sugieren que es importante analizar aspectos como las prácticas pedagógicas, el desarrollo institucional, la cualificación de los métodos de gestión, la oportunidad de la información y la asignación eficiente de los recursos [Ávila: 1999:37]. Entonces, basados en los mismos estudios, en cada caso se “escogen” unos factores para decir de qué depende el mejoramiento de la calidad y hacia dónde debe dirigirse la política educativa:

14 ¿No serán decisivos más bien los que explican el 70%?



SALTO EDUCATIVO

PLAN EDUCATIVO PARA LA PAZ DNP

docentes calificados dotación de planteles

medios pedagógicos

textos textos bibliotecas mayor jornada tiempo de aprendizaje promoción de la

lectura

prácticas pedagógicas desarrollo institucional métodos de gestión información oportuna

FA

CT

OR

ES

“A

SO

CIA

DO

S”

recursos asignados con eficiencia

Pese a que se supone que están basados en las mismas cifras (o equivalentes), se observa: en ningún caso concuerdan las tres maneras de concluir; sólo hay coincidencias parciales en dos casos (textos y tiempo de estudio); y se da aproximación en un caso (dotación de planteles/medios pedagógicos). La inconsistencia se revela en el 60% de casillas vacías. Las conclusiones del DNP, basadas según Ávila en «los datos de las diversas evaluaciones adelantadas» (es decir, incluyendo las que subyacerían a los planes de Samper y de Pastrana), no coinciden en ningún punto con las otras dos... Y eso que el modelo que impone las evaluaciones masivas dice que «la coherencia entre la política de evaluación y la política educativa en general es la única condición capaz de asegurar una evaluación realista y justa de las reformas educativas» [Triana, 1996:59]. Y como dos cosas que afirman lo contrario no pueden ser verdaderas ambas… De otro lado, la manera de concluir del DNP tiene la marca del modelo que impulsa para toda la política nacional: la administración. Según los factores que enuncia (desarrollo institucional, gestión, oportunidad, eficiencia, recursos), el asunto educativo sería más de índole administrativa. Pero claro: «Es este un estilo de funcionamiento frecuente en las organizaciones productivas, que ha ido arraigando también entre las administraciones públicas. Parece ser que la educación no constituye una excepción a lo que va siendo una regla cada vez más extendida en la gestión de los servicios públicos» [Triana, 1996:42]. 5. CONCLUSIONES CONTRADICTORIAS SOBRE ALGUNOS FACTORES Veamos los siguientes casos:

Sobre número de alumnos por docente, en la evaluación de impacto del PUEBP se encontró —mediante la interpretación con arreglo a criterio de los



desempeños en el área de lenguaje— que allí donde hay menos estudiantes, los desempeños son superiores; es decir, una correlación negativa, contrario a lo que se plantea como fundamento de la política de aumento de alumnos por docente (para favorecer la cobertura): a saber, que no es un factor que influya sobre el desempeño.

Sobre capacitación, el SINECE plantea que los cursos de capacitación docente

recibidos en servicio no aparecen con asociaciones significativas [MEN, 1992:89]; sin embargo, el Salto educativo [DNP, 1994:11] afirma que la calificación de los docentes —entre cuatro factores— está asociada positiva y significativamente con el logro de los estudiantes.

El primer informe del SINECE recomienda la dotación de textos escolares, en

tanto factor decisorio de la calidad [MEN, 1992:100]; mientras que uno de sus últimos informes [MEN, 1997b:45] plantea que, en el sector oficial urbano (no en todas partes), la dotación de la biblioteca con enciclopedias, diccionarios y cuentos (no con textos escolares) se asocia positivamente con un mayor logro promedio (no en todas las miradas sobre el desempeño).

La evaluación de la calidad se justifica porque la escuela explicaría un

porcentaje del desempeño, pero el último informe del MEN encontró que «el mayor número de factores de logro del estudiante se registra, y no sólo estadísticamente hablando, en el “estudiante y su hogar”» [MEN, 1997b:56].

6. ENTONCES, ¿DE QUÉ DEPENDEN LAS CONCLUSIONES? Dadas estas diferencias, cabe preguntar: sobre los estudios en los que dice apoyarse la política educativa en cada caso; sobre la responsabilidad de los instrumentos en los hallazgos; y sobre el papel que juega la interpretación de las cifras. No se explicitan las diferencias entre los diversos estudios, siendo que llegan a afirmar cosas que podrían ser contrarias. En cada caso, la política educativa parecería basarse en un estudio que, dado que sirve para tomar decisiones fundamentales, ha de considerarse objetivo, independientemente de que otros estudios digan otra cosa, e incluso, de que el mismo gobierno tome más adelante decisiones en otra dirección. Es el interés el que decide qué es y qué no es verdad, y no la “verdad” la que determina el interés. Los últimos resultados de evaluación de la calidad se exponen en un orden muy particular: se habla de la cientificidad de la investigación, se exponen las asociaciones y, como si fuera algo a agregar, se plantea que «cerca del 50% de las variables exploradas no registraron asociación con el logro cognitivo y que, las que sí lo hicieron, tuvieron poca densidad: no lo hicieron para los tres sectores» [MEN, 1997b:51]. En todo el documento se habla dando respuestas o planteando preguntas



sin poner en duda los instrumentos ni la metodología; se dice incluso que «nos aseguramos que nuestras fuentes sean válidas» [:31], que la información «debe recogerse en situación confiable que permita, con un nivel conocido de confianza, considerar los hallazgos de la investigación como factores que realmente lo son» [:31]15. Valdría la pena darle crédito al mismo documento cuando plantea [:50] que «todos sabemos que una dicotomía 50% vs. 50% es atribuíble al azar», con lo que el resultado de la investigación puede calificarse de azaroso. Pero, como dice el mismo documento más adelante [:52]: «Próximas investigaciones, posiblemente aclararán el problema». Las afirmaciones, que supuestamente se fundamentan en las investigaciones, terminan convirtiéndose en descripciones de los propósitos de la política educativa. Que el “nuevo” modelo se fundamente en... «una institución escolar más autónoma, basada en la capacidad de decisión sobre la orientación y organización pedagógica, administrativa y financiera de la institución, con una mayor responsabilidad sobre los resultados de la acción educativa», como dice el DNP, quiere decir que no se trata de cierta configuración de escuela, que se mostraría asociada positivamente a los desempeños, sino que se trata de la escuela que los administradores de la educación quieren. Esto podría explicar (al menos parcialmente) la aparición de ciertas preguntas en los instrumentos de factores asociables, de cierta manera de hacerlas, de ciertas formas de procesar estadísticamente la información proveniente de las respuestas a ellas y de ciertas formas de hablar desde las cifras. Todo esto revela una especie de tautología: quien hace la política educativa está en posición de causa (asigna recursos, introduce modelos...) y, por lo tanto produce unos efectos; pero después se abstrae de esta posición, se coloca en la de “investigador objetivo” (en el sentido de que no interviene) y “comprueba” lo que quiere comprobar, es decir, que lo que está haciendo va muy bien, o que lo existente (ya no dice que él lo puso antes) está mal. Círculo perfecto: los efectos responden a las causas... y lo que se queda por fuera del modelo, es producto de la diferencia social y, en consecuencia, no es responsabilidad de quien diseña la política educativa. En ningún caso se interroga por las concepciones asumidas.

15 Es la misma posición en todo el mundo; Triana [1996:46], por ejemplo, dice: «Parece suficientemente demostrada la capacidad de la evaluación para generar conocimiento válido, fiable y relevante acerca de la situación y el estado de la educación [...]». Así mismo, pone la tendencia mundial de las evaluaciones masivas en términos de «La demanda de respuestas objetivas y fiables a las cuestiones suscitadas acerca del sistema educativo estadounidense [...]» [:37]. Y más adelante [:48] sostiene que los modernos sistemas de indicadores interesan porque proporcionan información relevante, permiten comparaciones objetivas, permiten estudiar las tendencias y enfocarse en puntos críticos de la realidad.



E. EL COMPONENTE INVESTIGATIVO

1. LA EVALUACIÓN COMO INVESTIGACIÓN “OBJETIVA” La búsqueda de correlaciones se postula a sí misma como investigación científica: «El conocimiento objetivo, y la valoración rigurosa de los resultados de la educación, generalmente efectuados a partir de su comparación a través del tiempo y del espacio, constituye una base sólida para la toma de decisiones encaminadas a la mejora» [Triana, 1999:53]. Más adelante plantea que «movidos por ese propósito de desvelar la realidad educativa tal y como se presenta en su encarnación escolar, los mecanismos de evaluación permiten arrojar luz sobre el interior de la mencionada caja negra que son los centros y comprender cómo la educación en abstracto se convierte en relación educativa concreta» [:54]. El modelo se presenta a sí mismo como eficaz, técnico, desprovisto de atavismos politiqueros. Sin embargo, el mismo documento reconoce la precariedad de esa pretensión: «la acción evaluadora está forzosamente sometida a una tensión interna entre conocimiento e interpretación, que no siempre resulta fácil de resolver» [:56]. Lástima que los resultados no se basen en esta posición. 2. LA INVESTIGACIÓN QUE SUGIEREN A PARTIR DE LA EVALUACIÓN MASIVA Según el MEN [1992:26], los estudios que indagan factores asociables dan lugar a la investigación cuando es necesario explicar la interacción de variables «no completamente conceptualizadas». O sea, la investigación comenzaría cuando el cruce de información (de desempeño y de factores) revela hechos especiales. Esto equivaldría a plantear que durante la elaboración de los instrumentos de factores asociables sólo mediarían teorías de manejo estadístico. Tal vez por eso no les parezca necesario establecer relaciones entre los elementos que aparecen en las listas de factores. Esta posición no ha cambiado con el curso de las aplicaciones; en 1997 se definen como factores asociables al logro cognitivo: «a los componentes que por hacer parte del sistema educativo mismo inciden de manera directa en el proceso educativo y aparecen simultáneamente con el buen o el mal desempeño de los alumnos, sin por ello explicar necesariamente el resultado encontrado, ya que se requiere de mayor investigación para poder afirmar conclusiones al respecto» [MEN, 1997b:29]. La incertidumbre, entonces, aparece en estos estudios remplazando una explicación que no se da, pese a que es inevitable que haya mediación de las concepciones. De otro lado, si las preguntas vienen después de aplicados los instrumentos y si se trata de explicar la interacción de variables «no completamente conceptualizadas»,



¿por qué puede afirmarse que la televisión —al salir asociada positivamente— es un factor «contrario a la predicción del modelo» [MEN, 1992:90-91]? Si esto es así para la televisión, querría decir que el modelo puede predecir todos los demás factores; o sea, sí están conceptualizados de alguna manera, y la investigación se justifica sólo en relación con lo que es contrario a la predicción del modelo; el resto, el modelo ya lo sabe. La tautología se completa cuando, además, se rechaza lo que no sirve para la política educativa. Cuando el cuestionario de factores asociables del SINECE pregunta a los estudiantes si están de acuerdo con la frase Las matemáticas son más para los hombres que para las mujeres, la pregunta ya presupone la correlación buscada; a esto se le agrega la idea —no sustentada— de que las diferencias entre niños y niñas puede explicarse con bases neurofisiológicas; y, finalmente, se dice que «Esta variable requerirá de mayor investigación» [MEN, 1992:92]. De todo el esfuerzo de la evaluación masiva queda una recomendación de investigar asuntos cuyo interés investigativo no necesita ser determinado de esa manera. Claro que, de hacerse estas investigaciones “recomendadas”, tal vez los resultados no escapen a esta lógica de determinar los resultados en función de la política educativa. El proceso de evaluación de la calidad genera “desorden” (información de la que no se puede concluir categóricamente) y después se dice que allí hay cosas por investigar, que puede introducirse un orden. Esta “incertidumbre” que supuestamente conduce a la investigación —y que aparece cuando se buscan correlaciones entre desempeño y factores asociables—, más bien da cuenta de la ausencia de vinculación conceptual entre los equipos que se encargan de diseñar y producir los instrumentos respectivos [Duarte et al., 1996:47]. 3. IDENTIFICAR FACTORES COMO SI SE OBSERVARA “OBJETIVAMENTE” Los cuestionarios se tienen como instrumentos objetivos de aprehensión de lo real. Para lograr esa supuesta “objetividad”, se recurre a todas las técnicas de elaboración de instrumentos psicométricos, con respaldo matemático, y validación mediante pruebas piloto. Después de esto, parecería infundado dudar sobre la capacidad predictiva de los instrumentos (aunque ellos conduzcan a los absurdos señalados). Se ha dado por hecho que hacer un listado de factores es el resultado de “observar objetivamente” la realidad educativa: para el MEN [1997b:28], una variable es factor de algo cuando produce un efecto que puede verificarse empíricamente. De esta manera, las discusiones teóricas parecen secundarias, sobre todo cuando el “investigador” que cruza factores y desempeño se pone en la posición de «representar a los colombianos que desean saber sobre la calidad de la educación» [:31].



4. SE ENUNCIA UNA TEORÍA NO ESTADÍSTICA, PERO SE DEJA DE LADO En este mismo informe, se habla de dos puntos de partida para proponer variables asociables al logro: una aproximación sociológica (de cuyas fuentes y principios nada se dice) y una indagación bibliográfica sobre factores ligados al proceso de aprendizaje; es decir estudios anteriores que ya hicieron búsquedas parecidas... y cuyos fundamentos no se discuten ni se explicitan, pues lo importante son los factores que ya se buscaron, que van a nutrir los instrumentos. Así, el documento cita indagaciones realizadas en países latinoamericanos y publicaciones de la UNESCO, y cuando va a definir los factores, se olvida que había enunciado lo sociológico y afirma: «Tratando de agrupar los factores hallados en la literatura científica revisada, el Instituto SER encontró sugerencias teóricas que le autorizan a considerar factores ligados indirectamente al desempeño escolar [...] y factores ligados directamente al desempeño escolar», y a continuación agrega una lista. De ahí que suelan tomarse los factores de listas elaboradas en otras investigaciones. Es lo que hace el MEN en su último informe [1997b:30]. De nada sirve la “aproximación sociológica” que anunció. Tal actitud también se muestra con ocasión de los instrumentos de logro: las preguntas de la evaluación del PUEBP en ciencias y matemáticas se sacaron «de un banco de preguntas, experimentadas y validadas para el TIMSS» [MEN, 1997a:83]. De igual manera, cuando el Banco Mundial rechazó las primeras pruebas realizadas en Colombia, puso a disposición del país pruebas hechas en Estados Unidos que, no obstante, servirían para los propósitos de evaluar la calidad de la educación en Colombia. Más allá de toda justificación teórica hay otro interés: la preparación de los instrumentos de factores se hizo «con el ánimo de identificar algunas de las variables que posiblemente se asocien al rendimiento escolar, especialmente de aquellas que puedan ser objeto de intervención de la política educativa» [:31]; para lo cual no se necesitan “estudios sociológicos”: recordemos que la política educativa tiene muchos puntos en común con otros países...



5. LO VALIDABLE NO ES NECESARIAMENTE “OBJETIVO” Se pueden validar pruebas sobre objetos de conocimiento con muchas deudas frente a lo científico, se pueden validar instrumentos con fundamentos discutibles, se pueden encontrar asociaciones estadísticas entre cifras sin que eso represente una relación de causalidad y, lo que es menos visible, los instrumentos reafirman la circulación de ciertas nociones o las promueven a la existencia en el ámbito educativo. Pero esto no puede objetarse, pues Si se le acosa, esgrime las armas propias de su competencia: comparación, muestreo, contrastación [...] al no haber sido instruído en los arcanos de la estadística, no [se] tiene más remedio que admitir estos argumentos como moneda de curso legal [...]. Cuando hace preguntas, no tiene que hacerse preguntas acerca de las preguntas (eso es asunto del autor del test), pues las preguntas han sido comparadas, contrastadas, muestreadas, patentadas [...]. La cifra, además de la autoridad que se confiere a la cantidad como tal, cuenta para sí con el marchamo de la “Ciencia”, es decir, que es la medida de la “Ciencia” y no la palabra de nadie [Tort, 1979:5]. Un ejemplo sobre la necesidad de discutir los fundamentos epistemológicos de las preguntas: en el instrumento de factores asociables aplicado en 1993, se le pide a los estudiantes decir si ven y oyen bien (preguntas 3 y 4), posiblemente en el entendido de que los sentidos son los principales instrumentos del conocimiento («El niño no puede aprender qué es un imán, si no manipula un imán» [Colbert y Mogollón, 1980:168]). Cuando se cruce con desempeño, se dirá que el bajo desempeño se debe a tener defectos en los órganos de los sentidos. Pero el proceso cognitivo humano también ha sido interpretado de maneras para las que los órganos de los sentidos se vinculan de otra forma. Conceptos como el de “obstáculo epistemológico”, en filosofía, o el de “resistencias”, en psicoanálisis, o el de la “producción social de la realidad”, en sociología y ciencias del lenguaje, hablan más de la especificidad del conocimiento humano. Concepciones que darían lugar a otras maneras de aproximación al desempeño. 6. HAY QUE PENSAR PARA MEDIR Y NO MEDIR PARA PENSAR Si la interpretación racional es la que ubica los hechos (y no el experimento o la estadística), en estos estudios de evaluación de la calidad es notable la ausencia de explicación. Sólo la razón dinamiza a la investigación. Estas indagaciones de factores asociados se parecen a la experiencia común: hecha con observaciones yuxtapuestas. La razón, en cambio, sugiere una experiencia indirecta y fecunda, apartada de las condiciones ordinarias de la observación [Bachelard, 1979:13-14, 19], de manera que los argumentos racionales son ya momentos de la experiencia



[:136]. En disciplinas fuertemente constituídas tienen lugar búsquedas bien planteadas que, sin embargo, no obtienen resultados; pero allí no pueden ocurrir búsquedas como las que analizamos: ocasionales e improvisadas que, aunque muestren “resultados” y largos “antecedentes”, no tienen valor epistemológico [:135]. «Ningún físico malgastaría “sus créditos” para construir un instrumento sin destino teórico […] Ya no se trata de confrontar un espíritu solitario y un universo indiferente» [:135-7]. En este sentido, se entiende que los documentos que informan sobre factores asociados no expliciten el marco conceptual que dará sentido a aquello que convoque a colaborar en sus fines. No se trata de “los estudios dicen”, sino del lugar desde donde se hace la lectura, la interpretación. Los estudios pueden “hablar” en contra del modelo, pero el intérprete elimina estos enunciados. Así, las decisiones se hacen a nombre de la estadística o del “nuevo” modelo [DNP, 1999], cuando en realidad es un interés el que produce y privilegia ciertos resultados. Por eso no es casual que las mismas cifras de la evaluación de la calidad educativa en Colombia se lean con el sesgo de la política que se quiere impulsar. 7. EL MISMO BANCO MUNDIAL EXIGE OTRO TIPO DE INVESTIGACIÓN En un documento de trabajo del Banco Mundial, «Libros de texto y aprovechamiento: lo que sabemos», Heyneman plantea que no existe ningún estándar pedagógico “mejor” o universal, aplicable a todos los niños y para todas las materias. De manera que desde el mismo documento del BM se está objetando la posibilidad de medir el desempeño de todos los niños con el mismo instrumento, en tanto éste sería necesariamente portador de un estándar pedagógico. También plantea el autor que las metodologías estadísticas para evaluar el impacto de las características escolares, fueron transferidas desde las sociedades industriales a las sociedades no industrializadas, pero que también se transfirieron los prejuicios sobre qué características evaluar. El documento del BM estaría recomendando implícitamente que están por establecer las características que deben ser evaluadas en estos países. No obstante, hoy los parámetros evaluados siguen siendo los mismos, lo cual se puede comprobar fácilmente analizando los formularios de “factores asociados”. El autor da cuenta de las contradicciones entre estudios de calidad educativa que usan la idea de factores asociados: la relación entre desempeño y un factor cualquiera es mostrada por unos estudios como una asociación positiva, mientras otros estudios encuentran una asociación negativa, y otros encuentran que no hay ningún tipo de asociación. Con esto, el documento del BM está reconociendo que, más allá de los modelos estadísticos, en estas investigaciones hay otros elementos en juego que es necesario explicitar para no quedarnos encerrados en una discusión



sobre cuál estudio tiene la razón. Se trataría, como se insinúa con un ejemplo del autor a continuación, de una discusión sobre el concepto de escuela que está implícito en la investigación, las limitaciones de la mirada estadística, etc. En relación con el factor “textos”, el autor es enfático en señalar que los investigadores deben buscar las diferencias sutiles que existen en la calidad de los libros de texto. Es decir, el documento del BM está planteando que ningún factor se puede estandarizar al punto de poder hablar del papel de los textos, por ejemplo independientemente de su calidad. En otro punto, al respecto el autor plantea que tal vez ese factor sale asociado positivamente no por ser texto escolar (que es lo que se presupone al trazar políticas educativas que, por ejemplo, financian su entrega): uno sospecha que la característica clave que tiene la disponibilidad de los libros de texto es simplemente el hecho de que los educandos tengan material que leer y con qué trabajar. De donde la política podría cambiar enormemente: si esta sospecha, como dice el documento del BM es aceptable como criterio de conducción de la política educativa, quizá resulte mejor contar con paquetes de material de aprendizaje, impreso localmente, en vez de producir un solo texto estandarizado. En la conclusión del documento en mención del BM, se afirma: no conocemos las condiciones exactas bajo las cuales se producen los efectos de los libros de texto [...] Sería de utilidad que se realizaran esfuerzos para obtener más información a este respecto. Es decir, el documento del BM está pidiendo un esfuerzo por investigar cualitativamente los factores que la investigación cuantitativa considera asociados a la calidad. En otras palabras, la detección estadística de correlaciones es una advertencia para, ahora sí, hacer la investigación que es necesaria. Se deduce que no se sugiere continuar infinitamente la metodología de evaluaciones masivas y de investigaciones estadísticas. Una vez se han detectado los asuntos importantes (momento que, creemos, ya pasó en Colombia) hay que pasar a otra etapa. 8. LA MISMA unesco EXIGE OTRO TIPO DE INVESTIGACIÓN Por su parte, el documento «Informe mundial (1998) sobre la educación. Los docentes y la enseñanza en un mundo en mutación», la UNESCO plantea que el mundo está estratificado por regiones, cosa que los indicadores internacionales ocultan. Los indicadores internacionales de la educación existentes, que se refieren principalmente al número de alumnos matriculados sin tener en cuenta las condiciones en que están escolarizados, ocultan esta situación, pues dan la falsa impresión de que todos los alumnos matriculados en un determinado nivel de enseñanza en los distintos países, según las estadísticas, están escolarizados en condiciones esencialmente similares. Esta afirmación, leída en un país como Colombia, que desde su Carta Constitucional reconoce la multiculturalidad que lo compone, no puede menos que llamar la atención en el sentido de si se puede evaluar el desempeño de sus niños con los mismos instrumentos, como si estuvieran



escolarizados en condiciones esencialmente similares, como dice UNESCO; y si se debe participar de las evaluaciones internacionales. Y, en relación con los factores asociados se aplica idéntica reflexión: ¿tiene sentido preguntar de idéntica manera por los distintos factores asociables a la calidad de la educación cuando hay tales diferencias sociales y regionales? De ahí que la UNESCO afirme que no se podrán formular políticas globales bien fundadas sin tener en cuenta las condiciones educativas y sociales que determinan la permanencia en la escuela. En otras palabras, antes de las evaluaciones masivas y las investigaciones estadísticas que sirven de justificación a la política educativa, la UNESCO está diciendo que es necesario conocer “las condiciones educativas y sociales que determinan la permanencia en la escuela”. Eso no lo hemos hecho, ocupados como estamos de hacer ya durante más de 10 años los mismos hallazgos en investigaciones similares. Por ejemplo, las investigaciones oficiales encuentran una y otra vez que el número de alumnos por docente no incide negativamente en el aprendizaje; esto es lógico cuando sabemos que tal resultado apuntala una política que busca aumentar la cobertura del sistema educativo sin tener que invertir más en profesores. No obstante, un organismo como la UNESCO plantea al respecto que la cuestión del número de alumnos por clase ha de situarse en un contexto más amplio que el de los meros resultados cognoscitivos. Teniendo en cuenta los hechos observados hasta la fecha, sería aconsejable que los responsables de las políticas educativas y de las políticas en general favoreciesen las clases pequeñas, cuando los presupuestos lo permitieran. Para la UNESCO, las condiciones de las escuelas de las zonas rurales de los países menos adelantados hacen que, a menudo, los maestros sólo puedan realizar actividades educativas limitadas y que carezcan de estructuras y mecanismos que les presten el necesario apoyo profesional. En estos países, la cuestión de la calidad y la pertinencia de la enseñanza y del papel del personal docente se plantea de una manera totalmente distinta a lo que sucede en los países de las regiones más desarrolladas. No obstante, nuestro país, que firma las declaraciones de organismos como la UNESCO, que justifica acciones como la evaluación masiva en términos de esos acuerdos internacionales, hace evaluaciones idénticas a las que hacen en todo el mundo; en lugar de identificar “las condiciones de las escuelas de las zonas rurales”, como dice UNESCO, que son las que marcan la especificidad de la educación rural, evalúa por igual a todos y se encuentra —era obvio, si hemos de creer a la UNESCO— que la educación en el campo es inferior a la de la ciudad. En lugar de apuntar a crear las condiciones de posibilidad de una educación no limitada, se los evalúa como si diera lo mismo estar en la capital del país que en un municipio apartado.



Insistimos: que calidad y pertinencia de la enseñanza y del papel del personal docente en estos países sea algo distinto es una idea de UNESCO, que nos invita a construir los conceptos de calidad y pertinencia que nos serían propios y a no seguir aplicando aquellos que vienen unidos a políticas iguales para todos los países. 9. LA MISMA PLANEACIÓN NACIONAL EXIGE OTRO TIPO DE INVESTIGACIÓN Por último, Planeación Nacional en Colombia, en el informe técnico que analiza los factores asociados al logro académico en el Distrito Capital plantea que aunque es amplio el margen del desempeño escolar que depende de la calidad de la oferta educativa en las instituciones [hasta 30%], el contexto social tiene un efecto cada vez mayor en educación. Es decir, la investigación encuentra (algo que ha sido encontrado en todas las investigaciones similares desde comienzos del siglo XX) que lo social, más precisamente, que una sociedad estratificada, es la que determina las diferencias entre los desempeños de los estudiantes. De manera que no se entiende por qué se sigue invirtiendo en encontrar lo mismo cuando lo que queda evidente es que la manera de transformar los resultados en la educación es incidiendo sobre la estratificación que ella comporta y que produce esos resultados. Con todo, el informe de Planeación Nacional agrega: es necesario hacer un esfuerzo por identificar los factores externos que afectan el logro de los alumnos (correlacionados con el estatus socio-económico) y que los estudios de la educación en promedio, no los capta. Es decir, en Colombia llevamos investigando 10 años de manera que no se capta lo importante. De otro lado, lo que Planeación Nacional está recomendando implícitamente es hacer investigación que detecte esto. Y, efectivamente, lo plantea: incluye en sus conclusiones un punto de “necesidades de investigación y cambio de estrategia para estudios de factores asociados al logro”, en el que dice: Las evaluaciones de primaria y secundaria en Bogotá tiene ya una visión general de los factores que se asocian al logro en la educación básica... recordemos que se trata fundamentalmente del nivel socioeconómico; y continúan: dichos estudios generan suficiente información... es decir, que ya no se necesita más de esa información, ¡suficiente ilustración! ...información de carácter general... es decir, que es información redundante si queremos continuar en el conocimiento de la educación, que se necesita información de otro carácter (por ejemplo, particular) ...que como tal, comienza a demandar 1) una nueva estrategia metodológica en el estudio de factores asociados y 2) la realización de investigaciones específicas en algunos temas sobre los que dichas evaluaciones continúan insinuando explicaciones de carácter hipotético. La conclusión la saca la misma entidad: en otras palabras, es momento de dar el salto a nuevas formas de evaluación y estudio, que llenen los vacíos de información que los resultados generales hacen evidentes.



La idea de que los análisis hasta ahora son generales también lo plantea Planeación Nacional de otra manera: los resultados dan cuenta del comportamiento “promedio”, dentro de una gran diversidad. Esta etapa debe ser seguida de otra, que comience a dar información de las especificidades del comportamiento en los extremos o los márgenes. Es claro que se está recomendando estudiar lo que queda por fuera del promedio, la diversidad, la especificidad; es decir, lo contrario de lo que está implicado en los instrumentos estandarizados, tanto de desempeño de los estudiantes como de factores asociados.



F. EL USO DE LA ESTADÍSTICA 1. ESPECIFICIDAD DE LA ESTADÍSTICA Como disciplina, la estadística tiene su especificidad: tiene su objeto, sus métodos, etc. En casos como la detección de asociaciones, ella se ofrece como una ayuda para procesar una información cuya naturaleza y sentido son establecidos por otros campos conceptuales. De ahí que, para Triana [1996:48], la notable transformación que los indicadores educativos han introducido en la estadística tradicional, «se debe más a su significación y a la utilización que de ellos se hace, que a sus fundamentos técnicos y su procedimiento de obtención. En realidad, desde el punto de vista de su cálculo no son muchas las novedades que introducen, aunque no ocurre lo mismo en lo que se refiere a su definición y, sobre todo, su uso». Entonces, no es exacto hablar en términos de que han surgido nuevos enfoques educativos a partir de los hallazgos estadísticos (como hace el DNP [1999]). En realidad, la investigación estadística no sólo no da lugar a que “surjan” enfoques (y menos de manera automática), sino que reclama ser ubicada como una de las herramientas que coadyuva en una búsqueda. Es decir, no genera evidencia empírica, sólo verifica bajo sus propias condiciones, desde una mirada interpretativa; los resultados estadísticos no representan por sí mismos evidencias que hagan surgir enfoques; los enfoques se ponen en escena y en circulación gracias a la existencia de intereses. 2. LA INVESTIGACIÓN SOBRE LA EDUCACIÓN, SUBORDINADA A LOS ASPECTOS TÉCNICOS A partir de la evaluación masiva, los asuntos técnicos condicionan en gran parte los criterios teóricos, pedagógicos y educativos (de donde la educación cede su especificidad a aquella de la estadística); es uno de los riesgos que Triana [:42] señala para la evaluación de la educación: el hecho de reducirla a los elementos más asequibles, al margen de su relevancia. Ejemplos:

es la dificultad de procesar la información venida de pruebas abiertas (confiabilidad) la que restringe su uso, y no la naturaleza del estudio (aunque lo investigado sea visible a partir de pruebas abiertas);

antes de tener suficiente investigación sobre el conocimiento en las diferentes

áreas objeto de análisis, y antes de tener suficiente discusión pedagógica sobre la evaluación, se ha pretendido tener pruebas de desempeño en la medida en que han sido validadas, estandarizadas, mediante mecanismos



estadísticos; de ahí que a veces haya que tratar de “teorizar” a posteriori los resultados estadísticos;

se ha subordinado una concepción de escuela y de sociedad a la consistencia

estadística, bajo la suposición de que eso hablaría de un amarre “ideacional” que no habría por qué buscar antes. De ahí que se haya omitido la discusión sobre qué factores asociables indagar; de ahí que a las preguntas por el fundamento de los instrumentos se les pueda responder que éstos ya han sido “probados”.

3. SELECCIÓN ARBITRARIA DE LOS RESULTADOS Los funcionarios seleccionan los resultados a su juicio, según le parezcan acordes con las expectativas previas, con la continuidad de la política educativa, o con la promoción de una nueva política educativa. Por ejemplo, después hacer una selección de variables para un modelo de regresión, se descartaron «las que presentaran signos contrarios a la predicción teórica» [MEN, 1992:55]; pero, si se descartan las que presentan signos contrarios, ¿por qué no se descartan las que presentan signos favorables, si son resultado de los mismos instrumentos y las mismas metodologías? Pero ahí no para la arbitrariedad: «De estas variables descartadas se exceptuaron aquellas que presentaban especial importancia en relación con el diseño de políticas educativas» [:55], es decir, que la política educativa en realidad no depende de la investigación de las cifras y, más bien, se la pone como justificación cuando conviene (usan la estadística como los borrachos usan los faroles: para apoyarse, no para iluminarse [Silva, 1997:2]). 4. USO DE PROCEDIMIENTOS QUE NO TIENEN QUE VER CON LA NATURALEZA DE LOS DATOS Se usan procedimientos cuyos supuestos teóricos no se corresponden con los datos. Por ejemplo, cuando se hacen regresiones incluyendo factores que son asociables a unidades de observación jerarquizadas. El MEN [1992; 1997b], buscando asociaciones entre el desempeño promedio de los alumnos y las características de los docentes, el plantel y el director, adopta un modelo de regresión lineal múltiple. No obstante, esto no es adecuado, pues de una parte algunas de las variables explicativas son de naturaleza categórica, y de otra, las unidades de observación son de tipo jerárquico, ya que, por ejemplo, los alumnos están incluidos dentro de clases (variables del profesor), las clases están incluidas dentro del plantel (información del plantel incluyendo a la del respectivo director). De manera que:

el «análisis de varianza ponderado en una dirección» [MEN, 1992:54], si bien puede servir para hallar diferencias, por separado, entre desempeños por



niveles de la variable categórica asumida, no tiene en cuenta la posible asociación que existe entre los factores;

se trata a las variables como si todas fuesen de tipo cuantitativo y se deja de

lado mucha información contenida en la variabilidad de los datos [MEN, 1992:53-56; 1997b:27-31];

el análisis factorial clásico para “generar” factores no es pertinente para estos

casos [MEN, 1997b:27-31]; en su lugar, por ejemplo estaría el análisis de correspondencias, que explica la información contenida en variables categóricas en una serie de “nuevos” factores [Díaz, 1999:§11];

valerse de un modelo de regresión lineal [cf. MEN, 1992; 1997b] implica estar

seguro del cumplimiento de una serie de supuestos estadísticos sobre los cuales se construye y valida la relación que se propone para las variables en juego. Supuestos tales como: no asociación entre las variables explicativas (no colinealidad), varianza constante de los errores, independencia entre las observaciones, entre otras, “avalan” las asociaciones que la regresión lineal evidencie. Estos modelos pueden mostrar relaciones en los cálculos, pero contrarias a la realidad educativa.

5. DISCORDANCIA ENTRE MODELO APLICADO Y OBJETO EVALUADO Este caso se ilustra con el informe sobre factores “asociados” al logro en el DC [DNP, 1999]:

Siendo “matemáticas” y “lenguaje” dos áreas que tienen su propio objeto de trabajo y fundamentación conceptual, sus resultados son incompables; tampoco se trata de la misma prueba ni de la misma escala de medición. No obstante, se habla de un “logro total” (suma de puntajes de matemáticas y lenguaje) que neutraliza las categorías de cada área, con lo que da igual que las pruebas sean con arreglo a criterio, o contando preguntas correctas. Las teorías sobre los objetos de evaluación, se aplanan bajo un criterio técnico. Hablar de medias y compararlas para cada uno de los factores “asociados” resulta inadecuado.

Por su parte, las variables de los alumnos, las características de los docentes y

de los planteles en su mayoría son de tipo nominal y ordinal, de manera que el coeficiente de Pearson no es adecuado para buscar la correlación de estas variables con el logro académico.

Buscar factores “asociados” al logro desde el análisis de regresión jerárquica,

es atribuír a la mera relación de contenencia conjuntista —por el hecho de



“compartir” un salón, una escuela, unos docentes, unas normas— capacidad para dar cuenta de la afectación que tienen los factores sobre el desempeño. Atribuir el desempeño a los otros estudiantes, a los docentes, a la escuela, y por último, al sistema educativo, sobre la base de la agrupación jerárquica, equivale a explicar desde un punto de vista puramente geográfico.

Por último, el informe se pregunta si los resultados obtenidos por los alumnos

del grado 5° se deben al desempeño académico efectivo de los estudiantes o a la prueba misma; no obstante, este gran vacío, advertido por los mismos investigadores, el trabajo fue desarrollado.

6. ASIGNACIÓN DE CAUSALIDADES A PARTIR DE CORRELACIONES DE CIFRAS Se asignan causalidades en la realidad educativa a partir de correlaciones de cifras (cosa que la estadística misma no justifica), sin establecer las mediaciones necesarias. Pero dos eventos pueden mostrar asociación estadística no solamente porque sean uno causa del otro sino, por ejemplo, porque media un tercero que no está considerado. Por ejemplo, es apenas lógico que la mayoría de niños con problemas, no detectados o no solucionables, en la vista o en los oídos, estará entre personas de bajos recursos, que son, justamente, las que, por causas sociales, tienen inferiores desempeños en ese tipo de prueba. De manera que saldrán asociados los problemas perceptivos a los bajos logros, cuando en realidad ambas cosas dependen de otra, y no necesariamente entre ellas. Para quienes ven en los instrumentos ventanas hacia el mundo, las asociaciones estadísticas prueban la existencia de relaciones causales en la vida social; no obstante, muchas asociaciones estadísticas obedecen a una mirada parcial o accidental de los hechos. Queda interrogado que una dependencia entre cifras equivalga, sin otra mediación, a una correlación entre factores de la vida social, cuando resultan contradictorias o absurdas, como en los siguientes ejemplos:

el tipo de escuela en la educación pública rural: es un factor asociado negativamente con el logro de matemáticas en 3º, ¡pero se asocia positivamente en grado 5º! [MEN, 1992:91]. ¿Cómo es posible creer que el tipo de escuela incida negativamente en el rendimiento de los estudiantes de 3º y, al mismo tiempo, para los niños de 5° esa incidencia sea positiva?

«En calendario A, a mayor número de salones de clase, menor logro. En

calendario B, a mayor número de salones de clase, mayor logro» [MEN, 1997b:45]. Considerando el caso en el que en una misma ciudad funcionan ambos calendarios, ¿cómo es posible creer que el número de salones de clase incida negativamente en el rendimiento de los estudiantes de un calendario y que en el otro incida positivamente?



Una investigación busca mejorar la calidad reduciendo la composición

femenina del magisterio; y, por otro lado, Ávila [1999:38] dice: «los docentes de sexo femenino obtienen mayores logros de sus alumnos».

Desde el análisis estandarizado del desempeño, el número de alumnos por

docente presenta asociación positiva con el desempeño; pero visto desde el análisis por competencias, se muestra asociación negativa [Bustamante-Díaz, 2000].

Con toda seguridad, no es posible asignarle a la realidad estas propiedades contradictorias. Es mucho menos pretensioso pensar que son nuestros instrumentos los que producen esos efectos16. Mientras en ciencias positivas la mala abstracción puede llevar a una imposibilidad material, una mala abstracción estadística no necesariamente salta a la vista, «la no realidad de la relación percibida no puede manifestarse de manera material» [Simiand, 1994:234], pues las cifras se dejan combinar entre sí. La elección de las abstracciones estadísticas es arbitraria, aunque podría ser fundada: «hay buenas y malas medias, medias que tienen sentido y medias que no […] conservemos solamente aquellas que, después de estas pruebas, nos presenten una verdadera consistencia y respondan a alguna realidad colectiva» [Simiand, 1994:235]. 7. COMPLEJIDAD DEL OBJETO Y MÉTODO ESTADÍSTICO Simiand [:232-233] recomienda que las expresiones de hechos complejos no resulten simplemente de computar, de combinar cifras de manera arbitraria, «sino que se modelen a partir de la complejidad concreta, respeten las articulaciones de lo real, expresen algo a la vez distinto y verdadero respecto a la multiplicidad de los casos individuales a los que corresponden […] lo que de hecho a menudo nos despista cuando empleamos abstracciones estadísticas, no es que sean abstracciones, sino que son malas abstracciones». El asunto no es sencillo: ¿cómo saber que algo está “modelado” a partir de la complejidad concreta?, ¿cómo saber qué modelo respeta las articulaciones de lo real?, ¿cómo distinguir aquello que expresa algo distinto y verdadero respecto de la multiplicidad, de aquello que no? Como mínimo hay que tener una conceptualización sobre la complejidad de aquello que se quiere investigar. Cuando los elementos son heterogéneos o variables en el tiempo, los indicadores disimularán el rasgo esencial del elemento estudiado, en vez de ponerlo en evidencia [Simiand, 1994:233]. 16 La coloración de los bordes de la Luna, vista a través de los telescopios refractores, no llevó a los científicos a decir que nuestro satélite tiene bordes azules (que no son visibles con telescopios reflectores), sino a teorizar la “aberración cromática” de los lentes.



La consistencia, entonces, no viene de los números, «las determinaciones numéricas en ningún caso deben sobrepasar en exactitud a los medios de investigación» [Bachelard, 1979:254]: La precisión numérica es frecuentemente un motín de cifras […] Puede verse en ella uno de los signos más claros de un espíritu no científico en el instante mismo en que ese espíritu pretende la objetividad científica […] la precisión de una medida debe referirse constantemente a la sensibilidad del método de medida y ha de tener en cuenta las condiciones de permanencia del objeto medido. Medir exactamente un objeto fugaz o indeterminado, medir exactamente un objeto fijo y bien determinado con un instrumento burdo, he ahí dos tipos de ocupación vana que la disciplina científica rechaza [:250]. Entonces, de un lado, puede creerse que se describe mejor la realidad mientras más decimales tenga la medida, o mientras la muestra sea más grande (y, entonces, el ideal es la prueba censal); y, de otro, pueden discutirse las condiciones del estudio, determinarse la sensibilidad y el alcance de los instrumentos. Caso en el que habría más preocupación por describir el método de medida que el objeto mismo. El objeto “real” es inaccesible, todas las aproximaciones producen un objeto con vigencia histórica que depende de las maneras validadas socialmente para producir conocimiento: El objeto puede variar de naturaleza cuando cambia el grado de aproximación. Pretender agotar de golpe la determinación cuantitativa es dejar escapar las relaciones del objeto. Cuanto más numerosas son las relaciones del objeto con otros objetos, tanto más instructivo es su estudio. Pero en cuanto las relaciones son numerosas, ellas están sometidas a interferencias y de pronto la búsqueda discursiva de las aproximaciones se convierte en una necesidad metodológica. Entonces la objetividad se afirma como método discursivo, más acá de la medida, y no más allá de la medida, como intuición directa de un objeto. Hay que reflexionar para medir y no medir para reflexionar [Bachelard, 1979:251]. En la evaluación de la calidad se ha hecho lo contrario: se cree que el mismo objeto se precisa con aproximaciones sucesivas; se reducen las relaciones a cifras, cuando éstas en realidad tratan de ser una aproximación a aquéllas; la búsqueda discursiva de las aproximaciones está ausente o a manera de comentario de tablas y gráficas; una pretensión de objetividad ha estado más allá de la medida. 8. LO QUE LA ESTADÍSTICA PROMUEVE A LA EXISTENCIA De tal manera, las respuestas de los estudiantes hacen existir una clasificación en la que podrían no haber estado antes de la prueba, pero en la que estarán después de



que los resultados comiencen a entretejerse en lo social. La evaluación masiva no detecta clasificaciones, sino que las produce. Desrosières [1995:22-23] plantea que las clasificaciones se nos muestran de tal manera que los números parecen expresar cosas que existen independientemente de las condiciones que las establecen, cuando en realidad «una codificación es una decisión convencional de construir una clase de equivalencia entre objetos diversos, considerada la ‘clase’ como más “general” que cualquiera de los objetos particulares que incluye. Precondición para ello es la asunción de que esos objetos puedan ser comparados». La cuestión no es si son realmente equivalentes los objetos, sino —como dice Desrosières— quién decide tratarlos como equivalentes y con qué fines. Sin embargo, en Colombia es impertinente preguntar por los intereses en juego, aunque el actual modelo aplicado a la educación tiene objetivos claros (los fines que Desrosières sitúa como determinantes). Y aquí es donde la aparente incertidumbre y la necesidad de “investigar” estadísticamente adquieren otro carisma. Cuando se pone en entredicho la relación entre la serie números y la serie conocimiento [Cf. Benedito, 1975], las conclusiones ya no pueden ser en relación con lo que los entrevistados saben, sino en relación con los intereses en juego. Por ejemplo, a propósito de los cursos de capacitación: por un lado, el Banco Mundial dice que la capacitación de docentes no aporta al mejoramiento; por otro lado, la investigación en nuestro país encuentra que aquí tampoco; y, por último, aparece una serie de medidas: el Centro Experimental Piloto se acabó y los CEP que las regiones quieran mantener, lo harán asumiendo los costos; la capacitación, que comenzó siendo gratuita, cada vez más corre por cuenta de los mismos docentes; y la oferta de capacitación va quedando en manos del sector privado. No obstante, nada se dice del tipo de capacitación que ha habido como producto de las políticas educativas del MEN, qué otras posibilidades hay de pensar la formación permanente de los docentes en ejercicio, ni qué responsabilidades tiene el MEN en la calidad de la capacitación que ha habido. La bien llamada “feria del crédito” no está asociada a la calidad, eso era previsible; de manera que otra variabilidad de la capacitación, por ejemplo en relación con su calidad, sí podría estarlo. 9. ¿POR QUÉ UNA DESVIACIÓN ESTÁNDAR? Las decisiones estadísticas tienen incidencia en los “resultados”. Por ejemplo, la estandarización de los desempeños generalmente se hacen mediante distribuciones homogéneas de media 50 y una desviación estándar para determinar tres grupos: “alto”, “medio” y “bajo”. Pero, ¿por qué una desviación estándar? La respuesta es: “porque es lo que usualmente se hace”, o “porque es lo que se hace en el ICFES”; y si uno pregunta allí, le dicen: “porque es lo que se hace en el Educational Testing Service”…



Las conclusiones se sacan bajo el supuesto de que esa clasificación en tres categorías representa —de una manera que se presta para los cruces— los desempeños de los estudiantes. Sin embargo, como el número de categorías no es determinante, en la investigación de Bustamante y Díaz (2000) se resolvió mantener los grupos que ya estaban generados en las diversas posibilidades de respuestas correctas. Como era una prueba de 19 preguntas, se hicieron 20 categorías de desempeño: desde los que no contestan ninguna correctamente, hasta los que las contestan todas correctamente. Era de esperarse que este grupo “natural”, tuviera una alta asociación con la clasificación estandarizada (una variable está asociada positivamente a sí misma). Pero, sorprendentemente, la escala “natural” y la estandarizada ¡no se asocian! (p-valor: 0.202). Y, no obstante, la idea de la categorización estandarizada es que hace visibles las asociaciones con los factores asociados. De otro lado, cualquier otro valor que se escoja mueve las cifras de manera distinta y, en consecuencia, arroja resultados distintos. A continuación se muestra el ejercicio, hecho en esa investigación, de aplicar también media y una-y-media desviaciones estándar a las mismas cifras; se obtienen grupos distintos de “alto”, “medio” y “bajo”, como se ve en la siguiente tabla:

Desviaciones estándar 0.5 1 1.5

Bajo (%) 34.6 17.2 5.6 Medio (%) 36.2 61.4 86.7 Desempeño

estandarizado Alto (%) 29.2 21.4 7.8 Según la tabla, la clasificación que produce grupos más homogéneos sería la obtenida no con una desviación estándar (la aplicada tradicionalmente), sino con media; cuando se aplica una-y-media desviación estándar, las diferencias entre los grupos es aun mayor que cuando se aplica una. De donde la decisión parece estar en el hecho de que se generen grupos acordes con la curva normal. Con el inconveniente de que no se ha explicado por qué todo grupo humano tiene que quedar distribuido bajo la campana de Gauss, y por qué no se puede aspirar, en el campo educativo, a que todos aprendan. ¡El mismo Ministerio de Educación [1996b:1] así lo dice!: Una escuela es buena cuando todos los alumnos aprenden lo que tienen que aprender en el momento que lo tienen que aprender y en un ambiente de convivencia y felicidad. Los educadores debemos comprender y hacer comprender a los padres de familia y a la sociedad, que todos los niños son capaces de aprender en la escuela si juntamos nuestros esfuerzos y les damos las oportunidades necesarias.



Ahora, crucemos el desempeño de los niños en lenguaje con los factores-libro analizados en Bustamante-Díaz [2000], cada vez con las categorías estandarizadas obtenidas aplicando media, una y una-y-media desviaciones estándar:

P-valores Desviaciones estándar 0.5 1 1.5

En casa 0.997 0.130 0.390 Recibidos x la escuela 0.161 0.368 0.139 Guías de escuela nueva 0.796 *0.002 0.592 Para la biblioteca 0.116 0.187 0.501 Textos escolares *0.060 *0.042 0.741

Libros

Texto Esc. de lenguaje *0.066 *0.048 0.844 Si se considera 0.100 como valor a partir del cual hay asociaciones moderadas, con media desviación estándar aparecen dos asociaciones (marcadas con asterisco); mientras que con una desviación estándar aparecen tres asociaciones (una almamente significativa, por ser inferior a 0.010); y con una-y-media no aparecen. En el caso de las guías de escuela nueva, aplicando una desviación estándar habría que decir que las guías coadyuvan al desempeño en lenguaje (lo que, leído literalmente, apuntalaría una política de reedición de guías); pero aplicando 1.5 o 0.5 desviaciones estándar no se muestra asociación con ese factor, de donde sólo podría afirmarse que las guías son independientes del desempeño (¡y la política tendría que ser completamente opuesta!). 10. ¿QUÉ CIFRA PARA LA “ASOCIABILIDAD”? En la investigación, hecha con datos levantados por el MEN para evaluar el impacto del Plan de Universalización [Bustamante-Díaz, 2000], establecimos presencia de significatividad moderada a partir de un p-valor de 0.100; con este valor, el 50% de las veces hay correlación entre el desempeño y los libros. Pero si hubiéramos contemplado la significatividad a partir de un p-valor de 0.010 (como efectivamente hacen otros estudios), sólo podría hablarse de un 16.6% de correlaciones. Más específicamente: cuando se trata de buscar la relación entre, por ejemplo, los “Libros varios” que el Plan de Universalización entregó a las escuelas para la biblioteca, y el desempeño de los niños (puntaje estandarizado), el análisis estadístico revela una correlación positiva, con un p-valor de 0.011. Esto quiere decir que, allí donde se entregaron libros varios para la biblioteca, los desempeños de los estudiantes tienden a evolucionar hacia los niveles altos, mientras que en las escuelas donde no se entregaron, los niños muestran tendencia a quedarse en niveles bajos. De esto se suele concluir de la siguiente manera: que sí fue útil entregar libros para la biblioteca y, en consecuencia, se puede recomendar la continuación (o hasta el incremento) de tal medida. Pues bien, todo esto puede afirmarse porque el p-valor de 0.011 registrado cabe dentro de lo que el equipo consideró como “moderadamente significativo”. Si la decisión hubiera sido la de restringir la significatividad para



valores inferiores o iguales a 0.010, entonces acerca de los mismos niños, acerca de las mismas escuelas, con los mismos datos, tendríamos que decir que el desempeño de los niños y los libros son independientes; o sea, que el desempeño parece no depender de ese factor y, en consecuencia, podría recomendarse lo contrario frente a la política respectiva (no entregar más libros varios para la biblioteca)... todo por la decisión acerca de un número —de una décima. 11. LA DECISIÓN DE LA CIFRA CLAVE ES ARBITRARIA La decisión de las cifras claves (para establecer los grupos, para delimitar lo que se asocia y lo que no) es “arbitraria”, en el sentido de que no se obtiene de una deducción frente a los objetos de evaluación, frente a los factores asociables o frente a su posible asociación; es una decisión en otro rango de especificidad. Esto se puede ilustrar con aplicaciones de cifras claves en asuntos económicos:

en marzo de 2000 se publicitó un desacuerdo entre el DANE y la ANDI, en relación con el crecimiento de la economía colombiana: mientras para el DANE la economía había decrecido (–11.18%), para la ANDI había crecido (+11.7%). El DANE se desdijo después, a favor de un crecimiento del 5.37%, argumentando que se había aplicado el índice de precios nuevo que entregó el Banco de la República, a la antigua clasificación CIUU (cifra que entrega la ONU para hacer comparables los países)17. O sea, no se habla de la economía sino de cifras, pues si la economía crece o no depende de si se aplica o no determinado número.

En las islas británicas, entre 1979 y 1997, las autoridades han cambiado

treinta y dos veces los criterios estadísticos para definir las cifras de desempleo. En este momento, el criterio es: «no está desempleado quien trabaja más de una hora por semana» [Galeano, 2000:177]. De manera que el porcentaje de personas empleadas no depende solamente del empleo, sino también de lo que se defina por “estar empleado”.

17 El oso del DANE. En: Diario El Tiempo, domingo 26 de Marzo de 2000, p.19A.



G. UNA MANERA DE CONCLUIR 1. LA INVESTIGACIÓN ESTADÍSTICA COMO PRODUCTO SOCIAL La indagación de factores asociables no es un campo de saber nuevo, ni una manera nueva de investigar en educación; más bien se trata del efecto de ciertos procesos sociales, a partir de los cuales se “escogen” las disciplinas que se implementarán a nombre de la investigación y que, en consecuencia, ganarán legitimidad en el ámbito educativo. Cualquier tipo de estudio que esté en boga, aun bajo la creencia de que se trata del “último” hallazgo científico, lo estará como efecto de procesos sociales. De ahí que más que de “validez” científica, se trate de “verosimilitud” histórica. Y no es que este tipo de estudios carezca de trayectoria; todo lo contrario: en este momento ya hay tal cantidad de artículos, informes y libros, que cada vez se hace más difícil establecer lo que se conoce como “estado de la cuestión”. Es más, tal producción no tiene límite y crece en proporción geométrica (se multiplica el requerimiento a los equipos, las instituciones, las instancias... y el anhelo de éstos... de implementar este tipo de estudios, que se van acumulando), mientras que la capacidad de leer y, sobre todo, de entender y de tomar posición en el ámbito educativo, crece muy poco —en proporción aritmética—, hasta un límite insalvable: de un lado, porque somos humanos (límite para la cantidad de lo conocido y la manera del conocer) y, de otro, porque el día a día de la escuela es asumido uno por uno (y no por esa instancia ideal que tendría en su unidad de memoria el “estado del arte”, razón por la cual obraría con mayor racionalidad). Sin embargo, la abundancia de productos no necesariamente indica la fertilidad académica de los estudios que los producen, ni de su capacidad explicativa frente a la educación. Podemos estar “bien informados” (teniendo en cuenta que se trata de un tipo de información, no de la información), pero no experimentar el compromiso, pues los porcentajes nos libran de ello: como ya las actitudes están distribuidas con arreglo a una ley de probabilidades, qué mas da que yo —una sola persona— decida una cosa u otra; cada uno puede pensar que su hacer no afecta esa ley. Igual análisis para lo “institucional”: las instancias que establecen la política educativa están convencidas de que se trata de la manera, ahora sí, que explica la educación y que lo pasado ya no sirve; y cuando piensan que hay otras alternativas, de todas maneras asumen que no valdría la pena intentar cosas distintas, pues algo ha de ganarse con ésta y sí se pierde mucho si ésta no se asume, etc. Entonces, la abundancia de producción en este campo es indicador, de un lado, de que cierta posición se ha entronizado en la política educativa (y va directamente a cumplir su papel: la llamada “evaluación de la calidad” se utiliza para controlar, para justificar despidos, etc.); y, de otro lado, es indicador de que los agentes educativos



se representan, de alguna manera, en esa forma de hacer (si no, no se explicaría la “acogida” de las medidas —aun bajo la modalidad de la crítica, esté o no documentada—): piden capacitación, preparan a los niños para presentar pruebas, hablan con las palabras que provienen de los estudios, se busca ampliar la cobertura de los procesos evaluativos, no se sabe del asunto pero se considera que la información ha sido obtenida de forma científica, etc. Gran parte de la investigación sobre educación consiste en el manejo de cifras. Se piensa que la relación de la investigación educativa con el estudio de la sociedad se limita a las correlaciones numéricas entre unos “factores” —que reemplazan a la sociedad— y unos desempeños —que reemplazan a la educación—. Sin embargo, nos parece que es posible investigar conjuntamente la educación y la sociedad, por lo menos mientras queda claro por qué serían distintas, tal como lo supone la idea de buscar factores asociados a... 2. LA EXCLUSIÓN DE ANÁLISIS SOCIALES CUALITATIVOS La exclusión de otro tipo de análisis sociales no es una condición “natural” que los hace decaer por su propia especificidad: con estudios como los de factores viene asociado cierto juicio sobre otras miradas, agenciadas o no por actores educativos: se considera que toda diferencia con el modelo reinante no hay que tenerla en cuenta, sino “valorarla”; es decir, considerarla como una posición “ideológica” o, en otras palabras, jerárquicamente inferior, en atención a que la discusión habría promovido un espacio “técnico” de acción, en oposición a los espacios marcados culturalmente, que deben mirarse como piezas de museo, respetarse, pero no tenerse en cuenta. Por eso, un ministro puede decir, en la presentación a un informe de factores asociados del Ministerio de Educación, que es necesaria y conveniente la discusión sobre el concepto de “calidad de la educación”, pero que el punto de vista importante es aquel que, para mejorar la calidad de la educación, la evalúa mediante instrumentos que permitan obtener información sobre desempeños y factores [MEN, 1997:9]. 3. EL ANÁLISIS “CLÁSICO” DE LA EDUCACIÓN Y EL ANÁLISIS ESTADÍSTICO Frente al análisis “clásico” sobre la educación en su relación con lo social (Althusser, Vasconi, Bourdieu, Foucault, Ponce, Freire, etc.), se impuso una nueva manera de hacer las cosas18: se cambiaron las perspectivas teóricas, los conceptos y los marcos generales que definen el objeto; se cambiaron los instrumentos metodológicos: se fortalecieron los test, las encuestas de opinión y la medición de actitudes; se cambió el objeto: de un lado, se proclamó el “fin de las ideologías” y, de otro, se entendió el objeto como el efecto de las correlaciones numéricas; y,

18 En este punto seguimos de cerca a Verón, 1969.



finalmente, se cambió el público, pues interpreta el que sabe psico-socio-metría y el que no, se limita a informarse. Veámoslo puntualmente:

Mientras el análisis que hemos denominado “clásico” tiene un área muy amplia de aplicación (la educación en sus relaciones con la cultura, el arte, la religión, la política, la filosofía, el orden jurídico, etc.), la “nueva” mirada sobre la educación fragmenta el campo en diversas disciplinas e, incluso, instancias para la toma de decisiones, con lo que ha disminuído la trascendencia del corpus que se toma en consideración.

Mientras el análisis “clásico” maneja un material con un alto nivel de

abstracción (por ejemplo: el sentido de la educación para cada época y lugar), la mirada psicométrica maneja un material con bajo nivel de abstracción, que es lo que se pregunta en los factores asociados (por ejemplo: la opinión de cualquiera —lo que “alguien” percibe— sobre asuntos cotidianos —de su entorno inmediato—).

Mientras el análisis “clásico” tiene por objeto los sistemas de ideas e

interpreta la relación de la educación con otros subsistemas sociales, la mirada psicométrica tiene por objeto opiniones referidas a aspectos muy delimitados de la realidad, es decir, un sector reducido de la imagen general de lo social que sustentan los miembros de la sociedad, pero en atención a formas de preguntar que quedan materializadas en instrumentos.

Mientras el análisis “clásico” tiene como foco de interés las estructuras

conceptuales, los sistemas de ideas, es decir, la manera como ciertas categorías cognitivas se interrelacionan, la mirada psicométrica focaliza el grado de aceptación o rechazo de contenidos considerados relevantes frente a la educación.

Mientras el análisis “clásico” busca las propiedades internas de los sistemas

educativos, es decir, su grado de organización, sus mecanismos, su coherencia, la derivación de ideas a partir de otras, etc., la mirada psicométrica promueve un mundo fragmentario, como el de los listados de factores.

Mientras el análisis “clásico” establece que los sistemas, las estructuras,

determinan las representaciones, que, en consecuencia no son conscientes, no requieren serlo (y que, más bien, las representaciones conscientes carecen de racionalidad y pueden ser contradictorias), la mirada psicométrica registra la opinión consciente del encuestado como si ésta diera cuenta del sistema. Mientras en el primer caso, la no coincidencia entre representación y estructura justifica el estudio (las relaciones sociales hacen que la



representación consciente sea diferente de sus leyes inconscientes de organización), en el segundo caso se valora la posición individual frente a la pregunta hecha en contexto de evaluación, como indicativa de una tendencia que será, en cualquier caso, de naturaleza psicológica (por eso se trata de psico-metría).

Mientras el análisis “clásico” augura larga vida a los procesos ideológicos —

en los que se inscribirían los procesos educativos—, en tanto condición del funcionamiento social, la otra mirada aplica instrumentos con el fin de obtener información para analizar con ayuda de modelos matemáticos. Es decir, que la para la primera perspectiva las ideologías no sólo no han desaparecido sino que no pueden desaparecer (impregnan lo social, las formas de organización cognitiva); mientras que la otra perspectiva pretende entender la educación sin formalizar la organización estructural de las significaciones de los mensajes (medidas cuantitativas de las evaluaciones, antes que formalización de estructuras cognitivas).

4. LA EDUCACIÓN Y LAS EVALUACIONES COMO IDEOLOGÍA Si consideramos la educación y las evaluaciones como ideología, no es en el entendido de que la ideología es un tipo particular de mensaje (y que, en consecuencia, habría mensajes que no son ideológicos). Es esa la posición que se considera desueta y en nombre de la cual se quiere despachar toda interpretación de corte “cultural”. Consideramos la ideología más bien como un nivel de organización de todo mensaje. Según hemos visto a propósito de los factores asociables, los hechos se “producen” y se incorporan, bajo la forma de significaciones, a los contenidos de una comunicación (por eso al modelo le resulta indispensable la comunicación más pronta posible de los resultados, así el destinatario no entienda de qué se trata). Si se significa, de una parte, por selección (se escoge “competencias” y no “inteligencia”, “factores asociados” y no “escenarios”, estadística clásica y no bayesiana, etc.); y, de otra, por combinación (se articula <buen desempeño como consecuencia de tener textos> y no <respuestas en una prueba en correlación con respuestas en otra>, etc.), es importante lo que se dice, claro está, pero es inseparable del modo en que se dice y de lo que no se dice, pero que podría haberse dicho. La objeción a ciertos cuerpos de proposiciones (los “metarrelatos”), se ha puesto como excusa para pensar los procesos sociales (la educación, por ejemplo) como si no estuvieran “contaminados” por lo social (el modelo se muestra como “técnico”). Como la significación no es del mensaje individual, sino del conjunto del que proviene, no tendría sentido cuestionar cierta lectura de los datos, proponer otras



correlaciones, etc., manteniendo la matriz que da lugar a investigar de esa manera. Se trata, más bien, de señalar el conjunto del que proviene la información —pues podrían producirse otros conjuntos— y la manera como ésta se organiza —pues podría emplearse otra—. Desde esta perspectiva, el modelo que impone la evaluación de la calidad es finito (como matriz de significados), pero puede producir un conjunto infinito de mensajes (como lo comprobamos en la creciente bibliografía sobre el tema), todos marcados por las restricciones a que está sometida su producción. La “investigación” de factores asociados produce significación, efectivamente; significación que se materializa en una idea vivida de escuela (fragmentaria y/o contradictoria, no importa). Desde esta perspectiva, no es relevante que haya sistema que produzca la significación; lo importante es que todos responden con libertad y autonomía, y que de este conjunto infinito de mensajes se pueden inferir numéricamente tanto regularidades como correlaciones. Por eso no se busca vincular conflictos sociales. En consecuencia, la manera como ha venido ocurriendo la evaluación en el DC se puede graficar de la siguiente manera:



Lineamientos internacionales

Administradores de la educación

Comunidad educativa

Política educativa

Instrumentos de

evaluación Desempeño

Factores asociables

Resultados Expectativas

Promueven a la existencia y delimitan

Expertos (Estadística)

Analizar

Expertos (Psicometría)

Diseñar

Datos

Expertos (Disciplinas)

Conceptualizar

Objetos de evaluación

Promueven Materializan

una concepción

Una escuela Una estadística

De escuela De desempeños

Una concepción de investigación

en educación

Evaluación de la calidad

Diseñar

Eficiencia interna

Clasificación



H. HACIA UNA CONCEPCIÓN DE ESCUELA Los considerables índices de escolarización que había alcanzado la región a comienzos de la década de los 80’s, dieron paso a una nueva preocupación: la calidad de la educación, y con ella, vino el énfasis en la evaluación de los sistemas educativos y los procesos de enseñanza y aprendizaje. Como se ha señalado en otro aparte de este informe, a partir de la década de los 90´s los gobiernos de América Latina emprenden la constitución de los llamados sistemas nacionales de evaluación de la calidad de la educación como parte de toda una estrategia auspiciada por los organismos de cooperación y financiación internacional (UNESCO, Banco Mundial, OEI). Pese a las discusiones y las reflexiones alrededor de la complejidad propia de los sistemas educativos, de la institución escolar y de los procesos educativos, hecho reconocido en innumerables documentos producidos tanto por la comunidad de investigadores como por los propios organismos de cooperación y financiación, la política educativa en relación con la calidad de la educación se ha circunscrito dentro de un modelo según el cual: 1) Los logros cognitivos o desempeños “académicos” de los estudiantes constituyen

la mejor expresión de la calidad de la educación. 2) Las pruebas psicométricas masivas constituyen la manera más precisa para medir

el logro o desempeño, y por tanto, la calidad de la educación. 3) Los logros o desempeños dependen de una serie de variables —factores

asociados— que pueden ser del orden escolar o extraescolar. 4) Es posible —a partir de pruebas psicométricas de tipo cerrado— establecer la

incidencia de cada uno de dichos factores en el logro o desempeño. 5) Los análisis estadísticos a partir de los cuales se relacionan los desempeños en

las pruebas con los factores asociados, indican con precisión aquellos aspectos sobre los cuales la política debe concentrarse.

6) El mejoramiento de la calidad de la educación consiste, entonces, en la intervención sobre aquellas variables (factores asociados) —en particular sobre aquellas propias del ámbito escolar— que muestren mayor correlación con los resultados de las pruebas.

De esta manera, se ha entendido la escuela bajo una lógica causa-efecto en donde el promedio del logro o desempeño de los estudiantes es la variable dependiente y los factores asociados las causas o variables independientes que lo determinan. Dentro de esta perspectiva, y a pesar de la diversidad de investigaciones que se han preocupado por comprender lo que allí acontece, para las políticas evaluativas la escuela sigue siendo una especie de caja negra cuyo funcionamiento se reduce a un asunto de “inputs y outputs”



En la perspectiva de ir más allá de esta lógica mecanicista, nos hemos propuesto elaborar una concepción de escuela que nos permita un mayor acercamiento a la complejidad de su organización y funcionamiento con el propósito de establecer las condiciones para pensar la calidad de la educación no ya como un simple asunto de promedios y correlaciones estadísticas sino más bien en términos de una investigación sobre las particularidades que definen las prácticas pedagógicas en cada una de las instituciones escolares y en cada uno de los municipios del Departamento. La propuesta que aquí presentamos no muestra a la escuela como una burbuja puesta en lo social, por el contrario, intenta dar elementos para describir la manera como ella está atravesada por otros factores, mucho más allá de los que señala la política educativa (y que se pregunta en los instrumentos de factores asociados) y, en consecuencia, de los insumos que allí se colocan. Hasta el momento, las políticas educativas se han concentrado en la relación maestro–alumno, en tanto se supone que de allí se deriva el resultado central de la labor escolar: el logro cognitivo del estudiante. Detrás del estudiante hay unos factores que explican la variación del logro: el ingreso de la familia, escolaridad de los padres, el tipo de vivienda, etc. Esta lista de factores no ha sido permanente, ha variado en las distintas pruebas que se han aplicado en el país desde 1991, sin embargo, el resultado sí ha sido el mismo: al rico le va bien, al pobre le va mal. Detrás del maestro también habría unos factores que explicarían ese logro: la capacitación, los títulos, la experiencia, el tiempo en la institución, etc. El propósito de la determinación y “observación” de estos factores es intervenir algunos de ellos bajo el supuesto de que tal intervención producirá un efecto sobre el logro. Recientemente, se han incluido nuevos factores asociados a las listas anteriores cuyo objetivo es observar el papel de la institución (rector, administración, maestros). La relación entre logro y factor se considera como de causa–efecto: si aumentamos textos, si damos más títulos a los maestros, si renovamos su experiencia, etc., entonces se mejora el logro. En la medida en que estos factores se cuantifican, se cosifican, se deja de lado el análisis de la relación entre éstos y la manera como interactúan maestro y alumno; igualmente, quienes han diseñado los cuestionarios parecen no preguntarse por la pertinencia de tales o cuales factores; por ejemplo, en relación con los textos no se ha preguntado por el uso sino simplemente por su existencia o su cantidad o su diversidad. En ese sentido, nos parece importante indagar por esas relaciones, explorar qué es lo que acontece con eso que se han llamado factores asociados; de ahí que se requiera otra lógica para el análisis. Proponemos, entonces, una lógica tensional en donde antes que variables y efectos aparecen cosas contradictorias, demandas simultáneas de órdenes distintos.



Eso nos lleva a hacer una diferencia con el modelo actual en el que se basa la evaluación de la calidad: ya no se trata de “alumno” promedio que responde, que tiene algo de un “desempeño”, de una “competencia” estandarizada, y que es medido en las pruebas, sino de “alumnos”, de acuerdo con el contexto; ya no se trata de “maestro” promedio que enseña, sino de “maestros”, dependiendo también del contexto. Y desde luego, ya no se trata de la escuela sino de las escuelas. Así, retomando diversas investigaciones que desde la historia de la educación y la pedagogía hasta el campo del currículo y la propia evaluación hemos venido realizado, elaboramos lo que, siguiendo a Saldarriaga19, hemos denominado las tensiones constitutivas de la escuela moderna. De esta manera, pretendemos pasar de una lógica causal de la escuela a una lógica tensional y contextual en donde antes que un asunto mecánico de variables y efectos, la institución escolar es entendida en términos de un conjunto de tensiones permanentes que hacen de cada una de ellas no sólo algo particular e incomparable sino además, en permanente inestabilidad y movilidad. 1. LAS TENSIONES CONSTITUTIVAS DE LA ESCUELA

19 Ver: SALDARRIAGA, Oscar. “Matrices éticas y tecnologías de formación de la subjetividad en la pedagogía colombiana, siglos XIX y XX”, en, Pretextos Pedagógicos, No. 9, Bogotá, SOCOLPE, diciembre de 2000, págs. 19-51

Pretensiones

Textos

Institución

INGRESO FAMILIAR

Títulos Maestro–Alumno Escolaridad de los padres

Experiencia

Logro

Tipo de vivienda

Esquema de la manera como se conciben los factores asociados



Los trabajos históricos sobre el surgimiento de la escuela moderna nos señalan que desde su instauración en el terreno social, la escuela estuvo sometida a un diverso juego de fuerzas que le dieron su particularidad como institución social de la modernidad. Así, antes que una institución que evoluciona con el paso del tiempo, la escuela sufre permanentemente un juego de tensiones irreconciliables e irresolubles. Desde luego, la escuela de hoy no es la misma que apareció en nuestro territorio hacia la segunda mitad del siglo XVIII: sus fronteras han sido permeadas, sus límites se han ampliado, su rigidez inicial se ha matizado, pero las tensiones que la constituyeron ayer siguen dando forma a la escuela de comienzos del siglo XXI. Un primer juego de tensiones constitutivas de la escuela conformaría lo que Saldarriaga ha denominado el eje de las funciones20: desde sus comienzos la escuela ha pretendido formar individuos que posean un gobierno de sí mismos según los tipos de sujeto o de individualidad que se pretenda formar en cada contexto histórico, pero a la vez la escuela está llamada a formar grandes masas de la población para que respondan a determinado orden social según los fines que una sociedad le coloque en un momento histórico particular. Así, la escuela se mueve permanentemente entre una función individualizante y una función masificante hecho que genera una primera tensión que no puede tener punto de equilibrio pues significaría la anulación de alguna de estas fuerzas o de las dos. Un segundo juego de tensiones resulta del enfrentamiento entre el saber pedagógico y los mecanismos organizativos o disciplinarios. Se trata del eje del saber en donde, de una parte, está el saber pedagógico que establece los objetos, procedimientos, métodos, técnicas y condiciones para la enseñanza y el aprendizaje, y de otra, están los mecanismos organizativos y disciplinarios requeridos para el funcionamiento de la escuela en tanto institución socializadora y disciplinadora. Ninguna escuela puede funcionar sólo bajo los dictámenes del saber pedagógico pues su carácter disciplinario y normativo interfiere con los propósitos y fundamentos ideales de cualquier modelo pedagógico. Así, la escuela se debate entre los dictámenes del saber pedagógico hegemónico y la necesidad de orden, control y disciplina para regular las relaciones entre los sujetos de la práctica pedagógica. Un tercer juego de tensiones hace referencia a las restricciones en que se inscribe la escuela: se trata del eje de las condiciones que desde la misma aparición de la escuela han oscilado entre el orden de lo global, universal y lo local, particular. La escuela apareció en el horizonte del proyecto global de la Ilustración, pero cada escuela tuvo que funcionar en el marco de diversos contextos incluso refractarios a la idea y las prácticas de la civilización.

20 Ibid., p. 24



Este entramado de tensiones constitutivas ha significado que la escuela, a lo largo de los siglos, se debata de modo dramático y conflictivo alrededor de cuestiones que nunca encontrarán soluciones definidas si no siempre híbridas y en permanente recomposición21. Algunas de estas cuestiones son las siguientes: Mientras la necesidad de escolarización y los criterios económicos exigen elevar el número de estudiantes en las aulas, las corrientes pedagógicas señalan las bondades de una atención más personalizada ¿Cuál es el número adecuado de niños por maestro? A propósito del orden social vigente y el problema de la regulación individual, ¿cómo lograr formar individuos respetuosos de la norma y del orden social cstablecido y a la vez sujetos autogobernados? Los modelos pedagógicos nos han hablado de un maestro conocedor de la ciencia que enseña y de la pedagogía y psicología para poder enseñarla, sin embargo, esta exigencia se cruza permanentemente con las condiciones sociales del maestro, con la tradición de las instituciones de formación de docentes y con los requisitos administrativos de economía de recursos. ¿Se debe formar un maestro artesano, aplicador de un método o un maestro sabio, intelectual, creativo?

21 Ver: Ibid., p. 26-27

FUNCIÓN MASIFICANTE

SABER PEDAGÓGICO

MECANISMOS ORGANIZATIVOS

FUNCIÓN INDIVIDUALIZANTE

CONDICIONES GLOBALES

CONDICIONES LOCALES



El maestro es símbolo de autoridad, pero a la vez debe ser guía, acompañante. ¿Cuál es el nivel tolerable de respeto a la intimidad y a la libertad individual y cual el de intervención del maestro? La escuela representa la cultura académica, la cultura letrada, pero la gran mayoría de quienes asisten a ella provienen de una diversidad cultural en donde la racionalidad, la tradición escrita y la argumentación no son elementos esenciales. ¿Cuál es el umbral mínimo de permeabilidad de la escuela frente a las culturas extraescolares? Ante estas paradojas, la lógica causal para entender la escuela pierde sentido y se impone una nueva mirada en donde las hibridaciones, las contradicciones, las fluctuaciones, las transacciones cobran sentido explicativo y ya no pueden ser vistas como obstáculos o accidentes. Si bien es sólo UNA manera de entender la escuela, consideramos que se trata de una comprensión que intenta responder a la complejidad de la dinámica escolar, y en ese sentido, constituye un modelo más verosímil de escuela. 2. LOS CAMPOS TENSIONALES COMO CATEGORÍAS DE OBSERVACIÓN Cada polo tensional de la escuela al intersectarse con los otros genera unos campos tensionales variables en tanto su carácter depende del estado de las tensiones de los polos respectivos que lo constituyen. Si cruzamos los tres ejes de tensión, tenemos que se forman 12 campos tensionales así:



Tensión 1 Tensión 2 Campos tensionales

MO

Orden Social

FM

SP

Currículo

MO

Regulación

FI

SP

Aprendizaje


MECANISMOS ORGANIZATIVOS SABER PEDAGÓGICO


Orden social

Aprendizaje

Currículo

Regulación



Tensión 1 Tensión 2 Campos

CG

Tipo de Ciudadanía

MO

CL

Institucionalización

CG

Proyecto Educativo

SP

CL

Proyecto Escolar


SABER PEDAGÓGICO

CONDICIONES LOCALES

Tipo de Ciudadanía

Proyecto escolar

Proyecto educativo

Instituciona-lización

MECANISMOS ORGANIZATIVOS



Tensión 1 Tensión 2 Campos

CG

División del trabajo

FM CL

Integración

Social

CG

Identidad

FI

CL

Horizonte de sentido

En la perspectiva de dar cuenta de la complejidad de elementos involucrados en las prácticas escolares, hemos considerado cada uno de estos campos como categorías de observación que nos permitirán apreciar la manera como cada escuela particular resuelve, maneja, procesa, cada una de las tensiones que la constituyen. Como categorías de observación, cada una de ellas nos dará cuenta de un aspecto de la

CONDICIONES LOCALES


División del trabajo

IdentidadHorizonte de sentido



Integración social



dinámica escolar, pero en tanto son producto de tensiones, de una parte, no son fijas, rígidas; varían constantemente; de otra parte, no pueden ser interpretadas de manera aislada puesto que están ligadas a las otras por su pertenencia a campos producto de distintos polos de tensión. De esta manera, explicar el funcionamiento de una institución escolar es dar cuenta del estado de sus campos tensionales, o dicho en otras palabras, dar cuenta de la manera como en cada institución se relacionan tales campos. Para efectos de una comprensión más precisa, en tanto categorías de observación cada campo tensional tiene las siguientes características: a. Orden Social

En tanto institución social, la escuela ha sido encargada de la inmersión de las nuevas generaciones en el orden social vigente. Como parte de sus funciones, la escuela busca reproducir ciertas maneras de valorar, ciertos comportamientos, ciertas formas de percibir, de sentir. La reproducción del orden social depende de la manera como cada escuela relaciona dos polos de tensión: la función masificante y los mecanismos organizativos o disciplinarios. Si éstos últimos son predominantes, fuertes, se espera que el orden social reproducido esté más cerca de la ley, de la norma; por el contrario, si éstos son débiles y prima la función masificante, tendríamos, entonces, un orden social más flexible, más laxo que antes que a normas generales establecidas, responde a las condiciones pragmáticas de las relaciones. En términos particulares podríamos decir que si en una escuela los mecanismos organizativos y disciplinares son fuertes, explícitos, los individuos allí formados tenderán a comportarse de acuerdo a la norma y a la ley, por el contrario, si ello no es así, su manera de actuar tenderá a responder a las condiciones del grupo particular de donde proceden. Sin embargo, de una u otra forma, la reproducción del orden social es ineludible por parte de la escuela y sólo sus efectos serán variables pero dentro de marcos estrechos que impone una sociedad y una cultura particular. b. Currículo Independientemente de la concepción particular de currículo que maneje cada institución, la propuesta instructiva y formativa de cada escuela depende de la manera como operen la función masificante y el saber pedagógico: si la apuesta pedagógica de la institución es clara, explícita y compartida ampliamente por los maestros, podría preverse un énfasis en los saberes específicos a enseñar; si, por el contrario, no existe claridad sobre el horizonte pedagógico, la función masificante de la escuela hará que la propuesta curricular se oriente hacia saberes generales o hacia generalidades de los saberes.



En términos específicos, podríamos encontrar escuelas orientadas por las didácticas de los saberes cuya pretensión sería una fuerte formación en las disciplinas, o escuelas orientadas hacia una formación general que podría caracterizarse en términos del lenguaje de los organismos de cooperación como “necesidad básicas de aprendizaje” o “códigos básicos de la modernidad”. c. Aprendizaje El tipo de aprendizaje que una institución escolar promueve, depende del balance o el tipo de relación que se establezca entre el saber pedagógico y la función individualizante. Dicho de otra manera, una escuela que privilegie la orientación didáctica, que enfatice en los saberes a enseñar tenderá a generar procesos de heteroestructuración cognitiva; por el contrario, una institución que privilegie la dimensión individual, personal, tenderá a generar procesos de autoestructuración cognitiva. d. Regulación Más allá de los aprendizajes relacionados con los saberes disciplinares, la escuela promueve unas maneras particulares de relación de los sujetos son sigo mismos. La forma como este tipo de relaciones se agencia tiene que ver con la tensión entre la función individualizante y los mecanismos organizativos y disciplinares. La regulación, hace referencia, entonces, a aquellas normas de comportamiento, formas de valoración y autocuidado que promueve la escuela: cuando las condiciones de la institución facilitan la apropiada e interiorizada de tales normas y pautas por parte del individuo, hablamos de una regulación que tiende hacia el autogobierno; cuando, por el contrario, prevalecen formas de imposición y de control externo, dicha regulación tiende a funcionar más como coerción e. Tipo de ciudadanía Al integrar individuos en un orden social determinado, la escuela promueve, a su vez, tipos de ciudadanía que varían de acuerdo con el momento histórico. La promoción de cierto tipo de ciudadanía por parte de la escuela depende de la manera como se resuelven las tensiones entre las condiciones globales y los mecanismos organizativos y disciplinarios. De una parte, las condiciones globales plantean exigencias a la escuela en la perspectiva de formar determinado tipo de ciudadano: ilustrado, conocedor y respetuoso de sus derechos y deberes, y más recientemente, competente, ciudadano del mundo; de otra parte, los mecanismos organizativos y disciplinarios de la escuela pretenden someter los individuos a ciertas maneras de control que tienen que ver con el uso de los espacios, los tiempos, el cuerpo, el movimiento, los comportamientos, etc. De la manera como cada institución plantee



y de respuesta a estas exigencias, promoverá un tipo de ciudadanía más informal o más formal, valga decir, más cercano al prototipo o más alejado de aquel. f. Proyecto educativo Toda escuela responde a un proyecto educativo socialmente agenciado. Sin embargo, la manera particular de acercarse a tal proyecto tiene que ver con la forma como resuelva las tensiones generadas entre las condiciones globales y el saber pedagógico. En el caso particular de la situación actual, las condiciones globales están planteando una función educativa que va más allá de la escuela y que se presenta bajo diversas formas institucionales a lo largo de toda la vida del individuo, ofreciendo el desarrollo de multiplicidad de competencias, habilidades y conocimientos; algunos llaman a esto la pedagogía social; por otro lado, el saber pedagógico tradicional se concentra en el marco de la institución escolar y enfatiza los saberes disciplinares. En términos esquemáticos, tendríamos por lo menos dos tipos de instituciones escolares: aquellas más cercanas a las exigencias globales contemporáneas de una pedagogía social, y otras más afines con el saber pedagógico tradicional que privilegiaría la formación en las disciplinas escolares y la obtención de logros y desempeños en los estudiantes.

g. Proyecto escolar Si el PEI es la explicitación de una apuesta institucional, el proyecto escolar, tal como se entiende aquí, es la orientación implícita de cada institución. Este proyecto escolar responde tanto al saber pedagógico institucionalizado como a las condiciones locales en donde está inserta la escuela. Podría decirse que si en una escuela el saber pedagógico institucionalizado es claro, explícito y compartido por sus maestros, el proyecto escolar tenderá a privilegiar una cultura académica; por el contrario, si priman las condiciones locales, la respuesta al medio o los referentes locales, el proyecto escolar tenderá a privilegiar una cultura local. h. Institucionalización Las pretensiones educativas que se establezcan, cualquiera que sean, pasan por el efecto de su escolarización. Esta institucionalización del saber, en condiciones específicas, se inscribe en la oscilación que va entre la reproducción de las relaciones sociales y los procesos de creación de significado o construcción de conocimientos alternativos, es decir, de su resistencia. La institucionalización como mecanismo a través del cual se regulan espacios de interacción entre conocimiento, relaciones de poder y procesos de subjetivación, adopta determinada forma de acuerdo con lo que se ponga en juego en un contexto; entendido éste como un espacio de reproducción y producción cultural.



De un lado podríamos hablar de instituído, como lo dado, como lo asumido acríticamente, lugar en que se reproduce la hegemonía del poder establecido, en virtud de un encasillamiento cultural de significados, en donde se coloniza el saberes y relaciones de maestros y alumnos, en donde impera un orden. Pero en la medida en que a la escuela confluyen intereses desiguales y contextuales, aparece otra dimensión: la de lo instituyente, entendida como lo que emerge en razón de las fuerzas que hacen hablar lo concreto, lo cotidiano, en el que las relaciones se establecen más en un nivel dialógico en cuyo horizonte se coloca lo emancipatorio, en oposición a lo hegemónico. En este sentido aparecen formas de institucionalidad autogestionarias, el autogobierno; formas de relación colegiadas y cooperativas. i. Integración social La vinculación a un orden social así como la formación de un tipo de ciudadanía implican un proceso de integración social. Si las condiciones locales tienen una presencia fuerte en la escuela, la integración social resultante tenderá a responder a tales condiciones y en tal caso se estará promoviendo una multiplicidad de formas de integración; si por el contrario, las condiciones locales no tiene una presencia considerable en la institución, la función masificadora tenderá a generar un tipo de integración tendiente a la homogeneidad. j. División del trabajo Al reproducir un orden social, la escuela responde a una particular división social del trabajo. La manera como cada escuela se ubica frente a esa división social del trabajo depende de la relación entre dos polos tensionales: la función masificante y las condiciones globales. Cuando las condiciones globales logran permear el trabajo escolar, es posible que la institución se oriente hacia las posiciones minoritarias que plantea la división social del trabajo en el orden mundial vigente; si la escuela resulta refractaria a tales condiciones, la función masificante establecerá su privilegio y la división social del trabajo tenderá a fomentar las posiciones mayoritarias en tal división. Para un caso particular, una institución educativa que esté en sintonía con los requerimientos de las condiciones globales contemporáneas tenderá a formar individuos orientados hacia el análisis simbólico (posiciones minoritarias dentro de la división social del trabajo hoy), mientras que otra que no esté en esta sintonía seguramente primará la función masificante y tenderá a formar individuos orientados hacia la producción rutinaria (posición mayoritaria dentro de la división social del trabajo).



k. Identidad Las características hegemónicas que signan social, política y culturalmente determinado momento histórico (por ejemplo, hoy la idea de globalizacion), exige a los sujetos en términos individuales asumir una posición de aceptación o rechazo de modos establecidos de actuación; obligando a la definición de una identidad particular que surge como efecto de la pugna entre condiciones globales y la función individualizante. En la medida que la función individualizante logre marcar un efecto fuerte en los sujetos, estos tendrán mayor posibilidad de inscribirse en determinada posición desde su propia decisión; mientras que en un escenario donde las condiciones globales sean prevalentes la posición de los sujetos tenderá a ser establecida por cooptación. Si bien la identidad de un sujeto corresponde a su fuero interno, es decir depende exclusivamente de una elección y por tanto ésta no puede ser “formada”, desde cada oferta educativa se dispensan condiciones que pueden favorecer la inclinación por algún tipo de posicionamiento según sea puesto el acento en uno u otro polo de la tensión. l. Horizonte de sentido El arraigo de saber, con que cada sujeto cuenta para acceder a diversos niveles de comunicación y comprensión, constituye su horizonte de sentido; dicho en otras palabras —y retomando el concepto de código de B. Bernstein22—, la necesidad de disponer de una relación directa con una base material sobre la cual se busca significar algo: orientación restringida al código C—, o la posibilidad de interactuar lingüísticamente con base en abstracciones: orientación elaborada al código C+, tiene que ver con las posibilidades que su contexto le permita; contexto delimitado por la tensión entre condiciones locales y, la función individualizante.

22 De acuerdo con Bernstein, “el código se define ahora como los principios que subyacen a la orientación de los significados y su realización lingüística en diferentes contextos. Así, «los códigos elaborados dan acceso a ordenes de significados universalistas que están menos ligados al contexto mientras que los códigos restringidos dan acceso a ordenes de significados particularistas que están más ligados a un contexto particular».” DÍAZ, Mario. “Introducción a la sociología de Basil Bernstein”, en, BERNSTEIN, Basil. La construcción social del discurso pedagógico, 2ª edición, Bogotá, PRODIC, 1993, p. 8-9



I. BIBLIOGRAFÍA

ALCALDÍA MAYOR DE SANTA FE DE BOGOTÁ, Secretaría de Educación. Evaluación de competencias básicas en lenguaje y matemáticas. Primera aplicación, Octubre-Noviembre de 1998. Resultados. Santa fe de Bogotá: Febrero de 1999. ANDRADE, Gerardo. «Niveles de conceptualización en los procesos evaluativos». En: Revista Edu.co, N°1. Bogotá: Enero-Marzo de 1998. ÁVILA, Rosa. «Factores asociados al logro educativo». En: Revista Alegría de enseñar N° 38. Cali: FES, Enero-Abril de 1999. BACHELARD, Gaston. La formación del espíritu científico. México: Siglo XXI, 1979. BAENA, Luis Ángel. «Lingüística y significación». En: Revista Lenguaje No. 6. Cali: Univalle, 1976. BANCO MUNDIAL. «Staff appraisal». Bogotá: MEN (s/p), 1988. ________ - Instituto de desarrollo económico - División de recursos humanos, EDIHR, Fondo de las Naciones Unidas para la Infancia, UNICEF - Oficina regional para América Latina y el Caribe. Hacia una nueva escuela: guías de formación docente en estrategias para el mejoramiento de la educación básica primaria y para el aprendizaje personalizado y grupal. Bogotá: UNICEF, 1996. BENEDITO, Gloria. «El problema de la medida en psicología». En: Psicología: ideología y ciencia. México: Siglo XXI, 1975. ________. «El método de los tests e inventarios». En: Psicología: ideología y ciencia. México: Siglo XXI, 1975. BERNSTEIN, BASIL. La construcción social del discurso pedagógico, Bogotá, PRODIC, 1993 BULA E., Germán A. «Carta». En: Revista Alegría de enseñar N° 38. Cali: FES, Enero-Abril de 1999. BUSTAMANTE, Guillermo. «¿Es posible evaluar “objetivamente”?». En: Evaluación escolar, ¿resultados o procesos? Bogotá: Magisterio, 1996. ________ y JURADO, Fabio. «La evaluación oficial del área de lenguaje». En: Revista Opciones pedagógicas N° 10. Bogotá: Universidad Distrital, 1993. ________ y DÍAZ, Luis Guillermo. «Análisis de algunos factores asociables al desempeño en el área de lenguaje: el Distrito Capital frente al resultado nacional». Bogotá: SOCOLPE-IDEP, 2000 (s/p). CABRERA, Blas. «Evaluación del sistema educativo: ¿para qué?». En: Revista Archipiélago No 38. Barcelona, Otoño de 1999. CAICEDO, Lilian y BUSTAMANTE, Guillermo. «Construcción social de la evaluación escolar». Investigación financiada por el IDEP. Bogotá: s/p, 1998. COLBERT, Vicky y MOGOLLÓN, Oscar. Hacia la Escuela Nueva. Bogotá: MEN, 1980.



DAZA, Ricardo y JIMÉNEZ, David. El texto escolar en Colombia. Bogotá: CERLALC, 1977. DEPARTAMENTO NACIONAL DE PLANEACIÓN. «Análisis de la educación primaria y secundaria». En: Revista de planeación y desarrollo, Vol. XIII, N° 3 de diciembre de 1981. ________. Plan de apertura educativa 1991-1994. Bogotá: DNP, 1991. ________. El salto educativo. La educación, eje del desarrollo del país. Bogotá: DNP-MEN, 1994. ________. Un plan educativo para la paz. Bogotá: UPN, 1999. ________. Evaluación de la calidad de la educación primaria en Santafé de Bogotá 1998 - Factores asociados al logro. 1999. ________. Evaluación de la calidad de la educación primaria y secundaria en Santafé de Bogotá. Factores asociados al logro académico. 2000. DESROSIÈRES, Alain. «¿Cómo fabricar cosas que se sostienen entre sí? Las ciencias sociales, la estadística y el Estado». En: Archipiélago No 20. Barcelona, 1995. DÍAZ, Carlos. «Diseño, metodología y resultados del tercer estudio internacional de matemáticas y ciencias -TIMSS- en Colombia». En: Revista Edu.co, N°1. Bogotá: Enero-Marzo de 1998. DÍAZ, Luis Guillermo. Estadística multivariada: análisis y métodos. Bogotá: Universidad Nacional, 1999. DUARTE, Patricia et al. «Posición sobre los componentes del sistema de evaluación, a propósito del área de lenguaje». En: Revista Enunciación Vol. I, Nº1. Bogotá: Universidad Distrital «Francisco José de Caldas», Julio de 1996. FLÓREZ, María Victoria. «Algunos procederes prosociales de niños entre 4 y 8 años: su relación con la lectura de imágenes en movimiento» (Anteproyecto de investigación). Bogotá: Universidad Pedagógica Nacional s/p, 1997. FOUCAULT, MICHEL. La arqueología del saber. México, Siglo XXI, 1987 ________________. Vigilar y Castigar. México, Siglo XXI, 1989 FUNDACIÓN SOCIAL. Megatendencias Siglo XXI. Bogotá: Fundación social, 1998. GALEANO, Eduardo. Patas arriba. La escuela del mundo al revés. Bogotá: Tercer Mundo, 2000. HEDERICH, Christian y CHARRIA, María Elvira. «Impacto del proyecto “Podemos leer y escribir” en el desarrollo de la cultura escrita en las escuelas latinoamericanas». En: Revista Folios N° 10, Bogotá: Universidad Pedagógica Nacional, segundo semestre de 1999. HEYNEMAN, Stephen et al. «Libros de texto y aprovechamiento: lo que sabemos». En: Latapí, Pablo (coord.). Educación y escuela. I La educación formal. México: SEP-Nueva Imagen, 1991. ICFES. «Cruce entre la variable logro y los factores asociables correspondientes a plantel-rector, docentes y estudiantes». Bogotá: ICFES s/p, 1996. ________. «Información sobre estudiantes». Formulario de factores asociados. ICFES, 1992.



JURADO, Fabio y BUSTAMANTE, Guillermo. «Por una diversidad de textos en el aula de clase». En: Revista Opciones pedagógicas Nº12. Bogotá: Universidad Distrital, 1994. ________; ________ y PÉREZ, Mauricio. Juguemos a interpretar. Bogotá: Plaza&Janés, 1998. MICHEL, Alain. «La conducción de un sistema complejo: la educación nacional». En: Revista iberoamericana de educación N° 10. Madrid: OEI, Enero-Abril de 1996. MINISTERIO DE EDUCACIÓN NACIONAL. La promoción automática en educación básica primaria. Acción nacional educativo-cultural. Bogotá: MEN, 1987. ________. «Programa para la Universalización de la Educación Básica Primaria». Bogotá: MEN (s/p), 1988. ________. «Ciclo de Foros sobre el Plan de Apertura Educativa. Tema: La evaluación de la calidad de la educación» (Documento de trabajo). Bogotá, MEN: 1991. ________. Saber. Sistema nacional de evaluación de la calidad de la educación. Primeros resultados: matemáticas y lenguaje en la básica primaria. Bogotá: MEN, 1992. ________. Avances de saber. N° 1. Bogotá: MEN, 1993a. ________. Avances de saber. N° 2. Los primeros resultados. Bogotá: MEN, 1993b. ________. Avances de saber. N° 3. Informe sobre repitencia. Bogotá: MEN, 1993c. ________. Circular ministerial N° 28, Agosto 4 de 1994. Política de textos. Bogotá: MEN, 1994. ________. Educación para la democracia, el desarrollo, la equidad y la convivencia. Plan Decenal de educación 1996-2005. Bogotá: MEN, 1996a. ________. La escuela: el lugar predilecto de las niñas y los niños. Por una mejor educación para la Colombia que soñamos. Programa nacional de incentivos. Bogotá, MEN, 1996b. ________. Resolución número 2343 de junio 5 de 1996. Bogotá: MEN, 1996c. ________. Evaluación de impacto Plan de Universalización Educación básica primaria. Crédito 3010-CO BIRF. Resultados. Bogotá: MEN, 1997a. ________. Factores asociados al logro cognitivo de los estudiantes. Grados 3°, 5°. 1993-1995. Bogotá: MEN, 1997b. MINISTERIO DE HACIENDA Y CRÉDITO PÚBLICO - DEPARTAMENTO NACIONAL DE PLANEACIÓN. Proyecto de presupuesto general de la nación 2000. El presupuesto de la verdad - Ministerio de educación nacional. Bogotá: MINHACIENDA-DNP, 1999. MISIÓN CIENCIA, EDUCACIÓN Y DESARROLLO. Colombia al filo de la oportunidad. Bogotá, IDEP: 1997. OEI. Evaluación de la calidad de la educación. Documento base. Buenos Aires: OEI, 1994. OLIVERIO, Alberto. «El espectáculo de la ciencia». En: Revista Newton. Agosto de 1998.



PEÑA, Margarita. «Los sistemas de evaluación de la calidad: Un vistazo al panorama internacional». En: Revista Alegría de enseñar N° 38. Cali: FES, Enero-Abril de 1999. ROSAS, Gabriel et al. «Racionalización del gasto público en educación». Bogotá: Departamento Nacional de Planeación, 1996. SALDARRIAGA, OSCAR. «Matrices éticas y tecnologías de formación de la subjetividad en la pedagogía colombiana, siglos XIX y XX». En: Pretextos Pedagógicos, Bogotá, Sociedad Colombiana de Pedagogía, Diciembre 2000, págs. 19-51 SAMPER, Ernesto. Por los derechos de la gente. Informe al Congreso 1994-1998. Bogotá: Presidencia de la República, 1998. de SAUSSURE, Ferdinand. Curso de lingüística general. Madrid: Alianza, 1989. SECRETARÍA DE EDUCACIÓN DEL DISTRITO CAPITAL [SED]. Plan sectorial de educación, 1998-2001. Bogotá: SED, 1998. ________. Pretextos. Reflexiones para elegir libros de texto. Bogotá: SED, 1999a. ________. Resultados. Evaluación de competencias básicas en lenguaje y matemáticas. Primera aplicación, Octubre-Noviembre de 1998. Bogotá: SED, 1999. ________. Resultados. Evaluación de competencias básicas en lenguaje, matemáticas y ciencias. Segunda aplicación, Calendario B, Mayo-Junio de 1999. Bogotá: SED, 1999. SILVA, Luis Carlos. Cultura estadística e investigación científica en el campo de la salud: una mirada crítica. Madrid: Díaz de Santos, 1997. SIMIAND, François. «El estadístico debe saber lo que hace». En: El oficio de sociólogo [Bourdieu et al.]. México: Siglo XXI, 1994. TORANZOS, Lilia. «Evaluación y calidad». En: Revista iberoamericana de educación N° 10. Madrid: OEI, Enero-Abril de 1996. TORT, Michel. El cociente intelectual. Madrid: Siglo XXI, 1979. TRIANA, Alejandro. «La evaluación de los sistemas educativos». En: Revista iberoamericana de educación N° 10. Madrid: OEI, Enero-Abril de 1996. UNESCO. «Declaración mundial sobre educación para todos». En: Educación para todos: finalidad y contextos. Monografía I. París: UNESCO, 1992. ________. Informe mundial sobre la educación. Los docentes y la enseñanza en un mundo en mutación. Madrid: Santillana-UNESCO, 1998. VELÁSQUEZ, Enrique. «Descripción de los cuestionarios sobre evaluación de la calidad de la educación, aplicados por el ICFES en 1992». Bogotá: ICFES s/p, 1995. VERÓN, Eliseo [1969]. «Ideología y comunicación de masas. La semantización de la violencia política». En: E. Verón (comp.), Lenguaje y comunicación social. Buenos Aires: Nueva Visión. WIDDOWSON, H. G. «Manejo y uso». En: Lenguaje y sociedad. Cali: Univalle, 1983. WOLFF, Werner [1947]. Introducción a la psicología. México: FCE, 1953. ZULUAGA, OLGA LUCÍA. Pedagogía e Historia. Madrid, Anthropos, 2000



III. ANEXOS

A. INFORMES TRABAJO DE CAMPO B. ANÁLISIS ESTADÍSTICOS

sociedad colombiana de pedagogía - socolpe.orgd3n%20cundinamarca.pdf · información del sector...

Documents