1. El desarrollo educativoAntonio VillarUniversidad Pablo de OlavideINEE, Madrid, 18 de Abril de 20131 2. Introducin2 3. Planteamiento Las posibilidades de crecimiento ydesarrollo de los pases estnvinculadas a sus capacidadesproductivas (dotaciones de recursos,tecnologa y capital humano). Hay una amplia evidencia empricasobre la relevancia del capital humanoen la explicacin del grado de desarrollode las sociedades. Mayores nivelesformativos se asocian tanto a mayoresingresos laborales de los individuoscomo a mayores tasas de crecimientopara la sociedad en su conjunto.3 4. Planteamiento La educacin constituye as un elementoclave que afecta tanto a las posibilidadesde relacin de un individuo con suentorno como a la capacidad de lasociedad para progresar. El Programa Internacional deEvaluacin de los Estudiantes (PISA)proporciona la ms amplia base dedatos sobre los resultados educativosobtenidos en un conjunto de 65 pases. 4 5. Planteamiento Es un instrumento fundamental para la evaluacin de los sistemas educativos y el diseo de polticas educativas debido a la comparabilidad internacional, la periodicidad de su elaboracin y la gran cantidad de informacin que suministra. El Informe PISA 2009 proporciona un extenso y rico perfil de las habilidades y conocimientos de los alumnos de 15 aos, as como informacin contextual que permite relacionar los resultados obtenidos con las caractersticas personales de los alumnos, su entorno social y familiar, y el tipo de escuela en que estudian5 6. Planteamiento Hay muchos aspectos relevantes delproceso educativo que puedenanalizarse a partir de la base de datosde PISA. Algunos de ellos son desarrollados deforma cuidadosa en los diferentesvolmenes que acompapaan al InformePISA. Nos oucupamos aqu de presentaralgunas formas razonables de sintetizarlas principales caractersticas de lossitemas educativos. 6 7. Planteamiento PISA recoge informacin sobre losconocimientos adquiridos por los estudiantes de15 aos en tres mbitos: lectura, matemticas yciencias. Valora las capacidades efectivamenteadquiridas (lo que realmente saben) y no elcumplimiento de requisitos formales (aos deestudio o programas cursados). La edad de 15 aos corresponde en casi todoslos pases participantes al final del ciclo deeducacin obligatoria7 8. Planteamiento Los datos proporcionan informacin sobre lascompetencias efectivas que cada sistemaeducativo garantiza a sus ciudadano. El informe establece seis niveles decapacitacin en trminos de ciertos umbralesde la puntuacin del test. En algunos pases, entre ellos Espaa, buenaparte de sus regiones han ampliado la muestrapara tener informacin relevante tambin anivel regional (todas excepto ComunitatValenciana, Castilla-La Mancha yExtremadura).8 9. Planteamiento La monografa de referencia aborda cuatroaspectos bsicos del funcionamiento de losdiferentes sistemas educativos: La evaluacin desde el punto de vista delrendimiento, la equidad y la calidad. La insuficiencias educativa. La relacin entre rendimiento educativo, elcrecimiento econmico y el mercado detrabajo. Las causas y la naturaleza de las grandesdiferencias de rendimiento educativoobservadas en las comunidades autnomasespaolas.9 10. Planteamiento Centramos aqu nuestra atencin enlos dos primeros aspectos: La construccin de un ndice deDesarrollo Educativo, relativo a lacomprensin lectora, que combinarendimiento, equidad y calidad. La medicin de la pobreza educativa apartir del anlisis de los estudiantesque no alcanzan el nivel dos decompetencia. 10 11. Un indicador educativomultidimensional 11 12. Tres dimensiones Proponemos aqu un indicador educativomultidimensional que permite obteneruna valoracin sinttica de losresultados alcanzados por los diversossistemas educativos en relacin con lacomprensin lectora. Este indicador utilizar informacincontenida en el Informe PISA que vams all de la mera consideracion de losresultados de los test. 12 13. Tres dimensiones La construccin de un indicadormultidimensional requiere siempre tomartres decisiones clave: El nmero y naturaleza de las dimensioneselegidas; La seleccin de las variales que aproximanestas dimensiones; y La seleccin de la frmula de agregacin. Estas decisiones, que no son ni sencillasni independientes, van a determinar laimagen que obtendremos en nuestrosanlisis a partir de un cierto conjunto dedatos. 13 14. Tres dimensiones Rendimiento: se refieren a los valoresmedios de la variable que mide losresultados de los test a los que se sometenlos alumnos, en relacin al aspectoconsiderado (comprensin lectora). Equidad: se trata de medir hasta qu puntolos resultados obtenidos en los test sonindependientes del entorno socio-econmicoy cultural de los alumnos. Calidad: aqu el objeto es determinar laproporcin de estudiantes excelentes (cmode gruesa es la cola derecha de ladistribucin).14 15. La estructura del ndice Consideremos una sociedad i en undeterminado periodo (el ao 2009 ennuestro caso) y supongamos que tenemoslos datos necesarios relativos a las tresdimensiones consideradas. Sean Pi, Ei, Qilos valores de las variables que midenrendimiento, equidad y calidad. El ndice de Desarrollo Educativo (IDE) es:1/3 Pi Ei Qi EDIi ( Pi ,Ei ,Qi ) = = 3 p e q P0 E0 Q0 15 16. La estructura del ndice La normalizacin se introduce parahacer comparables las magnitudes devariables que estn medidas endiferentes unidades. Tomaremos aqu como referencia losvalores medios de la OCDE para cadauna de las variables considerdadas. As,cien veces x nos dice qu porcentaje dela media de la OCDE representa el valorde cada pas con relacin a la variablesconsiderada, x = p, e, q. 16 17. La estructura del ndice Este tipo de normalizacin implica que elcambio de los valores de referencia no afectaal ranking que genera el indicador, ni a losvalores relativos de cualquier par desociedades que estemos comparando, ni alas relaciones marginales de sustitucin entrelas variables. La relacin marginal de sustitucin entrecualquier par de componentes, por ejemploPi y Qi, viene dada simplemente por la ratioPi/Qi, que resulta obviamente independientede los valores elegidos para la normalizacin. 17 18. La estructura del ndice La media geomtrica es unprocedimiento de agregacin que tienepropiedades mejores que la mediaaritmtica en este contexto, porque: Supone relaciones marginales de sustitucindecrecientes entre las variables. Penaliza la dispersin de sus componentes,de modo que para obtener valores elevadosdel indicador se requiere tener valoreselevados en todas las variables. Se trata de una medida de centralidadconvencional, con una interpretacinintuitiva y fcilmente comprensible18 19. Los componentes del ndicede Desarrollo Educativo 19 20. Rendimiento El rendimiento se mide simplementemediante el valor medio del test obtenidopor cada pas, que es proporcionadodirectamente por el Informe PISA. La distribucin de los resultados de estavariable muestra una dispersin muypequea, con un coeficiente de variacinde tan solo 0,1102 (un dato que sereduce hasta el 0,046 para los pases dela OCDE).20 21. Rendimiento A pesar de la reducida dispersin de lavariable, la diferencia entre los pasescon mejor y peor puntuacin es enorme:hay 242 puntos de diferencia entreShangai-China y Kyrgyzstan, quecorresponden a seis aos deescolarizacin. La diferencia entre la mayor y la menorpuntuacin en los pases de la OCDE(Corea y Mxico) es de 114 puntos, queequivalen a ms de dos aos de 21 22. Rendimiento Espaa se sita en la mediana de ladistribucin, con una valorcorrespondiente al 97.6 % de la mediade la OCDE. Israel, Croacia, Eslovaquia, laRepblica Checa, Eslovenia y Greciatienen valores en torno a la mediana. Italia, Macao-China, Portugal, ReinoUnido, Hungra y Dinamarcarpresentan valores en torno a la mediade la OCDE.22 23. Rendimiento Los mejores resultados correspondena Shanghai-China (con un valor de556), Corea, Finlandia, Hong Kong-China, Singapur y Canad. Los peores resultados corresponden aKyrgyzstan, Azerbaijan, Per,Panam, Qatar, Albania y Kazakhstan.23 24. El rendimiento en Espaa Espaa se sita ligeramente pordebajo de la media de la OCDE. La distribucin de los valores de lasregiones espaolas con respecto a lamedia nacional oscilan entre el 93 %de Canarias y el 105 de Castilla yLen (lo que equivale casi a un ao ymedio de escolarizacin diferencial).24 25. Rendimiento en EspaaRendimiento1.20001.00000.80000.60000.40000.20000.000025 26. EquidadIn a system characterised by anequitable distribution of educationalopportunities, students performance isindependent of their background Inthis system, the relationship betweenacademic achievement and studentbackground is weak as all students enjoythe same opportunities to achieve theirpotential and their outcomes representtheir efforts, abilities and ambitionsfairly. (Informe PISA 2009) 26 27. Equidad La idea de equidad est relacionadacon la nocin de igualdad deoportunidades. Para aproximar el grado de equidadde un sistema educativo ponemos losresultados obtenidos por losestudiantes (rendimiento) en relacincon sus condiciones socio-econmicas (entorno familiar y socio-27 28. Equidad Las condiciones socioeconmicas sonvaloradas en trminos de un indicadorcompuesto que resume lascaractersticas del entorno familiar(renta, educacin de lospadres, recursos educativosdisponibles, etc.). El coeficiente de determinacin (R2)entre rendimiento y condiciones socio-econmicas es una medida del grado dedependencia de los resultadoseducativos del entorno del estudiante. 28 29. Equidad El valor de R2 est comprendido entrecero y uno, y nos dice la fraccin de lavarianza comn entre ambas variables.Para medir el grado de equidad de unsistema educativo usaremos la variable: E = 1 R2. De este modo hay perfecta equidadcuando E = 1, mientras que no existeequidad ninguna cuando E = 0. 29 30. Equidad La diversidad de los sistemas educativoscon respecto a esta variable es muypequea: un coeficiente de variacin de0,0546 (0,0306 para la OCDE), en tornoa la mitad de la variabilidad delrendimiento. Los pases con mejores resultados entrminos de equidad son Macao-China, Qatar, Hong Kong-China eIslandia. Y los peores sonPer, Hungra, Uruguay y Bulgaria. 30 31. La equidad en Espaa Espaa presenta un valor de estavariable mejor que la media de laOCDE. Las regiones espaolas presentanniveles de equidad bastante diversos. Los datos no apoyan la idea de que lamayor equidad se obtiene a costa demenor rendimiento. Ms bien laconclusin es la contraria. 31 32. La equidad en Espaa(OCDE = 1) Equidad 1.11.0510.95 0.90.8532 33. Calidad Para evaluar esta dimensin usamos lainformacin relativa a la estructura de ladistribucin de los estudiantes de cada pasen los seis niveles de compentecia queestablece PISA. Dos ideas clave: Los estudiantes con mayores niveles decompentencia son aquellos con mayoresprobabilidades de alcanzar niveles ms altos decapital humano. Los estudiantes del nivel inferior tendrndificultades para competir en el mercado detrabajo e integrarse en la vida social. 33 34. Calidad Para aproximar la calidad del sistemaeducativo tomamos la fraccin deestudiantes que alcanza los nivelessuperiores de competencia (5 y 6) yrestamos la de aquellos que no alcanzanel nivel 2 (el mnimo imprescindible paraparticipar de forma activa y productivaen la vida laboral y social). Es decir:Q = L(5+6) (1- P ) [2]34 35. Calidad Esta variable presenta una enormevariabilidad, con un coeficiente devariacin de 0,946 (0,485 para lospases de la OCDE), ms de ochoveces el valor del coeficiente devariacin del rendimiento.35 36. Calidad El ranking de calidad est encabezadopor Shanghai-China, Singapur, NuevaZelanda y Finlandia, con valores quesuperan el 200 % de la media de laOCDE. Alemania y Polonia tienen valores entorno a la media, mientras que Austria yEslovenia estn en torno a la mediana.Azerbaijan, Indonesia y Kyrgyzstan sonlos pases pero situados (con valoresinferiores al 1 % de la media de laOCDE). 36 37. La calidad en Espaa Espaa presenta un valor muyreducido de esta variable, por debajode la mitad de la media de la OCDE.La diversidad de resultados en lasregiones espaolas es enorme, conun rango de variacin del 0,1 paraCeuta y Melilla (0,2 paraCanarias, Baleares oAndaluca), hasta casi 0,9 paraCastilla y Len o Madrid.37 38. La calidad en Espaa (OCDE = 1)Calidad 10.90.80.70.60.50.40.30.20.1 0 38 39. El ndice de DesarrolloEducativo (IDE)39 40. El IDE El ndice de Desarrollo Educativopresenta una variabilidad muchomayor que la variable rendimiento: El coeficiente de variacin del IDE es0.4577, ms de cuatro veces el derendimiento. Para los pases de la OCDE la relacin essimilar: el coeficiente de variacin del IDEes cinco veces el de rendimiento. 40 41. El IDE Eslovenia y Portugal representan la medianade la distribucin mientras que Austria yMacao-China estn en torno a la media.Reino Unido, Polonia y Alemania tienenvalores en torno a la media de la OCDE. Entre lo 10 primeros del ranking hay cincopases asiticos (Shanghai-China, Singapur, Hong-Kong China, Corea yJapn). Las primeras seis posiciones las ocupanpases con valores que superan el 30 % de lamedia de la OCDE.41 42. 15 primeros pases deEDI Ranking globalla OCDE (OECD = 1)Finland1.360 2New Zealand1.310 4Korea1.306 5Japan1.281 7Canada 1.281 8Australia1.235 9Belgium1.12910Netherlands1.12411United States1.09012Iceland1.08213Norway 1.07914Sweden 1.06915France 1.06716Switzerland1.03517United Kingdom 1.02118 42 43. El IDE En la parte inferior del ranking (pasescon un IDE por debajo del 30 % de lamedia de la OCDE) encontramos trespases de la antigua Unin Sovitica(Azerbaijan, Kazakhstan yKyrgyzstan), dos Sudamericanos(Panam y Per), dos del SudesteAsitico (Thailandia eIndonesia), junto conAlbania, Jordania y Tnez. 43 44. Rendimiento e IDE44 45. El IDE en Espaa El valor del ndice de DesarrolloEducativo espaol es del orden del 76 %de la media de la OCDE. Este reducido valor se debe sobre todoal efecto de la variable calidad. Castilla y Len presenta un valor del 127% de la media espaola, frente a un 75% para Andaluca y Canarias (muyinferior para Ceuta y Melilla). 45 46. % mediaRendimiento EquidadCalidadIDEespaolaAndaluca 0.93410.9946 0.20150.5720 75Aragn1.00471.0463 0.65810.8844 117Asturias0.99440.9924 0.75030.9047 119Balears 0.92751.04410.1960.5747 76Canarias0.90881.0558 0.19440.5714 75Cantabria 0.98961.0354 0.62970.8641 114Castilla y Len 1.02041.0174 0.86680.9654 127Catalua1.01021.0340 0.50310.8070 106Ceuta y Melilla 0.83570.9412 0.09820.4259 56Galicia 0.98481.0810 0.45210.7837 103Madrid1.02120.9828 0.83510.9429 124Murcia0.97380.9897 0.31710.6736 89Navarra 1.00811.0036 0.67930.8825 116Pas Vasco1.00301.0706 0.61510.8709 115Rioja. La 1.01000.9895 0.80790.9312 123Espaa0.97601.00500.4440.7580 100OECD1 11 113246 47. El IDE en EspaaIDE1.2 10.80.60.40.2 0 47 48. Comentarios Los datos muestran que, globalmenteconsiderado, el IDE no produce unranking muy diferente del generado porel rendimiento (hay ms del 60 % devarianza en comn entre ambosindicadores). El IDE, sin embargo, pone al descubiertoimportantes diferencias entre pases enaspectos que no se refieren a laspuntuaciones medias de los test peroque resultan esenciales en la valoracinde los sistemas educativos. 48 49. Comentarios El coeficiente de correlacin entre lospares de variables que miden las trescomponentes seleccionadas resultasiempre positivo, con un valorreducido para calidad y equidad(0.33), moderado para rendimiento yequidad (0.48), y alto pararendimiento y calidad (0.83).49 50. Comentarios Hay un aspecto que no hemos tenido encuenta: el porcentaje de jvenes de 15aos que han abandonadoprematuramente la escuela. Hay pases en los que este porcentajees muy alto. La ausencia de informacin sobre estaparte de la poblacin de referencia hacedifcil tomar una decisin sobre cmotomar en cuenta esta circunstancia en lamedicin. 50 51. Comentarios La forma ms simple de incorporar estainformacin es multiplicar el indicador decada pas por la fraccin de jvenes de 15aos que estn estudiando. Los cambios en el EDI supondranreducciones muy importantes en pasescomo Albania (30 %), Argentina (22%), Azaerbaiyian (35 %), Brasil (28%), Colombia (33 %), Indonesia (39%), Kyrgizstan (23 %), Mxico (31%), Panam (40 %), Turqua (35 %) y51 52. Comentarios Los datos necesarios para elaborar esteindicador se obtienen directamente de laOCDE en formato de hojas excel, demodo que cualquiera puede realizarejercicios de medicin alternativos. Esto aplica, en particular, al uso deiguales pesos para las tres dimensionesconsideradas (los pesos puedencambiarse usando exponentesdiferentes para las diversasdimensiones). 52 53. La pobreza educativaLa magnitud de la insuficiencia formativa53 54. Planteamiento Un aspecto que pone de manifiesto elanlisis de los resultados de PISA esla diferente distribucin de lapoblacin en los niveles decompetencia determinados por elInforme. Pases con valores similares derendimiento puede tenerdistribuciones muy diferentes.54 55. Planteamiento Nos ocuparemos ahora de medir lainsuficiencia formativa, a partir de losporcentjes de estudiantes que noalcanzan el nivel 2 en los diferentesaspectos formativos(matemticas, lectura y ciencias). Queremos averiguar hasta qu punto lossistemas educativos fracasan a la horade garantizar un mnimo nivel formativoa los ciudadanos. 55 56. Planteamiento Dado que los niveles de competencia separametrizan con valores deltest, podemos tomar el valor del nivel 2como el umbral de la pobrezaeducativa y aplicar las tcnicasconvencionales de anlisis de la pobrezapara analizar la insuficiencia formativa. Buscaremos as construir una medidaque combine la incidencia (% depobres), la intensidad (la distancia alumbral) y la desigualdad (la dispersin56 57. La insuficiencia formativa Segn el Informe PISA laspuntuaciones que definen el lmite delnivel mnimo admisible decompetencia son: 407 puntos paramatemticas (m), 409 paracomprensin lectora (r), y 420 paraciencias (s). Consideraremos aqu que estos tresaspectos son igualmente imporatantespara valorar la insuficiencia educativa. 57 58. El ndice de pobreza Para el caso de una nicadimensin, adoptamos la siguientemedida de pobreza: p P ( y, z ) = 1- ( ) ( ) m y p 1- T y p n z Es decir, la proposcin de pobresmultiplicada por la distancia al lmitede pobreza ajustada por ladesigualdad entre los pobres.58 59. Pobreza multidimensional Cuando hay K dimensionesdiferentes, con pesos bi, tendremos:p K PK ( y, z ) = b j 1- ( ) m p ( j)1- T y p ( j) n j=1 zj Es decir, la media ponderada de losndices de pobreza definidos paracada dimensin. 59 60. La medicin de la pobrezaeducativa Partimos de los microdatosindividuales sobre los resultados delos test en matemticas, comprensinlectora y ciencias. Computamos, para cada estudiante Ien la muestra de cada pas de laOCDE el correspondiente ndice: 1 yi (m) yi (r) yi (s) 1- + 1- + 1- 3 407 409 420 60 61. La medicin de la pobreza educativa Un estudiante es considerado pobrecuando este nmero es positivo. Entonces calculamos el ndice depobreza para cada pas de la OCDE:p m p (m) m p (r) m p (s)P (.) = 1- T ( y (m)) + 1-pT ( y (r)) + 1- p T ( y (s)) p 3n 409 407 42061 62. Pobreza educativa en la OCDE (OCDE = 100)300250200150100 500 62 63. Comentarios La comparacin del ranking de rendimiento y(el inverso) de pobreza educativa resultailustrativo. Aunque el coeficiente de correlacin derangos (Spearman) alcanza el valor de 0.874para la OCDE, hay diferencias muyimportantes en casos concretos (v.g.Blgica, Francia y Portugal varan ms de10puestos). Las grandes diferencias en la distribucin delos estudiantes entre los diferentes nivelesnos debe hacer ser muy precavidos conrespecto al uso de los valores medios, queno resultan muy informativos. 63 64. Diversidad Hay una gran diversidad en lo relativo a lapobreza educativa entre los paes de laOCDE (y mucha ms entre los pases fuerade ella). El coeficiente de variacin del ndice depobreza educativa es ms de 10 vecessuperior al de rendimiento (0,548 frente a0,053). Parece haber muchas diferencias entre lospases desarrollados en cuanto a la atencinque sus sistemas educativos prestan a losestudiantes que van peor. Diferencias que sereproducen en el interior de los pases. 64 65. La pobreza educativa enEspaa La pobreza educativa en Espaa se sita pordebajo de la media de la OCDE (un hechonotable teniendo en cuenta que el porcentajede repetidores es del orden del doble). Las regiones espaolas presentan un gradode diversidad en esta variable mucho mayorque el de la propia OCDE (0,78 en Espaafrente a 0,548 en la OCDE). Los datos no apoyan la idea de que lasregiones con peores valores de rendimientotengan mejores resultados en trminos depobreza educativa. 65 66. Pobreza educativa en Espaa (Espaa = 100)Comunidades autnomas % sobre la media espaolaNavarra57Castilla y Len59Pas Vasco 61C. de Madrid 62Aragn 73Catalua 75Galicia77Cantabria86Murcia 88Resto de Espaa88La Rioja 89Asturias104Andaluca 150Illes Balears 165Canarias193Ceuta y Melilla 41566 67. Whats next?El anlisis de los sistemaseducativos mediante lacomparacin de distribucionescomplentasEl enfoque Herrero & Villar para la evaluacin devariables categricas67