1111111n111~

META-ANÁLISIS Y MODELOS JERÁRQUICOS LINEALES: ESTUDIOANALÍTICO DE LAS APORTACIONES DE LOS ÍNDICES DE MAGNITUD

DEL EFECTO INDIVIDUAL CLÁSICO Y EMPÍRICO BAYESIANO

MARÍA CASTRO MORERA (*)JOSÉ LUIS GAVIRIA SOTO ()

RESUMEN. Se analizan los procedimientos sistemáticos para la síntesis de resulta-dos procedentes de distintas investigaciones. En concreto, se centra en las aporta-ciones del procedimiento de síntesis más consolidado, el meta-análisis. En estetrabajo se analizan comparativamente las aportaciones del índice meta-analíticopor excelencia: la magnitud del efecto individual. En la literatura científica apare-cen perfilados dos tipos diferenciados de estimadores de la magnitud del efectoindividual: clásico y empírico-bayesiano. Sin embargo, no se encuentra un estudioanalítico de las aportaciones de ambos estimadores. Los resultados muestran elmejor comportamiento del estimador empírico-bayesiano. Este estimador, aunquetiende a infravalorar levemente el valor paramétrico central, es clara y sistemática-mente más eficiente que el clásico. Se comprueba que los estimadores empíricos-bayesianos, propuestos dentro de la perspectiva de los modelos jerárquicos lineales,suponen una clara aportación frente a los estimadores clásicos. Su comportamientoestadístico es aceptable y mejor que el de los estimadores tradicionalmente em-pleados.

INTEGRACIÓN DE RESULTADOS DEINVESTIGACIÓN COMO MEDIDADE RACIONALIDAD ANTE ELAVANCE CIENTÍFICO

La historia de la investigación educativaestá compuesta por cientos de miles de ex-perimentos con el objetivo común de me-jorar la educación en algunos de susámbitos. En cada una de las investigacio-nes se ha invertido una no desdeñablecantidad de recursos económicos y, másimportante aún, de recursos humanos. Sin

embargo, teoría y práctica educativa sehan visto muy poco alteradas por la aplica-ción de los resultados encontrados. En mu-chas áreas educativas, actualmente, elproblema no radica en la carencia de evi-dencias experimentales que validen o fal-seen una determinada hipótesis, sinoprecisamente en lo contrario, en el excesode resultados, normalmente incongruentesentre sí. Esta ausencia de resultados cohe-rentes dificulta la toma de decisiones parael desarrollo de un cuerpo teórico sistemá-tico y para la puesta en marcha cle progra-

(*) Universidad Complutense de Madrid.

Revista de Educación, núm. 320 (1999), pp. 295-307 295

mas de intervención realmente eficaces,puesto que, desde la investigación no sepuede ofrecer una respuesta unívoca.

En cualquier ámbito de estudio, es fá-cil que el investigador caiga en la tentaciónde plantearse realizar nuevos estudios queaclaren «de una vez por todas- la situación.Sin embargo, en Ciencias Sociales y, másconcretamente, en Ciencias de la Educaciónel mito del único y definitivo estudio resultauna completa farsa (Rosnow y Rosenthal,1989). Los resultados de una nueva investi-gación pasan a la cada vez más abultadalista de conclusiones incongruentes entre sí,sin aportar mucho más y necesitando siempreuna nueva investigación, la n+1, que resuel-va el problema educativo planteado. De talmodo que, en lugar cle formar un ovillo or-denado y estructurado, los nuevos esfuerzospueden liar aún más la madeja. Dentro deesta dinámica, es fácil caer en la «falacia epis-temológica», por la cual la realidad o la natu-raleza cíe los fenómenos que investigamos esigual a lo que se observa. Desde el realismocientífico, se apunta que el papel de la cien-cia y del conocimiento es el desarrollo deteorías que permitan explicar los fenómenosestudiados y probar esas teorías con criteriosracionales (House, 1991).

La solución, por tanto, no pasa por re-chazar anteriores esfuerzos a través cle un«borrón y cuenta nueva» sino por utilizar-los. Así, es posible afirmar que el avancede la Ciencia, y fundamentalmente en lasCiencias Sociales, debe proceder de formaacumulativa, sin que esto signifique, enningún caso, la renuncia a la realización deestudios individuales. Más aún, si se consi-deran algunas de las características propiasde la investigación educativa como son sunaturaleza multidisciplinar y multivariada,se hace más evidente la necesidad de acu-mular los resultados y conclusiones pro-cedentes de distintas investigacionesindividuales, puesto que, por el objeto deestudio, resulta prácticamente imposible di-señar un estudio que refleje y controle lacomplejidad cle los fenómenos educativos.

De esta manera, el problema no es lacarencia cle informaciones, de datos, sinola falta de conversión cle esa informaciónen conocimientos útiles que permitan de-sarrollar cuerpos coherentes de conoci-mientos relativos a los procesos educativoscontrastados con la realidad y, de manerasubsidiaria, mejorar la práctica educativa.En palabras de Glass (1976, p. 4), nuestroproblema es encontrar el conocimiento enla información.

La revisión de resultados de investiga-ción se perfila como una actividad científicarelevante e imprescindible puesto que seconstituye una medida de racionalidad anteel avance científico en Ciencias Sociales.

Ahora bien, la realización cle síntesisde resultados provenientes de distintas in-vestigaciones supone prestar una especialatención a los supuestos implícitos y explí-citos de cada una de ellas. Cada estudio re-visado parte de planteamientos conceptualesdiferentes, emplea únicamente algunas va-riables comunes al conjunto de estudiosque componen la muestra y aplica distintastécnicas cle recogida cle información, detratamiento de la misma, siendo éstos sóloalgunos cle los aspectos que se podríanenumerar. Parece entonces que, es necesa-rio ser especialmente cuidadoso en el pro-ceso cle resumir la información contenidaen las distintas investigaciones, con el ob-jeto de no desvirtuar sus planteamientos,sus constructos medidos o sus resultados.La atención al proceso técnico cle desarro-llo y realización cle una revisión de resulta-dos de investigación constituye una de lasprimeras necesidades de las revisiones deresultados de investigación. No se puedevolver la espalda a los riesgos técnicos quesupone la integración cle resultados proce-dentes de distintas investigaciones sobre elmismo tema, dado que de ellos depende lacalidad y exactitud de las conclusiones quese extraigan. Aprehender el significado deun amplio conjunto de investigaciones so-bre un determinado problenza educativo seconvierte básicamente en 1111a. cuestión de

296

carácter técnico o metodológico (Glass,1976; Pillemer y Light, 1980).

En este artículo, el centro de interés sedesplaza al análisis de procedimientos sis-temáticos para la síntesis de resultados. Enconcreto, nos centraremos en el estudio delas aportaciones del procedimiento de sín-tesis más consolidado, el meta-análisis. Elobjetivo del trabajo que se presenta es ana-lizar comparativamente las aportacionesdel índice meta-analítico por excelencia: lamagnitud del efecto individual. En la litera-tura científica aparecen perfilados dos ti-pos diferenciados de estimadores de lamagnitud del efecto individual. Sin embar-go, no se encuentra un estudio analítico delas aportaciones de ambos estimadores.Para cumplir con este objetivo, este artícu-lo se organiza en cinco grandes epígrafes.El primero está dedicado a hacer una bre-ve descripción de la herramienta meta-analí-tica. En el segundo epígrafe nos centraremosen la descripción de los principales mode-los de síntesis meta-analítica que determi-nan los estimadores. A continuación, sepresentan con detalle los dos índices demagnitud del efecto individual. El cuartoapartado, muestra el análisis comparativode las características técnicas de ambos es-timadores. Y, por último, se presentan lasconclusiones de este trabajo.

EL META-ANÁLISIS COMO PERSPECTIVAMETODOLÓGICA PARA LA SÍNTESISDE RESULTADOS Y LA MAGNITUDDEL EFECTO INDIVIDUAL

De una manera genérica se puede decirque los principales problemas metodoló-gicos con los que se encuentran los inves-tigadores a la hora de perfilar un métodocoherente para la integración de resultadosde investigación son dos, la existencia dedistintas unidades de medida de los estu-dios a integrar y la presencia de variacio-nes en las características básicas de losdistintos estudios. Un grupo de estudios

puede analizar la misma cuestión, inclusoemplear métodos de análisis similares,pero el revisor puede no estar seguro deque las conclusiones alcanzadas tras la in-tegración de los resultados de las investiga-ciones sobre ese tema no estén distorsionadasdebido a las diferencias en los criterios demedida o las características propias decada uno de los estudios.

Hasta 1976 no aparece en la literaturasobre revisiones, una alternativa metocloló-gica que supere los dos problemas antesmencionados: el meta-análisis. Este términoprocede de una clasificación, realizada porGlass (1976), de los distintos análisis dedatos en función del tipo de datos que em-plea, distinguiendo tres niveles: primario,secundario y meta-análisis. El análisis pri-mario es el tratamiento estadístico originalde los datos de una investigación. El aná-lisis secundario se define como el re-análi-sis de los datos procedentes de unainvestigación original con el objeto de res-ponder a las cuestiones inicialmente plan-teadas en ella con mejores herramientasestadísticas o responder a nuevos objetivosde investigación con «viejos ,. datos. La prin-cipal novedad es la introducción del térmi-no meta-análisis, acuñado por el autor,refiriéndose a un análisis de los análisis. Elmeta-análisis consiste en el tratamiento es-tadístico de los resultados de un conjuntoamplio de estudios primarios con el objetode integrar estos resultados tomando comoreferencia un conjunto de criterios objeti-vos y comunes para el conjunto de investi-gaciones a integrar. De esta manera, seestablece un procedimiento de síntesis ne-tamente distinto a los empleados hasta esemomento.

El meta-análisis es un procedimientosistemático de integración de resultados deinvestigación y pretende, globalmente, elanálisis y síntensis de los resultados obte-nidos en un conjunto de estudios experimen-tales que abordan la misma problemática deinvestigación, para comprobar si la conver-gencia de hipótesis y la variada gama de

297

diseños de investigación conducen a losmismos o similares resultados para el pro-blema objeto de estudio. En definitiva, tra-ta de buscar patrones de solución comunesen un cuerpo de estudios que abordan lamisma problemática desde distintas ópti-cas y con distintos procedimientos.

Desde el punto de vista metodológico,el meta-análisis supone un hito en la evo-lución proceclimental de las revisiones deresultados cle investigación. La introduc-ción de un estadístico, la magnitud de losefectos, que permite poner en una mismaescala los resultados procedentes de distin-tas investigaciones primarias es una de susprincipales aportaciones.

Los distintos modelos meta-analíticosnacen corno un intento de reflexión, pro-fundización y mejora metoclológica de lastécnicas empleadas para la integración deresultados de investigación. Esta reflexiónha dado lugar a modelos matemáticoscomplejos para la síntesis cuantitativa de laevidencia. Estos distintos esfuerzos de mo-delización cle la síntesis han abierto un ex-tenso debate científico sobre la adecuacióny pertinencia de los modelos y estimadoresempleados.

PRINCIPALES MODELOS DE SÍNTESISMETA-ANALÍTICA

El proceso general de síntesis de resulta-dos procedentes de distintas investigacio-nes supone la integración de los índices dela magnitud de los efectos cle cada investi-gación primaria. Los distintos modelos clesíntesis constituyen las distintas alternati-vas metodológicas para el tratamiento deproblemas meta-analíticos.

En la literatura meta-analítica aparecendescritos dos grandes tipos de modelosempleados para sintetizar evidencias:

• Los modelos clásicos, planteadospor I ledges y Olkin (1985).

• Los modelos jerárquicos lineales(Raunclenbush y Bryk, 1985; Bryk y

Raundenbush, 1992) como alterna-tiva teórica a las limitaciones mani-festadas por los modelos clásicos.

Las alternativas propuestas suponenun intento cle superación del modelo cle lamedia global que ha venido dominandoen la literatura meta-analítica, ya que sonnecesarias aproximaciones más sensiblesque reflejen que los efectos posibles de untratamiento están influenciados por distin-tos factores. Así, se puede asumir que lavariabilidad entre magnitudes del efectoindividuales es totalmente aleatoria y, portanto, inexplicable. Por este motivo, el mo-delo aleatorio de Hedges (1983) y Rubin(1981) es parcialmente adecuado. La varia-bilidad entre resultados dentro cle este mo-delo es igual a la variabilidad debida almuestreo entre sujetos y a la variabilidaddebida al muestreo entre estudios. En estecaso, tanto la variable independiente comola dependiente tienen una variación alea-toria. Sin embargo, también se puede pen-sar que la determinación de la variableindependiente no es aleatoria, sino fija,agrupando a los estudios en distintos blo-ques que presentan cierta homogeneidad(interna por compartir características simila-res. Desde este punto cle vista, la variabili-dad entre resultados se debe únicamenteal muestreo entre sujetos, ya que no reco-noce la existencia cíe variabilidad entre es-tudios. Este modelo de efectos fijostambién puede ser factible y la variabilidadobservada entre resultados atribuirse a lasdistintas características de los estudios(Hedges, 1982; Fleclges y Olkin, 1985). Sinembargo, ambos modelos parecen limita-dos, puesto que la variación entre resulta-dos puede atribuirse a la variación entresujetos, a la variación debida al muestreoentre estudios y a la variación atribuible alas características cle los estudios. Pareceque una solución puede venir de la manode un modelo de efectos mixtos, ya que in-corpora todas las posibilidades y aportauna estructura cuando la variación entreefectos es parcialmente explicable. Este

298

modelo se integra dentro de la lógica delos modelos jerárquicos lineales. El modelolineal mixto permite (Raundenbush yBryk, 1985):

• La estimación de la varianza del pa-rámetro de la magnitud de los efec-tos a través de medias de máximaverosimilitud.

• Proponer un conjunto de modeloslineales para explicar los efectos dela varianza paramétrica.

• Estimar la varianza residual de losparámetros de la magnitud del efec-to para cada modelo lineal.

• Emplear la información sobre lascaracterísticas de las investigacionespara obtener estimaciones empíricobayesianas mejoradas de las magni-tudes del efecto individuales.

• Examinar la sensibilidad de las infe-rencias sustantivas con relación alos errores en la estimación de loscomponentes de varianza.

Así, la aportación está centrada en dospuntos: en primer lugar, el reconocimientode la doble fuente de variabilidad aleato-ria, que además tiene la ventaja de ser unmodelo más generalizable que los mode-los meta-analíticos clásicos, a pesar de te-ner una varianza cíe error menor que elmodelo de efecto aleatorios; y, en segundolugar, la consideración cle la existencia deuna distribución de parámetros, 8„ rom-piendo la lógica clásica que prevé un úni-co valor paramétrico central para cualquierestimación de la magnitud del efecto indi-vidual.

En la propuesta de modelo de efectosmixtos de Raunclenbush y Bryk (1985), lavariación entre magnitudes del efecto indi-viduales se entiende como aleatoria, paraproponer un modelo lineal que permita laexplicación de la variación entre magnitu-des del efecto como una función de las ca-racterísticas de las investigaciones máserror. En el primer nivel, la variación entreresultados se define como aleatoria. Mien-

tras que en el segundo nivel, la variacióninter-estudios se trata como un resultado,dependiente de las características de losestudios, se entiende, por tanto, como unefecto fijo más un término de error demuestreo inter-estudios. Los modelos jerár-quicos proponen un conjunto de modeloslineales para explicar la variabilidad de losparámetros cíe magnitud del efecto, respe-tando la estructura jerárquica de los datosmeta-analíticos. Cada investigación indivi-dual refleja una determinada relación entretratamientos y efectos, relación que estáanidada en una investigación concreta, de-finida por un conjunto de características. Elproblema de investigación se repite cons-tantemente en un conjunto de investigacio-nes, cada una con sus propias particularidades.Los modelos jerárquicos lineales recono-cen este segundo nivel, lo que permiteevaluar la consistencia de la relación efec-tos-tratamientos en todo el conjunto cle in-vestigaciones. Proceden descomponiendola variabilidad cíe los resultados en fuentesaleatorias y sistemáticas a través de un mo-delo lineal mixto.

En un modelo de efectos mixtos seidentifican tres fuentes de variabilidad. Poruna parte, la de origen sistemático, produ-cida por la relación entre w (una caracte-rística de los estudios) y 8. Por otra parte,dado un estudio primario con un valordado de w, w,, ese estudio puede conside-rarse como un elemento extraído al azarde una distribución de estudios que com-parten un valor común en w„ pero difirien-do en otras variables (como p.e., aptitudesde los sujetos experimentales). Hay portanto una variabilidad debida a esas dife-rencias: muestreo entre estudios.

Todos esos estudios que compartenuna misma característica (w) están repre-sentados por una variable fija, 8,, que es unafunción cíe la característica, así a = f (w).Ahora, si se seleccionara un estudio con-creto de esa distribución es: 8, = 6 + ti,

donde: u; -N (O, a„2) y siendo u, una varia-

299

ble aleatoria que corresponde al error de-bido al desconocimiento de las otras ca-racterísticas del estudio que afectan a suefecto paramétrico.

Por último, hay otro error que se debe almuestreo entre sujetos. Por tanto, cuando secalcula un valor d, de un estudio primario,ese valor incluye un error debido a estemuestreo entre sujetos, por lo que d = 6 +e,,, donde 8, -N(8, .1, 1 ) y ey -N (O, ae2).

En un solo modelo se tiene que dy =8r+m+ e, y como 8, = f(w,), entonces: dy =frivdUy+ ey. Su variabilickid es: vcii(dy)= tni(wdvar(uy) + var(ey). Ahora bien, si f(tvi) esuna función lineal, 8, = yi, + ylw, (es decir,medido sin error, por tanto la caracterís-tica w explica completamente 8;), entonces:dy- yo + y, + 11 + ey.

El meta-análisis con modelos jerárqui-cos lineales se concreta matemáticamenteen un modelo de efectos mixtos. En unmodelo de efectos fijos, la única variabili-dad de d, es la debida al muestreo de suje-tos en cada estudio primario, puesto quese supone que los estudios han sido extraí-dos cle una población de estudios idénti-cos, salvo en la muestra empleada. De ahíque su poder de generalización alcancesólo a aquellos estudios iguales a los in-cluidos en la muestra. En un modelo deefectos aleatorios, tenemos la variabilidadde los sujetos y la debida al muestreo delos estudios, de ahí que su poder de gene-ralización sea mayor, sin embargo toda lavariabilidad es aleatoria, no refleja la posi-bilidad de que características de las inves-tigaciones primarias funcionen comofuentes de variación sistemática. En unmodelo de efectos mixtos, además de lavariabilidad de los sujetos, identifica doscomponentes. Uno, explicado por la varia-ble independiente de segundo nivel y es,por tanto, varianza de origen conocido osistemática (a pesar de ser debida al mues-treo de estudios) y otro componente que

es aleatorio (u,), debido al muestreo entreinvestigaciones primarias. Tiene la ventajade que es más generalizable que los enfo-ques clásicos y de tener una varianza cleerror menor que los aleatorios. Se puededecir que el modelo de efectos mixtos esun modelo exhaustivo, ya que permite re-flejar distintas posibilidades de explicaciónde la variabilidad. En este sentido se puededecir que es un modelo flexible y con ca-pacidad de adaptación a distintas situacio-nes de investigación. Ahora bien, es unmodelo que incluye una gran cantidad deparámetros, es decir, que es menos parsi-monioso que los otros dos, que tratan deexplicar los fenómenos con el menor nú-mero de parámetros.

Independientemente de las diferenciasen los modelos, se observan también dife-rencias en los distintos tipos cle estimado-res. La magnitud del efecto individual es,como ya se ha dicho, el estimador meta-analítico por excelencia. Es la base cle todoel proceso che estimación y análisis, de ahíque sea especialmente importante tenerbuenos estimadores, estadísticamente ha-blando. Las distintas concepciones de la ta-rea de síntesis de evidencias (clásicas ybasadas en los modelos jerárquicos linea-les) han dado lugar a dos tipos de estima-dores distintos que pasamos a describir.

ÍNDICES DE MAGNITUD DEL EFECTOINDIVIDUAL

La estimación cle la magnitud cle los efec-tos clásica se realiza por medio cle la com-paración de resultados procedentes cíe lascondiciones experimental y de control. Lamedida que se obtiene es la diferencia chemedias tipificada procedentes che las doscondiciones experimentales. Esta medida esconocida como magnitud o tamaño delefecto individual(5,) y viene dada por el si-guiente estimador (Hedges, 1981):

300

(Ecuación 1)

donde s es la desviación típica intragruposdada por:

(74 - 1)s/ * (n, - 1)s,2S =

+ n, - 2

(Ecuación 2)

donde 74, tic, S, y sc son los tamañosmuestrales y las desviaciones típicas res-pectivas de los grupos experimental y decontrol.

La magnitud del efecto representa laestandarización de la diferencia de mediasencontradas entre tratamientos o distintascondiciones experimentales en cada inves-tigación primaria. Así, la magnitud delefecto proporciona una medida estándar,en virtud de la cual se hacen directamentecomparables los resultados de diferentesestudios. Además, el significado de la mag-nitud del efecto es fácilmente interpretabley comprensible. Dada la normalidad de ladistribución de medias, las distintas mag-nitudes del efecto pueden representarsegráficamente en forma de distribucionesde puntuaciones y escalas percentilescomparables. Como se ha podido ob-servar, la magnitud del efecto, tal ycomo ha sido definida en este caso,considera únicamente diseños experi-mentales con postest. Los estudios inde-pendientes también puede analizarsemediante correlaciones.

Los modelos clásicos emplean este esti-mador clásico insesgado de la magnitud delefecto. En cambio, los modelos jerárquicoslineales, que también utilizan una dife-

rencia de medias estandarizada en todossus análisis, proponen realizar una estima-ción mejorada de este índice. Esta estima-ción emplea toda la informaciónprocedente del conjunto de investigacio-nes. Ambos modelos toman el valor del es-tadístico de Heclges como estadísticobásico para obtener estimaciones más pre-cisas. Sin embargo, la principal diferenciaentre ambos es que dentro de los modelosclásicos se utiliza únicamente la informa-ción procedente de cada investigación,como se ve en la ecuación 1 sólo se utili-zan los datos procedentes de cada investi-gación aisladamente. Mientras que, elestimador en el modelo jerárquico lineal

es la distribución a priori de 8, ya que seintenta estimar el valor del parámetro enfunción del conjunto de datos proceden-tes de todas las investigaciones incluidasen el meta-análisis. Este estimador vienedado por la siguiente expresión:

=A., + (1 -XJ (yo" +yi.(Ecuación 3)

En esta expresión, X, = T /(t + Vd es laprecisión del estimador, cl, es el estimadorclásico, y,, representa el valor de la granmedia dentro de los modelos jerárquicoslineales y y, representa la relación existen-te con una posible variable moderadora delos resultados, si el modelo es no condicio-nado, el valor de y, = O.

La ecuación 3 es el estimador empíricobayesiano (James y Stein, 1961; Efron yMorris, 1975) que también es la media cle

la distribución posterior de 8, cuando ladistribución a priori sobre y es imprecisa.La estimación S, es una ponderación de d,y (y, + y, wi). Para comprender el significa-do de esta composición de d, y (y, + y, mr,)se deben considerar dos situaciones. Pri-

301

mera, supóngase que se tiene únicamentelos datos de un estudio, i, la estimación, 8.,basada en estos datos sería di. Por otrolado, supóngase que se desconocen losdatos del estudio i, pero conocemos algosobre la muestra de investigaciones, la re-lación entre las características, (yo + y,y los resultados de los estudios. En estecaso, el mejor estimador de S' sería (yo + y, wi).Segunda, supongamos ahora que ambasestimaciones están disponibles. Cómocombinarlas para obtener un mejor estima-dor, superior a los anteriores. La ecuación 3muestra una óptima combinación de lasdos estimaciones. Es óptima porque la me-dia bayesiana posterior minimiza la pérdi-da cuaclrática de error. Las ponderacionespara d, son proporcionales a v-', que es laprecisión en la estimación de S' basadasólo en los datos del estudio i. Las ponde-raciones para (y, + y, \vi) son proporcionalesa r2, que son las medidas de concentraciónde 8 alrededor de (yo + y, wi). Por tanto, seobtiene el resultado más preciso intra-estu-dios, las ponderaciones se realizan en tor-no a cli.

Este índice supera el estimador clásico,puesto que a la información que aportacada investigación primaria, incorpora loinformación procedente del conjunto deinvestigaciones a integrar.

Así, las diferencias en los estimadoresde la magnitud del efecto clásico y empíri-co bayesiano son especialmente destaca-bles. Desde un punto de vista teórico, laestimación empírico bayesiana permite in-corporar las informaciones de todo el con-junto de investigaciones primarias a laestimación de cada una de las magnitudesdel efecto de cada investigación, frente alestimador clásico que únicamente utilizala información procedente del estudio in-dividual de referencia.

Sin embargo, la aportación descrita,que desde el punto de vista teórico incor-pora el estimador empírico bayesiano, no

ha sido comprobada. Al revisar la literaturade investigación se constata la ausencia decomparaciones analíticas y empíricas entreambos modelos. Se hace necesario un aná-lisis comparado y pormenorizado para po-der ofrecer a los distintos usuarios delmeta-análisis criterios sobre los que justifi-car la adopción de una determinada orien-tación. El estudio del funcionamientocomparado de estos dos estimadores es elobjeto de estudio cle este trabajo. En esteartículo se presentan los resultados del es-tudio del comportamiento de los índicesche la magnitud del efecto individual dentrocle las alternativas clásica y empírico baye-siana para conocer de forma analítica ycomparada sus aportaciones.

APORTACIONES DEL ESTIMADOREMPÍRICO-BAYESIANO FRENTEAL CLÁSICO

El estudio analítico de las propiedadesestadísticas cie los estimadores de la mag-nitud del efecto individual clásica y empí-rico-bayesiana es uno de los objetos deatención de este artículo. De forma más es-pecífica, se comparan estos estimadores endos cuestiones fundamentales: sesgo y efi-ciencia relativa cle ambos estimadores.

El sesgo de un estimador se define ge-néricamente como la esperanza cle la dife-rencia entre el estimador y el parámetro.Para el estudio analítico del sesgo de losestimadores clásico y empírico-bayesianode la magnitud del efecto individual se handesarrollado las distintas formalizacionesmatemáticas de la esperanza cle la diferen-cia entre estadísticos y parámetros paraambos tipos de estimadores.

Al estudiar la esperanza matemáticadel sesgo del estimador clásico, se observacómo el sesgo cle este estimador es cero:

c(di - S i l = E (4, 1 6/) - E (Sil = 6,- 6, = O

302

Como el sesgo es cero, entonces:(di - S) —> O cuando el tamaño de lasmuestras tiende a infinito (es decir, cuandoes suficientemente grande).

El análisis de la esperanza matemáticadel estimador empírico-bayesiano muestracómo el sesgo de este estimador nunca po-drá ser cero incluso cuando N sea suficien-temente grande, así:

(8: - 3i) E c(- 8;13i) c(3; . 1) - e(3,1 3 i) =E(VI 3i) -

Por tanto, la esperanza matemática delestimador empírico-bayesiano sólo podráser cero cuando E(13;) = 3, Al desarrollarel primer término de esta expresión, se ob-tiene:

c(8: I 8;) = Xi e(di I •S i) + (1 - Xi) E(yo. + yi . teó =

X; S i + (1 - Xi) e(yo. + yi . =X i Si + (1 - X 1) e(yo.) + (1 - X.DE (yi . wi)

Igualando a cero:

X; + (1 - X,) c(yo) + (1 - Xi) E (y i . wi) = O= - (1 - Xi) c(yo) + (1 - E (yi . wi)

Se comprueba que sólo podrá valercero cuando X, sea uno, puesto que (1 - X) = Oy exige, además, que 3, sea igual a cero. X,es la precisión del estimador y viene dada

T2

por la expresión: X, - . EstaT2 +

expresión se hace uno cuando y , es igual acero, situación en la práctica imposible,(lado que supone asumir que no existe va-riabilidad entre los sujetos de cada mues-

tra, ya que es el término cle error debido alas diferencias entre sujetos.

Desde un punto de vista empírico, laeficiencia de las estimaciones empírico-ba-yesianos es mucho mayor que la cle las es-timaciones clásicas, tal y como ya señalanRaundebush y Bryk (1985) y Bryk y Raun-clenbush (1992). Esta menor dispersión delos valores clel estimador empírico-baye-siano es un claro indicador de una concen-tración en torno a la gran media, debida alfactor de concentración (1 - X.1) (James yStein, 1961; Efron y Morris, 1975). Ya se haseñalado que X; puede interpretarse comola fiabilidad de di como estimación de S,.Así, si la estimación de di fuera perfecta-mente fiable (X, = 1) no habría ningún tipode concentración ni diferencias en la dis-persión de ambos estimadores. Por tanto,se puede decir que las estimaciones empí-rico-bayesianas producen mejores inferen-cias sobre la magnitud del efecto cle cadaestudio individual como también muestranlos trabajos cle Louis (1991), Louis y Zelter-man (1994) y Castro (1997).

De este modo, es necesario hacer no-tar que este comportamiento sesgado delestimador 8: no es tan perjudicial. Ya he-mos dicho que 3: es la alternativa a dicuando este último es un mal estimador, esdecir cuando X 1 # 1, es decir, casi siempre.Se sabe que di es insesgado. Sin embargo,cuando se calcula una estimación se obtie-ne un único valor, clel que no se conoceexactamente en qué punto se sitúa respec-to al parámetro, dentro del posible rangode variación del error. Lo que sí se conocees que el rango de variación del error delestimador clásico es mucho más amplioque el rango de variación del estimadorempírico-bayesiano. Por otra parte, hayevidencia cle que 3:es un estimador sesga-do, tendiendo a infravalorar el valor delparámetro, como máximo dos centésimas(Castro, 1997). Valor que debe ser interpre-tado a la luz del valor de V. Sin embargo,al estimar un único valor del estadístico se

303

sabe que siempre tenderá a ser un valormás cercano al parámetro frente al posibleerror del clásico, puesto que su rango devariación es claramente menor. De estemodo se puede concluir que el estimador8,* está ligeramente más sesgado que el esti-mador clásico, pero tiene una varianza deerror menor.

La eficiencia relativa es la varianza delerror del efecto medio estimado. Un au-mento de los valores de la varianza se in-terpreta como una disminución de laeficiencia. En este estudio se muestra quelos estimadores empírico-bayesianos sonmás eficientes que los clásicos, en cual-quiera de las dos situaciones posibles, porlas que aparece o no la influencia de unavariable moderadora de los resultados.

DEMOSTRACIÓN ANALITICA DE QUE LOSESTIMADORES EMPIRICO-BAYESIANOS SONMÁS EFICIENTES QIIE LOS ESTIMADORESCIÁSICOS

CASO 1: Modelo que no incluye una varia-ble moderadora o no condicionado.

(8 • = Xi di + (1 - yo)

La varianza del estimador empírico ba-yesiano es una función de la varianza delestimador no bayesiano:

v(T) fv(c4))v(8,.) - e(Si.2)- E(8i)2v(8i) - e(d,2 )- e(di)2

Por otro lado, también se sabe que:8,* = X, d + (1 - X,) y,. Así, al desarrollar es-tas expresiones se obtiene que:

E(Si) - X, c(di) + ( 1 - ) i) y()E(8,.)2 - X2 / E(C11)2 (1 1)2 YO2

2 X (1 - X,) e(di)

4;2) = ER, d12 +(1 Xi)2 yo2 + 2X(1 - X,)yodii

= X; e(ds2 ) + (1 - Xd2 )l()2

2X (1 - y() E(dr)

Sustituyendo en la expresión inicial:

v(Si) c(Si2) - e(8i) 2 = [XI e(di2)+ (1 - X1)2 y()2+ 2X, (1 - Xi) yo E(41- Rí2 E(di)2 + (1 - X.1) 2 yo'+ 2)5. (1 - Xi) yo 6(41 = X,2 £(42)- X; e(di) 2 =X i2 le(dz2) - e(42 1 = X,2 v(clz)

Así se comprueba que el estimador ba-yesiano es más eficiente que el clásico yaque X es el valor de la fiabilidad y estácomprendido entre O y 1. Por tanto, la va-rianza cíe di es sistemátivamente mayor quela de 8, • .

CASO 2: Modelo que incluye una variablemoderadora o condicionado.

(S: = Xid, + (1 - Xi) (yo + yo W,))

Como en el caso anterior, se quiereprobar que la varianza del estimador empí-rico bayesiano es una función de la varianzaclel estimador clásico, ahora incorporando lapresencia de una variable moderadora,como en el caso anterior:

v(8i) =.1-(v(di))v(Si.) = E(11;2 ) - E(8,..)2v(ST) = E(42 ) - E(42

Por otro lado, también se sabe que:= Xidi + (1 - (yo + y l ie) estimador que

incluye la presencia cle una variable mode-radora. Así, al desarrollar estas expresionesse obtiene que:

= Xidi + (1 - (yo + yo te,)x i2

d12 _ ?„-) 2 (yo + yo 111 )2 +

2X id, ( 1 (y() + yo to) E(fli 2 ) = X,2 E(di2) +(1 - )14)2 EE(yo + y l iei)21+ 2X, e(di) (1 - Xi)

E(yo + yo /vi)

304

Y,

e(8;) = X, E(dr)+ (1 - X I) e(yo +(E(11a2 = X, [e(412 + (1 - Xi)2 [e(y) + yiwi)1 2 +2X., 8(4 (1 - Xi) c(yo + y) //0

Sustituyendo en la expresión inicial:

v(8;) = E(8i2) - EE(Si . )1 2 = X,2 E(42) +(1 - Xi) 2 et(yo + yi wi)21+ 2X, e(dr) (1 - 21.1)E(Yo -4- Yi wi)- X; E(42)- (1 - X,)2 le(yo + 11012 -

2X, E(di) (1 - Xj) e(yo + y i 110 = X 2 E(d;) +

- 21.1)2 ER Y0 + Y1 11021 Xi2 E(C112)- (1 - X1)2[E(yo + y i 11012 =

Operando y sacando factor común, seobtiene que:

▪ X1 2 (E(42)- fe(41 2 +

(1 - )14) 2 Ielyo + yi11) 21- [c(y) + y l w)1 2] =

▪ X,2 v(d) + (1 - X,)2 v(yo + y; wi) =V(Ch)

Luego la v(8) es un valor comprendi-do entre los límites y 1 2v(uk) y V(4). Sin em-bargo, para comprobar la tesis inicial esnecesario probar ahora que y 1 2v(wd <v(d).

O, lo que es lo mismo, que yi2v(wd <vffii9< v(di) supone probar que la varianza delestimador empírico bayesiano es comomáximo igual a la del estimador clásico.

Se sabe que v(d3 =e(di2)-E(4)2 y que• = yo + y + ui + e; . Al desarrollar estaexpresión se obtiene el valor de 42:

• = yo2 + (y, u + Uj + e,)2 + 2y) (yi u + Uj + eDyo2 2yo (yi uf ei) yi 2 wi2 (ui+ eD2

2y i Uj (fu+ ei)= yo2 + 2y0)' 115+ 2yolli + 2y0ei +y 1 2Wi2 + 11 1 2+ ei2 +211,0+ 2y 1 wati + 2yi

El valor de la esperanza matemática de42 es entonces:

E(d) = yo2 + 2yoyl e(wr) + O + O + yI 2 e( w12) +E(m2) + E(e,2) + O + O + O = yo 2 + 2yuyi e(u)r) +Yi 2 E(wi2)+ cs + cs + O

Los términos que se hacen cero en laexpresión anterior es debido a la ausenciade relación entre los términos de error y elresto de los factores. Se quiere hacer notarque las varianzas a„. 2 y aci 2 son los valores

T11 y too.Por otra parte, es necesario calcular el

valor cle la esperanza matemática al cuadra-do de di. Si E(d,) = y) + yi E(w,), entonces:

e(di) 2 = yo

2 + y1

1 e(114)

2 + 2yoyi e( wr)

Al sustituir estas dos expresiones en lainicial v(d) =E(di2) -E(di)2:

v(d,) = y()2 + 2yoy 1 e( wi) yi2 e€(u')

i2)

crei 2 + O - yo2 + y 1 2 E(ta)2 + 2yoy i E(115)=

yi 2 re(1142)- £(1,102] + cr ui 2 + aci2 + O =yi 2 v(wi) + csui2 + cro, + O

Dado que Cs,,/ > O y que 2 1 a„,., 1<a„,,2 + entonces se comprueba quev(di) > y 1 2 v(w), verificándose así que elvalor de la varianza del estimador empíricobayesiano va a tener como máximo el va-lor de la varianza del estimador clásico.Con lo que se demuestra que el estimadorempírico bayesiano es, como mínimo, taneficiente como el clásico.

CONCLUSIONES

La magnitud del efecto individual es calcu-lada a través de los estimadores clásicos ylos empírico-bayesianos. El estimador clá-sico es el índice d de Heclges. Dentro cle laperspectiva tradicional, este estimador seperfila como el estadístico menos sesgadoy más eficiente (Hedges y Olkin, 1985; Ma-rín, 1996).

Al mismo tiempo, el estimador empíri-co-bayesiano es una alternativa al clásico,que se aplica cuando es previsible un mal

+ (1 - X;) 2 y1 2 v(wl)

305

funcionamiento del estadístico di debido adistintas circunstancias de la investigación.Viene dado por la expresión:

=X 1d + (I - X.r) (yo• +

La distribución de este estimador, tam-bién es normal, su media es S i y la varianzaes T2. Este estadístico representa la estima-ción óptima de la magnitud del efecto indi-vidual desde la perspectiva de los modelosjerárquicos lineales. Esto es debido a quepermite integrar en la misma expresión elconocimiento sobre un estudio individual(X4) y el conocimiento sobre la relaciónde la muestra de estudios con característicassustantivas para la explicación (yo* +

El estadístico 45: no es otra cosa más queuna media bayesiana que minimiza la pér-dida cuacIrática del error.

Así, parece que hay indicios para pen-sar en un posible distinto comportamientode ambos índices de estimación de la mag-nitud individual. No se encuentra en la li-teratura meta-analítica ningún estudio checomparación del funcionamiento entre es-timadores clásicos y empírico-bayesianos,por tanto no se tiene ninguna informaciónprocedente de estudios análogos.

En este trabajo se ha comparado elcomportamiento del estimador empírico-bayesiano con el que se ha manifestadomejor estimador clásico pudiendo decirseque el estimador empírico-bayesiano:

• Tiende a infravalorar levemente elvalor paramétrico central, aunqueesto no es un claro indicador demal funcionamiento, puesto que surango de variación mucho menorque el del estimador clásico.

• Es clara y sistemáticamente más efi-ciente que el clásico.

En síntesis, se comprueba que los esti-madores empírico-bayesianos, propuestosdentro de la perspectiva de los modelos je-rárquicos lineales, suponen una clara apor-tación frente a los estimadores clásicos. Su

comportamiento estadístico es aceptable ymejor que el de los estimadores tradicio-nalmente empleados, a pesar de la infrava-loración del valor paramétrico. Además, esnecesario destacar algunas de las virtuali-dades teórico-prácticas comprobadas deeste tipo de estimadores, como es la mejo-ra de la estimación a través de la conside-ración de la información procedente delconjunto de investigaciones primarias fren-te a la estimación clásica que incluye sola-mente la información procedente de unúnico estudio. Permiten superar el modeloche la media global, en tanto que son capa-ces de reflejar la presencia de una variablemoderadora de los resultados, lo que su-pone la inclusión dentro del modelo la po-sibilidad de que no exista un único valorparamétrico central sino una distribuciónde parámetros. Por último, parece que elempleo de estimadores empírico-bayesia-nos puede suponer la necesidad che em-plear menos estudios primarios paraobtener estimaciones ajustadas, en tantoque el uso che la información a priori sobreel conjunto permite optimizar el uso de lainformación de cada investigación indivi-dual. Así, el estimador empírico-bayesianode la magnitud del efecto individual semuestra como una alternativa clara a losestimadores clásicos.

Es especialmente destacable la aporta-ción que supone la estimación empírico-bayesiana che la magnitud del efectoindividual, tanto desde el punto de vistaconceptual como desde el punto de vistaempírico. Se dibuja, por tanto, una clara al-ternativa a la estimación clásica de la mag-nitud del efecto individual.

BIBLIOGRAFÍA

BRYK, A.S.; RAUN DENBUSFI , S .W. : Hiera rchi-callinear niodels: applications anddata analysis inetbods. Lonclon, Sage,1992.

306

CASTRO, M.: Meta-análisis, aportacionesmetodológicas a la síntesis cuantitativade la evidencia. Un estudio de simula-ción Monte Carlo. Madrid, UniversidadComplutense, 1997.

EFRON, B.; MORRIS, C.: « Data analysis usingStein's estimator and its generalizations»,en journal of the American StatisticalAssociation, 74(1975), pp. 311-319.

GLASS, G.V.: «Primary, secondary, andmeta-analysis of research», en Educa-tional Researcber, 5(10) (1976), pp. 3-8.

HEDGES, L.V.: «Distribution theory for Glass'estimator of effect size and related es-timators», en fournal of EducationalStatistics, 6 (2) (1981), pp. 197-228.«Fitting categorical moclels to effect si-zes from a series of experiment», enpunza! of Educational Statistics, 7(1982), pp. 490-499.«A random effects model for effectsize., en Psychological Bulletin, 93 (1983),pp. 388-395.

HEDGES, L.V.; OLKIN, I.: Stadistical Metbodsfor meta-analvsis. Orlando, AcademicPress, 1985.

HOUSE, E.R.: «Realism in research», en Edu-cational Researcher, august-september(1991), pp. 2-25.

JAMES, W.; STEIN, C.: «Estimation with qua-clratic loss», en Fouth Berkeley Sympo-

siunz on Matbenzatical Statistics andProbability, (vol. 1). Berkeley, Univer-sity of California, 1961.

Louis, T.A.: •Using empirical bayes methoclsin biopharmaceutical research», enStatistics in Medicine, 10 (1991), pp. 811-82.

Louis, T.A.; 7FITERMAN, D.: «Bayesian approa-ches to research synthesis», en H. COOPERy L.V. HEDGES (ECIS.): 7be bandbook of re-search syntbesis. New York, Russell SageFoundation (1994), pp. 411-422.

MARÍN, F: Enfoques meta-analíticos: un es-tudio comparativo mediante simula-ción Monte Carlo. Tesis Doctoral.Murcia, Universidad de Murcia, 1996(inédito).

PILLEMER, D.B.; LIGHT, R.D.: «Synthesizing out-comes. How to use research eviclencefrom many studes», en Halvard Educa-tional Revieto, 50(2) (1980), pp. 176-195.

RAUDENBUSH, S. ; BRYK, A.: «Empirical Ba-yes meta-Analysis», en puntal qf Edu-cational Statistics, 10(2) (1985), pp. 75-98.

ROSNOW, R.L.; ROSENTHAL, R.: «Statistical pro-cedures and justification of knowledgein psychological science», en AnzericanPsycbologist, 44 (1989), pp. 1276-1284.

307