Editores Asociados para Español y Portugués
Gustavo Fischman
Arizona State University

Pablo Gentili
Laboratorio de Políticas Públicas
Universidade do Estado do Rio de Janeiro

Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil

José Luis Gaviria
Universidad Complutense de Madrid

Rosario Martínez-Arias
Universidad Complutense de Madrid

María Castro
Universidad de Murcia

1. Planteamiento Del Problema De Investigación

1.1. Los recursos en la investigación sobre eficacia de las escuelas

El movimiento de investigación sobre Eficacia Escolar está dirigido al análisis de los factores que hacen que el “valor añadido ” al desarrollo integral de todos los alumnos por una determinada escuela sea mayor que el conseguido por otra. Desde su aparición hace ahora más de 30 años, ha tenido lugar una evolución en los modelos y las técnicas de análisis utilizadas, las variables y factores estudiados, los instrumentos de recogida de datos, etc. De esta forma se han atravesado diferentes etapas, cada una de ellas con sus particularidades conceptuales y metodológicas (p.e. Creemers, 1996), pero el resultado final siempre ha sido una lista más o menos larga de factores de eficacia. Así aparecieron los  cinco factores de Rutter et al. (1979), listas elaboradas como resultado de investigaciones como las de Reynolds (1985) y Mortimore et al. (1988) en Inglaterra o Teddlie y Stringfield (1993) en Estados Unidos, o las listas surgidas de revisiones de trabajos como los realizados por Levine y Lezotte (1990), la American Association of School Administrators (1992), Scheerens (1992), Reynolds et al. (1994), Sammons, Hillman y Mortimore (1995) o Townsend (1997). En los últimos años se ha intentado superar la elaboración de estas listas para proponer modelos comprensivos de eficacia. En esa línea se encuentran los modelos de Scheerens (1992), que pone el acento en la escuela, y de Creemers (1994), en el que el aula ha ganado protagonismo.

Resulta llamativo comprobar que en ninguna de las listas mencionadas ni en los modelos comprensivos de eficacia propuestos hasta el momento aparecen los recursos como un factor clave que determina la eficacia de las escuelas. Y ello no puede ser achacable a la escasa consideración que ha tenido este aspecto. Las cuestiones relacionadas con los recursos escolares han sido y siguen siendo una constante en la literatura sobre eficacia escolar. Ciertamente, es una idea muy tentadora suponer la existencia de una relación directa entre ciertos inputs y el output deseado del sistema. Si conociésemos la relación de producción del sistema educativo, lograr la mejora deseada de los outputs sería una simple cuestión de control de los inputs y su adecuada distribución en el sistema. Conocer una relación causal entre cierto tipo de inputs y los outputs del sistema supondría para los administradores del mismo la posesión de una poderosa palanca de intervención. Por tanto, no es la falta de investigación lo que genera esta ausencia de consideración, sino simplemente la inexistencia de una relación causal entre los recursos y el rendimiento académico. Es más, las críticas a los resultados del informe Coleman (1966) provinieron tanto del enfoque metodológico, el llamado input-output, como de las técnicas estadísticas utilizadas, como por considerar exclusivamente las variables más fácilmente medibles (p.e. los recursos educativos) y olvidarse de otras tales como el clima o las expectativas de los docentes.

De una forma mas específica, en una revisión de la literatura realizada por Hanushek (1997a), que incluye más de 400 estudios sobre la relación entre recursos escolares y rendimiento académico, se demuestra que no existe una relación ni fuerte ni consistente entre estos dos elementos. Vamos a mencionar solamente algunos de los datos que consideramos más ilustrativos. Por ejemplo, si se analizan los recursos del aula, solo en un 9% de los estudios (sobre un N total de 171) se encuentra una relación significativa entre el rendimiento y el nivel educativo alcanzado por el profesor. Del mismo modo, la ratio profesor-alumno sólo afecta de forma positiva y significativa en el 15% de los estudios (N=277). La magnitud de estos últimos resultados se acentúa cuando se observa que el 13% de las investigaciones sobre ratio ofrecen resultados negativos y significativos sobre el rendimiento académico. Algo similar ocurre con las variables salario del profesor (20%) y gasto por niño (27%). La incidencia positiva y significativa de los recursos materiales es encontrada en el 9% de los trabajos revisados (N=91), y la mayoría de las investigaciones muestra la influencia no significativa de este tipo de recursos en el rendimiento académico.

Por tanto, con los estudios que se han realizado hasta el momento es prácticamente inexistente la evidencia que apoya la idea de que el incremento de los recursos escolares facilita directamente la mejora de los resultados obtenidos por los alumnos de una escuela.

Para valorar los anteriores resultados hay que tener en cuenta además un dato fácilmente olvidado: la práctica totalidad de la investigación sobre eficacia escolar se ha realizado en Estados Unidos, Reino Unido, Países Bajos, Suecia, Australia, Israel... Todos estos países tienen varias cosas en común, por ejemplo sistemas educativos descentralizados, pero fundamentalmente comparten ser países desarrollados, donde el porcentaje del PIB dedicado a la educación es razonablemente alto. Y, centrándonos en el tema de los recursos, las diferencias en la cantidad y calidad de los recursos entre unas escuelas y otras son relativamente bajas.

Recientemente han comenzado a aparecer voces que destacan la inadecuación de las teorías de eficacia escolar para los países en vías de desarrollo (p.e. Harber y Davies, 1997; Morley y Rassool, 1999, Scheerens, 2001). En la realidad de esos países se encuentran características tales como las fuertes diferencias culturales, elevadas tasas de natalidad o fuertes tasas de abandono escolar prematuro, y también otras relacionadas con los recursos: escuelas infradotadas, instalaciones educativas inadecuadas o recursos humanos sin la adecuada preparación. Tal y como señalan Levin y Lockheed (1993:3) “schools in developing countries lack even the basic minimum inputs necessary for them to function as schools at all, while schools in developed countries are adequately provisioned”. Estas características son las que alegan los diferentes autores para demostrar que los resultados encontrados en la investigación sobre eficacia escolar, tanto las listas de factores antes descritas como los modelos comprensivos, son inútiles para estos países. Del mismo modo, Levin y Lockheed sugieren tres elementos claves para incorporar a la investigación sobre eficacia escolar: inputs básicos, condiciones facilitadoras y la voluntad de cambio.

De todo esto se extrae automáticamente la necesidad de realizar estudios que permitan elaborar modelos de eficacia escolar válidos para el contexto de países en vías de desarrollo. Y, con más urgencia, estudios que analicen con seriedad la relación entre recursos y rendimiento de los alumnos.

Harbison y Hanushek, en su ya clásico estudio, “Educational Performance of the Poor: Lesson from Rural Northeast Brazil” señalaron que las diferencias entre entornos escolares tienen importancia. La medida de los recursos en los países en vías de desarrollo tienen un impacto mayor en el rendimiento de los alumnos que las encontradas en los países desarrollados. La calidad de los recursos y la disponibilidad de libros de texto y software es bastante importante en entornos deprivados.

Siguiendo este mismo argumento, Fuller (1986) señala como factor clave para la mejora del aprendizaje de los alumnos, la concentración de material escolar por alumno y la gestión social de estos factores. El nivel de recursos materiales muestra ciertos niveles de calidad. Sin embargo, escuelas con escasos recursos varían fuertemente en su eficiencia y en su habilidad para promover el aprendizaje. A su vez, escuelas con abundantes recursos materiales pueden utilizarlos ineficientemente.

La hipótesis de trabajo que se quiere validar es que cuando se alcanzan unos mínimos, las diferencias en los recursos materiales asignados a las escuelas no parecen tener gran importancia en la explicación de las diferencias de rendimiento. Si, por el contrario, no se alcanzan, los recursos tienen una incidencia importante, lo que ocurre en los países en vías de desarrollo. De la primera parte ya se tienen datos; con este estudio se pretende comprobar la veracidad de la segunda. Concretamente, se analizará la relación entre los recursos y el rendimiento de los alumnos teniendo en cuenta el contexto, básicamente generado por la situación de la escuela en un Estado brasileño u otro.

En este artículo se adopta una concepción amplia del concepto recurso. De esta forma, se consideran tanto los recursos humanos que forman parte del proceso educativo (número de profesores de que dispone una escuela, su nivel salarial, su experiencia, su formación), como los recursos financieros (el presupuesto escolar), así como los recursos materiales, las instalaciones educativas (edificios, biblioteca, gimnasio) o el tiempo como recurso del proceso de enseñanza y aprendizaje (horas lectivas semanales y anuales).

1.2. Elementos contextuales en la investigación sobre recursos

Uno de los elementos fundamentales en la investigación sobre la incidencia de los recursos en el progreso de los alumnos es la consideración del contexto. El hecho de que existan diferencias en la relación de rendimiento de las distintas escuelas está señalando la importancia de muchos elementos contextuales en la modernización de las relaciones input-output que hasta ahora no se han tenido en cuenta. Algunos esfuerzos de investigación han tratado de responder a la cuestión, ¿qué es lo que marca la diferencia en el uso de los recursos?

La respuesta a esta pregunta puede ser obtenida mediante dos procedimientos distintos: control experimental y control estadístico. El control experimental es, sin duda, el más deseable, aunque no siempre es posible recurrir a él. Cuando se usa el control estadístico, los resultados de un estudio individual pueden estar altamente sesgados por las condiciones contextuales, particulares de cada investigación. Esto hace que se dirija la atención a los meta-análisis. Esta técnica permite comprobar cómo determinada relación causal se modifica en distintos contextos. En este sentido, algunos estudios con grandes bases de datos tienen unas virtualidades parecidas al meta-análisis. Aunque no se dispone de fuentes de información independientes, se puede comprobar en cierta medida cómo distintos contextos afectan a la relación causal estudiada. Precisamente, la especificación contextual es lo característico de los estudios multinivel, puesto que permiten el estudio diferenciado de la influencia de distintos contextos sobre una determinada relación causal.

Pueden aventurarse algunas hipótesis acerca de cómo las características contextuales específicas intervienen en el proceso. En este sentido, es posible que los incentivos y valoraciones sociales del rendimiento educativo puedan diferir de un contexto (Estados brasileños en este caso) a otro. Y esto explicaría la eficacia diferencial de los recursos escolares sobre el rendimiento académico. Si, por ejemplo, las expectativas post-escolares están condicionadas por el posible éxito escolar, se estaría introduciendo un elemento motivador para todos los agentes sociales.

Y hay que considerar también que características aparentemente no relacionadas con el proceso educativo pueden estar afectando al mismo. Así, por ejemplo, la distinta movilidad geográfica de la población de cada Estado hace que las expectativas profesionales tengan un referente amplio, introduciendo un elemento de competencia que puede afectar a la actitud social global hacia la escuela. Sociedades con fuertes demandas respecto a los resultados escolares pueden estar actuando en muchos niveles en la dirección de una mayor exigencia hacia las escuelas.

Aunque éstas y otras hipótesis son plausibles, la introducción de variables asociadas a macro-contextos (por ejemplo, características demográficas o económicas de los Estados o regiones) puede producir resultados engañosos. Las diferencias interestatales que se han encontrado en este estudio podrían tratar de explicarse por las diferencias existentes entre los Estados en variables macroeconómicas, o en indicadores educativos que puedan correlacionar con las diferencias en los resultados escolares. Pero la no existencia de una teoría explicativa de la conexión causal invalida el procedimiento.

1.3. Muestra

Este estudio es una explotación particular y con una finalidad investigativa del banco de datos obtenido a partir de la evaluación de la educación básica del sistema educativo brasileño correspondiente al año 1995 (SAEB/95), evaluación llevada a cabo por el Ministerio de Educación y Deportes de Brasil (MEC, 1997). La muestra final de la evaluación fue de 3845 escuelas y 90499 alumnos de 4ª y 8ª serie de ensino fundamental y 2ª y 3ª serie de ensino medio, repartidos por los 27 Estados que componen Brasil. Se recogieron datos de la escuela, el profesor y el alumno. Así, además de pruebas de evaluación para medir la competencia de los alumnos en Lengua portuguesa y Matemáticas, se aplicaron cuestionarios a los directivos escolares, los profesores y los alumnos.

Para el objetivo de este artículo se consideró suficiente explotar los datos de los alumnos de 8ª serie de ensino fundamental y algunas variables: rendimiento en Matemáticas, cuestiones relacionadas con el estatus socioeconómico y familiar de los alumnos, así como datos de las escuelas, de los profesores, de los alumnos y de los directivos de esas mismas escuelas. De esta forma, la muestra de estudio estaba compuesta por 6471 alumnos de 975 escuelas en los 27 Estados de Brasil. Brasil es un país en el que existe una gran heterogeneidad en cualquiera de los niveles estudiados. La inclusión de los Estados Federados como tercer nivel de agregación permite comprobar cómo esa relación entre los recursos de la escuela y el rendimiento medio, una vez controlados los factores más importantes de nivel individual y escolar, varía de un Estado a otro. En muy pocos países se dan tales condiciones de tamaño y heterogeneidad de los contextos sociales. Los datos procedentes de la evaluación del sistema educativo brasileño ofrecían una buena oportunidad para probar esta hipótesis.

La incorporación de tres tipos de contextos distintos o niveles de agregación (alumnos, escuelas y Estados) en el estudio del rendimiento en Matemáticas permite atribuir a las variables de cada uno de los niveles la importancia que les corresponde, así como analizar la interacción entre las variables de los distintos niveles. Este estudio se limita a considerar los distintos Estados Federados de Brasil como unidades sustantivas de diferenciación contextual.

2. Metodología

2.1. Diseño

Desde un punto de vista más operativo, podemos considerar que en las investigaciones sobre la eficacia de las organizaciones, las variables de investigación son de tres tipos:

• Características de los sujetos a su entrada en el sistema, en el caso de la educación, antes de iniciar los estudios de un determinado nivel (por ejemplo, variables genéricas de background, aptitudes, actitudes, conocimientos anteriores, personalidad, etc.). Estas características, que influyen en los resultados de los centros, son externas al sistema educativo que se evalúa.
• Variables del sistema, cuyos efectos experimentan los sujetos. En el caso de la educación, variables típicas son los recursos instructivos, organización, atmósfera, clima, atributos del profesor, política del centro, sistemas de evaluación, disciplina, etc.
• Medidas de resultados de los sujetos que componen el sistema, tales como productividad, rendimiento académico, motivación, actitudes, calidad de vida, etc. y que suelen ser las variables dependientes finales, objeto de evaluación.

Parece evidente que un modelo de evaluación de las variables del tipo (c) deberá recoger la información de los otros dos tipos, para poder expresar los componentes de la varianza que deben a las variables de los distintos niveles.

Básicamente, como señalan Burnstein et al. (1981), el principal interés consistirá en modelizar los resultados intraorganización como funciones sistemáticas tanto de características individuales, como de variaciones entre contextos o entre grupos.

La peculiaridad que presentan los datos obtenidos en la mayor parte de las evaluaciones de instituciones, así como en otras investigaciones típicas de las ciencias sociales y del comportamiento, es que los datos obtenidos muestran una estructura de tipo jerárquico o anidado, también denominada multinivel, ya que los sujetos que son las unidades últimas de la evaluación están anidados en las instituciones educativas, los trabajadores en empresas (Kreft y de Leeuw, 1994), las respuestas a las encuestas lo están en los entrevistados (Hox, 1994), las unidades elementales de muestreo en otras de orden superior, como en el muestreo por conglomerados, o los pacientes anidados en los hospitales (Draper et al., 1990).

Los modelos multinivel permiten estudiar cómo las variables contextuales afectan a las relaciones entre los factores y los efectos del nivel inferior de agregación. En este sentido, en este estudio se partió de la hipótesis de que si bien la cantidad de recursos disponibles en la escuela podía ser una variable relevante en la explicación de las diferencias en el rendimiento, esa relación entre factor y efecto podría verse moderada por variables de contexto social que afectaran a esa relación, y que podrían, en conjunto, enmascararla.

A efectos de este trabajo, los datos de la evaluación se refieren, como ya hemos señalado, a tres niveles distintos. El primero es el nivel de los individuos, el segundo es el nivel de las escuelas y el tercero es el nivel de los Estados. La existencia de varianza dentro de las escuelas indica que los sujetos se diferencian entre ellos dentro de las escuelas. La existencia de varianza en el segundo nivel indica que las escuelas también difieren en el rendimiento medio de cada una de ellas dentro de los Estados. Y la varianza en el nivel de Estados indica que éstos se diferencian en cuanto al rendimiento académico medio de sus escuelas. El modelo nulo se formula de la siguiente manera:

2.2. Variables

En este apartado se van a describir las variables utilizadas en este estudio. La complejidad de la descripción esta ligada a las variables de interacción necesarias para explicar la estructura de variación en los tres niveles definidos.

2.2.1. Variables estudiadas

La variable respuesta utilizada fueron las puntuaciones obtenidas en las pruebas de Matemáticas de la 8ª serie de ensino fundamental. Los valores de las variables respuesta fueron estimados mediante procedimientos de Máxima Verosimilitud Marginal de la Teoría de Respuesta al Item con el programa Bimain (Muraki, 1994). Los estimadores de los parámetros de los ítems de las pruebas también fueron calculados con el mismo programa.

Las puntuaciones fueron inicialmente estimadas en la escala estandarizada (sobre los datos de la propia muestra) y fueron posteriormente reescaladas a una media de 500 con desviación típica de 100.

Análisis estadísticos tradicionales sirvieron para desechar aquellas variables que no presentaban ninguna relación con la variable dependiente. Las variables restantes de primer nivel constituyen el conjunto de variables candidatas. Y son las que se relacionan a continuación:

• Sexo
• Raza
• Estudios del padre
• Estudios de la madre
• Personas con las que vive
• Lectura del periódico
• Número de horas diarias que ve la televisión
• Años en que se aparta de la edad modal de su curso

Las variables de segundo nivel corresponden tanto a características de los profesores como de las escuelas. Las primeras son:

• Tiempo de servicio del profesor
• Nivel de desarrollo de los contenidos en clase
• Proporción de tiempo dedicado a docencia en el aula
• Uso del libro de texto
• Asignación de tareas para casa

En cuanto a las segundas se seleccionaron:

• Titularidad del centro
• Nivel de dotación de recursos de la escuela

La variable referida al nivel de dotación de recursos de la escuela ha sido construida a partir de otras variables. El cuestionario original incluye un gran número de preguntas relacionadas con el estado de conservación de muchas instalaciones de la escuela. De todas las preguntas se seleccionaron aquellas que tenían que ver con el equipamiento didáctico: biblioteca, laboratorio de ciencias, laboratorio de informática, televisión y videocasete. Cada una de ellas se valoraba como ‘no existente’, ‘estado de conservación pobre’, ‘estado de conservación regular’, ‘buen estado de conservación’. Se codificaron las respuestas de 0 a 3 y posteriormente se sumaron esas respuestas para producir una nueva variable, denominada ‘Recursos’, con valores de 0 a 15, que refleja por tanto la situación de la escuela en una escala hipotética relacionada con la dotación de medios didácticos.

No se han utilizado variables referidas a las unidades del tercer nivel (Estados) que, como ya hemos señalado, se entienden como unidades sustantivas de diferenciación contextual.

2.2.2. Codificación de las variables

Como puede observarse, tanto en uno como en otro nivel disponemos de variables de naturaleza distinta. Por una parte, hay algunas variables, como la edad, de las que no cabe ninguna duda en cuanto a su consideración como variable continua.

Algunas otras variables, aunque la magnitud de origen fuese continua, eran de naturaleza ordinal, por lo que presentaban algunas cuestiones. Por ejemplo, una pregunta hacía referencia al número de horas que el alumno ve al día la televisión. Las posibles respuestas incluían: ‘cero horas’, ‘menos de dos horas’, ‘de dos a cuatro horas’, ‘de cuatro a seis horas’, ‘más de seis horas’. Esa variable fue recodificada para tomar valores de cero a cuatro.

Otras variables presentaban una estructura de alternativas de respuesta que las hacía totalmente categóricas y, preanalizadas con el rendimiento, resultó importante mantener todas ellas. Es el caso de la variable ‘Raza’. Por este motivo, la variable fue codificada en cuatro variables dummy, ‘Branco’, ‘Amarelo’, ‘Pardo’ y ‘Preto’. No todas las variables dummy se utilizan de igual modo en las dos partes del modelo, la parte fija y la parte aleatoria. Más adelante se explicará esto con más detalle.

En el anexo se ofrece una tabla donde aparecen las variables utilizadas, el nombre asignado, los valores originales y los valores después de la decodificación.

2.2.3. Variables auxiliares de interacción en el primer nivel

En el nivel 1, algunas variables explicativas son categóricas. Para ellas se utilizó la codificación de contraste para la parte fija y la codificación separada para la parte aleatoria. En general, en la codificación de contraste, para cada variable categórica se crearon (n-1) variables dummy, siendo n el número de categorías. Si había más de una variable categórica, se crearon además (n₁-1)* (n₂-1)* (n₃-1)… variables de interacción.

 Un problema añadido es que, al incluir variables categóricas, debemos considerar que la parte aleatoria del modelo aumente en complejidad. Por ejemplo, es posible pensar que las chicas negras tengan una varianza residual distinta que la de los chicos negros y que la de las chicas blancas y los chicos blancos. Entonces debemos incluir en la parte aleatoria del modelo de primer nivel distintas variables residuales asociadas a las distintas combinaciones de valores de variables categóricas. Por eso, en esta parte es conveniente utilizar codificación separada, aunque en la parte fija del modelo hayamos usado codificación de contraste. Un modelo de primer nivel de este tipo quedaría como sigue:

Como puede verse, no se incluyen términos de covarianza entre los errores ya que, como la codificación es separada, nadie puede pertenecer a dos categorías de las variables multiplicativas simultáneamente.

Todo lo que hemos dicho hasta ahora es válido para las variables ‘Raza’ y ‘Sexo’, construyéndose las variables de interacción necesarias. Algunas de ellas fueron incluidas en la parte fija del modelo y todas ellas en la parte aleatoria del primer nivel del modelo.

2.2.4. Variables auxiliares de interacción entre niveles

En los modelos jerárquicos lineales, en los niveles superiores, tenemos las ecuaciones que explican la variación de los coeficientes de las variables explicativas de nivel inferior. Así, por ejemplo, si nuestro modelo de primer nivel fuese: y_ijk = b_0jk + b_1jk x_1ijk + e_ijk, podríamos tener dos ecuaciones de nivel 2, que serían b_0jk = b_00k + b_01k z_1ijk +m_0jk y b_1jk = b_10k + b_11k z_1ijk +m_1jk. Cuando sustituimos estas ecuaciones en el primer nivel, obtenemos lo siguiente:

Como vemos, aparece un coeficiente asociado a una variable de interacción entre niveles, en este caso la variable resultante del producto z_1jkx_1ijk . Fue necesario por tanto crear algunas variables multiplicando las variables de primer y segundo nivel que correspondan. Éstas aparecerán siempre en la parte fija del modelo (por ejemplo, lectura del periódico y centro privado, per*prt).

2.2.5. Variables auxiliares para la modelización de relaciones no lineales

Durante los estudios preliminares de las variables apareció una de ellas que mantenía una relación peculiar con el rendimiento. Se trata de la variable ‘hourastv’. Se observó que, cuando la respuesta es 2 (de dos a cuatro horas de televisión diarias), el rendimiento en la prueba es máximo. Los valores que se apartan de éste están asociados a valores medios de rendimiento menores. La distribución tampoco es simétrica. Por estas razones se creó la variable hour2 =(hourastv-2)². En la ecuación se incluyen las dos variables, la lineal y la cuadrática, con el objeto de obtener un mejor ajuste.

2.3. Muestra y estructura de los datos

Los datos que se analizan en este trabajo están organizados jerárquicamente en tres niveles. En un primer nivel se encuentran los alumnos de cada uno de los cursos estudiados. De estos alumnos conocemos su rendimiento en la prueba de evaluación de SAEB/95 correspondiente, así como los datos provenientes de sus respuestas a un cuestionario de variables de contexto.

Estos alumnos están a su vez agrupados o ‘anidados’ en ‘escuelas’. Las escuelas constituyen las unidades de segundo nivel. En realidad, los alumnos están agrupados en clases, y éstas a su vez están anidadas en escuelas. Sin embargo, en la práctica, de la gran mayoría de las escuelas no tenemos más que los datos correspondientes a una sola aula. Ciertamente hay algunos casos en los que hay más de un aula por escuela, pero esos datos no son suficientes para determinar otro nivel de análisis. Por este motivo se ha adoptado como unidad de segundo nivel las ‘pseudo-escuelas’. Cada aula, representada por un código de profesor distinto, se ha asociado a una pseudo-escuela. En aquellos casos en los que disponemos de dos aulas, y por consiguiente de dos o más códigos de profesor distintos, se han considerado como aulas pertenecientes a distintas escuelas.

En este segundo nivel se dispone, por tanto, de datos que corresponden a la escuela y de datos que corresponden al profesor. Cuando dos grupos pertenecen a una misma escuela, compartirán todos aquellos valores de las variables que se refieren a la escuela, y diferirán en los que se refieren a los profesores.

Las unidades de nivel dos, las escuelas o pseudo-escuelas, están a su vez anidadas en distintos Estados. Por tanto, los Estados constituyen las unidades de tercer nivel.

Los requisitos de tratamiento de los datos ausentes o “missing” del programa utilizado, el ML3e de Goldstein et al. (1993), obligaron a eliminar los sujetos con datos perdidos.

Una vez eliminados todos los casos que presentaban datos perdidos en alguna de las variables de análisis, la estructura de los datos quedó como aparece en la tabla 1. Como puede observarse, hay un total de 27 unidades de tercer nivel (Estados), 975 unidades de segundo nivel (pseudo-escuelas) y 6471 unidades de primer nivel.

Tabla 1. Estructura de los datos

ML3 - Software for three-level analysis.

27 level 3 units    975 level 2 units    6471 level 1 units

3. Proceso De Modelización Y Resultados

3.1. Modelo Nulo o de línea base

Como primer paso, se procedió a estimar el modelo nulo o modelo de línea base. Este modelo consiste en sólo cuatro parámetros. Se trata del intercepto y las varianzas de los residuos en los tres niveles.

En la tabla 2 se puede observar que los sujetos dentro de las escuelas difieren entre sí en rendimiento (estimación de la varianza en el primer nivel, 5871). También se ve que las escuelas dentro de los Estados difieren entre sí en la media de rendimiento (varianza de las medias 3129, mucho mayor que 196.9) y que los Estados también difieren entre sí en las medias de rendimiento. El objetivo del trabajo ahora es tratar de explicar la mayor varianza posible en los niveles 1 y 2.

Tabla 2. Modelo nulo

3.2. Modelo con variables explicativas en el nivel 1

El resultado de la modelización con los parámetros correspondientes al modelo con variables explicativas de primer nivel, antes de permitir que los coeficientes de estas variables varíen en el nivel 2, se ofrece en la tabla 3.

Parece adecuado explicar en este punto el significado de cada uno de los parámetros fijos incluidos en el modelo hasta el momento.

Dada la codificación que hemos realizado de las variables, la constante o intercepto indica el valor de la media de rendimiento de las chicas de raza negra, cuyos padres no tienen estudios, en cuya casa no se compra el periódico, con una edad igual que la edad modal del curso de octavo y que ven la televisión entre dos y cuatro horas diarias. Esa media es de 485.8 puntos. Cada uno de los demás parámetros significa lo siguiente: si se tratase de una chica de iguales características que las anteriores, pero de raza blanca, su rendimiento medio se incrementa en 15.64 puntos. Si fuese de raza amarilla, su media subiría 25.25 puntos, mientras que si fuese parda aumentaría 11.84 puntos.

Si se tratase de un chico, la media de su grupo sería 32.81 puntos por encima. Por cada cuatro años de estudio del padre, la media sube 10.72 puntos. Con cada nivel de frecuencia de adquisición del periódico, la media sube 7.845. Sin embargo, si su edad es mayor que la edad modal del curso su media descendería –15.73 puntos por cada año. Del mismo modo, por cada dos horas que se apartase de entre dos y cuatro horas de televisión al día, tanto por encima como por debajo, su media disminuiría en 2.82(x-2)².

Las interacciones entre las variables dummies no resultaron estadísticamente significativas en la parte fija del modelo.

En la parte aleatoria, podemos ver cómo disminuye sustancialmente la varianza en los niveles 3 y 2. En el nivel 1, la estructura de la varianza tiene en cuenta las diferencias en las varianzas de los residuos de los distintos grupos formados por la combinación de las variables ‘Raza’ y ‘Sexo’. Aquí es preciso aclarar que, en contra de lo que pueda parecer a primera vista, no hay más varianza en este primer nivel. La varianza total del primer nivel es

Como las variables de codificación son dicotómicas, esta suma equivale de hecho a la suma ponderada de las varianzas por el número de sujetos de cada grupo. Dado que cada una de ellas no es muy distinta de la varianza calculada de forma común, su suma ponderada tampoco podrá ser muy distinta del valor mencionado.

Tabla 3. Modelo con variables explicativas en el primer nivel

3.3. Modelo con variables de nivel 1 variando en el nivel 2

Cuando incluimos en el nivel 2 de la parte aleatoria los parámetros que resultan significativos, vemos que la parte fija no experimenta cambios sustantivos, aunque en la estructura de covarianza sí aparecen pequeñas variaciones. Por ejemplo, vemos en la tabla 4 que la varianza asociada a la constante en el nivel 2 aumenta, mientras que disminuye en el nivel 3. Esto significa que las medias de las escuelas intraestado se diferencian más entre sí y que las medias interestados se diferencian menos.

Tabla 4. Modelo con variables explicativas del primer nivel variando en el segundo

3.4. Modelo Definitivo

En la tabla 5 aparecen las estimaciones de los efectos incluidos en el modelo con variables de nivel 2 variando en el 3. Éste es el modelo definitivo. La comparación de la razón de verosimilitud entre el modelo nulo con un total de cuatro parámetros (-2log(ln) =75943.9) y este modelo definitivo con 26 parámetros (-2log(ln) =74579.6), nos permite afirmar que este último modelo se ajusta mejor a la estructura de los datos y también al referente teórico definido en el primer apartado.

La constante, 408.9, es la línea base y representa la media en Matemáticas de las niñas negras cuyos padres no tienen estudios, en cuya casa no se compra el periódico, con una edad igual a la edad modal del curso, que ven la televisión entre dos y cuatro horas al día, cuyo profesor desarrolla menos de la mitad de los contenidos, que no utiliza libro de texto, que asisten a escuelas en las que la media de estudios de los padres es cero, sin recursos didácticos en la escuela, y con profesor cuyo tiempo de servicio previo es cero.

Tabla 5. Modelo con variables explicativas de segundo nivel variando en el tercero. Modelo definitivo

Los coeficientes fijos asociados a variables de nivel individual nos permiten ver cómo estas características afectan al rendimiento. Por ejemplo, con respecto a la raza vemos que la media más alta corresponde al grupo ‘Amarelo’ (21.44 sobre la constante) seguido de ‘Branco’ (14.19) y ‘Pardo’ (12.32). Los chicos tienen una media de 32.88 puntos superior a la de las chicas en igualdad de otras características. Es importante destacar que las variables dummy referidas a la raza no representan en sí mismas un supuesto efecto causal debido a características ‘genéticas’. Son variables que, junto con otras de las incluidas en el modelo, recogen distintos tipos de informaciones muy relacionadas con variables de tipo socioeconómico. Si siempre es importante subrayar que no cabe afirmar relaciones causales en estudios no experimentales, en el caso de las variables relacionadas con la etnia es primordial evitar interpretaciones erróneas. En resumen, la interpretación más adecuada sería que los coeficientes asociados a los distintos grupos étnicos reflejan las diferencias en rendimiento en Matemáticas entre esos grupos que no han sido explicadas por las variables incluidas en el modelo.

Un aumento de un punto en la escala de lectura del periódico en el hogar familiar supone 9.57 puntos de mejora de la media de rendimiento para los alumnos de escuelas privadas (per*prt), y nada para los alumnos de escuelas públicas, mientras que cada año de edad por encima de la edad modal del curso supone una disminución de 13.05 puntos en el rendimiento esperado. También se espera una disminución del rendimiento (-2.63) por cada grado que se aparte de la escala de frecuencia de televisión diaria del grupo de referencia (2 a 4 horas diarias).

Los estudios del padre tienen un coeficiente de 4.58. Recuérdese que se trata de una variable con un valor máximo de 4, por lo que los estudiantes con padres en el máximo nivel de estudios tienen un rendimiento esperado de 18 puntos por encima de aquellos cuyos padres no tienen ningún estudio.

En cuanto a las características de las unidades de nivel 2 (las escuelas), vemos que han resultado significativos los efectos atribuibles a las variables ‘desacont’, ‘livrodid’, ‘tiemserv’, ‘partic’, ‘recursos’,  ‘estpaies’. Aunque estas variables pertenecen al nivel 2, por las razones anteriormente explicadas podemos diferenciarlas en variables atribuibles a los profesores y variables atribuibles a la escuela. Al primer grupo pertenecen ‘desacont’ (Grado en que el profesor desarrolla los contenidos de la materia), ‘livrodid’ (Si el profesor utiliza o no libro de texto) y ‘tiemserv’ (Tiempo de servicio del profesor en años). Al segundo grupo pertenecen, ‘partic’ (Si el centro es privado o no), ‘recursos’ (Nivel de recursos materiales del centro en una escala de 0 a 15), y ‘estpaies’ (Nivel medio de estudios del padre entre los alumnos de esa escuela). Esta última variable es una simple agregación en el nivel 2 de la variable ‘estpai’. Es un indicador del nivel sociocultural medio de los alumnos del centro.

Estas variables están muy relacionadas entre sí. Por ejemplo, el coeficiente asociado a la variable ‘partic’ es 12.76. Esto debe interpretarse como la diferencia entre escuelas públicas y privadas que no ha sido posible explicar por otras diferencias de funcionamiento, como por ejemplo el desarrollo de contenidos. En este sentido, vemos que aquellos docentes que utilizan libro de texto pueden esperar una media de 12.8 puntos más que aquellos que no lo utilizan.

Pero, analizando en qué grado las escuelas públicas y privadas utilizan libro de texto vemos que, en una escala de 0 a 1, la media de las escuelas públicas es de 0.43. Del mismo modo, la variable ‘desacont’ tiene un coeficiente de 11.38 para una escala que va de 0 a 3. La diferencia, por tanto, entre las escuelas que desarrollan todo el contenido y aquellas que desarrollan menos de la mitad es de 34.14 puntos de media. Pues bien, la media de desarrollo de los contenidos en las escuelas privadas es de 2.49, es decir, entre el 80% y el 100% del contenido, y en las escuelas públicas es 1.88, o lo que es lo mismo, más del 50% y no muy lejos del 80% del contenido. En función de estos datos, podemos decir que hay 4.736 puntos en la diferencia bruta entre escuelas públicas y privadas que están asociados al distinto uso del libro de texto. De la misma forma hay 6.94 puntos que están asociados al distinto grado de desarrollo de los contenidos (el coeficiente global de ‘livrodid’ es de 12.8, mientras que su media en centros públicos es de 0.43 y en centros privados de 0.80. Los puntos en la media de centros públicos asociados al uso de libro de texto son 0.43*12.8=5.504. En centros privados son (12.8*0.80)-5.504=4.736. Lo mismo se aplica para el desarrollo de los contenidos).

Algo similar puede decirse de la variable ‘estpaies’. La media de escuelas privadas es 3.11 y la de escuelas públicas 1.62. También hay una parte de la diferencia bruta entre los centros públicos y privados que está asociada a la distinta distribución del nivel sociocultural de sus alumnos. En este caso, esa parte asciende a 29.01 puntos.

Por su parte, la variable ‘recursos’ tiene asociado un coeficiente de 1.517 por cada grado en una escala que va de 0 a 15. Y también las escuelas públicas y privadas se diferencian en sus recursos físicos. Las públicas tienen una media de 6.60, mientras que en las privadas la media es de 11.78. Por tanto, de la diferencia bruta hay 7.866 puntos asociados a diferencias en la distribución de recursos entre uno y otro tipo de centros.

En definitiva, podemos decir que las diferencias entre escuelas públicas y privadas que refleja la variable ‘partic’ son las que no han podido ser explicadas por las diferencias en nivel sociocultural medio de la escuela, por las diferencias de funcionamiento del aula, el tiempo medio de servicio de los profesores o en los recursos disponibles en la escuela.

Los parámetros aleatorios que aparecen en la tabla 5 pertenecen a tres niveles distintos. Las varianzas de nivel 1 en esa estructura nos indican simplemente la varianza entre sujetos dentro de las escuelas. Como vemos, las distintas combinaciones de etnia y sexo tienen distintas varianzas, como ya hemos ido señalando.

En el nivel 2 vemos que las medias de las escuelas se diferencian significativamente y que también la influencia de la variable ‘estpai’ sobre el rendimiento de los alumnos varía significativamente entre las escuelas dentro de los Estados.

De todo este análisis, el parámetro más importante respecto al objeto de este estudio es la varianza en el nivel 3 de la variable ‘recursos’. Es muy importante resaltar que la varianza asociada a la constante no era significativa en este nivel. Esto quiere decir que las diferencias brutas entre los Estados quedan completamente explicadas cuando tenemos en cuenta que las pendientes de la variable ‘recursos’ varían significativamente de un Estado a otro. Es decir, en cada Estado, la influencia de los recursos de la escuela sobre la media de las mismas es significativamente distinta.

Es muy interesante observar que según este modelo, los Estados, una vez incluidas en el modelo todas las variables disponibles de nivel 1 y 2, no difieren en la media en rendimiento, sino en la forma en que los recursos de las escuelas afectan al rendimiento medio de sus alumnos.

Según esto, los Estados que tienen distintas medias de rendimiento se diferencian fundamentalmente en que, en unos, las escuelas con más recursos tienen realmente más rendimiento, mientras que en otros, las escuelas con más recursos no llegan a alcanzar el nivel de rendimiento medio del primer Estado. Parecería como si en algunos Estados existiera alguna característica que hace que la aplicación de los recursos en las escuelas sea más eficiente. Naturalmente, puede ser una característica del contexto del Estado. De hecho, esto no indica que en los Estados con medias más altas son las escuelas con mas recursos las que se diferencian más de sus homólogas en los demás Estados. No se trata, por tanto, de una diferencia generalizada entre las medias de las escuelas de unas y otras unidades de tercer nivel, sino que al aumentar el nivel de recursos de las escuelas aumenta la diferencia entre las escuelas de unos y otros Estados.

4. Conclusiones y Discusión

Los recursos sí importan. En este artículo se ha aportado una fuerte evidencia empírica de que existe una importante influencia de los recursos escolares en el rendimiento académico de los alumnos en Matemáticas.

El Ministerio de Educación y Deportes de Brasil realizó en 1995 una evaluación de la enseñanza básica de su sistema educativo. En ella, además de recogerse datos sobre el rendimiento académico de los alumnos, se obtuvieron diversas informaciones sobre los alumnos, sus profesores y escuelas. Dada la calidad de la muestra y la información obtenida, ha sido posible hacer una explotación particular sobre la incidencia de los recursos en el desarrollo de los alumnos. Para ello se ha realizado un estudio multinivel y, tras el largo proceso de modelización, se ha obtenido el modelo final cuyos parámetros se ofrecen en la tabla 5.

Como era previsible, los resultados muestran que tanto variables del individuo como de los profesores y la escuela inciden en el rendimiento académico. Incluso se observa que los Estados modulan la incidencia de alguna variable. La inclusión de tantas variables se justifica para poder delimitar con mayor precisión la varianza debida a las variables de interés. Centrándonos en los recursos, la primera idea es que, frente a lo encontrado en otros estudios realizados en países desarrollados (Hanushek, 1997), los recursos con que cuenta la escuela inciden de manera significativa en los resultados de los alumnos. En este trabajo se han considerado como recursos escolares la existencia y calidad de biblioteca, laboratorio de ciencias, laboratorio de informática, televisión y aparato de vídeo.

Pero también se han encontrado otros datos de extremo interés. Así, por ejemplo, hay que señalar la radical importancia que tiene para el rendimiento el hecho de que el docente desarrolle los contenidos. El resultado parece evidente: cuanto mayor es el porcentaje de contenido tratado por el profesor, mejor es el rendimiento del alumnado de esa aula. No contamos con información acerca de por qué no se desarrolla la totalidad de los contenidos pero, en cualquier caso, parece existir una íntima relación con el tiempo de aprendizaje tan destacado por J. Carroll (1963) y recordado por Creemers (1994).

Un tercer factor es la utilización del libro de texto por parte del profesor para la exposición de los contenidos. El uso de un material estructurado favorece claramente el aprendizaje por parte de los alumnos. Carecemos de datos que justifiquen la no utilización de libros de texto, pero no parece descabellado achacarlo a la falta de presupuesto familiar para su compra.

En el apartado anterior se destacó que el Estado jugaba un importante papel en el rendimiento del alumno en relación con los recursos escolares. En este apartado final tenemos que insistir en la gran importancia del hecho de que sólo al incluir la variable recursos en el tercer nivel, la composición de la varianza entre las medias de los Estados cambia totalmente de naturaleza. No es que no haya diferencia entre las medias de los Estados. Es que la diferencia  está asociada a la forma en que los recursos afectan al rendimiento medio de las escuelas en cada Estado. De la importancia práctica de este hecho puede dar idea el siguiente ejemplo. Supongamos que uno de los Estados con valores bajos de rendimiento medio decide hacer un esfuerzo de inversión para dotar a las escuelas de mayores recursos. Ciertamente, se podría conseguir un aumento en el rendimiento medio de esas escuelas. Pero este aumento sería siempre inferior al conseguido si la misma inversión se hubiera realizado en un Estado con media más alta en sus escuelas.

Tabla 6. Incremento diferencial de la pendiente de la variable ‘Recursos’ para cada uno de los Estados

En la tabla 6, ‘U1k’ muestra el diferencial de pendiente de regresión de rendimiento medio de las escuelas sobre ‘recursos’ para cada Estado. Por ejemplo, en el Estado 25, el coeficiente de regresión que pone en relación el nivel de recursos con el rendimiento medio es un punto menor que el valor medio. Sin embargo, en el Estado 17, ese valor es 4.517 puntos superior a la media.

Obsérvese algo importante. No se trata de que unos Estados tengan escuelas con más recursos que otros. Se trata de que, en unos Estados, los recursos de las escuelas influyen más que en otros en el rendimiento. Son, en esencia, más eficientes. Por supuesto, como ya se ha explicado, esa mayor eficiencia en el uso de los recursos puede deberse a variables de contexto sociocultural y socioeconómico de los Estados, de los que en este estudio no tenemos referencias.

Pero también han resultado relevantes en el modelo variables de carácter personal: el sexo, la raza, las horas que pasa el alumno viendo la televisión al día y el nivel de estudios del padre. Con relación a la variable “raza” es necesario señalar algunas cuestiones. En primer lugar hay que indicar que los datos se obtuvieron de la respuesta directa de cada alumno sobre cómo se considera: branco, pardo, preto o amarelo. Como bien se sabe, es necesario incluir en el modelo todas aquellas variables que expliquen la varianza en rendimiento. Y la variable raza es una buena aproximacion indirecta al nivel socio-cultural en Brasil. Con ello se consigue determinar, de la manera más exacta posible, la incidencia de otras variables de interés. Los resultados indican que los alumnos que se consideran “pretos” obtienen peores resultados, seguidos de los “pardos”, “brancos” y “amarelos”.

Interesantes resultados se han encontrado respecto a la variable que mide el número de horas que el alumno ve la televisión el día. Los datos indican que el máximo rendimiento se da en aquellos alumnos que pasan de dos a cuatro horas al día viendo la televisión. Si dedican más o menos horas, su rendimiento baja.

El presente estudio posee las ventajas y las limitaciones de una evaluación institucional a gran escala. Entre las primeras destaca el tamaño de la muestra y la calidad de su selección, así como las garantías de calidad en la recogida de datos y el importante número de variables de alumno, profesor y escuela. Entre las desventajas, las dificultades para incorporar al diseño variables de interés exclusivamente. Un diseño ad hoc probablemente hubiera sido más útil para el objetivo de este trabajo, pero su elevado coste lo habría hecho inviable en la práctica.

La investigación sobre eficacia se ha centrado casi exclusivamente en un contexto de países anglosajones, y por tanto no todas sus conclusiones son aplicables a contextos diferentemente dotados, como es el caso de los países en vías de desarrollo. Parece clara, por tanto, la necesidad de incorporar el contexto a la investigación sobre eficacia escolar para ofrecer una imagen completa y no sesgada de los factores que mejoran las escuelas.

5. Bibliografía

American Association of School Administrators (1992). An effective school primer. Arlington: AASA Publications.

Bamburg, J.D. y Andrews, R. (1991). School goals, principals, and achievement. School Effectiveness and School Improvement, 2(3), 175-191.

Burstein, L., Linn, R.L. y Capell, F.J. (1978). Analyzing multilevel data in the presence of heterogeneous within-class regressions. Journal of Educational Statistics, 3, 347-383.

Coleman, J.S. et al. (1966).  Equality of educational opportunity. Washington: US Government Printing Office.

Creemers, B. (1994). The effective classroom. London: Cassell.

Creemers, B. (1996). The school effectiveness knowledge base.  In D. Reynolds et al., Making good schools. Linking school effectiveness and school improvement (pp. 36-58). London: Routledge.

Farrell, J.P. (1999). Changing conceptions of equality of education: forty years of comparative evidence. In R.F. Arnove y C.A. Torres (Eds.), Comparative Education. The dialectic of the global and the local (pp. 149-178). Lanham, MA: Roman & Littlefield Publishers, Inc.

Fuller, B. (1986). Raising school quality in developing countries: what investments boost learning? World Bank Discussion Papers Series. Washington, DC: The World Bank. 

Hanushek, E.A. (1997). Assessing the effects of school resources on student performance: an update. Educational Evaluation and Policy Analysis, 19(2), 141-164.

Harbison, R.W. and Hanushek, E.A. (1992). Educational performance for the poor: lessons from rural Northeast Brazil. Oxford University Press. Published for the World Bank.

Harber, C. y Davies, L. (1997). School Management and Effectiveness in Developing Countries: The Post-Bureaucratic School. London: Cassell.

Hox, J.J. (1994). Hierarchical regression models for interviewer and respondent effects. Sociological Methods and Research, 22(3), 300-318.

Kreft, I.G.G. y De Leeuw, J. (1994). The gender gap in earnings: a two way nested multiple regression analysis with random effects. Sociological Methods and Research, 22(3), 319-342.

Levin, H. and Lockheed, M. (1993). Effective schools in developing countries. London: Falmer Press.

Levine, D.U. y Lezotte, L.W. (1990). Unusually effective schools: a review and analysis of research and practice. Madison: National Center for Effective School Research and Development.

Lockheed, M. (1993). The condition of primary education in developing countries. In H. Levin y M. Lockheed (Eds.), Effective Schools in Developing Countries (pp. 20-40). London: Falmer Press.

Lockheed, M. y Verspoor, A. (1991). Improving Primary Education in Developing Countries. Oxford: World Bank, Oxford University Press.

MEC (1997). Resultados do SAEB/95. Relatório Final. Brasilia: Ministério da Educaçao e do Desporto (Results of the SAEB/95. Final List. Brazil: Ministry of Education and Sports)

Morley, L. y Rassool, N. (1999). School effectiveness. Fracturing the discourse. London: Falmer Press.

Mortimore, P. (1993). School effectiveness and the management of effective learning and teaching. School Effectiveness and School Improvement, 4(4), 290-310.

Mortimore, P. et al. (1988). School matters. Somerset: Open Books.

Reynolds, D. (1985). Studying School Effectiveness. London: Falmer Press.

Reynolds, D., Creemers, B.P.M., Nesselrodt, P.S., Schaffer, E., Stringfield, S. y Teddlie, C. (Eds.) (1994). Advances in School Effectiveness Research and Practice. Oxford: Pergamon Press.

Rutter, M. et al. (1979). Fifteen thousand hours. London: Open Books.

Sammons, P., Hillman, J. y Mortimore, P. (1995). Key characteristics of effective schools: a review of school effectiveness research. London: OFSTED.

Scheerens, J. (1990). School effectiveness research and the development of process indicators of school functioning. School Effectiveness and School Improvement, 1(1), 61-80.

Scheerens, J. (1992). Effective schooling: research, theory and practice. London: Cassell.

Scheerens, J. (2001). Monitoring school effectiveness in developing countries. School Effectiveness and School Improvement, 12(4), 359-384.

Teddlie, C. y Stringfield, S. (1993). Schools make a difference: lessons learned from a ten-year study of school effects. New York: Teachers College Press.

Townsend, T. (1997). What makes schools effective? A comparison between school communities in Australia and the USA. School Effectiveness and School Improvement, 8(3), 311-326.

Acerba de los Autores

José Luis Gaviria
Universidad Complutense de Madrid (Spain)
Avda. Rector Royo Vilanova s/n
28040 Madrid (Spain)
e-mail: josecho@edu.ucm.es
Teléfono: +34 91 394 61 40

Rosario Martínez-Arias
Universidad Complutense de Madrid (Spain)
Facultad de Psicología. Campus de Somosaguas
28040 Madrid (Spain)
e-mail:

María Castro
Universidad de Murcia (Spain)
Facultad de Educación. Campus Universitario de Espinardo.
Espinardo. 30100 Murcia (Spain)
e-mail: mcastro@um.es
Phone number: +34 968 36 40 54

Anexo. Descripción de las variables utilizadas

Note

1. El presente trabajo ha sido realizado por encargo del INEP del Ministerio de Educación y Deportes de Brasil.

La dirección de Archivos Analíticos de Políticas Educativas en la World Wide Web es http://epaa.asu.edu.

Preguntas generales acerca de la pertinencia temática o sobre artículos específicos pueden ser enviadas al Editor, Gene V Glass, glass@asu.edu. Por carta a: Gene V. Glass College Education, Arizona State University, Tempe, AZ 85287-0211. (602-965-2692).

EPAA Editorial Board