This article has been retrieved   times since November 18, 2003

La Evaluación Ausente Pablo E. Balonga Universidad de Buenos Aires Citation: Balonga, P. E. (2003, November 18). La evaluación ausente. Education Policy Analysis Archives, 11(43).Retrieved [Date] from http://epaa.asu.edu/epaa/v11n43/. Resumen Se discuten debilidades presentes en los procesos de evaluación de actividades de ciencia y técnica en la Universidad de Buenos Aires. Las principales carencias observadas se manifiestan ligadas a la organización del sistema científico tecnológico y a concepciones inherentes a los investigadores. Se analizan vías de superación. Abstract Absent elements in the evaluation processes of science and technology activities in Buenos Aires University are discussed. The main deficiencies identified are shown to be linked to the organization of the technological scientific system and to inherent conceptions of the scientists. Remedies are analyzed.   Introducción En un reciente trabajo [ (Nota 1) ] el autor realizó el estudio de caso de la evaluación de las actividades de ciencia y técnica de la Secretaría de Ciencia y Técnica de la Universidad de Buenos Aires en los últimos años. Se contemplaron tanto las evaluaciones integrales institucionales como las efectuadas individualmente sobre presentaciones y proyectos de becas y subsidios con carácter ex ante, de seguimiento y ex post. Con referencia a estas evaluaciones individuales en las conclusiones se destacaba a) la creciente flexibilidad, especificidad y pertinencia de los instrumentos desarrollados, b) la necesidad de avanzar en esta línea con evaluaciones (sean convocatorias o instrumentos) por disciplinas o grupos de ellas, c) el grado de adecuación de los instrumentos en el análisis de objetos y métodos así como de antecedentes, d) las fuertes carencias en lo que hace a la evaluación de características intrínsecas y de grupo de los recursos humanos, de la capacidad directiva psicológica y estratégica y de los recursos financieros y materiales (obtención, uso y optimización del uso) y e) la falta de instancias de seguimiento in situ (auditorías). El presente estudio se dirige a precisar el conjunto de aspectos que se omiten explícita e implícitamente en los requerimientos de evaluación y a explorar el significado y consecuencias tanto para el producir científico-tecnológico como para la definición de políticas y la gestión en el área. Si bien el objeto de análisis del presente trabajo se centra en la Universidad de Buenos Aires la mayoría de las conductas que se señalan son comunes a todos los organismos y/o actividades de ciencia y técnica nacionales. Las bases de esta similitud, que acrecienta el interés e importancia del análisis realizado, se discuten más abajo. Los elementos documentales considerados son aquellos instrumentos de evaluación contenidos en la referencia 1, los cuales dan cuenta suficiente de las omisiones que se detallan. El análisis considera también los aspectos formales de la presentación de la información sometida a evaluación así como la experiencia personal con los contenidos de dichas presentaciones y la obtenida a partir de la frecuentación de los evaluadores convocados en diversas instancias. A los efectos del presente estudio puede hablarse casi indistintamente del instrumento de evaluación y de la presentación del evaluado, identificación válida no solo por cuanto los criterios y elementos distinguibles de la evaluación son volcados por los gestores necesariamente en ambos documentos, si no, además, por que los presentantes de información a evaluar escriben para sí como posibles evaluadores. Se está considerando entonces a la evaluación en sentido amplio como forma de obtener información calificada, disponible y útil. Las omisiones La actividad de evaluación de proyectos de investigación y de becas contempla principalmente, muchas veces con exclusividad, una serie de aspectos que suelen denominarse inadecuadamente “académicos”. En la evaluación ex ante estos aspectos comprenden la oferta en materia de objetivos y métodos así como antecedentes de los actores (director, becario, otros investigadores) que hayan tenido lugar en el ámbito académico o profesional. Varios de estos últimos antecedentes son de tipo laboral, de allí lo inadecuado de la denominación; corresponde notar que este “error” no es casual sino que encierra una pretensión ideológica, como veremos. Análogamente en las evaluaciones ex post y de seguimiento se contempla la fidelidad y superación de aquellos objetivos originales y el conjunto de producción materializada (comunicada). En algunos casos se tiene en cuenta la capacitación transferida o lograda, con mayor frecuencia cuando se objetiviza en un título alcanzado. Quedan casi totalmente fuera del análisis que hasta el momento se lleva a cabo en la Universidad de Buenos Aires una serie de facetas que hacen a un proyecto científico tecnológico así como a otros emprendimientos productivos. La omisión psicotécnica Las actividades de investigación rara vez son aisladas por el contrario predomina la tarea de grupo. Aún el más arquetípicamente asocial de los científicos cuenta y debe contar casi indefectiblemente con colaboradores y/o asistentes. Hoy en día seguramente la cooperación en la actividad involucra a personas con disciplinas (esto es, con culturas y lenguajes) muy diferentes entre sí. Por otra parte la investigación científica y tecnológica va incorporando, cada día más dada la globalización y la continuidad de la democracia y la movilidad social en el país, personas con extracciones sociales y procedencias regionales diferentes lo que agrega a la interacción experiencias y visiones del mundo disímiles. Sorprende entonces que no se considere en ninguna instancia la factibilidad de integración psicológica del grupo involucrado en la tarea a desarrollar ni la posibilidad de cada parte de jugar el rol previsto en el grupo. Cierta desaprensiva afición en nuestro medio por la trasgresión sustentada en aspectos formales[ (Nota 2) ] han llevado en más de una oportunidad, injustificablemente, a la presentación de un proyecto donde las relaciones de edad, antecedentes y categoría del cargo entre el director y sus dirigidos es la inversa de aquella que permitiría esperar un armonioso desarrollo de las tareas y funciones planteadas; sin mayor inspección tales proyectos, evidentemente enfermizos, son aceptados y subvencionados [ (Nota 3) ]. La aptitud física no es considerada ni en el nivel más elemental. Se da un curioso caso con individuos que en un mismo lugar de trabajo cumplen una labor muy semejante, con semejantes contactos y riesgos, aunque en condiciones laborales diferentes como ciertos docentes auxiliares y becarios graduados. Los primeros son sometidos a un examen físico completo del que depende su ingreso al cargo mientras que a los segundos no se les requiere jamás ningún tipo de certificación sanitaria. Salvo en caso de embarazo[ (Nota 4) ], se diría que los investigadores no tienen cuerpo. No existe ninguna previsión relativa a enfermedad, ningún medio que permita declarar alteraciones de salud y ningún criterio o procedimiento para tener en cuenta los efectos sobre la producción de tales perturbaciones. En el plano psicológico la única referencia es la asumida afinidad entre el director y sus dirigidos, sin que en ningún caso esta afinidad, que surge de la dimensión de la oferta y la búsqueda o se impone a partir de la necesidad del director de contar con al menos un dirigido para ser tal, esté avalada por algo más que el débil antecedente de no ser esta la primera oportunidad en que esta asociación tiene lugar. La voluntad, la capacidad de esfuerzo sostenido, la creatividad, la sociabilidad, la disciplina y cualquier otro valor positivo imaginable en un becario o integrante de un proyecto de investigación parecieran prescindibles. De la misma manera no se consideran elementos que provean indicación positiva y medida de la capacidad de liderazgo, la sensibilidad, etc... que, en primera instancia al menos, beneficiarían la acción del director de cualquier proyecto. La omisión gerencial Antecedentes curriculares A la hora de considerar méritos en evaluaciones ex ante, en particular en el caso de directores de proyecto, cualquier curso, conferencia o título es bienvenido y juzgado en función de una importancia sobre la que no surge discusión alguna. Así, por ejemplo, una maestría en epistemología aporta a la valoración de un director de un proyecto de química y un curso de probabilidades a la de un director de un proyecto de medicina o ciencias sociales; el peso de tales aportes se realiza en función de la relación entre el proyecto y el antecedente curricular y la única objeción que resulta emergente es que se suele privilegiar la relación entre las disciplinas más en la comunidad de sus objetos que en la imbricación de sus métodos. Contrariamente, igual tipo de antecedentes en administración, economía, gestión y otras temáticas vinculadas a la organización de un proyecto no reditúan puntaje a no ser que tengan relación con el tema intrínseco del proyecto de investigación en cuestión.. Planificación En tanto se acepte que el director de un proyecto tiene funciones diferenciadas que exceden el mero enlace entre la entidad ante la que se acredita el proyecto y sus ejecutores, se observa que ningún recaudo se toma para evaluar las capacidades necesarias para esas funciones. En ninguna instancia se evalúa la capacidad de planificación. Sí se evalúa el plan de trabajo que en general ha sido escrito por un aficionado y es evaluado por otro no profesional en planificación. Quienes hayan juzgado planes habrán notado que en estos jamás se discuten alternativas; los planes enuncian decisiones, rara vez las sostienen. Por otra parte, no existen previsiones (variantes) para ningún tipo de contingencia. Vinculación Los proyectos/grupos de investigación en una universidad son una fuente de recursos para la misma. Fuente mayormente desaprovechada en nuestro medio. A la vez son parte de la imagen de la universidad ante el medio social; son parte del prestigio a partir del cual la universidad incrementará su potencial en todo sentido. Desde los imprescindibles contactos privados con particulares, instituciones o empresas, hasta la eventual presencia pública en los medios de difusión es necesario “saber vender” un proyecto, sus productos y sus derivados. El director debe poseer en primer lugar conciencia y luego capacidades en relaciones públicas por sí mismo y/o por el grupo que ha conformado. El proyecto óptimo debe contar con amplios contactos, con actividad planificada de interrelación social y de captación de fondos así como prever mecanismos de difusión de su actividad para audiencias no especializadas. Sin embargo la única incidencia, obviamente indirecta, en la evaluación relacionada con la habilidad de un director en materia de relaciones públicas es la imagen que de sí haya cultivado en el ámbito académico y los lobbies allí operados, toda vez que es en ese ámbito donde se eligen los evaluadores. Mientras que los antecedentes en Relaciones Públicas tienen en la evaluación solo esta presencia lateral e irrelevante a los fines de la actividad a desarrollar, a la vez peligrosa para la equidad del proceso de evaluación, ningún lugar se reserva para valorar la presencia o ausencia de actividades, objetivos o posibilidades del grupo/proyecto en el plano de las Relaciones Públicas. Vale notar que las evaluaciones institucionales suelen al menos interesarse en cuantos/cuales contactos, especialmente internacionales, tiene el objeto de evaluación con pares académicos[ (Nota 5) ]. Optimización A la hora de considerar ex post, o durante, el desarrollo de un proyecto no existen tampoco recaudos para evaluar si los caminos tomados se acercan al óptimo y en que medida, si el uso de los recursos ha sido el de mayor provecho, si el grupo se ha desarrollado equilibradamente y al máximo de sus posibilidades, etc. ... . No se contempla que aún un proyecto con resultados positivos podría potenciarse a cargo de alguien con mayor capacidad para orientarlo. De más está decir que nada exige al evaluador establecer si los objetivos alcanzados lo han sido por y según el plan original o bien por variaciones provistas por el azar o a algún(os) miembro(s) del equipo. Inexorablemente, la ausencia de este tipo de crítica, que bien podría partir de la propia autocrítica del grupo de investigadores evaluado, retarda cuando no anula toda posibilidad de mejora. La omisión presupuestaria La mayor parte, si no toda, la evaluación ex ante que realiza la Universidad de Buenos Aires, está vinculada con la asignación de recursos económicos, ya sea a través de becas o de subsidios. Escasa es, sin embargo, la evaluación al respecto. Los aspectos presupuestarios son ignorados totalmente en lo que hace a becas. ¿Cual es el costo beneficio de la erogación solicitada frente a otros recursos que ya posee el grupo por becarios, salarios, equipos, subsidios, etc...?, es una pregunta pertinente, ausente, a pesar de que permitiría distribuir en términos concretos la inversión que se realiza. ¿Cuanta carga agrega al grupo de investigación en materia de insumos, viajes o servicios de terceros? o ¿Podría cubrirse, total o parcialmente, el estipendio requerido con recursos recibidos de otras fuentes?, faltan también. Significativamente las respuestas a estas preguntas están ausentes en las justificaciones de las solicitudes correspondientes. Por completitud señalaremos que no se contempla si a valores de mercado, de los profesionales de la disciplina en cuestión, el estipendio de becas (para graduados no doctorados) es el indicado. Singularmente resaltante resulta que la institución no opere en función de estos valores. Cuando una profesión, o todas, esta deprimida ( en valor salarial ), en general la actividad académica en el área y las becas en particular sufren una gran afluencia sin que esto implique un mayor potencial de investigación. Cuando el requerimiento en otros ámbitos productivos es mayor disminuye el caudal de becarios. Si la universidad relativizase el estipendio podría dar mayor satisfacción a la demanda a la vez que retrotraerla aliviando la presión política y administrativa consecuente. En este entendimiento, el valor del estipendio sería una parte a evaluar, en conjunto con los elementos señalados en el párrafo anterior, tal como ocurre con el salario en otros ámbitos. En el caso de los subsidios para investigación existe, por cierto, un espacio previsto dentro de la evaluación ex ante de los proyectos para pesar el aspecto presupuestario. Esta valoración se limita, sin embargo, a aspectos globales y genéricos. A la vez que la manifestación presupuestaria mínima requerida es una distribución en tres amplísimos rubros, la presentación más común llega a incluir, como detalle y justificación, una lista de elementos disímiles sin mayores especificaciones. Como más arriba se hiciera notar con relación a la planificación, no se presentan ni discuten alternativas a los gastos a efectuar. Resalta igualmente que, salvo excepciones, toda consideración presupuestaria se limita a los fondos que se están solicitando omitiendo todo otro recurso recibido ni cualquier forma de obtención futura de fondos. La evaluación del cumplimiento y/o desarrollo del presupuesto no participa de la evaluación ex post de los proyectos en manera alguna. Por cuerda separada un lento mecanismo verifica el cumplimiento de las pautas de forma e impositivas de la Administración Pública en cada compra. De esta manera la Universidad de Buenos Aires no está en posición de saber siquiera cuantos microscopios, cabras, computadoras o biromes se adquirieron con su fondos ni porqué. Solo los libros y revistas, que deben ser entregados a las respectivas bibliotecas de facultad, podrían llegar a ser contabilizados. Tal como señaláramos en un trabajo previo[ (Nota 6) ], la evaluación, en organismos públicos de ciencia y técnica tiene un rol destacado frente a la creciente necesidad, y posibilidad, de dar cuentas de lo actuado a la sociedad; estas ausencias, especialmente en aspecto tan delicado como la ponderación del gasto, obran exactamente en sentido contrario. La omisión de lo inasible En tanto la evaluación en todos los casos se realiza a través de instrumentos documentales, sin contacto entre los evaluadores y lo que se pretende evaluar, no existe espacio para una serie de actividades cuya certificación resultaría dificultosa. Así ocurre, por ejemplo, con el trabajo de producción y acumulación pura de datos. Esta labor, por cierto, no es creativa ni constituye por si misma una investigación; pero es esta tarea de obtención (propia), reunión (de otros) y organización de información la que constituye la mayor parte de la actividad de investigación (el 99% de transpiración en el decir de T.A.Edison). Estos datos, en tanto hayan sido profesionalmente producidos, aunque puedan no haber dado su aceite aún, probablemente lo darán mañana al mismo grupo o a otros de su ámbito de trabajo. Esto mismo se aplica a la producción de especímenes vivos, muestras de substancias y diversas tareas de identificación y catalogación. Es indudable el beneficio que traería el conocimiento, valoración, registro y difusión de todo este nutriente. Paralelamente, no resulta advertido por los mecanismos de evaluación el hecho de que cierto grupo de profesionales se haya ido constituyendo y afianzando como un grupo de investigación en un área dada. Esto implica un grado de distribución de tareas y su coordinación en un equipo capaz de enfrentar con éxito una temática dada. A veces se trata de una orquesta, otras de un petit ensemble, pero hay un camino recorrido hasta allí. Tal crecimiento seguramente implicó inversión de la universidad o de otras agencias nacionales. Este aspecto de la actividad de investigación se encuentra ausente en los instrumentos de evaluación y raramente consta en las presentaciones pero, contrariamente a otros aspectos entre los arriba señalados, surge a posteriori si ocurre que la evaluación resulta negativa. Abundan en las apelaciones de los negativamente evaluados y aparecen de vez en cuando como un atenuante en las observaciones finales del evaluador atento a las consecuencias del documento que está por firmar, expresiones del tipo: “...este grupo muestra gran afinidad y ha estado trabajando durante n años, ...debería ser apoyado...” . El sistema en este caso se muestra particularmente consciente de esta omisión. Discusión Las omisiones señaladas en el apartado precedente son fundamentalmente técnicas y progresivamente salvables sin alteraciones sustanciales de los actuales sistemas. Algo semejante ocurre con las debilidades de la evaluación vigente respecto a las peculiaridades de cada disciplina, lo mismo que la gran dificultad del sistema para aprehender la interdisciplina. No nos detendremos en su análisis a pesar de su importancia, justamente por su especificidad. Vale señalar, en ese sentido, que la inclusión de entrevistas al grupo en su lugar de trabajo y el diseño de instrumentos de evaluación específicos resultarían relevantes. Las restantes omisiones señaladas en este trabajo son de mayor significación. Ausencia de responsabilidad Trascendiendo las instancias evaluatorias particulares, el sistema de evaluación tiene como constante la ausencia de responsabilidad. Ya hemos señalado las debilidades en el seguimiento y cabe agregar la carencia de registros y ponderación de éxitos y fracasos previos. Sin embargo esta ausencia en el caso de directores y dirigidos va más allá por cuanto, libres los primeros de responsabilidad, inexorablemente a la hora de ser evaluados esta recae en los segundos, aún en el caso evidente de investigadores no independientes, quienes no pueden aducir como contraparte de una baja producción su cumplimiento de las tareas y consignas establecidas por su director. No debe perderse de vista que se trata de evaluaciones e individuos pertenecientes a una misma institución y un mismo ámbito laboral. En el mismo sentido, siendo variados los mecanismos establecidos en las evaluaciones en beneficio de la transparencia, no parece participar de la misma la responsabilidad de los evaluadores, su compromiso con lo asesorado. Si bien resultaría sumamente complicado en una institución masiva desarrollar este aspecto debidamente en el marco presente de organización, no existen ni siquiera procedimientos mínimos de seguimiento de la actuación de los evaluadores que permitan establecer alguna correlación entre las evaluaciones emitidas por cierto individuo y el ulterior desarrollo de las actividades evaluadas por él. Así, por ejemplo, la adopción de evaluadores externos a la institución con el objetivo de obtener independencia en la evaluación, contradictoriamente, conspira contra la posibilidad de establecer la responsabilidad de los evaluadores. Este conflicto es de difícil resolución en el ámbito público, en cuanto campean en él permanentemente la sospecha de la dádiva o la persecución y variados mecanismos para evitarlas hoy y aquí, sin que se advierta que es precisamente el establecimiento de responsabilidades y la verificación de las mismas en plazos mayores lo que conduce a organizaciones sanas. Detrás de la omisión Las debilidades señaladas distan de ser el accidental resultado de una particular implementación de una política científica dada en el sistema científico. Estas carencias devienen del sistema científico del que la evaluación es parte, tienen un origen común en el imaginario de sus actores y son el sintomático correlato de que las instancias de decisión (y presión) de este sistema están ocupadas por estos mismos actores quienes no solo no son especialistas en producción, organización y recursos humanos sino que se muestran incapaces de analizar su actividad según estos términos. Directores de proyecto, académicamente exitosos, diseñan sistemas de evaluación a la medida de las presentaciones que ellos mismos harían, midiendo las variables que pueden percibir en sí mismos y que, estadísticamente, no trascienden el área de la disciplina en cuestión. Se suma esto al aislamiento del sistema científico tecnológico en relación con el conjunto del sistema productivo por lo cual aquél permanece impermeable a los métodos de éste. Son justamente estos factores de autoevaluación y aislamiento, comunes al sistema científico argentino, los que hacen que las carencias analizadas en este trabajo sobre la Universidad de Buenos Aires se reproduzcan mayormente en todos los ámbitos de evaluación del país. Las omisiones que se han comentado están unidas por un hilo común, son elementos primarios en cualquier planificación productiva; cualquier planificador, cualquier hombre de empresa, las advertiría inmediatamente por ser parte de su ser y hacer cotidiano. Su ausencia revela el hecho de que evaluadores y evaluados no visualizan su tarea científica como una actividad productiva, como un trabajo. Así, el mérito personal substituye a las bondades del plan y el éxito disciplinario a la capacidad ejecutiva; el presupuesto es una contingencia secundaria del proyecto y las peculiaridades humanas no son parte de las relaciones entre científicos. Esta antinomia entre academia y trabajo se encuentra presente en buena parte de la historia y normativa del área de ciencia y técnica argentina. Otro aspecto significante en lo observado es la tendencia a disminuir la información objetiva evaluada y su contabilización. Toda evaluación constituye en algún grado (en la Universidad de Buenos Aires no lo es menos) una instancia de poder. Por ello los evaluadores individuales se muestran renuentes a la especificación y sistematización de la evaluación pretendiendo mantenerla como un acto de apreciación en la cual sus parámetros o su mera voluntad son los que han de prevalecer. Se llega incluso a pretender que el juicio del evaluador pueda prevalecer sobre las normas establecidas para el proceso por el cual la evaluación es requerida. Privilegiando la evaluación sobre la norma el evaluador se apropia de la gestión de ciencia y técnica, hecho agravado por que, como se ha visto, en el actual estado de cosas no le implica responsabilizarse por los resultados. Más allá de lo ausente Las vías de superación del estado de cosas arriba descrito tiene dos vertientes. Por una parte en lo atinente a la mecánica de la evaluación y la injerencia de los evaluadores, resulta preciso reformular la metodología y apelar a la participación de otra clase de agentes, así: i) la incorporación de los no-pares, provenientes de otras áreas productivas, representantes sociales, etc. ..., los “impares” en el análisis de Ignacio Avalos Gutiérrez, perspectiva retomada también por Alicia Fernandez Cirelli[ (Nota 7) , (Nota 8) ], abriría el espectro de análisis; ii) la división de la instancia de evaluación en etapas, cada una de ellas a cargo de evaluadores especialistas (esta metodología está vigente en las convocatorias de la Unión Europea) profundizaría el análisis de las diversas facetas y iii) nutriendo la evaluación, ex ante especialmente, con instancias de realimentación (reelaboración) del proyecto en la que participen el director (o directores de proyectos afines si se recomendase una recombinación), evaluadores y responsables de la institución se acrecentaría la solidez de los grupos y planes de investigación. Por cierto, la otra vertiente es de más largo plazo, el replanteo de la estructura de producción científico tecnológico que estas ausencias delatan. La organización de este quehacer tendrá que transitar un largo camino hasta finalmente constituirse sobre una base gerencial, con responsabilidades definidas, con estabilidad y reorientación de los recursos humanos, con proyectos que se constituyan en torno a demandas que deriven de la institución y de la sociedad (modo 2 de producción de conocimiento[ (Nota 9) ] ). Lógicamente la sistemática detección de las necesidades presentes en la sociedad, su verificación y desarrollo constituyen un proyecto en sí mismo. A la par, se ha de comprender que no se trata de dejar de lado la ciencia básica en beneficio de sus aplicaciones, si no de evitar que el rumbo de la investigación sea fijado solo por el viento de las habilidades ultra específicas y la curiosidad personal de los investigadores. Reconocimientos El autor desea agradecer muy especialmente a la Lic. Laura Finkelberg por las muy fructíferas discusiones mantenidas con ella sobre el tema de este trabajo así como por su gentil y atenta lectura del manuscrito. Notas 1. P.E.Balonga (2001). “Evaluación en evolución”, en 2do. Encuentro Internacional ‘Evaluación de las Actividades Científicas y Tecnológicas’. Buenos Aires : ed. SeCyT-UBA. 2. Por ejemplo, los requisitos de dedicación del director para el Programa de Incentivos a los Docentes e Investigadores o las exigencias establecidas en convocatorias “para jóvenes”. 3. toda sorpresa en este sentido peca de inocente en una universidad donde sobran los ejemplos de directores de tesis doctorales oficialmente aceptados como tales a pesar de que no poseen título de doctor. 4. Reglamento de Becas de Investigación de la UBA, art. 13, resolución (CS) 1548/98, diciembre 1998. 5. Cartilla del Programa de Evaluación de las Actividades Científico Tecnológicas de la UBA, publicada en www.rec.uba.ar, febrero 2002. 6. A.Fernandez Cirelli, M.C.Nosiglia and P.E.Balonga (1999). “In search of quality: some problems of peer-review systems in small scientific communities” , European Association of Institutional Research (EAIR) 21st Annual Forum (Lund, Suecia). 7. I.Avalos Gutiérrez (1999). “Breve crónica de un cambio anunciado” , Espacios 20(2), publicada en www.revistaespacios.com. 8. A.Fernandez Cirelli, (2001). “Sobre la calidad de la investigación: el debate”, en 2do. Encuentro Internacional ‘Evaluación de las Actividades Científicas y Tecnológicas’. Buenos Aires: ed. SeCyT-UBA. 9. M.Gibbons et al. (1994). “The New Production of Knowledge: The dynamics of science and research in contemporary societies”. London: SAGE.

Copyright 2002 by the Education Policy Analysis Archives The World Wide Web address for the Education Policy Analysis Archives is http://epaa.asu.edu General questions about appropriateness of topics or particular articles may be addressed to the Editor, Gene V Glass, glass@asu.edu or reach him at College of Education, Arizona State University, Tempe, AZ 85287-0211. (602-965-9644). EPAA Spanish & Portuguese Language Editorial Board Associate Editors for Spanish & Portuguese Gustavo Fischman Arizona State University Pablo Gentili Laboratório de Políticas Públicas Universidade do Estado do Rio de Janeiro Adrián Acosta (México) Universidad de Guadalajara aacosta@cucea.udg.mx J. Félix Angulo Rasco (Spain) Universidad de Cádiz felix.angulo@uca.es Teresa Bracho (México) Centro de Investigación y Docencia Económica-CIDE bracho dis1.cide.mx Alejandro Canales (México) Universidad Nacional Autónoma de México canalesa@servidor.unam.mx Ursula Casanova (U.S.A.) Arizona State University casanova@asu.edu José Contreras Domingo Universitat de Barcelona Jose.Contreras@doe.d5.ub.es Erwin Epstein (U.S.A.) Loyola University of Chicago Eepstein@luc.edu Josué González (U.S.A.) Arizona State University josue@asu.edu Rollin Kent (México) Universidad Autónoma de Puebla rkent@puebla.megared.net.mx María Beatriz Luce (Brazil) Universidad Federal de Rio Grande do Sul-UFRGS lucemb@orion.ufrgs.br Javier Mendoza Rojas (México) Universidad Nacional Autónoma de México javiermr@servidor.unam.mx Marcela Mollis (Argentina) Universidad de Buenos Aires mmollis@filo.uba.ar Humberto Muñoz García (México) Universidad Nacional Autónoma de México humberto@servidor.unam.mx Angel Ignacio Pérez Gómez (Spain) Universidad de Málaga aiperez@uma.es Daniel Schugurensky (Argentina-Canadá) OISE/UT, Canada dschugurensky@oise.utoronto.ca Simon Schwartzman (Brazil) American Institutes for Resesarch–Brazil (AIRBrasil) simon@sman.com.br Jurjo Torres Santomé (Spain) Universidad de A Coruña jurjo@udc.es Carlos Alberto Torres (U.S.A.) University of California, Los Angeles torres@gseisucla.edu EPAA Editorial Board Michael W. Apple University of Wisconsin David C. Berliner Arizona State University Greg Camilli Rutgers University Linda Darling-Hammond Stanford University Sherman Dorn University of South Florida Mark E. Fetler California Commission on Teacher Credentialing Gustavo E. Fischman California State Univeristy–Los Angeles Richard Garlikov Birmingham, Alabama Thomas F. Green Syracuse University Aimee Howley Ohio University Craig B. Howley Appalachia Educational Laboratory William Hunter University of Ontario Institute of Technology Patricia Fey Jarvis Seattle, Washington Daniel Kallós Umeå University Benjamin Levin University of Manitoba Thomas Mauhs-Pugh Green Mountain College Les McLean University of Toronto Heinrich Mintrop University of California, Los Angeles Michele Moses Arizona State University Gary Orfield Harvard University Anthony G. Rud Jr. Purdue University Jay Paredes Scribner University of Missouri Michael Scriven University of Auckland Lorrie A. Shepard University of Colorado, Boulder Robert E. Stake University of Illinois—UC Kevin Welner University of Colorado, Boulder Terrence G. Wiley Arizona State University John Willinsky University of British Columbia    archives   |   abstracts   |   editors   |   board   |   submit   |   comment   |   subscribe   |   search