¿Deben utilizarse los sistemas de observación docente para la toma de decisiones de alto impacto?

Resumen

Este estudio cuestiona la idoneidad de los datos provenientes de la observación de la enseñanza para la toma de decisiones de alto impacto que afectan al profesorado. Definimos la idoneidad como el grado en que los propósitos previstos se logran sin causar daños indebidos y sostenemos que esta depende fundamentalmente de las propiedades técnicas de los datos producidos por un sistema de observación, las cuales, a su vez, dependen de los atributos diseñados en dicho sistema. Realizamos un experimento para comprender mejor la relación entre los atributos de los sistemas de observación docente y la idoneidad de los datos que generan. Comparamos tres sistemas con atributos diferentes, incluidos instrumentos de rúbricas que imponen distintas cargas inferenciales a los evaluadores. Evaluadores con experiencia fueron asignados aleatoriamente a un sistema y recibieron capacitación adecuada. Posteriormente, evaluaron la enseñanza de candidatos avanzados a docentes mediante la visualización de videos de sus clases. Consideramos tres criterios para valorar los datos resultantes: la capacidad predictiva de la contribución del docente al aprendizaje estudiantil, la correlación de las puntuaciones entre sistemas y el grado de acuerdo entre evaluadores dentro de cada sistema. Encontramos que un sistema con baja carga inferencial (junto con otros atributos) superó a los sistemas con mayores cargas inferenciales; sin embargo, aun así podría resultar insuficiente para tomar decisiones de alto impacto con plena confianza. Sostenemos que pocos, si es que alguno, de los sistemas de observación ampliamente utilizados cumplen con este estándar.