Os sistemas de observação docente devem ser utilizados para a tomada de decisões de alto impacto?

Resumo

Este estudo questiona a adequação dos dados de observação da prática docente para a tomada de decisões de alto impacto que afetam professores. Definimos adequação como o grau em que os propósitos pretendidos são alcançados sem causar danos indevidos e argumentamos que ela depende fundamentalmente das propriedades técnicas dos dados produzidos por um sistema de observação, as quais, por sua vez, dependem dos atributos incorporados ao seu desenho. Conduzimos um experimento para compreender melhor a relação entre os atributos dos sistemas de observação docente e a adequação dos dados por eles gerados. Comparamos três sistemas com atributos distintos, incluindo rubricas que impõem diferentes níveis de carga inferencial aos avaliadores. Avaliadores experientes foram designados aleatoriamente a um dos sistemas e devidamente treinados. Em seguida, avaliaram a prática de candidatos avançados à docência por meio da observação de vídeos de suas aulas. Consideramos três critérios para julgar os dados resultantes: o poder de prever a contribuição do professor para a aprendizagem dos estudantes, a correlação das pontuações entre os sistemas e o grau de concordância entre avaliadores dentro de cada sistema. Constatamos que um sistema com baixa carga inferencial (associada a outros atributos) superou aqueles com cargas inferenciais mais elevadas; ainda assim, pode não ser suficiente para sustentar decisões de alto impacto com segurança. Sustentamos que poucos, se é que algum, dos sistemas de observação amplamente utilizados atendem a esse padrão.