¿En verdad evalúan la calidad educativa las pruebas a gran escala que se tienen en México? ¿Qué criterios hay que observar para poder confiar en los resultados de estos ejercicios? Éstas y otras preguntas trata de responder el estudio de validación para Enlace en educación básica (EEB), Enlace para educación media superior (ENMS) y Excale, que coordinó, a solicitud del Instituto Nacional para la Evaluación de la Educación Superior (INEE), Felipe Martínez Rizo.
El reporte contiene las cinco áreas para realizar el análisis: (1) alineación a los referentes, (2) aspectos psicométricos, (3) atención a la diversidad cultural y lingüística, (4) aplicaciones de las pruebas y (5) usos y consecuencias. También describe los 58 criterios para validar las pruebas que miden el logro académico de los estudiantes y resalta las condiciones que hay que asegurar para desarrollar mejores evaluaciones en México. Seguramente, las sugerencias del equipo lidereado por el ex director del INEE fueron tomadas en cuenta para el diseño de Planea, la nueva prueba sobre evaluación de los aprendizajes de los estudiantes.
El estudio demuestra lo que hemos hecho bien al diseñar, aplicar y utilizar los resultados de las pruebas y también lo que de acuerdo con los estándares internacionales, no está permitido. Este reporte constituye una autocrítica a los procesos de evaluación que hemos realizado y mal haríamos en obviar este estudio e insistir en cometer pifias.
Hay por lo menos dos resultados del extenso informe que llaman la atención. Primero, a pesar de que la prueba Excale cumplía mejor con los criterios de validez y confiabilidad, ésta perdió “visibilidad y prominencia” en virtud de que no ofrecía resultados por escuela ni tampoco servía para hacer comparaciones internacionales como en el caso de PISA. Excale, además, poseía una cobertura curricular amplia y por lo tanto, un mejor acercamiento a los atributos de calidad del sistema educativo que Enlace; sin embargo, con ayuda de los funcionarios del sexenio pasado y algunos organismos empresariales, la primera prueba fue subestimada para dar paso a la segunda que era más vistosa y aumentaba el relumbrón al ser censal sin reparar que el diseño, aplicación y uso de la prueba podía más deficiente. Con ello, se inauguró la época de lo que ahora podríamos denominar como la “cultura pop de la evaluación”. Las masas son las que fijan la moda y lo científico o verdadero pasa a segundo plano.
Segundo hallazgo, la prueba Enlace para educación media superior (ENMS) fue la más débil de las tres pruebas que se analizaron. Al buscar explicaciones por las cuales esta prueba no fue lo suficientemente válida y confiable, se pueden identificar tres puntos. El primero es que, al parecer, hubo una profunda desarticulación intersectorial. Faltó coordinación entre las agencias de evaluación, la Secretaría de Educación Pública y los estados para diseñar y aplicar esta prueba. Ante el rápido y complejo crecimiento del INEE y los desarreglos organizacionales sobre los que opera el bachillerato de México, esta lección habrá que tomarla muy en cuenta.
Segunda razón —que está muy relacionado con la primera. Sorprende leer en el documento referido que hubo cierta cerrazón de las instancias gubernamentales para verificar si los criterios de análisis de la prueba se cumplían; es decir, para realizar el estudio de validación. Parece ser que otra vez aparece la figura del “papá incuestionable” en la SEP y esto es grave. La evaluación educativa es un ejercicio público que se construye abiertamente, con el esfuerzo colectivo y mediante un permanente diálogo.
La tercera explicación de por qué Enlace para educación media superior fue la prueba más débil es que la premura y presión social y mediática ahogaron las condiciones para desarrollar instrumentos de medición del logro escolar más finos y certeros. Si esto es así, pareciera entonces que la presión social puede tener rendimientos decrecientes. Me explico. En un primer momento es legítimo y relevante que organizaciones de la sociedad civil y empresariales presionen al gobierno a transparentar los recursos con que opera el sistema educativo, pero la presión puede ser tal que en un segundo momento, el gobierno responda de manera precipitada y sea orillado a tomar decisiones que en su momento son lucidoras pero que ahora resultan, a todas luces, onerosas.
Tengo la impresión, por lo dicho en el Estudio, que Enlace para educación media superior no logró medir la calidad del bachillerato, pero eso sí, el juicio sumario sobre los bachilleratos cayó y el escándalo reinó. Inauguramos entonces la cultura pop de la evaluación en México. ¿Habrá oportunidad de revertirla?
Profesor de la Universidad Autónoma de Querétaro
Twitter: @flores_crespo
