Un grupo de expertos contratado por el Instituto Nacional para la Evaluación de la Educación (INEE), concluyó que la prueba de Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE), se ocupó indebidamente y, asimismo, encontraron una falta de pertinencia cultural en dicha prueba como poca validez en sus usos y consecuencias.
Sumado a lo anterior, según este grupo de expertos, se identificó una “inflación de los resultados de ENLACE a través del tiempo”, esto al comparársele con resultados de pruebas muestrales controladas, como Excale. Es probable que esta inflación se explique por los usos indebidos de la prueba, señaló el INEE.
El INEE firmó un convenio con la Universidad Autónoma de Aguascalientes (UAA) para que especialistas de esta casa de estudios convocaran a un grupo de 10 expertos de México y de otros países, y realizar un estudio de validez de las pruebas ENLACE y Excale para la educación básica.
El estudio se dividió en tres apartados:
1) el estudio de validez de ENLACE, cuyos resultados se programaron entregar el 31 de marzo de 2014;
2) el estudio de validez de Excale, cuyos resultados se entregarán el 30 de junio y
3) conclusiones y recomendaciones de ambos estudios, cuyos resultados se entregarán el 30 de septiembre.
La metodología consiste en buscar las evidencias existentes de cinco tipos de validez: de contenido, calidad técnica, sesgo cultural, de administración y de usos y consecuencias de los resultados. Cada tipo de evidencia de validez fue analizada por un par de especialistas en el tema: uno nacional y otro extranjero. En algunos casos, “se realizaron entrevistas a las autoridades educativas y usuarios de las pruebas”, dio a conocer el INEE a través de un comunicado.
Del informe de este estudio destacamos algunos resultados sobre la validez detectados en la prueba ENLACE:
Validez de Contenido, entendida como su alineación con el currículo de la educación básica. Los documentos normativos contienen elementos que permiten decir que la prueba está alineada a curriculum, pero podrían ganar en precisión.
Validez Técnica, entendida como solidez técnica de su diseño y construcción. Los manuales técnicos de ENLACE revisados son adecuados. No obstante, hay ausencia de documentos que sustenten con detalle y precisión los procesos involucrados en el desarrollo de la prueba; igualmente, faltan manuales de diseño de reactivos, de validación de reactivos y de piloteo, documentación sobre métodos de equiparación, anclaje y definición de puntos de corte.
Validez cultural, entendida como la equidad con que se evalúan a poblaciones que pertenecen a culturas minoritarias, como las indígenas. La prueba ENLACE no cumple con los criterios de validez cultural.
Validez de administración o aplicación, entendida como la forma correcta de llevar a cabo el proceso de evaluación. Los manuales muestran una idea correcta de cómo se deberían hacer las aplicaciones, pero que no existen controles para asegurarlo. No se dispone de reportes integrados de las irregularidades típicas, luego de cada aplicación.
Validez de usos y consecuencias, entendida como la alineación entre los propósitos de una evaluación y los usos y consecuencias que se le dan a los resultados. Las evidencias disponibles no sustentan la variedad de usos que se le han dado a ENLACE, de acuerdo con sus propósitos y características técnicas. Se detectaron usos importantes para el desarrollo de programas e intervenciones organizados a partir de sus resultados, pero también usos injustificados y perniciosos, como “el otorgamiento de incentivos económicos a los docentes y la publicación de ordenamientos de escuelas con base en puntuaciones crudas”.
Con base en estas evidencias de validez y la experiencia ganada a lo largo de los años, la Junta de Gobierno del INEE analizará las modificaciones necesarias en el diseño de pruebas que se apliquen en el futuro, que aseguren se cumpla con el propósito para el cual se diseñaron y que sus resultados sean válidos, confiables, justos y útiles para la mejora de la calidad de la educación en el país.
En breve se darán a conocer los propósitos y características de una nueva generación de evaluaciones que en su caso sustituyan a ENLACE de educación básica a partir del ciclo 2015-2016, concluye el comunicado.
