Desde la publicación de los resultados de la prueba internacional del Programa para la Evaluación Internacional de Alumnos (PISA), en su edición 2015, han proliferado comentarios principalmente centrados en señalar el desempeño de los países en la aplicación. La prueba tiene una gran difusión y efectos relevantes en la estimación del desempeño de las autoridades educativas nacionales para hacer avanzar el nivel educativo de sus poblaciones. El examen ha generado también críticas, entre las destacan las que presentan argumentos sólidos; en esta colaboración resumimos algunas de las que han tenido impacto en la comunidad especializada y en la opinión pública.
Peter Mortimore, investigador y ex director del Instituto de Educación de la Universidad de Londres, publicó en 2009 en reporte “Alternative models for analysing and representing countries’ performance in PISA”. En su estudio el autor sistematiza las, a su juicio, principales vertientes de crítica académica sobre el modelo. En resumen: la prueba examina desempeños escolares de manera homogénea cuando lo que prevalece es una gran diversidad entre nacionalidades, grupos sociales y sistemas educativos; se han identificado problemas de traducción de los exámenes; hay evidencia de sesgos en la selección de muestras, que es responsabilidad de los países participantes; el diseño de la prueba no toma en cuenta los currículum de los países; la prueba ha tenido implicaciones indeseables en las reformas educativas de varios países; la participación de los maestros se reduce a aplicar y vigilar la prueba, pero no los involucra en su diseño e interpretación; el enfoque transversal de la prueba impide análisis adecuados de tipo causal; el modo de comunicación de resultados es un ranking entre sistemas educativos nacionales.
Martin Carnoy, de la Universidad de Stanford, identifica y discute una serie de debilidades de enfoque, diseño y utilización política de la prueba. En su reporte “International Test Score Comparisons and Educational Policy” (National Education Policy Center, 2015) enfatiza cuatro aspectos generales. Primero, que el socorrido argumento sostenido por la agencia encargada de la aplicación (la OCDE) en el sentido en que los resultados de las pruebas de matemáticas son buenos predictores del crecimiento económico abundan en contra-ejemplos, de los cuales los casos de Estados Unidos y Japón son los más evidentes.
Segundo, que el uso de datos de las pruebas internacionales y sus encuestas de acompañamiento tienen muy limitadas posibilidades de derivar en lecciones de política educativa, lo que se debe a que las aplicaciones de tipo transversal (cross-sectional) no son capaces de estimar los efectos causales de los insumos escolares o docentes en las ganancias de logro estudiantil. Tercero, hay un evidente conflicto de intereses porque la OCDE actúa simultáneamente como agencia de pruebas, analista de datos e intérprete de resultados con fines políticos. Cuarto, la comparación internacional es insensible a la gran heterogeneidad de los sistemas y políticas educativas de los países participantes, y también a su diversidad en países que cuentan con sistemas educativos complejos, es decir en aquellos en que las unidades políticas territoriales (por ejemplo regiones, provincias y estados) cuentan con autonomía para gobernar sistemas educativos propios.
Son abundantes los cuestionamientos metodológicos y técnicos sobre el diseño e interpretación estadística de la prueba. Uno de los estudios más agudos al respecto, que recoge y sistematiza buena parte de los apuntes críticos al respecto en la bibliografía especializada, se reporta en el artículo de Antonio Fernández Cano, de la Universidad de Granada, titulado “A Methodological Critique of the PISA Evaluations” (Relieve, vol. 22, núm. 1, 2016). En éste se reiteran consideraciones críticas sobre la homogeneidad de la prueba contra la diversidad de países en que se aplica, los diversos problemas de muestreo de la aplicación, así como las limitaciones del enfoque transversal del examen. Pero se añaden interesantes consideraciones acerca del empleo de la metodología de análisis multinivel (modelo de Rash) para interpretar las correlaciones entre resultados y características sociales y culturales de las muestras, y sobre lo que el autor interpreta como una confusión entre validez y confiabilidad. Según Fernández Cano la metodología hace un uso “reverencial” en el indicador de significación estadística de la relación prueba-muestra (cálculo de errores muestrales) infiriendo de ello, de la significación puramente estadística, la validez sustantiva de la prueba.
En mayo de 2014 el periódico inglés The Guardian publicó una carta abierta, dirigida a Andreas Schleicher, director del Programa de la OCDE para la Evaluación Internacional de Estudiantes, firmada por más de ochenta académicos de universidades de varios países, principalmente de Europa y Estados Unidos. La carta, cabeceada por el diario “Pisa tests are damaging education worldwide” ha tenido una gran difusión porque, principalmente, alerta a los gobiernos a tomar con cuidado los resultados de la aplicación y porque hace notar la incongruencia entre el enfoque de desarrollo educativo de la OCDE con el correspondiente a otras agencias internacionales, como UNESCO y UNICEF.
Para los firmantes del pronunciamiento, el énfasis de la prueba PISA en solo tres dominios de competencia intelectual (matemáticas, ciencia y lectura) reduce notablemente la riqueza, amplitud y diversidad de los fines, enfoques, contenidos y uso de la educación en los países. En cada caso, la formación de un currículum nacional encuentra hondas raíces en las opciones de identidad cultural y social forjadas a lo largo de muchos años y refleja, en buena medida, los avatares históricos de los países. La tentación de ajustar el currículum a las características de la prueba tiende a debilitar, de ahí el título de la comunicación, esa identidad y la sujeta a supuestos estándares globales, lo que por cierto no han sido objeto de concertación sino, en todo caso, de imposición por una agencia multilateral.
En fin, por ahí van algunas de las críticas serias sobre la afamada y sin duda influyente prueba PISA, más allá de aplausos y lamentaciones por los resultados que se obtienen sin duda vale la pena tomarlas en cuenta.
