¿Sabe usted con qué criterios se hizo la asignación del presupuesto para 2016? ¿Por qué a algunos rubros se les otorgan más recursos que a otros? ¿Se realizan evaluaciones externas para saber si los programas que pone en marcha la Secretaría de Educación Pública (SEP) en verdad dan resultados? ¿Se toman en cuenta las recomendaciones de las evaluaciones que se practican a los programas con apoyo del Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval)?
Con el propósito de responder a éstas y otras preguntas, la semana pasada se organizó un simposio sobre la evaluación de políticas y programas educativos en el marco del 13 Congreso Nacional de Investigación Educativa y en el cual participaron altos funcionarios del Instituto Nacional para la Evaluación de la Educación (INEE) y del propio Coneval.
A mi juicio, hay por lo menos tres razones por las cuales los investigadores educativos podríamos hacer de la evaluación de políticas y programas un campo de estudio específico. La primera es que una parte central de nuestra labor es generar conocimiento y evidencia científica que sirva para enriquecer los debates públicos sobre la educación. ¿Funciona o no seleccionar a los maestros con base en el mérito académico? Algunos estudios parecen apuntar hacia una respuesta positiva, pero como todo es refutable en ciencia, habrá que conducir más estudios para tener mayor fundamento de nuestros argumentos.
Segunda razón, parece haber una desarticulación —¿o concurrencia?— de esfuerzos de evaluación, ya que tanto organizaciones como investigadores se han abocado a saber si los programas y estrategias educativas cumplen con las Reglas de Operación, dan los resultados que se esperaban o están bien diseñadas. El INEE, por ley, debe hacer evaluación de políticas y programas, pero por otro lado está el Coneval y la SEP. ¿Alguien hace una síntesis sistemática de los resultados que arrojan las evaluaciones practicadas por los distintos organismos y se los presentan a los tomadores de decisión política? En una democracia como la mexicana, hay necesidad de construir criterios distintos a la inercia, tradición y presión política para asignar dinero público.
Gracias al esfuerzo de algunas organizaciones no gubernamentales y think tanks, ahora tenemos mayor conocimiento de que hay un mal gasto del dinero que usted y yo aportamos por medio de los impuestos. Según el Índice de Desempeño de los Programas Públicos Federales (Indep, 2014), que construyó la asociación Gestión Social y Cooperación (Gesoc), 35 por ciento de los programas y acciones federales en desarrollo social “no identifican a la población potencialmente beneficiaria a la que van dirigidos, aunque sí reportan avance en sus indicadores”. A ver, ¿no están bien enfocados pero hay efectos positivos en los indicadores? ¿Cómo es eso? Aquí hay dos problemas. Primero, es probable que las bases de datos (patrones de beneficiarios) sean precarias y segundo, que el “avance” en los indicadores no refleje mejoras reales en el bienestar de las personas. Algunos programas sociales y educativos dan entonces solo “palos de ciego”.
Para poder consolidar la evaluación de las políticas y programas educativos es necesario discutir al menos cuatro elementos. El primero es la definición de política pública en educación. No puede considerarse a un programa como equivalente de una política. Segundo, qué tipo de evaluación se podría llevar a cabo. El Coneval considera nueve tipos de evaluaciones en donde la más recurrente es la “específica del desempeño” y la menos común es la de “impacto” (ver tabla).
Tercer elemento: ¿cuál es la dimensión de evaluación? ¿Los principios del artículo tercero constitucional? ¿Diseño del programa? ¿Ampliación de posibilidades de vida reales a raíz de estar inmerso en un contexto escolar? ¿El logro académico del estudiante? Sobre este último punto, habría que recordar que “de 25 evaluaciones de impacto de programas de la SEP reportadas en 2012 por el Coneval, solo cuatro usaron resultados de [la prueba] Enlace” (Martínez Rizo et al.).
El cuarto y último elemento es el de los usos de los resultados de la evaluación. Sobre este punto, tanto los colegas del INEE como los del Coneval coincidieron en señalar que es igual de importante tanto diseñar y validar técnicamente los marcos de evaluación de políticas como pensar en las necesidades de los usuarios de esta información. El buen uso de las evaluaciones es algo que aún no aprendemos lo suficientemente bien y en ello, todos tenemos una responsabilidad que cumplir.
Poscríptum. La interpelación a los colegas de la Junta de Gobierno del INEE en el principal congreso de investigación educativa de México, mostró la necesidad de afianzarse como equipo para poder consolidarse como un ente autónomo frente al poder político y la presión mediática. Todos vamos a perder si mengua la legitimidad del reconocido organismo de evaluación.
Profesor de la Universidad Autónoma de Querétaro
Twitter: @flores_crespo
