Volviendo a PISA, porque las cosas son como no son

Es al menos admirable ver cómo en Colombia, a escasos meses de haberse desatado la furia profunda por los resultados de PISA, hoy que estamos en plena campaña para decidir una buena parte del futuro del país nadie hable de las propuestas de educación de los candidatos. Tanto el presidente-candidato Santos como el candidato Zuluaga han dedicado toda la campaña a hablar mal del otro y a presentar sus “planes para alcanzar la paz” como lo único que realmente importa. Seguramente al final votaremos por eso, por lo poco que nos han mostrado, ojalá al menos sea por eso y no porque nos ofrecen un tamal o un cargo en una notaría.

Y sí, Colombia, país admirable, habla de paz y de futuro sin hablar de educación. Hablar de automóviles sin hablar de vías, hablar de salud sin hablar de alimentación, hablar de valentía sin hablar de obstáculos… eso es lo que se está haciendo al hablar de paz sin hablar de educación. En el futuro hablaré de lo que creo debe ser una verdadera discusión de educación, pero por ahora me limitaré a retomar un tema antiguo ya discutido, las pruebas PISA.

Colombia, como tantos otros países, utiliza las pruebas PISA como parte de la medición de la educación. Parte, porque PISA no es utilizada como medida comparativa interna ni como prueba individual, para eso se usan los diferentes niveles de las pruebas SABER, desde el desafortunado SABER 3° hasta el inestable SABER PRO. Pero se necesita una prueba internacional, ojalá estandarizada, que mida lo que pasa en el país en comparación con los demás países, porque claramente nada mejor que compararse con los demás. Y bueno, ya se habló en este espacio de lo que esos resultados, leídos como nos los presentan, deberían significar.

Ahora, veamos lo que no nos dicen, o al menos lo que otros tienen que decir al respecto de PISA y lo que hay detrás. Esto que comentaré ahora está fundamentado en diversas lecturas que he encontrado por ahí, pero especialmente quiero destacar el artículo “Lo que oculta el informe Pisa” publicado el 27 de abril del presente año.

PISA es una prueba con calificación muestral, eso quiere decir que no todos los estudiantes que la presentan son calificados o considerados para los resultados. Inclusive no todos los estudiantes que están en posibilidad de participar (estudiantes con 15 años al momento del estudio) la toman. Ya que no es una medición individualizada no hay presión para que un estudiante participe o no, y termina tomándose casi por buena voluntad. No tiene el carácter de obligatoriedad de SABER PRO (que es requerido para obtener grado en a educación superior), ni la importancia a nivel interno en los colegios de SABER 11° (que además de sus obvias implicaciones para el ingreso a la educación superior es utilizado en muchos colegios como una calificación adicional en las materias/áreas correspondientes, o al menos una bonificación). La estadística elemental nos dice, o nos debería decir, que muestral (parcial) es una buena aproximación a poblacional (total) bajo ciertas características, pero no es suficiente para ser considerada total y que puede excluir los resultados más interesantes en un cualquier sentido.

Ahora, PISA es una prueba estandarizada pero no uniforme. En términos concretos, se ajusta a unos estándares teóricos determinados por la OCDE con el apoyo de los proveedores de las plataformas de diseño y aplicación, pero no es la misma prueba para todos. Nuevamente recurriendo a nuestra destacada (ene/a)miga la estadística, esto quiere decir que las preguntas se pueden comparar en nivel de dificultad utilizando pruebas de grandes números, viendo en muestras enormes la tendencia a responder o no correctamente. Sí, eso nos dice la estadística, con grandes bases de datos el cálculo de la media debería ser suficientemente correcto. Pero también nos dice que con pequeñas muestras esos cálculos no son para nada creíbles, y si vamos a la más pequeña de las muestras y nos encontramos la subjetividad de aquello que llamamos nivel de dificultad en la mente de cada estudiante, podemos ver que no todo es tan sencillo como parece. Es posible que las grandes bases de datos digan que la pregunta A y la pregunta B tienen la misma dificultad, pero como estamos relativamente claros en que no todos los estudiantes aprenden los diferentes temas con la misma profundidad, es posible que para el estudiante X la pregunta A sea elemental y la pregunta B casi imposible, mientras que para el estudiante Y la pregunta A es más difícil que la pregunta B sin que la diferencia sea enorme. A esto algunos dirán que es normal y que no afecta sensiblemente los resultados, que para eso es muestral, y sí, hasta cierto punto tienen razón. ¿Pero qué sucede cuando, por ejemplo, una misma pregunta es usada en dos países con tradiciones escolares muy diferentes, se considera en promedio de dificultad media aunque en un país fue respondida correctamente por muchos estudiantes y en otro por muy pocos? Sería realmente irrelevante si todos los estudiantes de todo el mundo presentaran exactamente las mismas preguntas, pero si parte de los puntajes se calcula con proyecciones como lo menciona el artículo, el resultado es poco menos que mentiroso.

Trabajo en evaluación con el ICFES (Instituto Colombiano para la Evaluación de la Educación), principalmente en la parte de diseño de pruebas y de preguntas. Creo en la necesidad de evaluar, no estoy en contra de las famosas evaluaciones estandarizadas ni mucho menos. Pero creo que, si bien los resultados de esas evaluaciones estandarizadas deben utilizarse para encontrar aquellas cosas en las que debemos mejorar como facilitadores del aprendizaje (que lo somos todos y no solamente los que nos paramos frente a grupos de estudiantes a compartir conocimiento), también debemos fomentar el ojo crítico ante esos mismos resultados y entender que muchas veces la situación es más compleja de lo que queremos aceptar.

La verdadera pregunta que nos deberíamos hacer siempre, con o sin evaluaciones estandarizadas, es si la forma en que proponemos la educación realmente ofrece educación. Las evaluaciones miden muchas cosas, pero dejan de medir muchas otras. Es importante que no olvidemos eso, pero que tampoco lo usemos de escudo para decir que por eso la evaluación no sirve. Que la evaluación no mide la creatividad solamente puede ser una excusa si dedicamos la mayor parte de los esfuerzos en educación a fomentar la creatividad, y pues eso no pasa. Que la evaluación no mide la capacidad de interactuar con pares solamente puede ser una excusa si interactuar con pares es la esencia misma de nuestra forma de educar, y pues eso tampoco.

Queda entonces el cuestionamiento personal y la decisión al interior de cada persona. ¿Estoy/está/estamos haciendo lo que se requiere para que la educación en Colombia sea de verdad una educación, o nos limitamos a darle un grado a aquellos valientes que resisten las sesiones de trabajos forzados en sitios de reclusión en los que sus padres o acudientes los depositan para tener tiempo de hacer algo diferente a cuidarlos en la casa?