Metodología 2015 de pruebas PISA obliga a ajustar interpretación de datos a varios países participantes
“Los otros países que estuvieron afectados por el mismo cambio de criterio de equiparación, reportaron de igual forma que Uruguay”, dijo Andrés Peri de la División Evaluación y Estadística del CODICEN, sobre la incidencia de la nueva metodología de las pruebas PISA 2015 en la lectura de datos que hizo la ANEP. “La discusión sobre la comparación en este ciclo se dio en todos los países”, añadió Peri.
El responsable de la División Evaluación y Estadística del CODICEN, Andrés Peri, realizó una serie de puntualizaciones en lo que respecta al análisis efectuado por los técnicos de la Administración Nacional de Educación Pública (ANEP) sobre los resultados de las pruebas PISA 2015.
Sostuvo que toda la información que presentó Uruguay en el informe oficializado el pasado 6 de diciembre es correcta. “Es idéntica a la que presenta el informe internacional. Tanto las diferencias que se aprecian en el análisis por quintiles socioeconómicos, por género, la posición de Uruguay con respecto a todos los países es lo que reportó Uruguay y es lo que está en el informe internacional”, dijo.
Aclaró que todo el reporte de la OCDE se basa en la misma metodología que utilizó Uruguay para el análisis de la comparación entre ciclos. Ese reporte muestra que el 2015 fue el ciclo más alto desde 2006. “La diferencia es significativa entre 2012 y 2015 y no así frente a los ciclos anteriores”, añadió.
El técnico hizo foco en lo que son los ajustes de la metodología 2015. En el anexo que publica Pisa aparece un “análisis de equiparación” hacia atrás que muestra qué le habría pasado a los puntajes de los ciclos anteriores si se hubiera aplicado la metodología 2015. “Es como corregir el pasado utilizando la metodología del presente. Es una simulación que se hace para ver la evolución de los puntajes.
Al hacer ese análisis no se muestran cambios de tendencia en Uruguay en el ciclo largo. “Ese tipo de análisis está hecho solo para la tendencia global y con ese tipo de información no podríamos hacer ninguna comparación como hicimos en el ciclo anterior en cuanto a qué le pasó a la UTU respecto a Secundaria, qué le pasó a los hombres respecto a las mujeres, al sector privado frente al público y a los distintos contextos socioculturales”, indicó.
“La OCDE no dio a conocer aún cómo deberían ser las bases hacia atrás, cómo debería de ser ese análisis. Cuando Uruguay reporta esa información sale con lo que proveyó la OCDE hasta ese momento y es el tipo de análisis que reportamos”, aclaró. Insistió en que, más allá de los datos globales solo de tendencia, los países no cuentan con información para replicar los ajustes de la metodología. PISA proveerá más información sobre estos aspectos recién a partir de 2017.
“Se puso una sombra de duda sobre nuestros procedimientos. Somos absolutamente transparentes en cuanto al sentido profesional que tenemos a la hora de hacer la información”, dijo Peri, en alusión a que siempre hacen públicos todos los informes.
En breve se divulgará una nota metodológica explicando sobre lo que definió como “un factor de corrección que no consideramos” y cuyo único efecto es que la diferencia significativa que se reportó entre 2006 y 2015 no es tan significativa si se tiene en cuenta ese factor de corrección. “La diferencia tiene el mismo sentido pero no es estadísticamente significativa”, dijo. Asimismo recalcó el compromiso de la división que representa por acercar a la opinión pública de la forma más amigable posibles aspectos técnicos involucrados en una operación compleja que involucra a 72 países. En este sentido, Peri respaldó al equipo técnico que hizo los análisis.
“La discusión sobre la comparación en este ciclo se dio en todos los países. Alemania estaba muy ofuscada porque en este último ciclo se introducen muchos cambios simultáneos (se hace todo por computadora y se cambia el modelo de equiparación de los puntajes y hay cambios en la consideración de la no respuesta). En la reunión todos estaban nerviosos en lo que respecta a la comparación para atrás. El equipo técnico de PISA mostró qué tipo de recaudo metodológico se hizo para asegurar la comparabilidad. Es una operación compleja, no conformó totalmente a todo el mundo pero es lo que se podía hacer con los ciclos de PISA que había hasta el momento”, dijo.
“En otros países que también estuvieron afectados por el mismo cambio de criterio de equiparación, reportaron de la misma forma que reportó Uruguay”, enfatizó.