¿QUE ES PISA?
PISA, por sus siglas en inglés, significa Programme for International Student Assessment. En el INEE se le ha traducido como Programa para la Evaluación Internacional de los Estudiantes. Es un estudio comparativo de evaluación de los resultados de los sistemas educativos, coordinado por la OCDE (Organización para la Cooperación y el Desarrollo Económicos).
PISA, por sus siglas en inglés, significa Programme for International Student Assessment. En el INEE se le ha traducido como Programa para la Evaluación Internacional de los Estudiantes. Es un estudio comparativo de evaluación de los resultados de los sistemas educativos, coordinado por la OCDE (Organización para la Cooperación y el Desarrollo Económicos).
PISA en México ya tiene una historia que se remonta al año 2000, cuando
se realizó su primera aplicación. Desde su puesta en marcha, y particularmente
después de conocer esos primeros resultados y el potencial que guardan los
datos para su aprovechamiento, el proyecto ha inducido a investigaciones,
reportes, debates, reflexiones y, sobre todo, ha incitado preguntas que, por su
frecuencia, dan pie al documento que ahora se entrega.
En estas páginas se ofrece información general sobre PISA, sin referirla a un
ciclo particular de aplicación, y se contestan las preguntas surgidas a partir
del contacto con docentes.
La intención de este material es doble. Por una parte, que sea leído por todas las
personas involucradas y, por otra, que su contenido sea divulgado, asimilado y
dominado por docentes, familias, estudiantes, directores, entre otros.
¿CUÁL ES EL PRÓPOSITO CENTRAL DE
PISA?
Conocer el nivel de habilidades necesarias que han adquirido los
estudiantes para participar plenamente en la sociedad, centrándose en dominios
claves como Lectura, Ciencias y Matemáticas. Mide si los estudiantes tienen la
capacidad de reproducir lo que han aprendido, de transferir sus conocimientos y
aplicarlos en nuevos contextos académicos y no académicos, de identificar si
son capaces de analizar, razonar y comunicar sus ideas efectivamente, y si
tienen la capacidad de seguir aprendiendo durante toda la vida. Para PISA, esos
dominios están definidos como competencia (literacy) científica, lectora o
matemática.
ENTONCES, ¿PISA MIDE ALGO MÁS DE LO QUE SE ENSEÑA EN UN CURRÍCULO ESCOLAR?
En efecto, PISA se centra en medir la capacidad de los jóvenes para usar
su conocimiento y sus destrezas para afrontar los retos de la vida real en las
sociedades modernas; más que determinar lo que se domina de un currículo
escolar. Bajo esta perspectiva de competencias, PISA se interesa en el
repertorio de conocimientos y habilidades adquirido tanto en las escuelas como
fuera de ellas y en el potencial para reflexionar y usar este repertorio en
situaciones o escenarios diversos.
EL CONCEPTO LITERACY ¿A QUÉ SE REFIERE Y CÓMO SE TRADUCE?
No hay una convención establecida para su traducción al español. Lo que
se tiene es una gama amplia de traducciones, tales como: alfabetización,
competencia, habilidad, cultura, y hasta se ha llegado a manejar la palabra
literacidad. Independientemente de su traducción, para PISA es un concepto
fundamental que se refiere, por un lado, a la capacidad para aplicar
conocimientos y destrezas en situaciones diversas y, por otro, a la consecución
de procesos cognitivos complejos, tales como analizar, razonar, comunicarse de
manera efectiva; así como plantear, resolver e interpretar diferentes
problemas. Como se ve, el concepto de alfabetización o literacy usado en PISA
va más allá de la idea tradicional de la capacidad de leer y escribir: es
considerada como una habilidad que se aprende a lo largo de la vida y no como
un rasgo que un individuo tiene o no tiene.
¿CADA CUÁNDO SE APLICA PISA?
Cada tres años. En cada ciclo se enfatiza uno de los tres dominios de
evaluación y los otros son evaluados con menor profundidad. En 2000 el
principal dominio fue Lectura, en 2003 Matemáticas, en 2006 Ciencias y en 2009
se regresa a Lectura, y así sucesivamente.
¿QUÉ PAISES PARTICIPAN?
Los miembros de la OCDE, pero no es obligatorio.
Los países no miembros también lo pueden hacer. En ambos casos, deben solicitar
a este organismo su inclusión.
¿A QUIÉN SE DIRIGE LA PRUEBA?
A muestras de estudiantes que van de 4 mil 500 a diez mil, de una
muestra mínima de ciento cincuenta escuelas, para asegurar la representatividad
del país en su conjunto. Los países pueden solicitar ampliar la de sus centros
educativos para tener mayor representatividad. La población objetivo son los
estudiantes de 15 años tres meses a 16 años dos meses, (de manera abreviada se
dice población de 15 años).
¿QUIÉN COORDINA A NIVEL INTERNACIONAL EL ESTUDIO DE PISA?
Para cada aplicación de PISA, la OCDE contrata por concurso a un
organismo especializado en evaluación para que coordine el diseño y la
implementación del proyecto. Del 2000 al 2006 estuvo a cargo de un consorcio
internacional encabezado por un organismo de Australia llamado Australian
Council for Educational Research (ACER). En 2009 la OCDE reorganizó los
trabajos del proyecto y mantuvo a ACER como el responsable de su manejo,
control y coordinación. Para mayor información sobre la estructura organizativa
de PISA visite la página: www.pisa.oecd.org
¿Y EN MÉXICO QUIÉN ESTÁ A CARGO DE PISA?
Coordinados por el consorcio internacional, el responsable en México es
el Instituto Nacional para la Evaluación de la Educación (INEE), organismo
descentralizado creado en 2002 para encargarse de evaluaciones nacionales,
independientes de las realizadas por la SEP, e internacionales. Dentro del
INEE, es la Dirección de Proyectos Internacionales y Especiales (DPIE) quien se
encarga de coordinar la implementación del proyecto en todas sus fases, y se
compromete a asegurar que se cumplan los procedimientos y estándares técnicos
definidos por el consorcio para que la implementación sea de alta calidad.
También participa en el desarrollo y validación de los instrumentos de
medición, contribuye en la verificación y revisión de los resultados, así como
en el análisis e integración de reportes, entre ellos el nacional.
¿EN QUÉ CONSISTE EL ESTUDIO DE PISA?
En una
medición basada en instrumentos de lápiz y papel. Se aplican dos tipos de
instrumentos: uno, al que de manera habitual se le conoce como prueba que, de
hecho, consiste en diferentes versiones de cuadernillos (13 versiones), y el
otro se refiere a los cuestionarios de contexto dirigidos al estudiante y al
director del centro escolar. La duración total para responder el cuadernillo y
el cuestionario del estudiante es de dos horas y media (dos horas para la
prueba y de veinte a treinta minutos para contestar el cuestionario),
incluyendo descansos. Los directores escolares contestan en aproximadamente
veinte minutos el cuestionario diseñado para ellos.
¿COMÓ SE ESTRUCTURA LA PRUEBA?
La prueba
está compuesta por diferentes tipos de reactivos. Uno comprende los muy
conocidos, en los cuales se selecciona una sola opción de respuesta, hay otros
en los cuales las opciones de respuesta se presentan en dos partes, en otro
tipo de reactivo se pide como respuesta una frase corta o una cantidad; y los
predominantes son aquéllos en donde se pide que el estudiante construya la
respuesta. En todos los casos, los reactivos no se presentan en aislado, se
acompañan de un estímulo introductorio que bien puede ser un texto, una
gráfica, un diagrama, un mapa, etcétera. Es así que para responderlos, el
estudiante debe leer y comprender el estímulo introductorio para poder resolver
cada tarea solicitada en el reactivo. Para medir las competencias en Ciencias, Matemáticas y Lectura, la prueba
abarca muchos más reactivos de los que contesta un estudiante. La medición
completa incluye, en promedio, ciento ochenta reactivos, esta cantidad varía
dependiendo del ciclo. Es claro que un estudiante no puede, además de leer el
estímulo introductorio, dar respuesta a todos los reactivos de la prueba en un
tiempo de dos horas. Por lo tanto, el total de reactivos se organiza en grupos,
y éstos se distribuyen en las diferentes versiones de cuadernillos; y cada uno
de ellos tiene cuatro grupos distintos de reactivos. Un estudiante responde una
versión del cuadernillo que le fue repartido de forma aleatoria y que cuenta
con alrededor de sesenta reactivos de las tres áreas.
¿POR QUÉ SE DISEÑAN MÁS REACTIVOS DE LOS QUE UN ESTUDIANTEN PUEDEN RESPONDER?
Porque del
total de las respuestas de la muestra de alumnos a quienes se les aplicó la
prueba PISA se obtiene mucha más información, sin que esto implique una jornada
extenuante la cual impacte en los estudiantes ni en el operativo de la
aplicación. De esta manera, se logra tener más reactivos contestados y así los
resultados no se limitan a uno solo, sino a medir una amplia gama de procesos
cognitivos y contenidos de cada área de evaluación.
¿CUÁNDO Y CÓMO SE DIFUDEN LOS RESULTADOS DE PISA?
Los
resultados de los países son procesados por el Consorcio de PISA, a fin de
publicar el reporte internacional, que es dado a conocer un año después de la
aplicación definitiva. Puede accederse a él en la página www.pisa.oecd.org.
Cada país es responsable de integrar su propio reporte, una vez que dicho
consorcio entregue los datos a cada país. Los reportes nacionales se deben dar
a conocer cuando el consorcio publica el internacional.
¿DESDE CUÁNDO PARTICIPA MÉXICO EN PISA?
Desde el
primer ciclo de aplicación en 2000. En éste México evaluó a una muestra de 5
mil 276 estudiantes. En 2003, se amplió y se evaluaron a 29 mil 983 estudiantes
de 15 años de secundaria y educación media superior. La ventaja de haber tenido
esa muestra en 2003 fue disponer de resultados con representatividad nacional y
por entidad; a diferencia del 2000, cuando los resultados sólo fueron a nivel
nacional. A partir de ese ciclo se ha mantenido la decisión de tener una
muestra ampliada.
¿QUÉ NIVLES Y MODALIDADES EDUCATIVAS DE MÉXICO PARTICIPAN EN PISA?
La
población objetivo de PISA corresponde a estudiantes de 15 años. En el caso de
México, esta población está inscrita principalmente en educación media
superior, tanto en bachillerato como en profesional técnico (Conalep), pero
también hay estudiantes en secundarias generales, técnicas o
telesecundarias.
¿CÓMO SE SELECCIONA LA MUESTRA DE ESCUELAS Y ESTUDIANTES?
La
selección de la muestra de escuelas es responsabilidad del Consorcio de PISA,
no es atribución de los países participantes. Por lo que se refiere a México,
el INEE envía el listado de todas las escuelas del nivel secundaria y de educación
media superior del país, y el consorcio selecciona la muestra de escuelas.
Cuando ésta es recibida en México, se solicita a las áreas de evaluación de
cada entidad federativa que integren la lista de todos los estudiantes de 15
años de cada escuela de la muestra. Con base en esta lista, se selecciona
aleatoriamente a los estudiantes que participarán en la evaluación.
¿POR QUÉ HAY ESCUELAS QUE PARTICIPAN EN PISA Y OTRAS NO?
A partir
del listado nacional de escuelas secundarias y de educación media superior, la
muestra elegida por el consorcio contiene más escuelas que las que se
necesitan, en previsión de los casos en donde no sea posible realizar la
aplicación.
¿EL DIRECTOR O DIRECTORA DE UNA ESCUELA PUEDE SOLICITAR QUE SU ESCUELA PARTICIPE EN PISA?
Las
escuelas no participan a partir de la solicitud de su director o directora,
porque hay que recordar que el Consorcio selecciona la muestra de escuelas. Es
un proyecto de evaluación comparativa a gran escala de sistemas educativos a
nivel internacional, cuyos resultados sirven para identificar fortalezas y
debilidades del conjunto del sistema educativo, y promover mediante los planes
de largo alcance la mejora progresiva de la calidad educativa, y no constituye
un servicio certificador.
¿POR QUÉ HAY ESTUDIANTES QUE PARTICIPAN EN LA EVALUACIÓN DE PISA Y OTROS NO?
Del total
de estudiantes de 15 años de las listas que envían las escuelas de la muestra,
sólo se seleccionan al azar a 35 alumnos de cada escuela, por lo cual algunos
presentan la prueba, y otros no.
¿LOS RESULTADOS DE LAS PRUEBAS AFECTARÁN LAS CALIFICACIONES ESCOLARES DE LOS ESTUDIANTES?
No. Los
resultados no afectan las calificaciones de los estudiantes, puesto que éstos
se usan sólo para propósitos de investigación comparativa entre los diferentes
países participantes. El propósito final de PISA es usar los resultados para
retroalimentar los sistemas educativos.
¿POR QUÉ A LOS ESTUDIANTES NO LES DAN RESULTADOS SI PRESENTAN LA PRUEBA DE PISA?
Por
tratarse de pruebas que tienen el objetivo de evaluar sistemas educativos
nacionales, las de PISA tienen un diseño que no permite dar resultados por
escuela o persona, pues los estudiantes responden sólo a una parte de las
preguntas. Esto se hace así porque para poder evaluar las competencias que mide
la prueba se requiere una gran cantidad de reactivos, y responder a todos ellos
le tomaría a una persona mucho tiempo. Así, para facilitar la aplicación, cada
estudiante responde una parte de la prueba. Por esta razón es imposible obtener
resultados en forma individual. Además, por tener una muestra de escuelas,
tampoco se pueden ofrecer resultados por cada una de ellas; en cambio, se
obtienen datos confiables sobre el conjunto del sistema educativo.
ENTONCES ¿NO HAY MANERA DE TENER RESULTADOS POR ALUMNO O POR ESCUELA?
No con las
pruebas de PISA. Éstas, al igual que las desarrolladas por el INEE, llamadas
Exámenes de la Calidad y el Logro Educativos (Excale), cuentan con un diseño
que sirve para dar resultados globales del Sistema Educativo Nacional (SEN) y
de los sistemas estatales, pero no por alumno ni por escuela. La SEP ha
desarrollado las pruebas llamadas Exámenes Nacionales de Logro Académico en
Centros Escolares (ENLACE), diseñadas para dar resultados por alumno.
¿EN QUÉ SE DISTINGUEN ENLACE, Excale
y PISA?
En sus
propósitos y características. Los tres son instrumentos de evaluación que los
responden personas, aunque sólo uno de ellos está destinado a evaluar los
desempeños educativos de las personas. ENLACE se aplica a todos los estudiantes
de cierto grado escolar y su propósito es proporcionar información sobre su
rendimiento. Los otros dos instrumentos se aplican a muestras de estudiantes en
función de su grado escolar (en el caso de Excale) o de su edad (en el caso de
PISA) para conocer el comportamiento del sistema educativo nacional. Además,
ENLACE y Excale están apegados a currículum, característica que no se repite
con PISA, que evalúa competencias.
¿QUÉ PAPEL TIENE LA EVALUACIÓN QUE REALIZAN LOS PROFESORES EN LAS AULAS?
La
evaluación en el aula practicada por los profesores es sumamente importante e
insustituible. Lo que los profesores miden día a día, mensual o anualmente les
permite, por un lado, monitorear el desempeño de los estudiantes y ajustar su
proceso de enseñanza; por otro, les ayuda a certificar a cada alumno. En ese
sentido, esta evaluación se conoce como de alto impacto por el tipo de
decisiones a las cuales llega, pues en función de los resultados de las pruebas
de aula, acompañadas de los trabajos escolares, las tareas, las
participaciones, etcétera, se asignan calificaciones a los estudiantes. Lo cual
no sucede con los resultados de las pruebas a gran escala, como es el caso de
PISA.
¿CUÁNDO ESTÁN DISPONIBLES LOS RESULTADOS DE CADA CICLO DE PISA?
Al año
siguiente de la aplicación en turno. Se debe considerar que después de la
aplicación comienza el proceso de codificación de las preguntas de respuesta
abierta construida, la captura de todos los materiales de la aplicación (entre
ellos las pruebas, los cuestionarios, etcétera) y luego se integra la base de
datos para ser enviada al Consorcio de PISA, quien se encargará de conjuntar
las bases de todos los países. Una vez que el consorcio procesa los datos,
entonces entrega a cada país su base de datos depurada para que si lo desea
elabore su reporte nacional. Por la complejidad de estos procesos y la
participación y coordinación de un gran número de países, el informe
internacional se difunde un año después de la aplicación, generalmente ha sido
a principios de diciembre. En ese mismo mes el INEE ha difundido el informe con
los resultados de México.
¿A QUIÉN SE OFRECEN LOS RESULTADOS?
El INEE
los difunde ampliamente, a través de su página electrónica (www.inee.edu.mx) y de forma impresa, y los hace llegar a secundarias, bachilleratos y
planteles Conalep del país, hayan o no formado parte de la muestra de escuelas
en donde se aplicó PISA.
¿PARA QUÉ SIRVEN LOS RESULTADOS DE PISA?
Para
que todos los maestros de secundaria y de educación media superior de México
sepan cómo está el país en comparación con otros, y cómo está su entidad
federativa. El INEE también se ha esforzado por elaborar material derivado de
las pruebas a gran escala que le permita a los docentes hacer uso educativo de
ellas. Un ejemplo es el libro titulado PISA para docentes, elaborado por el
INEE, en el cual los profesores pueden ver ejemplos reales de preguntas de los
ciclos 2000 y 2003, en la versión del español usado en México, y que pueden
aplicar a sus estudiantes para observar su nivel, en comparación con el de
jóvenes de 15 años de México u otros países. También pueden consultar y usar,
como un recurso complementario en la enseñanza, la serie PISA en el Aula
integrada por tres libros, uno por área de evaluación (Lectura, Ciencias y
Matemáticas), y cuyo foco de atención son propuestas didácticas para la
educación secundaria, tomando como base los referentes de PISA y los planes y
programas de ese nivel educativo.
PUNTAJES DE MÉXICO EN LA PRUEBA PISA
La OCDE busca medir el grado en el que los
estudiantes manejan competencias básicas para la vida en la sociedad actual, en
la que es cada vez más importante que las personas sean capaces de localizar y
procesar información, de utilizar herramientas matemáticas para resolver
problemas reales y de aplicar los conocimientos aportados por las ciencias para
entender el mundo y tomar decisiones.
Para la OCDE, las evaluaciones de PISA no se
refieren sólo a las escuelas, sino a toda la sociedad. Si en un país los
resultados son insatisfactorios, no está consiguiendo que los jóvenes
desarrollen, en medida suficiente, algunas competencias que hoy se identifican
como importantes para la vida en las sociedades contemporáneas.
Los resultados de las pruebas estandarizadas PISA
no son el promedio de las puntuaciones de todos los sujetos de la población,
sino que son estimadas a partir de lo obtenido por los integrantes de la
muestra.
La distribución de reactivos por cada área en la
prueba PISA 2009 son 19% de matemáticas, 28% en ciencias y 53% en lectura.
En México, la aplicación de PISA está a cargo del
INEE (Instituto Nacional para la Evaluación de la Educación) y se hace con una
muestra ampliada que permite el análisis por entidad. En la siguiente tabla vemos los puntajes que ha
obtenido México en las 4 evaluaciones PISA en las que ha participado.
Competencias
PISA 2000 PISA
2003 PISA 2006 PISA 2009 META 2012
Matemáticas 387 385 406 419 435
Ciencias 422 405 410 416
Lectura 422 400 410 425 435
En PISA 2003, México obtuvo en promedio 385 puntos
en la competencia matemática situándolo en el nivel 1, en 2009 obtuvo 419
puntos, aunque avanzó 34 puntos lo sitúa aún en la frontera del nivel 1. Esto
nos indica que existe una gran proporción de estudiantes (51% según datos de la
OCDE), que solo son capaces de contestar a reactivos que impliquen contextos
familiares, preguntas claramente definidas y resolver instrucciones directas en
situaciones explícitas, llevar a cabo acciones que sean obvias; situación que
no es muy diferente en ciencias y en lectura.
En la aplicación correspondiente a 2009 de PISA, los resultados obtenidos por los estudiantes mexicanos mejoraron, sobre todo en matemáticas, lo que es alentador si se considera que al mismo tiempo la cobertura de la población de 15 años se incrementó también en 3.3%. No obstante, siguen estando en gran desventaja para resolver situaciones que se les presenten en la vida real.
FUENTE:
http://sociedad.elpais.com/sociedad/2010/11/28/actualidad/1290898801_850215.HTML
No hay comentarios:
Publicar un comentario