De la pregunta al informe

Claves para interpretar los informes

Los videos que acabo de observar me han proporcionado una información que desconocía. Debenos olvidar las puntuaciones del 1 al 10. La escala de 500 en PISA  es una escala media y varia de unos años a otros no representa la media de las puntuaciones  tenemos que tener en cuenta los intervalos de confianza, en España aproximadamente se realiza la evaluación a unos 30000 alumnos y en Europa son muchos menos. Los resultados de la muestra se encuentran dividido en 6 niveles empiezan en -1 , 1,2,3,4 y 5. España se encuentra en el nivel 3  teniendo un rendimiento muy similar a la media de la OCD,  en los rendimientos  de l alumnad0 de los niveles bajos de bajo rendimiento estamos en el mismo nivel que la OCD y en los niveles Intermedios también estamos aproximadamente en el mismo nivel  pero el problema que tenemos en España es en los niveles altos el porcentaje  es inferíos, por lo que debemos conocer la visión global para conocer la posición que tenemos.
Otros de los elementos a la hora de los resultados son los cuestionarios de contexto influyendo los niveles socio culturales y económicos del alumnado, los niveles de estudios de las familias el interés la motivación. El profesorado también tiene mucha importancia por lo que su formación  continua es esencial  

#preguntasPISA Me ha llamado la atención para entender los resultados de evaluaciones externas la importancia de la escala de conveniencia

CHARLANDO CON LOS EXPERTOS

He asistido a la primera charla con los expertos del INEE e INTEF  para responder a las preguntasPISA  que en este curso están surgiendo, que son muchas. 

  La Charla #preguntasPISA - Procesos de evaluación. Más allá de las preguntas.

Emitida en directo el 3 de diciembre de 2014 en youtube por  educaLAB  , como parte de las actividades del MOOC  "Las preguntas PISA y TIMSS: una práctica para el aula",  los técnicos del Instituto Nacional de Evaluación Educativa ofrecen esta primera charla virtual en la que debaten y responden a todas las preguntas relacionadas con los marcos teóricos de PISA, TIMSS, PIRLS, TALIS, PIAAC, la forma en la que se realizan los procesos de pilotaje y aplicación, la selección de la muestra de los centros y alumnos participantes y otros muchos detalles.

Con gran esfuerzo pude finalmente asistir al evento  on-line, en directo a través de hangouts y muchas gracias a los integrantes de la  mesa por su claridad en las respuestas y por haber tomado esta iniciativa  que a mi me ha resultado muy clarificadora y  gratificante, al mismo tiempo es bueno poner cara a las personas que formáis este gran mundo de la formación y en la que pasamos  y compartimos muy gratos momentos.
Me imagino la cantidad  de preguntas  que se han planteado y a las que habéis tenido que contestar, para mi ha sido una grata experiencia muy enriquecedora y me iusiona saber que esto es el inicio de un gran cambio.
Me ha llamado la atención que algunos países han mejorado mucho por preparar a su alumnado para esas pruebas. Sin embargo, PISA se basa en competencias, por lo que no resulta tan sencillo entrenar para las pruebas. Al alumnado se le prepara cambiando el enfoque de las clases, sobre todo en el caso del formato, que es una de las complicaciones más grandes a las que se enfrentan, pues es algo nuevo para ellos/as.
Me ha parecido interesante que los centros pueden decidir no realizar las pruebas y ser sustituidos por otros. En el momento de realización de la muestra no se tiene en cuenta la brecha socio-cultural de una manera explícita, estando relacionada con factores de localización, aunque es posible que se tengan en cuenta las características socio-económicas si hubiera mucha diferencia. La pregunta que realicé en de Twitter   me surge una pregunta, Cómo se realizan las pruebas de Educación Infantil? me fue contestada en directo y se me envió información a través de twitter  3 de dic. Magdalena, te dejamos aquí la información que tenemos sobre evaluaciones en educación infantil: Un saludo ;)

He copiado una  frase que Javier Arias ha  utilizado como conclusión al final de la Charla con los expertos y la que me ha gustado mucho. Gracias Javier.
"En todos los asuntos, es algo saludable de vez en cuando poner un signo de interrogación en las cosas que has dado por sentado durante mucho tiempo”. (Bertrand Russell)

¿Cómo se construye la muestra?

 “Cómo se construye la muestra en los estudios internacionales”
La muestra debe representar a la población de estudio:
 1.     Se seleccionan las Comunidades Autónomas para el muestreo y se selecciona para cada una una muestra proporcional al tamaño de su población objeto de estudio:
         a) Se eligen los centros.
             I  Se atiende a su titularidad (es público, concertado o privado).
             II. Dependiendo del tamaño hay más probabilidades.
         b) Se seleccionan los estudiantes.
            I  Partiendo de un listado de población del centro.
            II Se eligen de manera aleatoria (35 alumnos de 15 años para PISA).
     2.  Construcción de la prueba.
  Cuestionario de contexto.
  Unidades de evaluación (ítems aceptados en la prueba piloto).
      3.  Se analizan los datos de forma minuciosa.
  Datos en blanco.
  Datos erróneos (dos respuestas).
  Datos válidos.
      4.   Análisis de las puntuaciones:
  Primero se analiza la descripción del individuo.
  Luego se relacionan con sus resultados.


Aspectos técnicos de evaluaciones externas. XVI JAEM. Palma de Mallorca 2013 from Instituto Nacional de Evaluación Educativa

    Aplicación de una prueba

He tenido un problema a la hora de la realización de esta actividad. He sido maestra de Educación Infantil  y en la actualidad no estoy en el aula y no tengo alumnos  para aplicar las pruebas puesto que me acabo de jubilar, me he basado en la selección de materiales, y  he seleccionado una prueba de  comprensión oral que  podríamos aplicar en Educación Infantil  pero me voy a centrar  en 4º de  Primaria  y he aplicado el cuestionario en google drive

 Para esta actividad me he planteado el trabajo realizado durante muchos años en las aulas de educación infantil como contadora de cuentos transmitiendo el amor hacia la lecto escritura y la Literatura Infantil, por este motivo me voy a centrar en  Competencias lingüísticas, seleccionando un texto de comprensión lectora destinado a 4º de Primaria. y será aplicada a este nivel aunque se podría realizar alguna adaptación y aplicarla a Educación Infantil
 Para realizar la prueba tendremos en cuenta los siguientes estímulos ; el texto literario será” La liebre anuncia el terremoto” y se contara en el taller del cuento y luego leído individualmente.


La liebre anuncia el terremoto
Rosalind Kervin
Había una vez una liebre que siempre estaba preocupada. “Ay, Dios
mío”, se pasaba el día diciendo entre dientes, “Dios mío, Dios mío”.
Su mayor preocupación era que hubiera un terremoto. “Porque si
hubiera uno, se decía a sí misma, ¿qué sería de mí?
Una mañana se sentía especialmente preocupada por este asunto, cuando de
repente una fruta enorme cayó de un árbol cercano, ¡BANG! e hizo que toda la
tierra temblara.
La liebre dio un salto.
—¡Terremoto! gritó.
Y corrió a través de los campos para avisar a sus primos.
— ¡Terremoto! ¡Corred para salvaros!

Todas las liebres abandonaron los campos y la siguieron enloquecidas.
Corrieron a través de los llanos, los bosques, cruzaron ríos y colinas, avisando

a más primos a su paso.
— ¡Terremoto! ¡Corred para salvaros!
Todas las liebres abandonaron los ríos y los llanos, las colinas y los bosques y
la siguieron enloquecidas.
Cuando llegaron a las montañas, diez mil liebres retumbaban como un trueno al subir las pendientes.
Pronto alcanzaron la cumbre más alta. La primera liebre miró hacia atrás para
ver si el terremoto se acercaba, pero lo único que pudo ver fue una multitud de
liebres corriendo.
Entonces miró al frente pero lo único que pudo ver era más montañas y valles
y a lo lejos, en la distancia, el brillante mar azul.
Mientras estaba allí parada jadeando, apareció un león.
—¿Qué ocurre? preguntó.
— Terremoto, terremoto, farfullaban todas las liebres.
— ¿Un terremoto? preguntó el león. ¿Quién lo ha visto? ¿Quién lo ha escuchado?
—Pregúntale a ella, pregúntale a ella, gritaban todas las liebres señalando a la
primera.
El león se giró hacia la liebre.
— Señor, dijo la liebre tímidamente, yo estaba sentada tranquilamente en casa

cuando hubo un terrible estrépito, la tierra tembló y sabía que tenía que ser un
terremoto, así que corrí tan rápido como pude para avisar a los otros de que salvaran
sus vidas.
El león miró a la liebre con sus ojos profundos y sabios.
— Hermano, ¿serías lo suficientemente valiente como para mostrarme dónde
ocurrió este horrible desastre?
La liebre en realidad no se sentía para nada valiente pero sentía que podía confiar
en el león.
Así que, con bastante timidez, llevó al león de vuelta, bajando las montañas y
las colinas, cruzando los ríos, llanos, bosques y campos hasta que por fin llegaron
a su casa.
— Aquí es donde lo escuché, señor.
El león miró a su alrededor y en seguida vio la enorme fruta que había caído del
árbol haciendo tanto ruido.
La cogió con su boca, se subió a una roca y la dejó caer de nuevo al suelo.
¡BANG!

La liebre dio un salto. — ¡Terremoto! ¡Rápido, huye, ha ocurrido de nuevo!
Pero de repente se dio cuenta de que el león se estaba riendo. Y entonces vio la
fruta moviéndose ligeramente a sus pies.
— ¡Vaya!, susurró, después de todo no era en realidad un terremoto ¿verdad?
— No, dijo el león, no lo era y no había razón para asustarse.
— ¡Qué liebre más tonta he sido!
El león sonrió amablemente.—No pasa nada, hermanita. Todos, incluso yo, a
veces tenemos miedo de cosas que no podemos comprender.
Y después de esto regresó con paso suave en busca de las diez mil liebres que
estaban aún esperando en lo alto de la montaña para decirles que podían volver
a casa sin peligro alguno.
A continuación  se debe rellenar el formulario  con diferentes preguntas 
Tipos de preguntas
Las preguntas que siguen a los textos de cada bloque tratan de evaluar los procesos de comprensión que el alumno es capaz de alcanzar a partir de su lectura. Las preguntas se distribuyen a partes iguales entre los propósitos de lectura literario e informativo y, de manera proporcional, entre los distintos procesos de comprensión. De esta manera, los resultados obtenidos permitirán ofrecer resultados de los rendimientos del alumnado en función de los propósitos de lectura y de los procesos de comprensión, si bien en estos últimos el número de preguntas sólo permitirá distinguir niveles de comprensión en función de los dos grandes bloques siguientes que son resultado de agrupar dos a dos los cuatros procesos antes señalados:
·         Obtención de información y realización de inferencias directas.
·         Interpretación, integración y evaluación.

Las preguntas utilizadas son de dos tipos: de elección múltiple y de respuesta construida o  abierta.

 Una vez leído el texto se debe rellenar el siguiente cuestionario





GUÍAS
DE CORRECCIÓN Y RESULTADOS

A continuación se realiza la guía de codificación  en la que quedan reflejados los criterios de corrección. Por lo que respecta a la codificación, en cada una de las preguntas se detalla por un lado, la puntuación y por otro, las características de la misma.
Puntuación de las repuestas
En cuanto a la puntuación, podemos distinguir los siguientes apartados:
Cada pregunta de elección múltiple vale un punto, mientras que las de respuesta construida pueden calificarse hasta con tres puntos en función de la complejidad requerida, circunstancia de la que se informa al alumno en cada pregunta de calificación variable, mediante unacifra (1, 2, ó 3) junto a un lápiz.
-Máxima puntuación. Cuando el alumno responde de forma correcta  a la totalidad de la prueba. Aparecen diferentes códigos: 1, 2 .o 3; que corresponden a los puntos que damos a la prueba.
- Puntuación parcial. En este caso, el alumno responde adecuadamente a algunos de los apartados que se le piden. Puede tener código 1 ó 2; dependiendo de los puntos que tienen la prueba.
- Sin puntuación. Distinguimos dos códigos. El código 0, si la respuesta no es correcta y el código 9, si el alumno no responde a la pregunta.
En esta prueba, la puntuación máxima que puede alcanzar un alumno es 10.
Por lo que respecta a las características de la pregunta, se mencionan:
  •  Contenidos trabajados
  •  Intención; es decir los criterios de evaluación que queremos medir
  • Tipo de respuesta (elaborada o de elección múltiple)
En todos los procesos de lectura, el grado de dificultad de la tarea depende de lo
compleja que sea la información requerida, de la cantidad de información alternativa
presente en el texto y de si el lector dispone o no de unas orientaciones explícitas que le
guíen hacia las ideas o datos necesarios para llevar a cabo la tare
tres grandes  aspectos a la hora de evaluar esta competencia:
  • Procesos cognitivos o de comprensión que intervienen en la lectura.
  •  Propósitos de la lectura (experiencia literaria y obtención de información).
  •  Hábitos y actitudes ante la lectura.
Los dos primeros aspectos, procesos y propósitos, se evalúan en PIRLS a través de la prueba propiamente dicha, mientras que las actitudes y hábitos del alumnado ante la lectura se evalúan a través de cuestionarios (para alumnos, colegios y familias) en los que se pregunta por los hábitos lectores, el contexto personal y familiar, la enseñanza de la lectura, etc.
Procesos de comprensión lectora
  • Localización y obtención de información explícita.
  • Realización de inferencias directas.
  • Interpretación e integración de ideas e informaciones.
  • Análisis y evaluación del contenido, el lenguaje y los elementos textuales.
Procesos o competencias cognitivas
Son estrategias y destrezas adquiridas que se basan en experiencias y aprendizajes anteriores. Capacitan a la persona para realizar unas ejecuciones concretas y obtener unos rendimientos evaluables. La evaluación de la capacidad lectora, como ya se ha señalado anteriormente, gira alrededor de 5 aspectos:
  • Recuperación de la información,
  •  Comprensión del texto,
  •  Desarrollo de una interpretación,
  •  Reflexión y evaluación sobre la forma y
  •  Reflexión y evaluación sobre el contenido de un texto.
En el siguiente cuadro se recoge los procesos de comprensión evaluados para cada pregunta, el tipo de pregunta, su nivel de dificultad y los porcentajes de aciertos obtenidos en 4º de Primaria.


No hay comentarios:

Publicar un comentario

Suscribirse a: Entradas (Atom)