Más allá de las pruebas/Beyond testing

MÁS ALLÁ DE LAS PRUEBAS

Más allá de las pruebas se publicó originalmente por Teachers College Press en 2017.

EDICIONES UNIVERSIDAD CATÓLICA DE CHILE

Vicerrectoría de Comunicaciones

Av. Libertador Bernardo O’Higgins 390, Santiago, Chile

editorialedicionesuc@uc.cl www.ediciones.uc.cl

MÁS ALLÁ DE LAS PRUEBAS

Siete formas más efectivas que las pruebas estandarizadas para evaluar a los estudiantes y a las escuelas

Deborah Meier y Matthew Knoester

© Inscripción N° 2021-A-397

Derechos reservados

Junio 2021

ISBN 978-956-14-2831-7

ISBN digital 978-956-14-2832-4

Traducción: English UC Language Center

Diseño y diagramación: versión productora gráfica SpA

CIP – Pontificia Universidad Católica de Chile

Meier, Deborah, autor.

Más allá de la pruebas : siete formas más efectivas que las pruebas estandarizadas para evaluar a los estudiantes y a las escuelas / Deborah Meier, Matthew Knoester.

Incluye bibliografía.

1. Tests y mediciones educacionales.

2. Exámenes – Diseño y construcción.

I. t.

II. Knoester, Matthew, autor.

III. Beyond testing : seven assessments of students and schools more effective tan standardized tests. Español.

2021 371.26 + DDC23 RDA

Diagramación digital: ebooks Patagonia

info@ebookspatagonia.com www.ebookspatagonia.com

MÁS ALLÁ DE

LAS PRUEBAS

Siete formas más efectivas que las pruebas estandarizadas para evaluar a los estudiantes y a las escuelas

Deborah Meier | Matthew Knoester

Dedicado a la memoria de Patricia Carini (1933-2020)

CONTENIDOS

Prólogo

Agradecimientos

Capítulo 1

Introducción

Algunas dudas sobre el uso de pruebas en las escuelas

El poder de los portafolios

Argumentos en contra de las pruebas estandarizadas de alto impacto

Anhelando saber más sobre aprender

Las pruebas tienen algunos beneficios si son usadas inteligentemente

Los números son inútiles sin descriptores

Toda evaluación requiere juicios

Acerca de las siete evaluaciones

Capítulo 2

Los propósitos de la educación en una democracia

Educación democrática y evaluación

Las comunidades locales deben decidir lo que sus estudiantes estudiarán en la escuela

Capítulo 3

Evaluación 1: Autoevaluación de estudiantes

Reuniones familiares dirigidas por los estudiantes

Reuniones de curso

Rúbricas

Listas de verificación

Contratos escritos y autorreflexiones

Proyecto de recuerdos

Contrarrestar mensajes ocultos y perjudiciales para los estudiantes

Capítulo 4

Evaluación 2: Observaciones de parte del profesor acerca de los estudiantes y su trabajo

Los padres como asesores

Los profesores como etnógrafos

Los límites de la memoria docente

Listas de verificación docente

Informes narrativos

Capítulo 5

Evaluación 3: Procesos de revisión descriptiva

¿Qué es una revisión descriptiva?

Poner la teoría en la práctica

Equidad y cuestiones multiculturales

Reflexiones finales

Capítulo 6

Evaluación 4: Entrevistas de lectura y matemáticas

Entrevistas de lectura en la escuela Mission Hill

Entrevistas de matemáticas

Capítulo 7

Evaluación 5: Portafolios y defensas públicas del trabajo de los estudiantes

Portafolios en la escuela Mission Hill

Desarrollo de las habilidades para hablar en público desde una edad temprana

Capítulo 8

Evaluación 6: Evaluación de las escuelas por parte de expertos externos

Proceso de revisión de calidad escolar en Boston

La Oficina de Estándares en Educación, Servicios para Niños y Habilidades

Acreditación de la preparación del educador

Capítulo 9

Evaluación 7: Juntas escolares y reuniones ciudadanas

Reformar y revitalizar las juntas escolares

Reuniones ciudadanas de Nueva Inglaterra

Capítulo 10

Construir un sistema de evaluación

Examinar el New York Performance Standards Consortium. Ann Cook y Phyllis Tashlik

Componentes

Impacto en el currículo y la instrucción

Múltiples formas de demostrar aprendizaje

Investigación y discusión

Colaboración y desarrollo profesional

Resultados

Sobre las autoras

Capítulo 11

Conclusión

Mejores maneras de evaluar el conocimiento

Mantener los propósitos de educación presentes

Replantear las evaluaciones

Defender el bien público

Referencias

PRÓLOGO

Es inevitable que parta con una alusión personal. En el año 2010, estuve con Deborah Meier en la gran conferencia en educación que organiza la American Educational Research Association (AERA) todos los años en Estados Unidos y que atrae a miles de asistentes. En este foro, tanto los grandes exponentes a nivel mundial, como aquellos que están dando sus primeros pasos en la investigación, se reúnen para presentar sus estudios sobre políticas educativas, teorías curriculares, y el sinfín de temáticas que dan vida a las discusiones pedagógicas que hoy componen nuestro campo de estudio. Específicamente, el 2010, Deborah asumió la tarea de comentar las diferentes ponencias que conformaban una mesa sobre alternativas pedagógicas para democratizar la educación. Entre esas ponencias estaban las de Matthew Knoester y la mía. Doy esta pequeña reseña porque es mi experiencia personal con ellos la que me permite afirmar que ambos autores tienen mucho que aportarnos a través de este libro. El tono personal del texto, mezclado con ejemplos tomados de sus propias experiencias y articulados con sólidos argumentos, debiera permitir que un lector chileno, y es de esperar, de otras regiones latinoamericanas, concuerden conmigo.

Sin embargo, permítanme agregar un par de ideas más a partir de lo reseñado. Mi mención de AERA no pretende ser una mera anécdota. Por el contrario, cuando observo en un país como el nuestro, en donde temas referidos a la escuela están tan centralizados en un Ministerio de Educación, concentrando la toma de decisiones en todo tipo de materias referidas tanto al quehacer escolar como al ámbito investigativo correspondiente, me recuerdo que en AERA no cabían expresiones tipo “la literatura internacional dice” –como lamentablemente solemos escucharlo con demasiada frecuencia en nuestro país–, porque simplemente no existe una sola literatura internacional. La diversidad de voces en AERA –que también encontramos en la Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPED) de Brazil, o la Red ESTRADO que, aunque con una temática más focalizada sobre el trabajo docente, tiene un alcance Latino Americano–, nos debe recordar que la escuela, el gran legado de la era moderna, no es algo que simplemente se gerencia, se planifica o se administra. La escuela se delibera, se reflexiona, se construye. No puede haber una única voz que, proclamándose especialista silencie otras voces, más aún a aquellas que siendo críticas habitan cotidianamente en la escuela. Son ellas las que están dando la dura lucha para que la escuela no termine siendo una obra ingenieril más.

En ese contexto, Deborah Meier, es una voz como otras, pero tampoco es cualquier voz. Recordándonos el modo de construir pensamiento que tuvo el gran teórico de la educación John Dewey, Meier ha construido consistentemente en el tiempo, una teoría educativa desde su propia práctica como directora, sin abandonar la tarea que es propia de todo profesor: hacer de su experiencia fuente de conocimiento profesional. A través de ella, ha pensado en el valor y los riesgos que provienen de políticas educativas pensadas sin mayor conexión con las escuelas, y ha reflexionado seriamente cómo las escuelas pueden ser más inclusivas en términos de clase y multiculturalidad, pero sin dejar que estos temas se entiendan fuera de contexto. En Meier, no puede haber verdadera inclusión sino se construye desde un modo de pensar y experimentar la democracia al interior de la escuela. En ese contexto, los exámenes estandarizados, foco de este libro, podrán originar muchos análisis respecto de sus sesgos y beneficios, pero dicha reflexión será en vano, si no se contextualiza bajo lo que verdaderamente da sentido a las escuelas. En ello, por cierto, como lo leerán en este texto, Deborah Meier es categórica: las pruebas estandarizadas, incluso con todos sus correctivos, representan un peligro a la vida democrática de las escuelas.

De Matthew Knoester me resulta mucho más fácil hablar, tras 15 años de amistad y compañerismo. Compartimos en el llamado Seminario de todos los viernes organizados por Michael Apple, otro teórico fundacional de la teoría curricular. Por diversas consideraciones raciales, lingüísticas y de pertenencia cultural, de Mathew siempre he apreciado su gran respeto y valoración por el trabajo de otros y su tremendo deseo de conocer los modos de entender el mundo más allá de las fronteras de su propio país norteamericano. No es lo común. Por supuesto, a eso se agrega un trabajo investigativo perseverante que toca temáticas de lectura escolar crítica, exclusión cultural en las escuelas, y, por supuesto, de alternativas democráticas en educación. En ello, ha tenido particular cuidado de no separar teoría de práctica, entendiendo por aquello, no el realizar simultáneamente actividades prácticas y teóricas dentro de los ámbitos que investiga, sino el saber articular ambos procesos en su investigación, escuchando y aprendiendo de aquellos que pertenecen al ámbito escolar. Su propia vinculación con Deborah Meier tiene mucho de esto, habiendo sido Deborah su directora mientras trabajaba como profesor en una escuela de Boston, hace ya algunas décadas atrás. En este texto, se vuelven a unir para pensar juntos, desde sus propios frentes y compromisos educacionales, acerca de un tema tan contingente, y a la vez, tan global.

Como se suele decir, un libro se entiende más si se conoce a los autores, y espero que mi presentación de ellos contribuya en este sentido. Por lo pronto, que ayude a visualizar desde un principio lo que debería esperarse de él, aunque, por cierto, no me corresponde a mí fijar los límites comprensivos del texto. En primer lugar, que no es un libro pensado para impactar a la política educativa, aunque ciertamente, hay muy buenas ideas en él que ojalá pudiesen ser tomadas en cuenta por tanto “policy maker” local. Es un libro que brota de la experiencia de comunidades concretas y cuyas propuestas están orientadas a ser reflexionadas y aterrizadas por comunidades igualmente concretas más allá de un ministro de Educación de turno. En segundo lugar, que no ofrece soluciones técnicas. Podrá dar buenas sugerencias, y más de una de ellas podrá ser acogida por algún lector e implementada en su aula con sus estudiantes. No obstante, ni una de ellas servirá de mucho, si no va acompañado de una pregunta angular: ¿Cómo va a ayudar a dicha aula o escuela a ser más democrática? Dicha pregunta no es técnica, sino política, y ese lente ningún lector debiese dejarlo de lado. Lo tercero, por tanto, se desprende de lo anterior. No separa lo teórico con lo práctico como dos esferas que se saludan, pero no conviven. Este libro nos ayuda a pensar en cosas abstractas sin dejar de pensar en el trabajo del día a día; y a pensar en soluciones aplicables, sin dejar de lado las consideraciones más complejas que dan sustento y sentido al quehacer pedagógico. En palabras de algunos autores brasileños, contribuye a pensar mejor cómo en la escuela podemos llegar a ser práctico-pensantes.

Por cierto, el tema más complejo siempre será el de la aplicabilidad de ideas que surgen en un contexto geográfico, y que luego son movilizadas hacia otro tan distinto, como el nuestro, generando interrogantes no solo dadas las diferencias culturales, sino porque, además, están mediadas por relaciones tan asimétricas en términos de recursos económicos y poder político, las que también se han dado a nivel de sistemas educativos. Estoy consciente de que cada lector tendrá el deber de dar respuesta a este punto. No obstante, son pocos los asuntos que, en un contexto determinado, pueden movilizar tantas voluntades para enfrentar sus embates. La neo liberalización de la educación, con el autoritarismo gerencial que produce; la estandarización de los contenidos curriculares, con el reduccionismo evaluativo que genera a través de la cuantificación de “aprendizajes”; y la medición, con la racionalidad positivista basada en la “evidencia” que silencia tantas tradiciones democráticas en las escuelas, hoy generan a nivel mundial múltiples formas de organización y resistencia en comunidades y colectivos de profesores, estudiantes y padres; y la creación de una variedad de contra-propuestas y alternativas. Este libro, aporta una de ellas, y, por tanto, debe ser leído, reflexionado y discutido dentro de ese contexto más amplio de lucha y trabajo democrático.

Imaginándome este texto en mano de mis colegas argentinos, peruanos o brasileños, o en todos esos profesores chilenos que han tenido la generosidad de conversar conmigo sobre estos temas en los últimos años, de manera especial el Centro de Estudios Eduardo de la Barra, que ha liderado múltiples movilizaciones en favor de la democratización de la educación en el país, me entusiasma los tipos de cuestionamientos y diálogos que podría llegar a provocar. Creo en la deliberación y el impulso que este genera en la creación de lazos comunes y solidaridades. Libros como este pueden constituir un momento de ese diálogo más grande que traspasa fronteras y ayuda a pensar en espacios públicos más allá de los propios Estados. En dicho movimiento, espero que este libro suscite otros tantos que también reaccionen y amplíen los márgenes en los que hemos estado pensando la educación en las escuelas. En cierto sentido, en estas páginas, el Norte, en la figura de Deborah y Matthew, nos aportan algunas perspectivas. Pero su aporte quedará trunco si desde el Sur no replicamos de vuelta. Como siempre, este quedará colgando como el gran desafío.

EDUARDO CAVIERES FERNÁNDEZ

Universidad de Playa Ancha

Centro de Estudios Avanzados

AGRADECIMIENTOS

Quisiéramos agradecer a las siguientes personas por sus comentarios de borradores previos de este libro: Jane Andrias, Kathy Caveney, Brian Ellerbeck, Emily Gasoi, Vincent Harper, George Iber, Carole Saltz, Lori Tate y los revisores anónimos de Teachers College Press. Gracias a Nancy Power, Jamie Rasmussen y a todos en Teachers College Press, quienes aún colaboran en hacer este trabajo conocido.

A Deborah le gustaría agradecer a las siguientes personas por su crucial apoyo técnico durante el proceso de escritura de este libro: Nicholas Meier, Roger Meier, Becky Meier, Sarah Meier-Zimbler, Lilli Meier y Tricia Meier.

Un agradecimiento especial para Kristin Roberts por compartir con nosotros su revisión descriptiva de un niño para el Capítulo seis. Un agradecimiento sincero para Wayne Au, David Berliner, Pat Carini, Ted Chittenden, Linda Darling-Hammond, Brenda Engel, Monty Neill, Jay Rosner y Ted Sizer; su trabajo y sus conversaciones personales acerca de estos temas a lo largo de los años han influenciado de forma significativa nuestro pensar. Queda claro que asumimos cualquier error que se encuentre en este libro.

Quisiera agradecer afectuosamente a Patricia Corona, Antonio Puig, María Angélica Zegers y todo el equipo de Ediciones UC por su trabajo en este libro.

CAPÍTULO 1

Introducción

Como un ancla que es levantada luego de muchos años en el fondo de la bahía, arrastra consigo largas hebras de materiales pegados, el tema de la evaluación educacional necesariamente pone énfasis en muchos temas en educación, todos ellos unidos de forma inseparable a ella.

—Brenda Engel en Holding Values: What We Mean by Progressive Education

Para quienes hemos pasado nuestras vidas profesionales en escuelas y hemos pensado acerca de lo que requiere una buena educación, no siempre es fácil imaginar cómo ven el mundo quienes hacen las leyes. ¿Cómo esta o aquella política puede apoyar lo que estamos haciendo en las escuelas? Puede ser una distancia insalvable, llevando a algunos al cinismo. ¿Cómo escuelas enormes que tienen una sensación de anonimato pueden satisfacer las necesidades de niños con problemas? Y aun así se siguen construyendo escuelas del tamaño de pequeños pueblos. ¿Cómo pueden utilizarse fondos para escuelas públicas en escuelas privadas, cuando estas no deben responder al público y aceptan y expulsan estudiantes según su voluntad? Sin embargo, vemos fuertes partidarios de los bonos escolares en los más altos niveles del gobierno.

Quizás lo más preocupante es que en las últimas décadas hemos visto a los legisladores exigir pruebas estandarizadas cuyos puntajes están vinculados a decisiones de alto impacto, incluyendo el progreso de estudiantes, evaluaciones de profesores, calificaciones en la escuela y la evaluación de las mismas políticas educacionales. Cuesta trabajo comprender esto.

En su libro seminal Seeing like a State (1998), James C. Scott nos ayuda a ponernos en los zapatos de quienes hacen las leyes. Él propone que los legisladores simplifican el mundo para poder “verlo”. Utilizando esta generosa perspectiva sobre lo que son, al menos en nuestra perspectiva, políticas dañinas, las pruebas estandarizadas pueden ser entendidas como una especie de mapa. Los cartógrafos deben simplificar necesariamente el terreno complejo para poder tener esa perspectiva desde arriba. Pero, aunque esta perspectiva puede ayudar, es útil recordar que un proceso de simplificación –tal como el reducir un globo terráqueo en 3 dimensiones a una superficie en 2 dimensiones– necesariamente distorsiona las masas de tierra y agua y les da prioridad a algunas partes sobre otras. Scott entrega docenas de ejemplos sobre como los intentos de los legisladores de simplificar y administrar a un nivel micro el mundo que los rodea, causa daño a personas que son gobernadas por estas leyes, aunque las intenciones del legislador parezcan ser benévolas.

Las pruebas estandarizadas de alto impacto son los datos que usan los legisladores para evaluar y racionalizar las políticas educacionales. Estos componen los datos que luego constituyen su “mapa” simplista y fallido de las escuelas. Sin embargo, para quienes hemos visto como estas políticas afectan a los estudiantes y a las escuelas que nos importan, sabemos que este mapa está distorsionado y que prioriza datos que presentan fallos; y esto se podría evitar. Las evaluaciones de estudiantes y escuelas son importantes; son las herramientas que utilizan los educadores y las comunidades escolares para entender las necesidades de ambos, para evaluar cómo les está yendo y debemos prestarles cuidada atención. Pero algunas evaluaciones son mejores que otras.

Desafortunadamente, el imaginario público tiende a confundir la responsabilidad de rendir cuentas para las escuelas con las “pruebas estandarizadas de alto impacto”. De seguro queremos asegurar la rendición de cuentas, queremos asegurarnos de que nuestras escuelas están siendo efectivas y que el futuro de nuestra nación –nuestros niños– están en buenas manos. Pero el crecimiento basado solamente en los resultados de pruebas estandarizadas no es una forma legítima de asegurar esta rendición de cuentas, a pesar de lo que puedan decir presidentes, gobernadores, superintendentes, académicos y periodistas. Incluso los agentes inmobiliarios usualmente publican los resultados de las escuelas locales en sus sitios web, utilizando esta información para valorizar y vender propiedades.

Con el tiempo hemos visto como los puntajes obtenidos en estas pruebas estandarizadas se han ligado a decisiones de alto impacto en torno a la evaluación de estudiantes, profesores, escuelas y políticas educacionales, especialmente a partir de la implementación de la ley No Child Left Behind [Que ningún niño se quede atrás] en el 2002. Pero muchos padres y educadores ya han comenzado a notar que estos puntajes no se condicen con una rendición de cuentas. Por ejemplo, en una encuesta Phi Delta Kappa/Gallop reciente (Bushaw & Calderon, 2014) un 68% de los padres encuestados reportaron dudar que las pruebas estandarizadas ayudaran a los profesores a saber qué enseñar. Y la ley No Child Left Behind, la cual requiere pruebas estandarizadas anuales para cada curso e implica consecuencias ligadas a esos resultados, empezó a ser mal vista, recibiendo más evaluaciones negativas que positivas en encuestas de opinión antes de que en el 2015 se le cambiara el nombre a Every Student Succeeds Act (ESSA) [Todos los estudiantes tienen éxito] en su reautorización. A pesar de esto, las pruebas estandarizadas siguen siendo la principal herramienta utilizada por legisladores y otros para juzgar el desempeño de escuelas y estudiantes. Bajo la ley ESSA, las escuelas están obligadas a evaluar a sus estudiantes con pruebas estandarizadas cada año desde el tercer grado1 hasta el octavo y al menos una vez en secundaria. Las consecuencias ligadas a estos resultados ahora están bajo jurisdicción estatal en vez de federal, pero la mayoría de los estados han optado por vincular decisiones de alto impacto, como es la evaluación de estudiantes, profesores y/o escuelas, a partir de los resultados de estas pruebas.

Algunas dudas sobre el uso de pruebas en las escuelas

Todos hemos tenido alguna experiencia con pruebas estandarizadas y probablemente ya nos hemos formado una opinión propia acerca de qué tan buenas son para medir nuestro conocimiento y habilidades. Mi propia aventura (de Deborah) con pruebas estandarizadas incluyó una serie de “revelaciones” que noté a partir de información confusa con la que me encontré cuando me inicié como profesora hace más de cinco décadas. Personalmente, yo no había rendido ninguna prueba estandarizada durante mis años de enseñanza escolar. Cabe la posibilidad de que haya rendido un test de coeficiente intelectual en algún momento, según lo que mis padres me han comentado posteriormente. Pero más allá de esto, yo no tuve idea de la existencia de este tipo de instrumento de evaluación, a diferencia de las pruebas que eran diseñadas y corregidas por mis profesores buscando explicarme qué cosas había hecho correctamente y qué no. Aún más, en mi escuela se motivaba a que los estudiantes conversaran sobre sus notas con sus profesores. (Nota: Era una escuela independiente de la Ciudad de Nueva York y los estudiantes en su mayoría eran de clase acomodada.)