Más allá de las pruebas/Beyond testing

En 1951, decidí trasladarme a la Universidad de Chicago luego de dos años en Antioch College. Mi aceptación estaba condicionada a mis resultados en sus pruebas estandarizadas, con algunas de ellas incluyendo temas que nunca había estudiado. Me fue muy bien, y esto me desconcertó. El hombre con quien me casé –quien no había completado la secundaria por razones complicadas no relacionadas en nada con dificultades académicas– también pudo entrar a la Universidad de Chicago ¡En base a los puntajes de la prueba!

Mi siguiente experiencia fue cuando mi hijo Nicky rindió una prueba como un favor a una amiga que, como requisito para uno de sus cursos, debía administrar una prueba de este tipo. Ella notó que frecuentemente él se equivocaba en las preguntas fáciles, pero casi nunca fallaba en las más complejas. Su puntaje, en pocas palabras, era inútil. El ejemplo que ella me dio de una de las preguntas fáciles era sobre qué hacer si te mandaban a una tienda a comprar un tipo de pan que no había en esa tienda. Las opciones incluían ir a otra tienda, elegir otro tipo de pan o devolverte a casa. Él eligió esta última; en nuestro vecindario la siguiente tienda más cercana implicaba cruzar una calle altamente transitada y caminar otras cuatro cuadras, con sus ocho años esto estaba fuera de los límites permitidos. Comprar otro tipo de pan, la respuesta correcta, no era el tipo de riesgos que le gustara tomar.

Nicky rindió también una prueba estandarizada de lectura de la Ciudad de Nueva York (NYC) en el otoño de ese mismo año, nuestro primer otoño en NYC, y la escuela recomendó apoyo académico por su bajo puntaje. Me sentí desorientada, ya que era una lector fluido y voraz de cualquier libro que pudiese obtener. No acepté las clases de apoyo y cuando en el test de la primavera le fue mejor, la escuela dejó de insistir con esto. Mientras, conseguí una copia de la prueba de tercer grado (estaba trabajando en una escuela en ese momento) y le pedí que me mostrara como había afrontado la prueba. Descubrí que él consideraba que si el no cubría el pasaje sobre el que trataba la pregunta estaba haciendo trampa: “Sino siempre vas a obtener la respuesta correcta”. Nadie, me dijo, le había dicho que debía hacer esto. Fue su propia idea. Le pareció obvio.

Cuando se trataba de elegir respuestas de alternativa le pregunté por un par que había tenido mal. Me dijo que no le sorprendía, tenía la idea de que querían que marcara la B, pero él en verdad le parecía que D era más apropiada, “Pero” protesté, “¿Cómo iban a saber cuál había sido tu razonamiento?” Me respondió: “Lo expliqué en los márgenes.”

Cuando mi clase de kindergarten pasó a segundo grado (cuando NYC empezó a implementar pruebas para los estudiantes), decidí hacerles preguntas similares sobre sus respuestas y las estrategias que habían seguido. Obtuve un pequeño fondo de investigación de una fundación para este fin y grabé las sesiones. Intenté diferentes técnicas, por ejemplo, les leí algunos de los pasajes en voz alta para ver si esto afectaba sus respuestas, pero no mostró mejora. Cuando les pedí a los estudiantes que me explicaran su lógica quedé sorprendida. Su dificultad no tenía que ver con una incapacidad de leer los pasajes de manera apropiada, por lo mismo mi lectura en voz alta no solucionaba nada. Su lógica al momento de contestar los ítems de forma incorrecta parecía un excelente raciocinio, basado en la evidencia presentada. A partir de esto escribí un pequeño libro sobre el tema para City College bajo el título Reading Failure and the Tests (1973).

Estaba también sorprendida por la cantidad de padres que, cuando les preguntaba sobre cómo leía su hijo, me daban el puntaje de la prueba, pero no tenían idea lo que significaba y frecuentemente parecían confundidos porque su hijo estaba leyendo mejor de lo que les indicaba el puntaje.

También me llamó la atención una noticia que se quejaba porque, a pesar de que por años se venía aumentando el presupuesto para las escuelas públicas, todavía se mantenía el mismo porcentaje de estudiantes que leían sobre o bajo el nivel del curso. Este periodista de educación no sabía que los puntajes son simplemente un reporte que establece el nivel de curso en la mediana; de manera que los porcentajes se mantienen estáticos. ¿Esperábamos acaso que niños pobres superaran a niños de clase media y acomodada en los rankings? Los puntajes que indican que niños de clase alta rinden mejor que los niños de clases menos acomodadas no debiesen usarse como evidencia para disminuir los fondos para aquellos que más los necesitan.

De a poco también me fui dando cuenta de la cantidad de trampas que estaban ocurriendo, especialmente en esos años en que no era difícil saber que era lo que iba a estar en la prueba. Me sorprendía cada vez que periodistas o superintendentes se tomaban en serio informes que hablaban sobre grandes diferencias en los puntajes de una escuela, o los puntajes de un profesor en comparación de otro. Me dio vergüenza descubrir que una profesora que me había informado que había hecho trampa y que temía que se dieran cuenta, todavía se jactaba sobre el puntaje de sus alumnos al año siguiente.

Recuerdo un caso en que una historia en los medios celebraba a una escuela del Lower East Side porque sus puntajes habían subido significativamente. Descubrí que esa escuela, durante el año en cuestión, se había convertido en el sitio para dotados y prodigios del distrito. ¿Qué se hace frente a eso?

Empecé a intentar explicarles cada vez más a los chicos acerca del test –incluyendo algunas pistas sobre cómo proceder para mejorar sus suposiciones y nunca dejar una pregunta sin contestar. Los hacía crear pruebas para sus compañeros para que pudieran tener una mejor noción de lo que intentan hacer las personas que crean las pruebas. Les demostré que, porque los conozco bien, yo podría diseñar una prueba en la que le fuera mejor a Jackie al igual que una que favoreciera a otros. Ayudó un poco –más que nada, en qué tan seriamente se tomaban los resultados, ahora estaban menos ansiosos. Sabía de igual forma que esto podría llevar a resultados negativos si es que los estudiantes dejaban de tomar en serio la prueba. Sin embargo, yo sentía que el explicarles que los ítems se iban complejizando a medida que avanzaban en la prueba los reconfortaba, y que en verdad son esos pocos últimos ítems los que estaban pensados para que muy pocos chicos los respondieran correctamente.

Me di cuenta de que mi habilidad para tomar pruebas estandarizadas estaba relacionada directamente con mi capacidad de entender cómo veían el mundo las personas que habían diseñado la prueba. Y lo que estos y otros adultos querían que yo respondiera. El problema era que las experiencias pasadas de mis estudiantes los habían llevado a una trampa. Ellos también contestaban con aquello que creían que los adultos aprobarían –pero la experiencia los dirigió a conclusiones erróneas. Las experiencias de mis estudiantes, sus familias y comunidades eran diferentes a las de quienes diseñaban las pruebas y a las de los niños que ellos tenían en mente al decidir qué respuestas eran “correctas”. Mis estudiantes tenían suficiente vocabulario en cuanto al número de palabras, pero no eran las palabras que habían sido seleccionadas para la prueba. En resumen, su propia inteligencia intuitiva y sofisticada era más una desventaja que un beneficio.

Claramente mi base de conocimiento –haber hablado y leído con y para los niños– me había dado una mejor base para evaluar sus habilidades y conocimientos. Lamentablemente, los niños y sus padres tenían demasiada confianza en las pruebas y esto los había conducido a un sentimiento de desesperación e incompetencia: “Todavía estoy bajo el nivel del curso no importa cuánto me esfuerce o cuánto crea que he mejorado”. Es por esta razón que en la Escuela Primaria Central Park East (CPE) desarrollamos una escala diferente de lectura junto a una forma diferente de presentar la información a los chicos y sus familias. También les explicamos todas las razones por las cuales sus puntajes en las pruebas estandarizadas no representaban sus habilidades –incluyendo error de medida estándar, las cuales eran bastante considerables. Así que grabamos a los niños leyendo y desarrollamos una escala que pudiésemos usar de forma confiable entre nosotros y también para las familias. Los chicos y sus padres disfrutaban de escuchar esas grabaciones a lo largo de los años y ver que se reconocía su progreso. La escala incluía lectura, hablar acerca de lectura asignada y conversaciones sobre aspectos de leer. Y continuamos apoyándonos en un número creciente de evaluaciones diferentes a las pruebas estandarizadas.

El poder de los portafolios

Cuando asumí el cargo de directora de la Escuela Secundaria Central Park East, estaba sorprendida de que tanto los estudiantes como las familias tomaron tan en serio y con tanto respeto los portafolios y sus presentaciones (véase el capítulo siete). Les habíamos explicado que ellos estaban haciendo algo similar a lo que hacen los candidatos a doctorado cuando presentan sus tesis a sus comités, o también algo más cercano a lo que los empleadores hacen cuando evalúan candidatos para trabajos que requieren habilidades y comprensión real. Ellos –profesores y empleadores– en lo posible buscan evaluar a los candidatos en base a su trabajo real y a las explicaciones que estos dan sobre cómo hicieron su trabajo. También se acercaba al sistema profesional desarrollado por la Junta Nacional de Estándares Profesionales de Enseñanza (yo participé en su junta fundadora). Su sistema incluía portafolios y videos de enseñanza real seguido por conversaciones y explicaciones acerca de porqué habían hecho tal o cual cosa.

La autenticidad del proceso era impresionante para los chicos. Rara vez cuestionaban su precisión, y si un profesor o un estudiante, o la familia tenían dudas acerca de los resultados, siempre podíamos repetir la evaluación teniendo en cuenta sus comentarios. Tenían la oportunidad de cuestionar nuestras conclusiones y algunas veces incluso hacernos cambiar de opinión. Nos ofrecía a nosotros, como profesores, una oportunidad para entender de mejor manera los trabajos de otros y cómo nuestros estudiantes entendían su propio trabajo. El involucrar evaluadores externos, los padres y estudiantes más jóvenes también nos daban información útil para mejorar nuestro trabajo.

Era tan impresionante que, en retrospectiva, claramente debimos haber usado un método similar para pasar del sexto al séptimo grado, del octavo noveno y del decimos al onceavo. En estas ocasiones utilizamos un acercamiento menos riguroso y formal que estaba basado prácticamente en la misma idea, pero estaba apoyado principalmente en nuestras intuiciones individuales y menos en el diálogo abierto entre adultos observantes y los mismos estudiantes.

También era muy útil al final del doceavo grado la reflexión personal obligatoria que debían escribir como autoevaluación, sobre sus planes para la próxima fase de su vida e ideas sobre mejoras o cambios que estas prácticas necesiten (véase el capítulo tres). Esto no tenía ningún tipo de puntaje, pedir una oportunidad para que las familias, los estudiantes y los profesores reflexionaran en conjunto acerca de las formas en que cada uno podía ser de ayuda. Debimos haberlo empezado antes.

El hecho de que durante todo este proceso el juicio y la experiencia de los adultos era respetada y mostrada abiertamente a los estudiantes era un aspecto importante del diseño. Creíamos que les ayudaría en el futuro a ver que la adultez y la experiencia como algo altamente valioso –¡aunque no perfecto! Por esto no nos sorprendía cuando profesores universitarios y los encargados de admisión nos comentaban acerca de estas cualidades en nuestros graduados, cómo también de la facilidad que tenían para participar en discusiones con adultos.

Argumentos en contra de las pruebas estandarizadas de alto impacto

En retrospectiva, debimos haber sabido mucho antes que depender de pruebas estandarizadas de alto impacto para asegurar calidad en las escuelas, no era inevitable ni deseable. La historia de las pruebas estandarizadas al principio del siglo XX es un recordatorio de que la práctica debió haber sido criticada más profundamente desde antes. Por ejemplo, La falsa medida del hombre (The Mismeasure of Man, 1996), el tratado de Stephen Jay Gould sobre la historia de la craneología y los primeros intentos de realizar pruebas estandarizadas, debiese ser lectura obligatoria. Como lo presenta Gould, sicólogos tales como Alfred Binet y Lewis Terman empezaron el movimiento de las pruebas estandarizadas con pruebas de CI. Estas pruebas median la inteligencia de quien estaba siendo evaluado a partir, principalmente, de un número limitado de preguntas. De igual forma como los profesionales de la craneología afirmaban que sus evaluaciones de las cavidades de la cabeza medían supuestamente la inteligencia, estas nuevas pruebas fueron utilizadas para afirmar que las personas de piel negra o de piel morena que las rendían eran menos inteligentes que aquellos de piel blanca. Estos resultados han sido citados por movimientos eugenésicos como evidencia para discriminar racialmente en contra de nuevos inmigrantes. Esto por sí solo debería haber sido una señal de advertencia de que no serían apropiadas para ser utilizadas en escuelas. Pero se abrieron paso, alcanzado a un número de estudiantes cada vez mayor y siguieron mostrando que los estudiantes blancos recibían mayores puntajes que estudiantes de piel negra o morena. Esto a pesar de que se han realizado múltiples estudios sobre la precisión de las pruebas estandarizadas y se ha demostrado que estas poseen sesgos y efectos dañinos en decisiones de alto impacto ligadas a ellas.

Es importante considerar que las pruebas estandarizadas afirman medir el conocimiento de quien las rinde, pero están basadas en una muestra pequeña del conocimiento del evaluado y nunca en la totalidad de este. Entonces, ¿Cómo puedes saber si la muestra representa la total extensión de conocimiento? Nunca podrás saberlo, por lo tanto, los resultados de las pruebas, por definición, deben tener un amplio margen de error en el muestreo, incluso si asumimos que las preguntas en sí mismas no tienen un sesgo hacia las fortalezas particulares de algunas personas por sobre las de otras; midiendo conocimiento que no debiese ser medido, pero que los estudios han demostrado que sí está siendo medido.

FairTest, una organización que ha intentado monitorear la imparcialidad de pruebas desde 1985, ha notado que los puntajes del SAT2 presentan una correlación perfecta con la riqueza de la familia (FairTest, 2015). Había excepciones, pero no muchas. Cada US$20.000 de ingreso familiar era correlativo con puntajes más altos en la prueba (véase también Rampell, 2009). Varias organizaciones han continuado investigaciones del mismo tipo de las que yo conduje a mediados de los sesenta, cuando hacía clases en el Harlem Central. Estas organizaciones confirmaron una suposición que Jay Rosner de Princeton Review y su colega William Kidder (2002) harían décadas más tarde: los ítems que eran puestos en las pruebas estandarizadas habían sido experimentados en campo con niños reales. Cualquier ítem en el cual, por cualquier razón, niños de piel negra rendían mejor que los de piel blanca no era utilizado. Estos ítems eran considerados sicométricamente inválidos. Los ítems de la prueba eran presentados para que los puntajes se alinearan con la curva predicha de puntajes, con los niños que se sabía que tenían un mayor éxito en la escuela y en la vida en el extremo de arriba y viceversa para los niños de barrios de menores ingresos. Personalmente pude ver, mientras hablaba con los niños acerca de las respuestas, como funcionaba esto y me asombró la sutileza con la cual los ítems recogían las diferencias culturales y ambientales que se daban entre los dos grupos de niños.

Así que el uso continuo de pruebas estandarizadas para decisiones de alto impacto dentro y acerca de las escuelas continúa causando daño y una creciente cantidad de investigación lo ha demostrado (Au, 2007, 2009, 2011; Berliner, 2011; Giordano, 2005; Knoester & Au, 2015; Knoestes & Parkison 2017; Kohn, 2000; Meier, 2002; Meier & Wood, 2002; Nichols & Berliner, 2007; Sacks, 1999). La lista de razones por las cuales las pruebas estandarizadas no debiesen recibir el peso que se les otorga hoy en día es larga e incluye las siguientes:

1. Las pruebas les quitan las decisiones a las comunidades escolares, a los profesores y a los estudiantes. Aunque diferentes escuelas y profesores a menudo tienen diferentes misiones y énfasis, a todos se les exige que utilicen las mismas pruebas, para las cuales el contenido y los puntajes de corte no están determinados en un sentido democrático.

2. Enseñar para obtener mejores puntajes en la prueba tiene el efecto de reducir el currículum y el potencial para el crecimiento de los estudiantes en áreas que no están siendo evaluadas por la prueba.

3. Los resultados de las pruebas tienen una fuerte correlación con raza y clase y por esto proveen una justificación “científica” para las desigualdades raciales y de clase en la sociedad y en las escuelas.

4. Asignarle públicamente una nota a una escuela basada en los resultados de las pruebas, como hacen muchos estados, en conjunto con programas de libre elección de escuelas han demostrado exacerbar la segregación.

5. Las pruebas quitan tiempo de instrucción importante a los estudiantes y profesores, ya que estas pruebas no son evaluaciones auténticas. Para que una evaluación sea auténtica debe ser llevada a cabo mientras los estudiantes están realizando un trabajo que es intrínsecamente valioso y que vale la pena hacer.

6. Los estudiantes generalmente no se ven motivados a cambiar hábitos de trabajo para obtener mejores resultados en las pruebas.

7. Las pruebas le dan la idea a los estudiantes de que existe solo una respuesta correcta a cualquier pregunta. Esta es una idea altamente engañosa cuando le preguntas a los estudiantes algo que no sean hechos irrefutables.

8. Los puntajes de las pruebas son recibidos meses después de que estas son aplicadas, y por lo tanto no son útiles para los actuales profesores de los estudiantes.

9. Las pruebas no están alineadas con lo que creemos debiese ser el propósito principal de las escuelas públicas: el preparar a sus graduados para que participen efectivamente en una democracia al ejercitar el juicio, sopesar evidencia y defender ideas.

Anhelando saber más sobre aprender

Es fácil entender porque la gente quiere creer que las pruebas pueden medir de forma precisa el conocimiento. Estas son promocionadas como herramientas para medir el aprendizaje de los estudiantes de manera eficiente, objetiva y precisa en diferentes materias, que después pueden ser fácilmente comparadas entre estudiantes, entre escuelas y en el tiempo; pueden ser usadas para evaluar y mejorar la instrucción. Realmente suena posible. Con estos puntajes, tanto a los estudiantes, a los profesores y a los administradores se les puede hacer responsables por los logros demostrados.

Pero ¿cómo se le ha dado tanto poder a las pruebas estandarizadas dentro de la educación? De hecho, la opinión pública estadounidense siempre le ha otorgado mucha legitimidad a las evaluaciones que hacen las escuelas del conocimiento y el aprendizaje de los estudiantes, incluso antes de las pruebas estandarizadas. Empujadas por un deseo un tanto ilusorio, las instituciones educacionales a través de los años han elegido, de forma errónea, designarle un número preciso al conocimiento, lo que luego ha sido utilizado para comparaciones y para establecer un ranking. Cubriendo las pruebas con jerga estadística y científica y escondiendo los aspectos clave del proceso –como por ejemplo el criterio para determinar las preguntas de la prueba y el nivel de “manejo” que es establecido para puntajes particulares– los que promueven estas pruebas como medidas adecuadas de conocimiento y habilidad han deslumbrado a estudiantes, padres y al público en general.

Ya es hora de que nos demos cuenta que las pruebas estandarizadas son una ilusión. Es imposible que reduzcan un problema fundamentalmente complejo y misterioso –cómo evaluar el conocimiento (y/o las habilidades, experiencias y disposiciones) de un niño– a un simple puntaje. Esta es una forma fallida y engañosa de medir responsabilidad, con serias desventajas. Tratar de entender cómo un estudiante particular ha mejorado desde un punto A un punto B, comprendiendo que nuestras evaluaciones son estimaciones aproximadas, es un esfuerzo legítimo, pero el comparar y hacer rankings de estudiantes siempre ha sido moralmente sospechoso y no debiese ser una tarea de la educación pública.

De hecho, es apropiado que tanto los educadores como el público general tengan una posición mucho más crítica acerca de las declaraciones que hacen las escuelas sobre los conocimientos y las habilidades de los chicos. Los legisladores que han implementado pruebas estandarizadas de alto impacto han abusado de la confianza que se pone en ellos. Aunque creemos que las escuelas juegan un rol importante en evaluar el aprendizaje y los conocimientos de los estudiantes, es más honesto y apropiado –y merecedor de una mayor confianza– el posicionarse desde la humildad acerca de qué es accesible en términos de las habilidades y el conocimiento de los niños, y tener un tono alentador para los estudiantes sin importar el nivel de desarrollo en que se encuentren. Existen poderosas maneras de obtener mucha información sobre los chicos y cómo ellos aprenden, y el evaluar ese conocimiento y esas habilidades es una parte esencial de las tareas de la educación. Y, ya que toda forma de evaluación es limitada, se necesita una gran variedad de ellas. En este libro describimos siete formas básicas de evaluación, pero recomendamos combinar varias evaluaciones para obtener una comprensión más completa del conocimiento y progreso de los estudiantes.

Las pruebas tienen algunos beneficios si son usadas inteligentemente

¿Estamos entonces en contra de todas las pruebas que hemos utilizado por tantos años? Sí y no.

No. Nuestra crítica no está respondiendo a las múltiples formas de pruebas en aula que los profesores diseñan como una forma de entender mejor lo que sus estudiantes “entienden” o “no entienden” o, en ese sentido, pruebas en el aula que son usadas en parte con la intención de poner nota a los estudiantes. Por supuesto, también tenemos opiniones acerca de cuándo y si una prueba particular es o no útil.

Sí. Estamos discutiendo programas de pruebas que son obligadas por las autoridades y tienen efectos substanciales en las escuelas, los profesores o los estudiantes. Adicionalmente, estamos argumentando en contra de las pruebas que no están abiertas para la revisión de los estudiantes o los profesores, las que afectan la cobertura y el diseño del currículum o las que afectan principios pedagógicos particulares que algunas escuelas o profesores usan. Creemos que estas formas de pruebas son dañinas para los propósitos sociales y educacionales de las escuelas. No existen pruebas estandarizadas que puedan medir de forma precisa el aprendizaje con integridad y justicia. Punto.

Pero, más allá de las sugerencias en los capítulos siguientes, queremos presentar el cuestionamiento sobre formas en que prácticamente cualquiera medición –ya sea prueba u otra herramienta– puede ser útil para los profesores, los estudiantes y la sociedad incluso si estas son “estandarizadas”. Incluso si se usa la misma medición, ítem, foto o párrafo para todos aquellos que están siendo evaluados, el muestreo cambia algunas de las preocupaciones que surgen con estas evaluaciones, porque ya no están ligadas a consecuencias de alto impacto directas ni a la evaluación de estudiantes particulares. Con muestreo nos referimos a seleccionar estudiantes solo para proveer estimados del aprendizaje y no agregarle decisiones de alto impacto a estos resultados. Estas muestras nos permiten hacer las preguntas de mayor profundidad, puede ser diseñadas como entrevistas y pueden tener el mismo valor que solicitar respuestas orales o escritas, pero previniendo que impacten en un estudiante, profesor o escuela en particular. Además, si las preguntas se hacen públicas a la comunidad, incluyendo los estudiantes y profesores, se pueden criticar tanto las preguntas como las respuestas, y esto realmente ayuda. Como en las encuestas, saber cómo se hace una pregunta, qué alternativas son ofrecidas y qué elementos componen el instrumento de puntuación es esencial para cualquier interpretación razonable.