Prácticas de investigación aplicada a contextos educativos

Luis Lizasoain1

El Instituto de Investigación y Desarrollo Educativo (iide) de la Universidad Autónoma de Baja California, desde su fundación en 1991, ha venido desarrollando una muy importante actividad académica en el campo de la evaluación y de la investigación educativa. En este ámbito, y de una manera más específica, tres son sus principales focos de interés: la evaluación educativa, las prácticas educativas con especial atención a las docentes y la tecnología educativa.

Pero más allá de enumeraciones más o menos detalladas de temáticas, líneas o de proyectos de trabajo e investigación, más importante es en mi opinión el enfoque, el modo y estilo de trabajo, las directrices que marcan y guían la actividad cotidiana de la institución y de los académicos que la conforman.

Al respecto destaco cuatro cuestiones:

 En primer lugar, un equilibrado foco doble de atención puesto en las cuestiones teóricas y en las instrumentales y metodológicas.

 Segundo, una profunda preocupación por el impacto social de los resultados de dichas investigaciones, de forma que las mismas puedan operar como eficaces herramientas y palancas de cambio y mejora educativa.

 Para lo anterior es requisito el rigor metodológico y la excelencia académica, y ahí radica una tercera característica: la preocupación constante por la formación al más alto nivel de los investigadores y profesionales, y de los estudiantes de maestría y doctorado.

 Por último, y no menos relevante, la importancia concedida al trabajo en redes y al fomento de la internacionalización del Instituto. Prueba de ello es que el iide fue el principal impulsor de la Red Iberoamericana de Medición y Evaluación de Sistemas Educativos.

Por todo esto, creo que no es exagerado afirmar que el instituto y sus académicos y estudiantes pueden ser considerados como una referencia, y no sólo a nivel mexicano sino también internacional. Y el libro que tiene ahora en sus manos es buena prueba de todo lo dicho.

La primera parte de la obra está centrada en la medición y en la evaluación educativas, y la misma comienza con un primer capítulo en el que se presenta lo relativo a los estándares y directrices que han de guiar el proceso de creación, desarrollo y, en su caso, adaptación de las pruebas e instrumentos de medición.

En esta primera contribución, Díaz, Caso y Contreras abordan los principales documentos normativos sobre el desarrollo, adaptación y traducción de pruebas e instrumentos de medición tanto educativos como psicológicos. El trabajo se inicia con la edición publicada en 1985 de los estándares para pruebas psicológicas y educativas elaboradas por la Asociación Americana de Investigación Educativa (aera), la Asociación Americana de Psicología (apa) y el Consejo Nacional de Medición en Educación (ncme). El recorrido —tan sintético como exhaustivo— continúa con el análisis de las versiones posteriores de dichas normas (1999 y 2014) y finaliza con el examen de las directrices de pisa 2012 sobre la traducción y adaptación de esta conocida prueba.

En todo el capítulo destaca la especial atención prestada a las cuestiones de adaptación y traducción de pruebas y de su aplicación a poblaciones en contextos diferentes de los del país para el que fueron diseñadas. Los autores discuten las normas y directrices al respecto y señalan las amenazas que para la equidad de los procesos evaluativos pueden conllevar prácticas poco cuidadosas al respecto, abogando por el reconocimiento del potencial explicativo de las diferencias culturales.

En el segundo capítulo, Sarabia, Contreras, Rodríguez y Caso presentan una pormenorizada descripción del diseño de un programa informático para la aplicación y administración en línea de pruebas de evaluación de los aprendizajes denominado salidea (Sistema para Administrar en Línea Instrumentos de Evaluación del Aprendizaje). A modo de puente con el capítulo anterior, éste se inicia describiendo los estándares atendidos al diseñar este programa A continuación se analizan los requisitos de funcionalidad del software, así como las cuestiones relativas al diseño del interfaz gráfico del sistema.

La convergencia de la ingeniería del software y de las metodologías de medición y evaluación educativas constituye un reto que es de abordaje ineludible, y este trabajo es buena muestra de ello. Son ya muchas las evaluaciones a gran escala en muy diferentes países y sistemas educativos en las que la aplicación y administración de las pruebas se realiza exclusivamente en soporte informático, de tal manera que los cuadernillos y las hojas de respuesta empiezan a ser ya meros artefactos históricos. Y es muy previsible que en un país como México —de tan dilatada cultura y experiencia evaluativa— esto sea pronto una realidad firmemente asentada. Ello redundará en un abaratamiento de los costes de aplicación, toma y grabación de datos y de corrección. Pero, por encima de estas consideraciones, la aplicación informatizada permite emplear estímulos más diversos usando variedad de soportes multimedia, lo que implica una mayor riqueza y complejidad cognitiva de los reactivos. Por citar un ejemplo, que los propios autores señalan, piénsese en cómo el uso de los sistemas de audio y video permite incorporar fácilmente a las evaluaciones de las competencias lingüísticas la imprescindible dimensión de la comprensión oral.

El tercer capítulo se centra en la elaboración de una propuesta de un sistema de indicadores educativos en el estado de Baja California. Como sabemos, en nuestras complejas sociedades actuales cada vez es mayor la demanda de información y transparencia por parte de la ciudadanía, y los sistemas de indicadores son una herramienta fundamental para orientar las políticas públicas y para satisfacer las demandas de información, transparencia y rendición de cuentas. Y esta afirmación es especialmente válida en lo relativo a la educación. Asumiendo esta perspectiva, el trabajo de Acosta, Rodríguez y Contreras comienza realizando una pormenorizada revisión de los antecedentes existentes en este campo a tres niveles: estatal, nacional e internacional; en este último caso, con especial atención a países europeos (Francia, Reino Unido o España) y a los países latinoamericanos y al papel jugado por organizaciones internacionales como la unesco. El análisis continúa a nivel nacional con los 23 indicadores del sistema de indicadores de México (sep-inee) y finaliza con el estudio de algunos de los sistemas de las 18 entidades federativas que disponen de sistemas de estas características.

Una vez realizado este análisis descriptivo-comparativo, se abordan los diferentes modelos teóricos y conceptuales de los sistemas de indicadores educativos, con especial atención a los modelos de Contexto-Insumos-Proceso-Producto (cipp), al marco de referencia y criterios de calidad del Sistema Estatal de Indicadores de la Educación de España, al Modelo del Proyecto Regional de Educación para América Latina y el Caribe (prelac) y al de la Comisión Europea. El capítulo continúa con un reseñable análisis de los usos de la información educativa y del Sistema Nacional de Información Estadística Educativa (sniee), para finalizar con una propuesta propia y bien fundamentada para el sistema educativo del estado de Baja California.

Por último, esta primera parte de la obra finaliza con un estudio empírico en el que se estudia la relación entre diversos temas y problemáticas ligadas a la salud de los estudiantes y el logro académico de los mismos en las escuelas de Baja California elaborado por Cantú y Rodríguez. Como se afirma en el propio trabajo, son pocos los estudios que toman en consideración estas cuestiones, pues las consideran factores asociados al logro escolar, por lo que este estudio constituye una aportación relevante, máxime si consideramos el contexto en el que se inserta con planes como el Programa Escuela y salud (PEyS) desarrollado conjuntamente por la sep y la Secretaría de Salud (ssa), en el que se establece una serie de contenidos curriculares con el fin de modificar y mejorar la cultura de salud de los estudiantes. Dada la ausencia de estudios sobre los posibles impactos de este programa, estudios como el que nos ocupa cobran especial relevancia.

Se trata, como ya se ha dicho, de un estudio empírico llevado a cabo en el contexto general de la Estrategia Evaluativa Integral 2011 desarrollada por la Unidad de Evaluación Educativa del iide. En la misma se aplicaron diferentes instrumentos sobre diversidad de factores asociados al aprendizaje a una amplia muestra de estudiantes (21 mil 724) y escuelas de Baja California. Y en la misma, la salud y la seguridad fueron aspectos evaluados y, en concreto, en lo relativo a la salud, los estudiantes respondieron a 16 ítems en formato Likert, centrados en cuestiones como la alimentación, el ejercicio físico, el consumo de sustancias, la sexualidad, etc. Las respuestas de los estudiantes se han puesto en relación con su nivel de logro académico en español y matemáticas (medido mediante la prueba enlace). Y el análisis estadístico de los resultados aporta evidencias sólidas de la relación entre estas cuestiones y el rendimiento académico de forma que —tanto en español como en matemáticas— una mala alimentación, un modo de vida sedentario con poco ejercicio físico, el consumo de sustancias y las relaciones sexuales tempranas o poco responsables, se asocian consistentemente con los peores resultados académicos. La importancia que estas evidencias suponen de cara al diseño de programas de intervención en este campo, no precisa de mayores comentarios.

La segunda parte de la obra lleva por título Investigación aplicada al ámbito docente, y la misma consta también de cuatro capítulos. Al igual que antes, veamos sucintamente cada uno de ellos.

El capítulo quinto lo firman Vázquez, Cordero y Luna. Las autoras se centran en el complejo asunto de la evaluación del desempeño docente mediante el análisis del “Marco general de una educación de calidad", siendo éste el referente para la definición de dicho desempeño en el contexto de la reforma educativa en México. Se trata, como se ve, de un tema importante y controvertido que va más allá de lo estrictamente educativo habida cuenta de su gran relevancia social y política.

Pero estas consideraciones no han arredrado a las autoras, sino que, muy al contrario, el abordaje de tan compleja cuestión se lleva a cabo con solvencia y rigor académico, y muestra de ello es que analizan las recomendaciones internacionales de elaboración de referentes de desempeño y abordan el enfoque sistémico de las políticas de desarrollo profesional docente. A continuación se abordan los marcos o perfiles de desempeño docente y analizan los documentos en los que diversos países —mediante la participación de diversos agentes— establecen las características de una buena docencia.

Y ello se plantea desde tres niveles: dominios o dimensiones, estándares y parámetros y el de los indicadores. Junto a ello se describen las características de algunos de los perfiles que conforman el Marco General en Educación Básica. El trabajo finaliza con una serie de orientaciones y recomendaciones para lograr, por una parte, la necesaria validación social del proceso mediante la activación de mecanismos de participación de los diversos agentes y actores implicados y, por otra, para abordar correctamente asuntos pendientes como la elaboración de una estrategia nacional, para que todo el cuerpo docente conozca y domine las dimensiones, parámetros e indicadores del perfil asociado a su puesto de trabajo, de forma que los mismos puedan ser empleados como referentes para el desempeño cotidiano y la autoevaluación.

Sin abandonar el tema de la evaluación del desempeño docente, el capítulo seis tiene un carácter más técnico. Arregui, Chaparro y Cordero analizan el uso del índice de validez de contenido (ivc) de Lawshe como instrumento de obtención de evidencias relativas a la validez de contenido de un instrumento. Como se sabe, el asunto de la validez es crucial en el desarrollo y construcción de un instrumento de medida. Y de entre los diversos tipos de validez, la que atañe al contenido del propio instrumento no es, ni mucho menos, una cuestión menor. Al respecto, el planteamiento más empleado de cara al análisis de este tipo de validez es el juicio de expertos. Pues bien, en este trabajo, las autoras describen —tan detallada como acertadamente— el uso del ivc propuesto en 1975 por Lawshe en el marco general del proceso de construcción de un instrumento de evaluación del desempeño docente desde la perspectiva de los estudiantes.

En concreto, en este trabajo, después de explicar las cuestiones generales relativas al juicio de maestros y al propio índice, se describe el trabajo empírico realizado con un grupo de 22 expertos en docencia de los cuales 13 eran docentes en activo de diferentes niveles educativos. La versión preliminar del instrumento constaba de un total de 128 ítems basados en el Marco para la Buena Enseñanza agrupados en cuatro dimensiones: planeación y preparación, clima del aula, enseñanza o instrucción y responsabilidades profesionales. Para el juicio de los expertos se elaboró un documento electrónico con toda la información necesaria, que fue remitido vía correo electrónico a los 22 jueces, para que emitiesen sus valoraciones. El análisis de las mismas, empleando el citado ivc, permitió eliminar 18 ítems que no alcanzaron los valores mínimos establecidos. El trabajo finaliza con un conjunto de conclusiones relativas al empleo de este índice en el proceso de construcción de instrumentos y, más específicamente, en el del análisis de su validez de contenido.

El capítulo séptimo aborda el análisis y evaluación de los fenómenos de interacción entre docentes y estudiantes, empleando como instrumento la observación directa. Los fenómenos de interacción en el aula, tanto entre iguales como entre docente y estudiantes, son de gran complejidad y son numerosos los trabajos académicos centrados en la relación de los mismos con diferentes aspectos de la labor instructiva y educativa. La observación es una de las herramientas más empleadas para el estudio y análisis de las interacciones.

En este capítulo, Murillo, Chaparro y Luna presentan las características más reseñables de las técnicas observacionales; se centran en cuestiones como la definición operativa de las conductas a observar, el centro o foco de atención o las características de los escenarios o contextos. Junto a ello, se hace especial hincapié en dos cuestiones cruciales: la capacitación del personal dedicado a estas tareas, y el análisis de la fiabilidad de las observaciones mediante el empleo de diversos índices o coeficientes; todo ello desde la perspectiva de garantizar la calidad de la información recogida mediante el empleo de esta potente técnica, aparentemente sencilla, pero en realidad muy exigente en lo que a la formación y entrenamiento de los investigadores se refiere.

En esta línea de estrategias y técnicas cualitativas, Prieto, Aguirre, Caso y Rodríguez, en el octavo y último capítulo, pretenden (y logran) dar cuenta —mediante el enfoque del estudio de casos— de las características y dinámicas que se producen en el seno de dos comunidades de aprendizaje peculiares, ya que su especificidad radica en que se trata de sendas orquestas infanto-juveniles que se reconocen a sí mismas no sólo como agrupaciones artísticas o como instituciones de pedagogía musical, sino como comunidades educativas en sentido amplio. Y ante dos realidades tan complejas, los investigadores se plantean como finalidad el conocimiento, lo más profundo y comprensivo de la conformación, interacciones y funcionamiento interno con el propósito de desvelar y entender los aprendizajes y las dinámicas que en el interior de las mismas se generan.

Con tal fin, el trabajo comienza con un detallado recorrido por los antecedentes de este tipo de orquestas con una lógica y debida especial atención al sistema de orquestas juveniles venezolanas fundadas por el maestro Abreu. En estas orquestas (el “sistema" por antonomasia) se conjuga la labor pedagógica musical con un importante enfoque de acción social y comunitaria. Desde esta perspectiva, y empleando las técnicas propias del estudio de casos intrínseco, se abordan los aprendizajes individuales, sociales y estéticos. Las técnicas empleadas fueron la observación participante, los grupos de discusión y las entrevistas semiestructuradas. Los participantes fueron todos los agentes relevantes: estudiantes, maestros y también los padres y las madres involucrados en los dos proyectos. Las conclusiones apuntan a que los aprendizajes que se producen son de naturaleza múltiple y que van más allá de lo estrictamente musical o incluso estético, con un importante componente relativo a la creatividad, a las cuestiones socioafectivas y al enfoque comunitario.

Como decía al inicio de estas líneas, esta obra constituye una excelente muestra del más reciente quehacer del cuerpo académico del iide en el que —como ha quedado dicho— se conjugan armónica (permítanme el término ya que acabamos de hablar de música) y equilibradamente la formación al más alto nivel, el rigor metodológico y la fundamentación teórica y la vinculación y compromiso con la realidad educativa y social del entorno en que se inserta. Y todo ello guiado por el propósito de promover y lograr una educación de la más alta calidad para toda la ciudadanía.

Notas

1 Profesor de Métodos de Investigación y Diagnóstico en Educación. Universidad del País Vasco, San Sebastián, España.

Estándares y directrices que orientan el desarrollo y adaptación de instrumentos de medición

carlos david díaz lópez

joaquín caso niebla

luis ángel contreras niño

La internacionalización del uso de los test ha puesto de manifiesto la necesidad de contar con un marco general de evaluación que recoja las buenas prácticas de evaluación (Hambleton, 2004). De manera particular, los desarrollos técnicos, metodológicos y analíticos en torno al desarrollo y adaptación de instrumentos de medición psicológica y educativa son un referente imprescindible en las prácticas de evaluación. Sin embargo, tanto la literatura técnica como los métodos de medición no son bien conocidos por los investigadores que realizan desarrollos o adaptaciones de instrumentos (Hambleton, 1996). En consecuencia, organismos como la International Test Commission (itc), la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) han impulsado y diseminado el empleo de estándares y directrices que orientan las prácticas de evaluación en general, y en particular las de desarrollo, adaptación, validación, administración y uso de instrumentos de medición psicológica y educativa.

Así, los Standards for Educational and Psychological Testing (aera, apa y ncme, 1985, 1999, 2014) y las Guidelines for Adapting Educational and Psychological Tests (itc, 2010) son los principales documentos que prescriben los procesos de adaptación y desarrollo de instrumentos. A su vez, estos documentos han motivado el desarrollo de directrices específicas para la traducción y adaptación de pruebas utilizadas en evaluaciones educativas internacionales como pisa (oecd, 2010).

No obstante, dichos documentos son y han sido susceptibles de modificación a la luz de los avances metodológicos y sociales (Elosua, 2012; Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), pues han presentado limitaciones para guiar los distintos tipos de razonamiento utilizados por los traductores o revisores de traducción de pruebas (Instituto Nacional para la Evaluación de la Educación, 2011; Solano-Flores, Backhoff y Contreras-Niño, 2009), y para orientar los métodos y técnicas necesarios para el establecimiento de la equivalencia intercultural (Muñiz, Elosua y Hambleton, 2013).

A continuación se analizarán los documentos mencionados, resaltando las aportaciones de éstos a los procesos de adaptación de instrumentos de medición psicológica y educativa.

Standards for Educational

and Psychological Testing

En respuesta a los problemas relacionados con los instrumentos de medición y con base en los avances técnicos en materia de medición, en los nuevos y emergentes usos de los test, y en la creciente preocupación social sobre el papel que juegan los test en el cumplimiento de políticas públicas, en 1985 la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) coordinaron el trabajo de más de 125 especialistas, para actualizar y sustituir los estándares, directrices y principios que orientan el diseño, desarrollo, adaptación y validación de instrumentos. Como consecuencia de este trabajo se obtuvieron 180 estándares organizados en 16 capítulos o secciones, que tratan sobre los usos, aspectos técnicos y un amplio espectro de cuestiones legales y sociales asociadas a los test (tabla 1). El objetivo de la publicación de los estándares fue proporcionar los criterios mínimos para la evaluación de los test, orientar las prácticas de evaluación y regular el efecto del uso de los test. Sin embargo, no prescriben el uso de un método estadístico específico (American Education Research Association et al., 1985).