Índice

Prólogo

luis lizasoain

Primera parte. Investigación aplicada para la mejora de la medición y evaluación educativas

Estándares y directrices que orientan el desarrollo y adaptación de instrumentos de medición

carlos david díaz lópez

joaquín caso niebla

luis ángel contreras niño

Sistema para administrar en línea instrumentos de evaluacióndel aprendizaje

zulma sarabia ocampo

luis ángel contreras niño

juan carlos rodríguez macías

joaquín caso niebla

Sistema de indicadores para la educación en Baja California

dalia lizzett acosta cárdenas

juan carlos rodríguez macías

luis ángel contreras niño

El índice de validez de contenido (ivc) de Lawshe, para la obtención de evidencias en la construcción de un instrumento

irma gloria arregui eaton

alicia alelí chaparro caso lópez

graciela cordero arroyo

Temas de salud y logro académico en escuelas secundariasde Baja California

valeria cantú gonzález

juan carlos rodríguez macías

Segunda parte. Investigación aplicada al ámbito docente

Análisis del marco general para una educación de calidad de la reforma educativa en México

maría del ángel vázquez cruz

graciela cordero arroyo

edna luna serrano

Evaluación de la interacción docente-estudiante a través de la observación directa

olga lidia murillo garcía

alicia alelí chaparro caso lópez

edna luna serrano

Dinámicas y aprendizajes en orquestas infanto-juveniles: un estudio de caso

josé mauricio prieto astudillo

lucía coral aguirre muñoz

joaquín caso niebla

david rodríguez de la peña

Prólogo

Luis Lizasoain1

El Instituto de Investigación y Desarrollo Educativo (iide) de la Universidad Autónoma de Baja California, desde su fundación en 1991, ha venido desarrollando una muy importante actividad académica en el campo de la evaluación y de la investigación educativa. En este ámbito, y de una manera más específica, tres son sus principales focos de interés: la evaluación educativa, las prácticas educativas con especial atención a las docentes y la tecnología educativa.

Pero más allá de enumeraciones más o menos detalladas de temáticas, líneas o de proyectos de trabajo e investigación, más importante es en mi opinión el enfoque, el modo y estilo de trabajo, las directrices que marcan y guían la actividad cotidiana de la institución y de los académicos que la conforman.

Al respecto destaco cuatro cuestiones:

 En primer lugar, un equilibrado foco doble de atención puesto en las cuestiones teóricas y en las instrumentales y metodológicas.

 Segundo, una profunda preocupación por el impacto social de los resultados de dichas investigaciones, de forma que las mismas puedan operar como eficaces herramientas y palancas de cambio y mejora educativa.

 Para lo anterior es requisito el rigor metodológico y la excelencia académica, y ahí radica una tercera característica: la preocupación constante por la formación al más alto nivel de los investigadores y profesionales, y de los estudiantes de maestría y doctorado.

 Por último, y no menos relevante, la importancia concedida al trabajo en redes y al fomento de la internacionalización del Instituto. Prueba de ello es que el iide fue el principal impulsor de la Red Iberoamericana de Medición y Evaluación de Sistemas Educativos.

Por todo esto, creo que no es exagerado afirmar que el instituto y sus académicos y estudiantes pueden ser considerados como una referencia, y no sólo a nivel mexicano sino también internacional. Y el libro que tiene ahora en sus manos es buena prueba de todo lo dicho.

La primera parte de la obra está centrada en la medición y en la evaluación educativas, y la misma comienza con un primer capítulo en el que se presenta lo relativo a los estándares y directrices que han de guiar el proceso de creación, desarrollo y, en su caso, adaptación de las pruebas e instrumentos de medición.

En esta primera contribución, Díaz, Caso y Contreras abordan los principales documentos normativos sobre el desarrollo, adaptación y traducción de pruebas e instrumentos de medición tanto educativos como psicológicos. El trabajo se inicia con la edición publicada en 1985 de los estándares para pruebas psicológicas y educativas elaboradas por la Asociación Americana de Investigación Educativa (aera), la Asociación Americana de Psicología (apa) y el Consejo Nacional de Medición en Educación (ncme). El recorrido —tan sintético como exhaustivo— continúa con el análisis de las versiones posteriores de dichas normas (1999 y 2014) y finaliza con el examen de las directrices de pisa 2012 sobre la traducción y adaptación de esta conocida prueba.

En todo el capítulo destaca la especial atención prestada a las cuestiones de adaptación y traducción de pruebas y de su aplicación a poblaciones en contextos diferentes de los del país para el que fueron diseñadas. Los autores discuten las normas y directrices al respecto y señalan las amenazas que para la equidad de los procesos evaluativos pueden conllevar prácticas poco cuidadosas al respecto, abogando por el reconocimiento del potencial explicativo de las diferencias culturales.

En el segundo capítulo, Sarabia, Contreras, Rodríguez y Caso presentan una pormenorizada descripción del diseño de un programa informático para la aplicación y administración en línea de pruebas de evaluación de los aprendizajes denominado salidea (Sistema para Administrar en Línea Instrumentos de Evaluación del Aprendizaje). A modo de puente con el capítulo anterior, éste se inicia describiendo los estándares atendidos al diseñar este programa A continuación se analizan los requisitos de funcionalidad del software, así como las cuestiones relativas al diseño del interfaz gráfico del sistema.

La convergencia de la ingeniería del software y de las metodologías de medición y evaluación educativas constituye un reto que es de abordaje ineludible, y este trabajo es buena muestra de ello. Son ya muchas las evaluaciones a gran escala en muy diferentes países y sistemas educativos en las que la aplicación y administración de las pruebas se realiza exclusivamente en soporte informático, de tal manera que los cuadernillos y las hojas de respuesta empiezan a ser ya meros artefactos históricos. Y es muy previsible que en un país como México —de tan dilatada cultura y experiencia evaluativa— esto sea pronto una realidad firmemente asentada. Ello redundará en un abaratamiento de los costes de aplicación, toma y grabación de datos y de corrección. Pero, por encima de estas consideraciones, la aplicación informatizada permite emplear estímulos más diversos usando variedad de soportes multimedia, lo que implica una mayor riqueza y complejidad cognitiva de los reactivos. Por citar un ejemplo, que los propios autores señalan, piénsese en cómo el uso de los sistemas de audio y video permite incorporar fácilmente a las evaluaciones de las competencias lingüísticas la imprescindible dimensión de la comprensión oral.

El tercer capítulo se centra en la elaboración de una propuesta de un sistema de indicadores educativos en el estado de Baja California. Como sabemos, en nuestras complejas sociedades actuales cada vez es mayor la demanda de información y transparencia por parte de la ciudadanía, y los sistemas de indicadores son una herramienta fundamental para orientar las políticas públicas y para satisfacer las demandas de información, transparencia y rendición de cuentas. Y esta afirmación es especialmente válida en lo relativo a la educación. Asumiendo esta perspectiva, el trabajo de Acosta, Rodríguez y Contreras comienza realizando una pormenorizada revisión de los antecedentes existentes en este campo a tres niveles: estatal, nacional e internacional; en este último caso, con especial atención a países europeos (Francia, Reino Unido o España) y a los países latinoamericanos y al papel jugado por organizaciones internacionales como la unesco. El análisis continúa a nivel nacional con los 23 indicadores del sistema de indicadores de México (sep-inee) y finaliza con el estudio de algunos de los sistemas de las 18 entidades federativas que disponen de sistemas de estas características.

Una vez realizado este análisis descriptivo-comparativo, se abordan los diferentes modelos teóricos y conceptuales de los sistemas de indicadores educativos, con especial atención a los modelos de Contexto-Insumos-Proceso-Producto (cipp), al marco de referencia y criterios de calidad del Sistema Estatal de Indicadores de la Educación de España, al Modelo del Proyecto Regional de Educación para América Latina y el Caribe (prelac) y al de la Comisión Europea. El capítulo continúa con un reseñable análisis de los usos de la información educativa y del Sistema Nacional de Información Estadística Educativa (sniee), para finalizar con una propuesta propia y bien fundamentada para el sistema educativo del estado de Baja California.

Por último, esta primera parte de la obra finaliza con un estudio empírico en el que se estudia la relación entre diversos temas y problemáticas ligadas a la salud de los estudiantes y el logro académico de los mismos en las escuelas de Baja California elaborado por Cantú y Rodríguez. Como se afirma en el propio trabajo, son pocos los estudios que toman en consideración estas cuestiones, pues las consideran factores asociados al logro escolar, por lo que este estudio constituye una aportación relevante, máxime si consideramos el contexto en el que se inserta con planes como el Programa Escuela y salud (PEyS) desarrollado conjuntamente por la sep y la Secretaría de Salud (ssa), en el que se establece una serie de contenidos curriculares con el fin de modificar y mejorar la cultura de salud de los estudiantes. Dada la ausencia de estudios sobre los posibles impactos de este programa, estudios como el que nos ocupa cobran especial relevancia.

Se trata, como ya se ha dicho, de un estudio empírico llevado a cabo en el contexto general de la Estrategia Evaluativa Integral 2011 desarrollada por la Unidad de Evaluación Educativa del iide. En la misma se aplicaron diferentes instrumentos sobre diversidad de factores asociados al aprendizaje a una amplia muestra de estudiantes (21 mil 724) y escuelas de Baja California. Y en la misma, la salud y la seguridad fueron aspectos evaluados y, en concreto, en lo relativo a la salud, los estudiantes respondieron a 16 ítems en formato Likert, centrados en cuestiones como la alimentación, el ejercicio físico, el consumo de sustancias, la sexualidad, etc. Las respuestas de los estudiantes se han puesto en relación con su nivel de logro académico en español y matemáticas (medido mediante la prueba enlace). Y el análisis estadístico de los resultados aporta evidencias sólidas de la relación entre estas cuestiones y el rendimiento académico de forma que —tanto en español como en matemáticas— una mala alimentación, un modo de vida sedentario con poco ejercicio físico, el consumo de sustancias y las relaciones sexuales tempranas o poco responsables, se asocian consistentemente con los peores resultados académicos. La importancia que estas evidencias suponen de cara al diseño de programas de intervención en este campo, no precisa de mayores comentarios.

La segunda parte de la obra lleva por título Investigación aplicada al ámbito docente, y la misma consta también de cuatro capítulos. Al igual que antes, veamos sucintamente cada uno de ellos.

El capítulo quinto lo firman Vázquez, Cordero y Luna. Las autoras se centran en el complejo asunto de la evaluación del desempeño docente mediante el análisis del “Marco general de una educación de calidad", siendo éste el referente para la definición de dicho desempeño en el contexto de la reforma educativa en México. Se trata, como se ve, de un tema importante y controvertido que va más allá de lo estrictamente educativo habida cuenta de su gran relevancia social y política.

Pero estas consideraciones no han arredrado a las autoras, sino que, muy al contrario, el abordaje de tan compleja cuestión se lleva a cabo con solvencia y rigor académico, y muestra de ello es que analizan las recomendaciones internacionales de elaboración de referentes de desempeño y abordan el enfoque sistémico de las políticas de desarrollo profesional docente. A continuación se abordan los marcos o perfiles de desempeño docente y analizan los documentos en los que diversos países —mediante la participación de diversos agentes— establecen las características de una buena docencia.

Y ello se plantea desde tres niveles: dominios o dimensiones, estándares y parámetros y el de los indicadores. Junto a ello se describen las características de algunos de los perfiles que conforman el Marco General en Educación Básica. El trabajo finaliza con una serie de orientaciones y recomendaciones para lograr, por una parte, la necesaria validación social del proceso mediante la activación de mecanismos de participación de los diversos agentes y actores implicados y, por otra, para abordar correctamente asuntos pendientes como la elaboración de una estrategia nacional, para que todo el cuerpo docente conozca y domine las dimensiones, parámetros e indicadores del perfil asociado a su puesto de trabajo, de forma que los mismos puedan ser empleados como referentes para el desempeño cotidiano y la autoevaluación.

Sin abandonar el tema de la evaluación del desempeño docente, el capítulo seis tiene un carácter más técnico. Arregui, Chaparro y Cordero analizan el uso del índice de validez de contenido (ivc) de Lawshe como instrumento de obtención de evidencias relativas a la validez de contenido de un instrumento. Como se sabe, el asunto de la validez es crucial en el desarrollo y construcción de un instrumento de medida. Y de entre los diversos tipos de validez, la que atañe al contenido del propio instrumento no es, ni mucho menos, una cuestión menor. Al respecto, el planteamiento más empleado de cara al análisis de este tipo de validez es el juicio de expertos. Pues bien, en este trabajo, las autoras describen —tan detallada como acertadamente— el uso del ivc propuesto en 1975 por Lawshe en el marco general del proceso de construcción de un instrumento de evaluación del desempeño docente desde la perspectiva de los estudiantes.

En concreto, en este trabajo, después de explicar las cuestiones generales relativas al juicio de maestros y al propio índice, se describe el trabajo empírico realizado con un grupo de 22 expertos en docencia de los cuales 13 eran docentes en activo de diferentes niveles educativos. La versión preliminar del instrumento constaba de un total de 128 ítems basados en el Marco para la Buena Enseñanza agrupados en cuatro dimensiones: planeación y preparación, clima del aula, enseñanza o instrucción y responsabilidades profesionales. Para el juicio de los expertos se elaboró un documento electrónico con toda la información necesaria, que fue remitido vía correo electrónico a los 22 jueces, para que emitiesen sus valoraciones. El análisis de las mismas, empleando el citado ivc, permitió eliminar 18 ítems que no alcanzaron los valores mínimos establecidos. El trabajo finaliza con un conjunto de conclusiones relativas al empleo de este índice en el proceso de construcción de instrumentos y, más específicamente, en el del análisis de su validez de contenido.

El capítulo séptimo aborda el análisis y evaluación de los fenómenos de interacción entre docentes y estudiantes, empleando como instrumento la observación directa. Los fenómenos de interacción en el aula, tanto entre iguales como entre docente y estudiantes, son de gran complejidad y son numerosos los trabajos académicos centrados en la relación de los mismos con diferentes aspectos de la labor instructiva y educativa. La observación es una de las herramientas más empleadas para el estudio y análisis de las interacciones.

En este capítulo, Murillo, Chaparro y Luna presentan las características más reseñables de las técnicas observacionales; se centran en cuestiones como la definición operativa de las conductas a observar, el centro o foco de atención o las características de los escenarios o contextos. Junto a ello, se hace especial hincapié en dos cuestiones cruciales: la capacitación del personal dedicado a estas tareas, y el análisis de la fiabilidad de las observaciones mediante el empleo de diversos índices o coeficientes; todo ello desde la perspectiva de garantizar la calidad de la información recogida mediante el empleo de esta potente técnica, aparentemente sencilla, pero en realidad muy exigente en lo que a la formación y entrenamiento de los investigadores se refiere.

En esta línea de estrategias y técnicas cualitativas, Prieto, Aguirre, Caso y Rodríguez, en el octavo y último capítulo, pretenden (y logran) dar cuenta —mediante el enfoque del estudio de casos— de las características y dinámicas que se producen en el seno de dos comunidades de aprendizaje peculiares, ya que su especificidad radica en que se trata de sendas orquestas infanto-juveniles que se reconocen a sí mismas no sólo como agrupaciones artísticas o como instituciones de pedagogía musical, sino como comunidades educativas en sentido amplio. Y ante dos realidades tan complejas, los investigadores se plantean como finalidad el conocimiento, lo más profundo y comprensivo de la conformación, interacciones y funcionamiento interno con el propósito de desvelar y entender los aprendizajes y las dinámicas que en el interior de las mismas se generan.

Con tal fin, el trabajo comienza con un detallado recorrido por los antecedentes de este tipo de orquestas con una lógica y debida especial atención al sistema de orquestas juveniles venezolanas fundadas por el maestro Abreu. En estas orquestas (el “sistema" por antonomasia) se conjuga la labor pedagógica musical con un importante enfoque de acción social y comunitaria. Desde esta perspectiva, y empleando las técnicas propias del estudio de casos intrínseco, se abordan los aprendizajes individuales, sociales y estéticos. Las técnicas empleadas fueron la observación participante, los grupos de discusión y las entrevistas semiestructuradas. Los participantes fueron todos los agentes relevantes: estudiantes, maestros y también los padres y las madres involucrados en los dos proyectos. Las conclusiones apuntan a que los aprendizajes que se producen son de naturaleza múltiple y que van más allá de lo estrictamente musical o incluso estético, con un importante componente relativo a la creatividad, a las cuestiones socioafectivas y al enfoque comunitario.

Como decía al inicio de estas líneas, esta obra constituye una excelente muestra del más reciente quehacer del cuerpo académico del iide en el que —como ha quedado dicho— se conjugan armónica (permítanme el término ya que acabamos de hablar de música) y equilibradamente la formación al más alto nivel, el rigor metodológico y la fundamentación teórica y la vinculación y compromiso con la realidad educativa y social del entorno en que se inserta. Y todo ello guiado por el propósito de promover y lograr una educación de la más alta calidad para toda la ciudadanía.

Notas

1 Profesor de Métodos de Investigación y Diagnóstico en Educación. Universidad del País Vasco, San Sebastián, España.

Primera parte

Investigación aplicada para la mejora de la medición y evaluación educativas

Estándares y directrices que orientan el desarrollo y adaptación de instrumentos de medición

carlos david díaz lópez

joaquín caso niebla

luis ángel contreras niño

La internacionalización del uso de los test ha puesto de manifiesto la necesidad de contar con un marco general de evaluación que recoja las buenas prácticas de evaluación (Hambleton, 2004). De manera particular, los desarrollos técnicos, metodológicos y analíticos en torno al desarrollo y adaptación de instrumentos de medición psicológica y educativa son un referente imprescindible en las prácticas de evaluación. Sin embargo, tanto la literatura técnica como los métodos de medición no son bien conocidos por los investigadores que realizan desarrollos o adaptaciones de instrumentos (Hambleton, 1996). En consecuencia, organismos como la International Test Commission (itc), la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) han impulsado y diseminado el empleo de estándares y directrices que orientan las prácticas de evaluación en general, y en particular las de desarrollo, adaptación, validación, administración y uso de instrumentos de medición psicológica y educativa.

Así, los Standards for Educational and Psychological Testing (aera, apa y ncme, 1985, 1999, 2014) y las Guidelines for Adapting Educational and Psychological Tests (itc, 2010) son los principales documentos que prescriben los procesos de adaptación y desarrollo de instrumentos. A su vez, estos documentos han motivado el desarrollo de directrices específicas para la traducción y adaptación de pruebas utilizadas en evaluaciones educativas internacionales como pisa (oecd, 2010).

No obstante, dichos documentos son y han sido susceptibles de modificación a la luz de los avances metodológicos y sociales (Elosua, 2012; Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), pues han presentado limitaciones para guiar los distintos tipos de razonamiento utilizados por los traductores o revisores de traducción de pruebas (Instituto Nacional para la Evaluación de la Educación, 2011; Solano-Flores, Backhoff y Contreras-Niño, 2009), y para orientar los métodos y técnicas necesarios para el establecimiento de la equivalencia intercultural (Muñiz, Elosua y Hambleton, 2013).

A continuación se analizarán los documentos mencionados, resaltando las aportaciones de éstos a los procesos de adaptación de instrumentos de medición psicológica y educativa.

Standards for Educational
and Psychological Testing

En respuesta a los problemas relacionados con los instrumentos de medición y con base en los avances técnicos en materia de medición, en los nuevos y emergentes usos de los test, y en la creciente preocupación social sobre el papel que juegan los test en el cumplimiento de políticas públicas, en 1985 la American Educational Research Association (aera), la American Psychological Association (apa) y el National Council on Measurement in Education (ncme) coordinaron el trabajo de más de 125 especialistas, para actualizar y sustituir los estándares, directrices y principios que orientan el diseño, desarrollo, adaptación y validación de instrumentos. Como consecuencia de este trabajo se obtuvieron 180 estándares organizados en 16 capítulos o secciones, que tratan sobre los usos, aspectos técnicos y un amplio espectro de cuestiones legales y sociales asociadas a los test (tabla 1). El objetivo de la publicación de los estándares fue proporcionar los criterios mínimos para la evaluación de los test, orientar las prácticas de evaluación y regular el efecto del uso de los test. Sin embargo, no prescriben el uso de un método estadístico específico (American Education Research Association et al., 1985).

Tabla 1. Estructura de los estándarespara las pruebas psicológicas y educativas (1985)
Sección | Capítulo | Número de estándares
I. Estándares técnicos sobre la construcción y evaluación de los test | 1. Validez | 25
2. Confiabilidad y errores de medida | 12
3. Desarrollo y revisión de un test | 25
4. Escalamiento, normalización, comparabilidad de puntuaciones y equiparación | 9
5. Publicación de test: manuales técnicos y guías de usuario | 11
II. Estándares profesionales para el uso de los test | 6. Principios generales del uso de los test | 13
7. Pruebas clínicas | 6
8. Pruebas psicológicas y educativas | 12
9. Uso de los test en psicoterapia | 9
10. Pruebas utilizadas en contextos laborales | 9
11. Acreditación y certificación profesional y ocupacional | 5
12. Evaluación de programas | 8
III. Estándares para aplicaciones particulares | 13. Pruebas para minorías lingüísticas | 7
14. Pruebas para personas que tienen una condición de discapacidad | 8
IV. Estándares para procedimientos administrativos | 15. Aplicación, calificación y reporte de un test | 11
16. Protección de los derechos de los examinados | 10
Total | 180

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1985).

Estos estándares sostienen que no se puede asumir que, al atender procedimientos de traducción, se genera una versión del test equivalente en contenido, nivel de dificultad, confiabilidad y validez. De igual modo, no se debe suponer que las propiedades psicométricas de dos versiones de un instrumento sean comparables entre idiomas o dialectos. En este sentido, la edición comprometió nueve estándares distribuidos en cuatro capítulos (tabla 2), que deben considerarse en los procesos de adaptación de test y evaluaciones interculturales (Geisinger, 1994).

Tabla 2. Estándares aplicables en los procesos de adaptación de test (1985)
Sección | Capítulo | Número de estándares
I. Estándares técnicos sobre la construcción y evaluación de los test | 2. Confiabilidad y errores de medida | 1
3. Desarrollo y revisión de un test | 2
II. Estándares profesionales para el uso de los test | 6. Principios generales del uso de los test | 2
III. Estándares para aplicaciones particulares | 13. Pruebas para minorías lingüísticas | 4
Total | 9

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1985).

En cuanto a la confiabilidad y el error típico de medida, se propuso que cuando existan razones teóricas o empíricas, para esperar que estos indicadores difieran sustancialmente en diferentes poblaciones, se deben presentar las estimaciones para cada población para las cuales el test es recomendado [estándar 2.9: 22]. Asimismo, para el desarrollo y revisión de los test se estableció que el tipo y contenido de los ítems debe realizarse con reconocimiento a los antecedentes culturales y a las experiencias previas de las poblaciones involucradas (grupos étnicos, edad, género, etc.) [estándar 3.5: 26]. De igual modo se debe prever la realización de aquellos estudios que sean necesarios cuando los resultados de las investigaciones señalen la necesidad de estudiar las diferencias en el funcionamiento del ítem, o del test, para miembros de distintos grupos (edad, étnicos, género, etc.). Tales estudios deben diseñarse para detectar y eliminar aspectos del diseño, contenido o formato del test que puedan sesgar las puntuaciones de un grupo en particular [estándar 3.10: 27].

Por otro lado, se establecieron principios generales para el uso de los test, mismos que recomiendan que cuando se realizan cambios sustanciales en el formato del test, modo de aplicación, instrucciones, idioma o contenido, se debe validar el uso del test para las condiciones modificadas, o bien tener un sustento racional de que una validación adicional no es necesaria [estándar 6.2: 41]. Además, cuando un test se va utilizar para un propósito para el que no ha sido previamente validado, o para el cual no existe evidencia de su validez, los responsables del test deben proporcionarla [estándar 6.3: 42].

Finalmente, el capítulo que establece el uso de test en sujetos que forman parte de una minoría lingüística, exige que cuando un test sea traducido de un idioma o dialecto a otro, se debe establecer la validez y confiabilidad del test para los usos esperados en el grupo lingüístico por examinar [estándar 13.4: 75]. Mientras que cuando se busca que las versiones del test en dos idiomas sean comparables, se deben reportar evidencias de la comparabilidad [estándar 13.6: 75]. A este respecto, tanto los responsables del test como los editores deben proporcionar la información necesaria para realizar un uso e interpretación apropiada de éste [estándar 13.3: 75], y describir en el manual del test todas las modificaciones lingüísticas recomendadas por los editores [estándar 13.2: 75].

Standards for Educational
and Psychological Testing de 1999

Al igual que la edición de 1985, los estándares de la edición de 1999 contaban con un carácter prescriptivo y por sí solos no incluían mecanismos de aplicación. Fueron formulados con la pretensión de ser consistentes con otros estándares, directrices y códigos de conductas publicados por las organizaciones patrocinadoras, para promover el uso racional y ético de los test, y para proporcionar las bases para la evaluación de la calidad de las prácticas de evaluación. En relación con la edición anterior, la estructura y capítulos de los Standards 1999 se modificaron y se incrementaron notablemente (tabla 3), debido principalmente a lo siguiente: a) los nuevos tipos de test y usos para los test existentes; b) la inclusión de aspectos que procuran la evitación de los conflictos de interés y c) el tratamiento equitativo de todos los examinados.

Tabla 3. Estructura de los estándares para las pruebas psicológicas y educativas (1999)
Sección | Capítulos | Número de estándares
I. Construcción, evaluacióny documentación del test | 1. Validez | 24
2. Confiabilidad y errores de medida | 20
3. Construcción y revisión de test | 27
4. Escalas, normas y comparabilidad de puntuaciones | 21
5. Aplicación, calificación y reporte de resultados del test | 16
6. Documentación de apoyo de los test | 15
II. Equidad de los tests | 7. Equidad en las pruebas y en el uso de las mismas | 12
8. Derechos y responsabilidades de los examinados | 13
9. Pruebas en sujetos de diversos contextos lingüísticos | 11
10. Pruebas en sujetos con discapacidad | 12
III. Aplicaciones de los test | 11. Responsabilidades de los responsables del test | 24
12. Evaluación y pruebas psicológicas | 20
13. Evaluación y pruebas educativas | 19
14. Pruebas de empleo y acreditación | 17
15. Pruebas en programas de evaluación y de política pública | 13
Total | 264

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 1999).

En la edición de 1999 se propusieron nueve estándares que versan sobre los procesos de adaptación de test y de las evaluaciones interculturales, distribuidos en 4 capítulos (tabla 4). En esta edición se propusieron nuevos planteamientos entre los que destacan: a) la realización del cálculo de la confiabilidad y de los errores de medida cuando se enfatice la diferencia entre dos puntuaciones observadas de sujetos o de grupos [estándar 2.3: 32]; b) la inclusión de la función de información del test (fit), la apropiación del contenido, la estructura interna de las respuestas, la relación de las puntuaciones del test con otras variables y los procesos de respuesta utilizados por los examinados como criterio de variación y comparación de los subgrupos que conforman la muestra [estándar 2.11: 34 y estándar 7.1: 80]; c) la participación de los responsables de la construcción del test en la identificación y eliminación del vocabulario, símbolos, palabras, frases y contenido que se consideren ofensivos por parte de miembros de un grupo racial, étnico, de género u otros grupos, excepto cuando se juzgue necesario para una adecuada representación del constructo [estándar 7.4: 82] y d) la descripción y presentación de evidencia empírica y lógica del método utilizado para establecer la adecuación de la traducción [estándar 9.7: 99].

Tabla 4. Estándares de la edición de 1999 aplicables en los procesos de adaptación de test
Sección | Capítulos | Número de estándares
I. Construcción, evaluación y documentación de test | 1. Validez | 1
2. Confiabilidad y errores de medida | 2
II. Equidad de los test | 7. Equidad en las pruebas y en el uso | 3
9. Pruebas en sujetos de diversos contextos lingüísticos | 3
Total | 9

Nota: elaboración propia basada en los Standards for Educational and Psychological Testing (aera, apa y ncme, 1999).

Es importante destacar que esta versión retoma el concepto de sesgo expuesto con anterioridad e introduce los términos de equivalencia de constructo, funcionamiento diferencial del ítem y equivalencia de traducción; conceptos centrales en el proceso de adaptación de test y de las evaluaciones interculturales.

Standards for Educational
and Psychological Testing de 2014

Desde la edición de 1999, diversas organizaciones, empresas y especialistas en el campo de la medición psicológica y educativa han propuesto nuevos enfoques y desarrollos relacionados con el diseño de pruebas de medición y con las técnicas del análisis, normalización, interpretación y uso de las puntuaciones que de ellas se desprenden. Como respuesta, en 2005 un comité conformado por miembros de la aera, apa y ncme determinó que la edición de 1999 demandaba una revisión y actualización. Posteriormente, en 2008 un segundo comité, conformado por 15 miembros de diferentes organizaciones, desarrolló la nueva versión de los estándares y en 2011 fueron revisados tanto por las organizaciones patrocinadoras (aera, apa y ncme) como por 35 asociaciones profesionales, diez empresas orientadas a la medición, cuatro centros de investigación, tres organismos acreditadores y seis instituciones independientes. La revisión se orientó hacia cuatro áreas principales: avances tecnológicos en medición, incremento en el uso de pruebas para la rendición de cuentas y política pública, inclusión, temas vinculados con el uso de pruebas en el contexto laboral.

Al igual que las ediciones anteriores, estos nuevos estándares son prescriptivos y no contienen reglas específicas para su aplicación; fueron formulados con la intención de ser consistentes con otros estándares, directrices y códigos de conducta publicados por estas organizaciones. Los Standards 2014 buscan promover las buenas prácticas de medición y proporcionar las bases para evaluar la calidad de las mismas. A diferencia de las ediciones anteriores, esta propuesta organiza los estándares de una manera diferente (tabla 5). Así, la sección Fundamentos concentra los capítulos de validez, confiabilidad/precisión, errores de medida y equidad de las pruebas. La sección Operación concentra los estándares asociados al diseño, desarrollo, aplicación, calificación y normalización de los test, así como los derechos y responsabilidades de los examinados y usuarios de los test. Por último, la sección Aplicaciones de pruebas contiene los estándares asociados con los distintos contextos de aplicación y con el uso de las pruebas (evaluación psicológica, ámbito laboral y acreditación, evaluación educativa y evaluación de programas, política pública y rendición de cuentas).

Tabla 5. Estructura de los estándares para pruebas psicológicas y educativas (2014)
Sección | Capítulo | Número de estándares
Fundamentos | 1. Validez | 25
2. Confiabilidad/Precisión y errores de medida | 20
3. Equidad en las pruebas | 20
Operación | 4. Diseño y desarrollo de test | 25
5. Puntuaciones escalas, normas, vinculación de puntuaciones y puntos de corte | 23
6. Aplicación de test, calificación, reporte e interpretación | 16
7. Documentación de apoyo para los test | 14
8. Derechos y responsabilidades de los examinados | 12
9. Derechos y responsabilidades de los usuarios del test | 23
Aplicaciones de pruebas | 10. Pruebas y evaluación psicológica | 18
11. Pruebas en el ámbito laboral y de acreditación | 16
12. Pruebas y evaluación educativa | 19
13. Usos de los test en evaluación de programas, política pública y rendición de cuentas | 9
Total | 240

Nota: elaboración propia basada en Standards for Educational and Psychological Testing (aera, apa y ncme, 2014).

En lo particular, los principales estándares que ayudan a orientar las prácticas en traducción y adaptación de pruebas se encuentran en los capítulos 3 y 7 (Equidad en las pruebas y Documentación de apoyo para los test, respectivamente). En comparación con las anteriores, esta edición sitúa a la equidad como un tipo de evidencia inherente y fundamental de la validez de un test, misma que requiere atenderse en todas las etapas del diseño, desarrollo y uso del instrumento.

La equidad es entendida como la sensibilidad hacia las características individuales y contextuales de las pruebas y los sujetos, de manera que las puntuaciones que se desprenden de ellas permitan interpretaciones válidas para los usos esperados. En síntesis, las características de todos los individuos de la población bajo estudio (raza, etnicidad, género, edad, nivel socioeconómico y contexto lingüístico o cultural), deben considerarse durante todas las etapas de desarrollo, aplicación, calificación, interpretación y uso de las pruebas.

De hecho, los nuevos estándares reconocen la existencia de situaciones donde el test no es apropiado para todos los sujetos bajo estudio, aun cuando éste haya sido desarrollado bajo los principios y prácticas de equidad. En este sentido, se establece que algunas adaptaciones pueden ser necesarias para aquellos individuos cuyas características impedirían su participación en el proceso de evaluación. Las adaptaciones, dependiendo de las circunstancias de aplicación, los objetivos del test y las características de los sujetos, redundan en cambios en el contenido o presentación de los ítems, en las condiciones de aplicación o en los procesos de respuesta, a fin de incrementar el acceso al test a todos los sujetos.

No obstante, es necesario diferenciar entre cambios que resultan en puntuaciones comparables (acomodaciones) y cambios que pueden no producir puntuaciones que sean comparables con las obtenidas por el test original (modificaciones). La presente edición de los estándares propone entender las adaptaciones de pruebas como un continuo donde en un extremo se encuentran las acomodaciones (cambios relativamente menores a la presentación o formato de los test, aplicación del test, o de los procesos de respuesta que mantienen el constructo original y resulta en puntuaciones comparables con el test original), y en el extremo opuesto, las modificaciones (cambios que transforman el constructo que está siendo medido, incluyendo el contenido del test o las condiciones de evaluación, para obtener una medida diferente pero que mide el constructo de manera apropiada en los sujetos esperados).

En cuanto a la eficacia de las adaptaciones, ello depende del grado en que incrementan el acceso de los sujetos al constructo medido por el test. Dicha evidencia puede recolectarse a través de estudios cuantitativos y cualitativos, donde el juicio de expertos tiene un rol determinante en las decisiones acerca de los cambios a realizar en el test o en las condiciones de aplicación. Aquellos que informan, interpretan o utilizan las puntuaciones de un test adaptado, requieren desarrollar un completo entendimiento de la utilidad y limitaciones de los procedimientos de diseño de los test, así como reconocer cuáles adaptaciones proporcionan puntuaciones comparables con las del test original y cuáles adaptaciones no las proporcionan.

Concretamente, esta nueva edición de los estándares sugiere que a) los diseñadores de pruebas son responsables del desarrollo de test y de minimizar la posibilidad de que éste se vea afectado por características lingüísticas, comunicativas, cognitivas, culturales o físicas irrelevantes al constructo [estándar 3.2: 64]; b) cuando un test es traducido y adaptado de un idioma a otro, los diseñadores y los usuarios del test son responsables de describir los métodos utilizados, para establecer la idoneidad de la adaptación y documentar la evidencia empírica, o lógica, para determinar la validez de las interpretaciones y el uso de las puntuaciones [estándar 3.12: 68] y c) cuando un test está disponible en más de un idioma, la documentación debe brindar información de los procedimientos empleados para traducir y adaptar el test y, cuando sea factible, la información también debe contener evidencias de confiabilidad/precisión y validez para la forma adaptada [estándar 7.6: 127].

Guidelines for Adapting Educational
and Psychological Tests

Uno de los principales propósitos de la Comisión Internacional de los Test (itc, por sus siglas en inglés) ha sido preparar y diseminar un conjunto de directrices para la adaptación de test e instrumentos de medición psicológica y educativa, y para el establecimiento de la equivalencia de puntuaciones entre los grupos lingüísticos y culturales considerados. Se entiende por directriz para la adaptación de instrumentos a aquellas prácticas que se consideran importantes a realizar y evaluar dentro del proceso de adaptación o de construcción paralela de instrumentos de medición psicológica o educativa, para uso en poblaciones que difieren en aspectos culturales o lingüísticos (Hambleton, 1996).

El empleo de las directrices de la itc permite detectar problemas potenciales en el proceso de adaptación y problemas que necesitan tratarse antes de que la versión adaptada se pueda considerar aceptable en el nuevo contexto (Hambleton, Yu y Slater, 1999).

Así, la itc puso en marcha en 1992 un proyecto para la elaboración de las directrices, el cual se conformó por un comité de 12 representantes de distintas organizaciones (European Association of Psychological Assessment, European Test Publishers Group, International Association for Cross-Cultural Psychology, International Association of Applied Psychology, International Association for the Evaluation of Educational Achievement, International Language Testing Association and International Union of Psychological Science). Dicho comité trabajó durante varios años definiendo 22 directrices, que después fueron sometidas a prueba en trabajos de campo (Hambleton, Mereda y Spielberger, 2005; Hambleton et al., 1999; Hambleton, 2001; Tanzer y Sim, 1999).

En una primera edición, las directrices para la traducción y adaptación de test fueron integradas y ordenadas en cuatro áreas generales que orientan el proceso de adaptación de test: contexto, construcción y adaptación, aplicación e interpretación (Hambleton, 1996). Estos lineamientos se describen a continuación.

Las directrices de contexto tratan con la equivalencia de los constructos medidos en las poblaciones de interés. Buscan minimizar los efectos de las diferencias culturales y evaluar el solapamiento de los constructos en las poblaciones, lo cual permite decidir si es adecuado adaptar el test a la nueva población.

El área de construcción y adaptación de test busca asegurar una correcta adaptación, cuidando que los contenidos, formatos, estímulos y que todos los demás componentes del test original tengan la misma familiaridad para los sujetos de las dos culturas implicadas. Esta área enfatiza la necesidad de utilizar juicios analítico-racionales y técnicas estadísticas que permitan garantizar que el test es válido para las dos poblaciones.

Las directrices del área de aplicación incluyen todos aquellos aspectos necesarios para realizar una aplicación correcta de los test.

Las directrices propuestas para el área de interpretación de puntuaciones se centran en detectar la importancia de realizar las interpretaciones con base en las evidencias contenidas en toda la documentación generada en los procesos de las áreas anteriores.

En general, las veintidós directrices buscan prevenir las diferentes fuentes de error que se presentan en el proceso de adaptación de test y, al mismo tiempo, ofrecen acciones para controlarlas (Muñiz et al., 2013).

Se pueden distinguir dos contextos de aplicación de dichas directrices. Uno de ellos se refiere a la adaptación de test existentes y el otro al desarrollo de nuevos test para comparaciones a nivel internacional. La evidencia recopilada durante una década sobre la aplicabilidad de las directrices confirmó su utilidad en una amplia variedad de contextos (Hambleton, 2001; itc, 2010). No obstante, el análisis de contenido de las directrices llevado a cabo por Tanzer y Sim (1999), identificó que las directrices trataban principalmente con principios fundamentales en el proceso de adaptación de test y que había algunas inconsistencias y ambigüedades en las mismas, de tal manera que algunas necesitaban ampliarse, clarificarse, combinarse, o requerían una mayor orientación sobre su aplicación; y c) resultaba necesario indagar sobre más tipos de evidencias para establecer la equivalencia de los test, y sobre ideas, diseños y técnicas estadísticas que permitieran investigar el posible sesgo a nivel de constructo, de método o de ítem de los test traducidos y adaptados.

Es importante observar que dichas directrices eran normativas y no prescriptivas (Solano-Flores et al., 2009; Tanzer y Sim, 1999). Es decir, no proveían un método específico para obtener test multiculturales o multi-lingüísticos válidos. Por otro lado, para que los principios normativos provistos por las directrices pudieran transformarse en aplicaciones prácticas, era necesario desarrollar un compendio de las dificultades y soluciones en el proceso de adaptación de test, y también se requiere la institucionalización de programas de formación para los constructores y usuarios de los mismos (Tanzer, 2005).

Tanto los análisis de contenido de las directrices, como los avances metodológicos, psicométricos y sustantivos en el campo de la adaptación de test, hicieron necesaria una revisión de las directrices originales (Muñiz et al., 2013). De esta manera, la itc coordinó un nuevo grupo de trabajo interdisciplinar compuesto por representantes de asociaciones de psicólogos de cinco países (Reino Unido, Turquía, Bélgica, España y Holanda), para realizar la revisión y modificación de las directrices originales, a la luz de los nuevos desarrollos.

La segunda edición de las directrices (Muñiz et al., 2013) propuso un marco integral que busca que la adaptación consiga, con respecto al test original, el máximo nivel de equivalencia lingüística, cultural, conceptual y métrica posible. Éstas son entendidas como un esquema que orienta a los investigadores y profesionales en el proceso de adaptación. A través de veinte directrices, agrupadas en seis categorías, se propone un proceso ordenado y global que considera todas las fases y cuestiones relevantes en la adaptación de test. Así, las nuevas directrices (Muñiz et al., 2013), se agrupan de la siguiente manera:

 Directrices previas. Resaltan el respeto a los derechos de propiedad intelectual y a los acuerdos sobre el uso de los test vigentes en los países implicados. Además, proponen el estudio de la influencia de las diferencias culturales o lingüísticas en la medición, y de la relevancia del constructo en la población de interés.

 Directrices sobre el desarrollo del test. Sugieren que el proceso de adaptación sea el más pertinente para las poblaciones de interés y que valore la utilización de juicios de expertos, para estimar si el proceso de adaptación considera las diferencias lingüísticas, psicológicas y culturales suficientes. Asimismo, se interesan por que las instrucciones, contenido, formato, escalas, formas de aplicación y demás aspectos relacionados con el test y los ítems, tengan el mismo significado y sean pertinentes en las poblaciones implicadas.

 Directrices de confirmación. Fijan su atención en ofrecer información empírica acerca de la equivalencia de constructo, de método y entre los ítems en todas las poblaciones implicadas. De la misma manera, señalan la necesidad de obtener evidencias sobre la confiabilidad y validez del test adaptado y de establecer el nivel de comparabilidad entre las puntuaciones obtenidas por el test en sus dos versiones.

 Directrices sobre la aplicación. Se enfocan en la disminución de las diferencias culturales y lingüísticas derivadas de los procedimientos de aplicación o de los formatos de respuesta; y en la especificación de las condiciones de aplicación de manera que no se vea amenazada la validez de las inferencias originadas de las puntuaciones del test.

 Directrices sobre puntuación e interpretación. Comunican la necesidad de considerar información demográfica pertinente al momento de realizar las interpretaciones de las diferencias de las puntuaciones entre los grupos bajo estudio. También, resaltan la importancia de utilizar el nivel de invarianza establecido para la escala de puntuación sobre la que se hacen las comparaciones.

 Directrices sobre documentación. Señalan la importancia de proporcionar toda la documentación técnica acerca de las modificaciones del test adaptado, donde además se incluyan las evidencias de la equivalencia con la versión original e información a los usuarios sobre el uso correcto del test en la población a la que va dirigido.

Directrices para la traducción
y adaptación de pisa 2012

Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

 Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

 Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

 Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

 Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

 Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

 Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.

El objetivo principal de estas directrices es asegurar que el proceso de traducción no introduzca sesgos que distorsionen las comparaciones internacionales, como pueden ser: a) la alteración de la dificultad de textos, gráficos o tablas utilizadas como estímulos en los test, b) la alteración de la dificultad de un ítem de manera que se modifique el tipo de estrategia mental requerido para responder, c) la introducción de ambigüedades que perjudiquen la medición de las variables de los cuestionarios de contexto, o d) la inadecuada adaptación de manuales al contexto nacional para que se modifiquen los procesos de muestreo, aplicación o calificación.

Consideraciones finales

En este capítulo se describieron los principales documentos que orientan las prácticas de desarrollo, adaptación y traducción de instrumentos de medición psicológicos y educativos. De manera general, los documentos y argumentos aquí presentados coinciden en destacar que la aplicación de instrumentos válidos y confiables en otros países, desarrollados en apego a marcos conceptuales pertinentes, no aseguran que éstos midan lo mismo en poblaciones y contextos diferentes.

La presente revisión sirve como marco al conjunto de investigaciones realizadas en nuestro país (aún reducido) que reconocen la necesidad de utilizar metodologías, procedimientos y esquemas analíticos que proporcionen equidad en las evaluaciones y justicia a los examinados, con reconocimiento a la contribución que hacen las diferencias culturales en la explicación de los resultados educativos (Byrne et al., 2009; Solano et al., 2009; inee, 2011). Sirva este trabajo para difundir el contenido de documentos aquí referidos y como orientación para todos aquellos involucrados en procesos de desarrollo, validación y adaptación de instrumentos de medición psicológica o educativa.

Bibliografía

American Education Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing 1999. Washington: American Education Research Association.

American Education Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing 2014. Washington, dc: American Education Research Association.

American Education Research Association, American Pychological Association y National Council on Measurement in Education (1985). Standards for Educational and Psychological Testing 1985. Washington, dc: American Education Research Association.

byrne, b. m., Oakland, T., Leong, F. T. L., Van de Vijver, F., Hambleton, R. K., Cheung, F. M., y Bartram, D. (2009). A critical analysis of cross-cultural research and testing practices: Implications for improved education and training in psychology. Training and Education in Professional Psychology, 3 (2), 94-105. doi: 10.1037/a0014516.

elosua, p. (2012). Test publicados en España: usos, costumbres y asignaturas pendientes. Papeles del Psicólogo, 33 (1), 12-21.

geisinger, k. (1994). Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment, 6 (4), 304-312.

hambleton, r. k. (1996). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10, 229-240.

hambleton, r. k. (2001). The next generation of the itc test translation and adaptation guidelines. European Journal of Psychological Assessment, 17 (3), 164-172.

hambleton, r. k. (2004). Theory, methods and practices in testing for the 21st century. Psicothema, 16(4), 696-701.

hambleton, r. k., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Nueva Jersey, Londres: Lawrence Erlbaum Associates.

hambleton, r. k., Yu, J. y Slater, S. C. (1999). Field test of the itc Guidelines for adapting educational and psychological tests. European Journal of Psychological Assessment, 15 (3), 270-276.

Instituto Nacional para la Evaluación de la Educación (2011). La teoría del error de traducción de pruebas y las evaluaciones internacionales de timss y pisa. México: Instituto Nacional para la Evaluación de la Educación.

International Test Commission (2010). International Test Commission Guidelines for Translating and Adapting Tests. Recuperado de http://www.intestcom.org

klerk, g. (2008). Cross-cultural testing. In Online Readings in Testing and Assessment. International Test Commission. Recuperado de http://www.intestcom.org/Publications/Orta.php

Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests (segunda edición). Psicothema, 25 (2), 151-157.

Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E., Campillo-Álvarez, Á., y Peña-Suárez, E.(2011). Evaluación de test editados en España. Papeles del Psicólogo,32 (2), 113-128.

Organization for Economic Co-operation and Development (2010). Translation and adaptation guidelines for pisa 2012. Recuperado de http://www.oecd.org/pisa/pisaproducts/49273486.pdf

solano flores, g., Backhoff, E. y Contreras-Niño, L. Á. (2009). Theory of Test Translation Error. International Journal of Testing, 9 (2), 78-91. doi: 10.1080/15305050902880835

tanzer, n. k. (2005). Developing Tests for Use in Multiple Languages and Cultures a Plea for Simultaneous Development. En Hambleton, R. K., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, New Jersey: Lawrence Erlbaum Associates.

tanzer, n. k. y Sim, C. Q. (1999). Adapting instruments for use in multiple languages and cultures: A review of the itc Guidelines for Test Adaptations. European Journal of Psychological Assessment, 15 (3), 258-269.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.