- -
- 100%
- +
Catalogación en la publicación – Biblioteca Nacional de Colombia
Sánchez Quintero, Jairo
Indicadores de calidad en educación superior / Jairo Sánchez Quintero. -- 1a. ed. -- Santa Marta : Universidad del Magdalena, 2020.
(Ciencias sociales. Educación y pedagogía)
Incluye datos del autor en la pasta. -- Contiene referencias bibliográficas.
ISBN 978-958-746-318-7 -- 978-958-746-319-4 (pdf) -- 978-958-746-320-0 (epub)
1. Calidad de la educación superior - Investigaciones - Colombia 2. Evaluación educativa – Investigaciones - Colombia I. Título II. Serie
CDD: 378.0072 ed. 23
CO-BoBN– a1058180
Primera edición, octubre de 2020
© UNIVERSIDAD DEL MAGDALENA
Editorial Unimagdalena
Carrera 32 No. 22 - 08
Edificio Mar Caribe, primer piso
(57 - 5) 4381000 Ext. 1888
Santa Marta D.T.C.H. - Colombia
editorial@unimagdalena.edu.co
https://editorial.unimagdalena.edu.co/
Colección: Ciencias Sociales, serie: Educación y pedagogía
Rector: Pablo Vera Salazar
Vicerrector de Investigación: Ernesto Amarú Galvis Lista
Coordinador de Publicaciones y Fomento Editorial: Jorge Enrique Elías-Caro
Diseño editorial: Luis Felipe Márquez Lora
Diagramación: Eduard Hernández Rodríguez
Diseño de portada: Andrés Felipe Moreno Toro
Corrección de estilo: Juan Mikan
Santa Marta, Colombia, 2020
ISBN: 978-958-746-318-7 (impreso)
ISBN: 978-958-746-319-4 (pdf)
ISBN: 978-958-746-320-0 (epub)
DOI: 10.21676/9789587463187
Hecho en Colombia - Made in Colombia
El contenido de esta obra está protegido por las leyes y tratados internacionales en materia de Derecho de Autor. Queda prohibida su reproducción total o parcial por cualquier medio impreso o digital conocido o por conocer. Queda prohibida la comunicación pública por cualquier medio, inclusive a través de redes digitales, sin contar con la previa y expresa autorización de la Universidad del Magdalena.
Las opiniones expresadas en esta obra son responsabilidad de los autores y no compromete al pensamiento institucional de la Universidad del Magdalena, ni genera responsabilidad frente a terceros.
Introducción
Capítulo 1
Indicadores de calidad en educación superior: Un debate abierto
Capítulo 2
Razones que justifican investigar en indicadores de calidad en educación superior
Capítulo 3
Ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior
Posición teleológica de la investigación
Posición ontológica de la investigación
Posición epistemológica de la investigación
Posición metodológica de la investigación
Recolección y análisis de datos de la investigación
Capítulo 4
Resultados sobre indicadores de calidad derivados del análisis de indicadores CNA (2006) y de literatura
Capítulo 5
¿Qué es un indicador?
Capítulo 6
Calidad y los indicadores como expresiones de su grado
Capítulo 7
Relación entre indicadores de calidad y acreditación
Capítulo 8
La acreditación en el contexto internacional y colombiano
Capítulo 9
Los indicadores y procesos estratégicos de un programa universitario
La visión como mejor indicador de planeación
Indicadores cruciales asociados con enseñanza
Indicadores cruciales asociados a investigación
Indicadores cruciales asociados a responsabilidad social de los programas
Indicadores cruciales asociados a gestión
Indicadores cruciales asociados a bienestar
Indicadores cruciales asociados a recursos
Indicadores cruciales asociados a internacionalización
Capítulo 10
Las teorías de sistemas y los indicadores dentro de un sistema no trivial tipo balanced scorecard
Capítulo 11
Resultados sobre esquema de sistema de indicadores cruciales de calidad según actores universitarios entrevistados
Un sistema de indicadores cruciales de calidad en educación superior
Conclusiones: lecciones aprendidas sobre indicadores de calidad en educación superior
Referencias bibliográficas
Anexo A. Instrumento para la validación de indicadores por expertos
Introducción
Este libro es fruto de la investigación doctoral del autor que partió de la necesidad de disponer de un sistema de indicadores cruciales de calidad para mejorar programas académicos colombianos universitarios de administración de empresas. Con dicho propósito, el presente trabajo toma como objeto de estudio los indicadores de calidad de programas universitarios.
Los indicadores tanto cualitativos como cuantitativos son expresiones que, según el Consejo Nacional de Acreditación de Colombia (CNA) suministran referentes empíricos y verificables que permiten observar y apreciar la calidad y el desempeño de un programa. Adicionalmente, el CNA considera que a través de ellos las “características” y los “factores” de calidad se hacen patentes y valorables. En ese orden de ideas, se considera que el grado de calidad existente en un programa universitario se puede identificar mediante indicadores que permiten enfocar la mirada hacia lo relevante, pertinente y necesario para luego establecerles metas que permitan valorar su mejoramiento, lo que lleva a preguntarse: ¿cuál es el sistema de indicadores cruciales necesario para mejorar la calidad integral de programas universitarios?
El conjunto de indicadores interconectados aquí propuesto configura un sistema que surgió del análisis de los procesos claves que se desarrollan en los programas académicos universitarios, así como de las prácticas académicas y administrativas en relación con el mejoramiento de los resultados de las pruebas estandarizadas en Colombia ECAES o Saber Pro1. De igual forma, se contemplaron las buenas prácticas en acreditación y los indicadores reportados en antecedentes de investigaciones similares y en la revisión de la literatura nacional e internacional.
A la luz de los antecedentes se pudo constatar que ha existido un interés mundial sobre el tema desde los años noventa, tanto por parte de académicos como de Gobiernos y organismos internacionales tales como la Unesco y el Banco Mundial, entre otros. Es así como se revelaron importantes trabajos realizados en Estados Unidos, España, Francia, Reino Unido, Países Bajos, México, Suráfrica, Egipto, Australia y Chile, entre otros países. Particularmente, en el caso colombiano existió una lista de 183 indicadores del CNA (2006) que no se evaluaron, definieron ni interconectaron en un sistema de información y que fueron incorporados dentro de más de 200 aspectos2 en los lineamientos del CNA (2013). Asimismo, se pudo observar que los indicadores han ocupado un papel importante en las reformas de la mayoría de los países y se han asociado a buenas prácticas de gestión y educación, toma de decisiones, información para la formulación de políticas públicas y para la transformación social y económica de la población, así como en acciones de responsabilidad social pública de las instituciones de educación superior (IES).
Así las cosas, la categoría teórica principal que se abordó en la presente investigación fue la de indicadores, conectada a otras categorías claves como calidad, acreditación, sistema y pruebas estandarizadas en educación superior. Las categorías “calidad” y “acreditación” se abordaron por cuanto se trata de indicadores de calidad en procesos de acreditación, en tanto que la categoría sistema se relaciona con la concepción de los indicadores de manera interconectada, influyéndose mutua y recíprocamente.
Las estrategias metodológicas de la investigación giraron alrededor del logro de los objetivos específicos dentro de una posición epistemológica hermenéutica crítica, iluminada por los desarrollos mundiales de indicadores de desempeños cualitativos y cuantitativos, las teorías contemporáneas de gestión de la calidad, y los pros y los contras de las pruebas estandarizadas. A su vez, se consideraron las buenas prácticas en acreditación, las teorías de sistemas autorreferentes, autopoiéticos, no triviales y con autoclausura y los sistemas de indicadores tipo balanced scorecard de Kaplan y Norton (2001) que hacen parte de los sistemas de medición y sistemas de información que en la actualidad son ampliamente utilizados por diversas organizaciones a nivel mundial.
Desde el punto de vista metodológico, el libro trata de una investigación cualitativa realizada en seis momentos que tributaron al logro de los objetivos específicos. En el primer momento se identificaron y analizaron programas de pregrado en administración de empresas con variación positiva o incremental año a año en los resultados de pruebas denominadas Exámenes de Calidad de la Educación Superior (ECAES) 2004-2010. Luego, en el segundo momento, se elaboró una construcción conceptual sobre sistemas de indicadores de calidad. Para el tercer momento se analizaron y jerarquizaron 183 indicadores del CNA mediante la herramienta ATLAS.ti 5, lo que llevó a identificar, en un cuarto momento, los indicadores de calidad. En esta etapa se analizaron las prácticas de acreditación de alta calidad de los tres programas del país que reflejaron las mejores pendientes en las pruebas mencionadas, así como las de un cuarto programa recientemente acreditado y con pendiente decreciente o negativa en sus resultados, donde se realizaron entrevistas piloto, y las carencias de un quinto programa que no había logrado la acreditación de alta calidad ni resultados crecientes en ECAES.
En el quinto momento se identificaron las perspectivas y los aportes de egresados, profesores, directivos y pares evaluadores de programas de administración de empresas. Con este fin se aplicó una entrevista semiestructurada a 24 actores universitarios de los cinco programas antes mencionados en relación con los mejores indicadores asociados a procesos claves del programa, que contribuyeron tanto a la acreditación de alta calidad como a los resultados obtenidos en las pruebas ECAES.
Finalmente, en el sexto momento se configuró el sistema de indicadores de calidad con la información obtenida en los momentos anteriores para la evaluación y el mejoramiento de programas de pregrado en administración de empresas, con miras a que estos contribuyan de mejor manera al desarrollo social y económico de la nación colombiana. Asimismo, cabe anotar que, si bien la investigación se realizó en programas de administración que pertenecen a las ciencias sociales, el sistema de indicadores se puede aplicar también en otros programas universitarios.
La investigación cualitativa que se presenta en este libro fue sólida ya que contó con triangulación de fuentes (documentales, bases de datos, análisis de sitios web de los programas con las mejores pendientes en ECAES del país, literatura nacional e internacional y datos de entrevistas a directivos, profesores, egresados y pares evaluadores). Los 34 indicadores que configuran el Sistema de Indicadores Cruciales en Educación Superior (Sicrues), propuesto como resultado principal de este trabajo, están asociados a buenas prácticas de acreditación, resultados satisfactorios en ECAES 2004-2010 y los siguientes procesos que se realizan en los programas académicos: planeación, enseñanza, investigación, responsabilidad social, gestión, internacionalización, bienestar y manejo de recursos. Adicionalmente, dentro del Sicrues los 34 indicadores finales obtenidos quedaron conectados entre sí mediante cuatro perspectivas derivadas de la propuesta de sistema tipo balanced scorecard de Kaplan y Norton (2001), adaptadas para la educación de la siguiente manera: 1) formación y experiencia; 2) finanzas; 3) procesos, y 4) estudiantes y sociedad.
Esta publicación destaca y enfatiza que para mejorar la calidad de la educación superior es necesario e imprescindible optimizar la titulación de los profesores universitarios al nivel de doctorado y brindar más apoyo para que la investigación efectiva en la solución de problemas teóricos, académicos y del contexto sea de clase mundial y se constituya como el eje vital desde el cual se impacta lo académico de los mismos programas, las universidades, la gestión de las organizaciones públicas y privadas y, en últimas, el desarrollo social y económico. Estos dos aspectos (titulación de profesores e investigación) son inductores de mejor enseñanza y mayor satisfacción estudiantil y responsabilidad social universitaria, como puede apreciarse en el sistema propuesto.
Para los expertos que validaron los 34 indicadores, los de mayor jerarquía son los relacionados con el prestigio de los egresados por las competencias adquiridas o desarrolladas durante su programa de estudios, la movilidad internacional de los profesores, el mejoramiento de núcleos curriculares integradores y los cambios en los últimos cinco años para el mejoramiento y actualización del plan de estudios. En relación con los indicadores asociados a buenas prácticas de acreditación se encontraron catorce aspectos, y sobre indicadores asociados con los resultados ECAES 2004-2010 se encontraron trece temas o aspectos claves que, al cruzarlos con los de acreditación, dieron como resultado siete aspectos en común.
Al final los 34 indicadores fueron construidos con los siguientes insumos: los indicadores asociados con acreditación; ECAES 2004-2010; once indicadores cruciales derivados del análisis de los 183 indicadores del CNA (2006); 69 indicadores derivados de antecedentes y revisión de literatura nacional e internacional, y cincuenta indicadores asociados a los procesos claves de un programa universitario en educación superior, resultantes de los datos obtenidos en las entrevistas realizadas a 24 actores universitarios (directivos, profesores, egresados y pares evaluadores en administración). Estos últimos fueron seleccionados por ser miembros de los tres programas con mejor pendiente del país en las pruebas de referencia, es decir, resultados crecientes entre los 38 programas reportados por el Observatorio de la Universidad Colombiana como los que obtienen los más altos puntajes y por ser miembros de programas con acreditación de alta calidad otorgada por el Ministerio de Educación Nacional (MEN).
Adicionalmente, se entrevistaron actores universitarios de un programa con acreditación pero con pendiente negativa y resultados bajos y decrecientes en ECAES 2004-2010, así como de un quinto programa no acreditado, con resultados bajos y decrecientes en ECAES 2004-2010. Los pares evaluadores fueron seleccionados a través de contactos de las mismas universidades: dos de ellos por ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración) con título de posdoctorado.
Los resultados presentados en este libro beneficiarán principalmente a los estudiantes y podrán ser utilizados por directivos de programas académicos de educación superior en administración de empresas y otras disciplinas de las ciencias sociales y las humanidades para mejorar la calidad y lograr la acreditación o certificación de calidad. Asimismo, la información que proveen los indicadores les será útil a los funcionarios de entidades como el MEN, el Viceministerio de Educación Superior, el Instituto Colombiano de Evaluación (Icfes), la Comisión Nacional Intersectorial de Aseguramiento de la Calidad (Conaces) y el CNA, además de legisladores, padres de familia y toda persona interesada en el mejoramiento de la calidad y responsabilidad social pública de la educación superior.
Los principales aportes de este libro se dieron en el marco del Doctorado en Educación en el Contexto de la Calidad, ofrecido por la Universidad del Atlántico, y en el espacio académico de la línea de investigación sobre administración y desarrollo de los sistemas educativos, del Doctorado en Ciencias de la Educación de la Universidad del Magdalena. Estos dos programas pertenecen a la red de universidades Rudecolombia. Estas contribuciones se dirigen particularmente a los procesos evaluativos (incluidos los de acreditación y certificación de la calidad) de los programas académicos de la educación superior colombiana y, en consecuencia, a sus prácticas pedagógicas, modelos curriculares y enfoques de gestión, bajo la premisa de que las evaluaciones de calidad sistemáticas y pertinentes tienen impactos significativos sobre estos ámbitos al llevar a nuevas decisiones y visiones respecto de las transformaciones necesarias para mejorar la calidad de los procesos pedagógicos que se les brindan a los estudiantes.
Además, los resultados que se presentan en este libro se constituyen como referentes de indicadores asociados a buenas prácticas de evaluación, acreditación y mejoramiento de la calidad de la educación superior. También funcionan como modelo y principal elemento de entrada para el diseño de una política pública complementaria a la de “registro calificado” (condiciones de calidad) y “alta calidad”, que podría consistir en crear una acreditación de “buena” calidad con una duración de tres años para programas que demuestren mejoramiento mediante el Sicrues propuesto como resultado de esta investigación.
En relación con la necesidad de los indicadores, Sánchez Quintero (2014) considera que
Para lograr responsabilidad social, pertinencia, calidad, análisis social, reflexión crítica, sostenibilidad, bienestar y desarrollo, son necesarios los indicadores como expresiones de síntesis y tesis inteligentes en un mundo que nos invade con excesiva información que no logra traducirse en conocimiento por el tratamiento superficial que se hace de ella, su falta de sistematización o porque no se ha logrado una adecuada síntesis o tesis a través de indicadores (p. 420).
Este libro se encuentra estructurado en 11 capítulos: en el primero se incluyen los más importantes argumentos internacionales acerca de los indicadores de calidad en educación superior, que los constituyen como un tema central de debate en esta materia. El segundo capítulo trata sobre las razones que justificaron la investigación en este tipo de indicadores, y en el tercero se presenta la ruta metodológica de dicho trabajo. Posteriormente, el cuarto capítulo hace referencia a resultados sobre indicadores de calidad derivados del análisis de indicadores CNA (2006) y de literatura y el quinto al concepto de indicadores. Luego, el sexto capítulo analiza el concepto de calidad y los indicadores como expresiones de su grado. En el séptimo, la relación entre indicadores de calidad y acreditación y en el octavo se presenta la acreditación en el contexto internacional y colombiano. El capítulo nueve da cuenta de los indicadores y procesos estratégicos de un programa universitario y el décimo de las teorías de sistemas y los indicadores dentro de un sistema no trivial tipo balanced scorecard. Finalmente, el capítulo 11 trata acerca de resultados sobre esquema del sistema de indicadores cruciales de calidad según actores universitarios entrevistados y el sistema de indicadores cruciales de calidad en educación superior Sicrues propuesto y derivado de esta investigación. Por último, se presentan las conclusiones y lecciones aprendidas, con las cuales sigue vigente el reto de contribuir al mejoramiento de la calidad tanto de la educación como de la administración en Colombia, considerándolas dos pilares fundamentales para el desarrollo de la educación, la democracia y el progreso social y económico.
1. Las pruebas estandarizadas en la educación superior colombiana se denominaron inicialmente Exámenes de Calidad de la Educación Superior (ECAES) y, recientemente, Saber Pro. En este texto se denominarán ECAES porque este fue el nombre que tuvieron en el periodo 2004-2010.
2. En la versión de lineamientos del CNA de 2012 no se habla de indicadores, sino de “aspectos”. En la versión de lineamientos del CNA 2006 se hablaba de “aspectos” y de “indicadores”.
Capítulo 1
Indicadores de calidad en educación superior: Un debate abierto
El problema que se abordó para realizar esta investigación está relacionado con la necesidad de disponer de un sistema de indicadores de calidad para evaluar y mejorar programas académicos colombianos de administración de empresas. Al respecto es preciso anotar que los indicadores que se usan actualmente en Colombia fueron propuestos por el CNA en los lineamientos de la acreditación para programas 2006; sin embargo, estos se perciben como desconectados o independientes, sin evidenciar sus mutuas interdependencias o influencias mutuas. Asimismo, se observa la combinación de indicadores esenciales con otros considerados triviales o inútiles, sin jerarquización o sin énfasis en indicadores cruciales como los de investigación y responsabilidad social universitaria (Cruz, 2009). También se ha señalado que estos indicadores fueron construidos sin suficiente participación de los principales actores universitarios (Misas, 2004), o que resultan excesivos debido a que complican la percepción (Aneca, 2005), desaniman a los actores (Scheele, 2009) y producen ruido (Schepelmann, 2007). Además, se han considerado descontextualizados y sin relación con las buenas prácticas de acreditación (Cruz, 2009), ni con los resultados en las pruebas ECAES o Saber Pro (Rudnykh, 2007; Bagamery, Lasik y Nixon, 2005).
De manera que la carencia de un sistema de información con datos relevantes obtenidos de indicadores cruciales hace difícil el monitoreo o seguimiento a la evolución y el mejoramiento de la calidad de los programas académicos en educación superior. Además, así se dificultan la toma de decisiones, la transparencia y el mejoramiento. Por consiguiente, se consideró identificar, analizar y proponer un sistema de indicadores asociados a los resultados en los exámenes ECAES y a buenas prácticas en acreditación con miras a contribuir a mejorar la calidad de los programas universitarios de administración y su correspondiente responsabilidad y compromiso social.
En este orden de ideas se evidencia que la mayoría de las IES colombianas carecen de información de calidad expresada en un sistema de indicadores esenciales y en un marco de referencia sistémico3, emergente y alternativo al estructuralista y funcionalista, que les permita una adecuada medición, análisis y evaluación para mejorar la calidad de los programas académicos, así como los resultados de las pruebas ECAES, su certificación, la acreditación y el impacto social y económico. Esta realidad afecta la calidad de la educación superior que se les ofrece a los estudiantes de las regiones y a la sociedad entera por cuanto se están formando profesionales con serias deficiencias en los procesos académicos y de investigación, que no se detectan o cuantifican de manera apropiada a través de indicadores que permitan tomar mejores decisiones. En consecuencia, hay una clara necesidad de contar con un sistema de indicadores de calidad asociado a los mejores resultados en las pruebas estandarizadas ECAES y a los aportes de la acreditación de alta calidad, que se constituya en fuente de información importante para mejorar el aprendizaje de los estudiantes, la evaluación de programas y la responsabilidad social pública universitaria en Colombia.
Frente a la situación de la educación superior colombiana es claro que se requiere mejorar la calidad, y para este propósito resulta muy importante configurar un sistema de indicadores cruciales de desempeño. En el contexto de los Estados Unidos, Banta y Borden (1994) mencionan que los indicadores de desempeño derivan su significación de su habilidad para relacionar efectos (outcomes) con propósitos y procesos, y de este modo plantean que “un propósito claro es esencial para el éxito de un sistema de indicadores de desempeño”. Estos autores consideran que una pregunta esencial para configurar un sistema de esta clase es: ¿cómo serán usados los indicadores?