Indicadores de calidad en educación superior

La cuestión de los indicadores en ciencias sociales constituye un problema fundamental en el proceso de generar explicaciones y conocimientos sobre fenómenos que se dan en el acontecer social […] los indicadores adquieren un sentido y una función de conocimiento, además de su utilidad como elementos para la medición y cuantificación (p. 23).

La importancia de los indicadores para la teorización, la resignificación y la relación de lo empírico con lo teórico, en forma de círculo hermenéutico virtuoso, es descrita magistralmente por Gutiérrez (2009) en los siguientes términos:

Los indicadores representan la apertura a lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones sobre y a partir de la información, datos y elementos empíricos producto de la aplicación de metodologías; es decir, teorizar a partir de los resultados de la medición, el análisis y sistematización de los indicadores. Esto es, pasar de lo abstracto a lo concreto y elevarse a lo abstracto, produciendo nuevos conceptos, resignificándolos (pp. 27-28).

Los indicadores tanto cuantitativos como cualitativos se utilizan para la comprensión y el análisis de características presentes en las categorías u objetos de estudio. Siguiendo con Gutiérrez (2009):

Los indicadores permiten mediciones matemáticamente precisas o análisis cualitativos, en tanto que lo que se mide o analiza, el dato o la opinión, tendencia, actitudes, etcétera, se plantea a partir de los indicadores. En otras palabras, lo que se cuantifica y analiza son los indicadores. […] Los indicadores le aportan orden al proceso de producir información y datos. Es decir, la realidad empírica se reconstruye a partir de los indicadores. Entonces hay una conexión epistemológica y metodológica entre lo abstracto-concreto, teórico-empírico al momento de reconstruir la realidad en su modo morfológico de presentarse. Esta es otra razón para destacar la importancia de los indicadores en el proceso de construir conocimiento (p. 27).

Los indicadores le aportan orden al proceso de producir información y datos con los cuales se toman decisiones de mejoramiento. Su éxito depende entonces de una adecuada definición, estructuración, validación, análisis y uso. Este manejo de la información mediante indicadores sistémicos se constituye entonces como un valioso aporte en las actividades y metodologías de autoevaluación, acreditación y certificación de la calidad en educación superior.

Gutiérrez (2009) afirma que “Necesariamente habrá que ver, entonces, a los indicadores y su construcción desde una lógica de ruptura-reorganización del pensamiento del sujeto” (p. 27). Esta ruptura-reorganización es importante para resignificar indicadores pues, si no existe, se caería en una situación conformista en la cual lo que existe como indicadores del CNA es “bueno” y no habría nada que mejorarles. Por supuesto que tal posición negaría o invalidaría la realización de cualquier investigación y llevaría a considerar lo existente como dogmatismo en contra de los estudiantes y de la sociedad en general, que espera una educación superior reflejada en indicadores cruciales y sistémicos. No obstante, tampoco se trata de anular las ventajas que tienen los indicadores del CNA y, desde una posición sectaria, ignorar sus bondades.

En síntesis, Gutiérrez (2009) plantea que los indicadores son importantes y útiles para: 1) conocer un fenómeno; 2) crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos; 3) desarrollar metodologías; 4) determinar unidades de medición, cuantificación y cualificación; 5) reflexionar para teorizar sobre los resultados de la medición de los indicadores; 6) abrir perspectivas hacia lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones; 7) realizar mediciones matemáticamente precisas o análisis cualitativos; 8) dar orden al proceso de producir información y datos relevantes, y 9) reconstruir la realidad empírica. Adicionalmente, manifiesta que la construcción de indicadores requiere una lógica de ruptura-reorganización del pensamiento para lograr resignificación.

Precisamente la investigación descrita en este libro también se justificó por la necesidad de resignificar los indicadores con los cuales se evalúa la calidad de los programas académicos de pregrado en Colombia. Al respecto Misas (2004) afirma:

Infortunadamente, en Colombia la experiencia existente en construcción de indicadores de calidad para la educación superior es muy reducida, tanto por el limitado número de trabajos llevados a cabo sobre el tema como por la baja calidad de los mismos. Se hace necesario, a mediano plazo, construir un conjunto de indicadores sobre la calidad de la educación superior, dada su importancia para el futuro del país; […] un país claudica cuando sus universidades no representan instituciones de excelencia (p. 47).

Desde otro punto de vista, la investigación en indicadores de calidad de programas académicos en educación superior se justifica por las dificultades que se presentan en las IES en el momento de entender los indicadores, la elaboración de sus fórmulas cuando son indicadores cuantitativos, el establecimiento de sus metas y el análisis que permita su mejoramiento.

En términos prácticos, los indicadores contribuyen a mejorar la calidad y el desempeño de las organizaciones y, en consecuencia, el nivel de la calidad de sus procesos y resultados. Dicho mejoramiento ocurre por cuanto la definición, la medición, el análisis y la optimización de indicadores permite establecer prioridades y enfocarse en lo importante en organizaciones en las que por lo general hay excesiva información de situaciones, fenómenos y eventos que impiden diferenciar lo trivial de lo esencial.

Por lo demás, Fontalvo y Vergara (2010) indican que

Para que las organizaciones mantengan una ventaja competitiva es necesario contar con unos indicadores que permitan establecer la medida de la calidad en los servicios suministrados. Pero medir la calidad en los servicios no es fácil, por lo que la correcta gestión de la calidad del servicio consiste en saber medirlo. Para esto es importante apoyarse permanentemente en la retroalimentación del servicio prestado […] en la que los efectos generen información sobre las causas; de esta forma existirá retroacción entre acción y conocimiento en la prestación del servicio (p. 25).

Siguiendo esta línea, el presente libro también se justifica por la necesidad de conocer la retroalimentación que pueden entregar los propios actores universitarios y mantener relaciones de cooperación, para lo cual se requieren indicadores que permitan establecer la medida de la calidad de programas académicos. Igualmente, mediante los indicadores es posible hacer un manejo racional de los recursos y alcanzar con mayor efectividad los propósitos, lo cual genera mayor armonía, responsabilidad y bienestar entre los miembros de la organización y sus beneficiarios, mientras se obtiene mayor progreso individual y colectivo.

Dentro de los argumentos institucionales9 que dan cuerpo a esta investigación se encuentra que, después de 16 años de aplicación de los lineamientos para la acreditación del CNA, el principal escollo en términos de apreciación del estado real de la calidad de los programas académicos de educación superior podría ser la ausencia de información asociada a indicadores cruciales de cumplimiento, eficiencia, eficacia, efectividad, impacto, contexto y calidad. En consecuencia, este trabajo profundiza en el conocimiento que sobre indicadores de calidad tenemos en la educación superior colombiana.

Además, desde la perspectiva institucional trazada por el plan decenal de educación (2008-2017) y el plan de gobierno 2010-2014, donde los avances en la calidad de las instituciones de educación son una de las prioridades para el mejoramiento de la calidad de vida de la población colombiana, resulta preciso poder diagnosticar con indicadores cruciales la situación en la materia como punto de partida. La calidad ocurre de manera concreta dentro de cada programa académico y dentro de cada área académica de cada institución educativa, por lo cual es sine qua non el uso de un sistema de indicadores cruciales o esenciales, cuantitativos y cualitativos, que en la actualidad no existe en Colombia y que se da como producto de la presente investigación.

Como un argumento desde el punto de vista institucional, Carot (2011), director del reciente proyecto sobre creación de un sistema integral de indicadores para América Latina, señala que un sistema de indicadores

Pretende dar respuesta a una demanda social cada vez más creciente: la necesidad de transparencia y de información sobre cómo son y qué hacen las Instituciones de Educación Superior en las que una familia va a enviar a su hijo o hija, o de las que un empleador va a contratar un egresado (p. 25).

Cruz (2009) por su parte enfatiza la importancia de los indicadores para dar cuenta del compromiso social de las universidades al indicar que

Los criterios e indicadores son la piedra angular de los procesos de acreditación. Sobre ellos se construye todo un sistema, no solo el de garantía de la calidad, sino también el de educación superior. Un sistema de criterios e indicadores inadecuados traerá consigo un sistema de educación superior de baja calidad y por tanto inadecuado para solventar las necesidades sociales. En conclusión, será un sistema de educación superior NO pertinente que habrá dejado de lado su compromiso social (p. 161).

La calidad de la educación superior en un país es consecuencia de lo que ocurre en cada una de sus instituciones. Al respecto, Cleary (2001) menciona:

Los indicadores de desempeño pueden ayudar a que una institución identifique problemas, diseñe soluciones, mejore los programas y servicios, ejerza influencia política, y haga cambios en la política organizacional. El uso sumativo de indicadores de desempeño puede ayudar a dar evidencia de la calidad de una institución, la dirección de fondos públicos, y el nivel de efectividad a legisladores, organismos de acreditación, agencias del Estado, estudiantes, padres, egresados, donantes y el público en general. Los indicadores de desempeño también pueden asistir en la toma de decisiones estratégicas. Sin embargo, ellos no son substitutos de juicios de expertos quienes están íntimamente involucrados en las operaciones diarias y en la Administración de los campus. Los indicadores son señales de calidad, no medidas estadísticas absolutas (pp. 19-28).

Adicionalmente, Cleary (2001) manifiesta que, cuando los sistemas de indicadores de calidad son diseñados y usados efectivamente, los profesores y administradores pueden usarlos para fortalecer y probar el valor de sus programas y construir políticas.

En un sentido similar, Borden y Botril (1994) afirman que, si los indicadores son cuidadosamente construidos y coordinados en las IES, pueden ser usados para enfocar y fortalecer los esfuerzos de mejoramiento de una organización, ayudando a comunicar una misión y unos objetivos institucionales comunes entre sus unidades constituyentes y a reducir la complejidad a proporciones manejables, sin perder de vista la amplitud de los servicios ofrecidos y sus efectos. Asimismo, los indicadores de desempeño comunican las prioridades institucionales y establecen estándares para el desempeño y la responsabilidad social.

La formación de profesionales de calidad es un asunto de responsabilidad y compromiso social de parte de los programas académicos existentes en las IES y de confianza por parte de la sociedad en el trabajo realizado dentro de los procesos educativos para que la educación brindada sea eficaz en los resultados requeridos. Estos procesos y resultados deben ser expresados en forma de indicadores cualitativos y cuantitativos, tal como lo han venido sugiriendo Borden y Botril desde 1994, y como luego lo reafirman y complementan Cleary en el 2001 y Cruz en el 2009. En especial, Cleary resalta la importancia de la utilización de los indicadores para el fortalecimiento de decisiones estratégicas.

Igualmente, como se mencionó en este capítulo, los indicadores son necesarios para el mejoramiento de la gestión y la calidad de la educación (Borden y Botril, 1994; Corvalán, 2000). Corvalán (2000), Misas (2004) y Cruz (2009) se refieren de manera explícita a indicadores de calidad, y sobre la necesidad de su construcción se pronuncian Misas (2004) y Gutiérrez (2009). En cuanto a la asociación o relación estrecha entre indicadores y sistemas de información, se encuentran posturas como la de Corvalán (2000), quien afirma que se necesita conocer qué está ocurriendo, y la de Gutiérrez (2009), que considera que los indicadores dan orden al proceso de producir información y datos relevantes. Asimismo, Fontalvo y Vergara (2010) manifiestan la necesidad de que los indicadores de efectos generen información sobre las causas que los produjeron, y Carot (2011) estima que un sistema de indicadores debe pretender dar respuesta a la necesidad de transparencia e información a la sociedad.

Cruz (2009) y Carot (2011) ya hacían referencia a la necesidad de un sistema de indicadores adecuados para que las universidades sean pertinentes, no dejen de lado su compromiso social y sean de alta calidad en función de las necesidades y expectativas de estudiantes, familia y sociedad. Por otro lado, Corvalán (2000), Gutiérrez (2009) y Fontalvo y Vergara (2010) resaltan la importancia de la medición de la calidad a través de los resultados de los indicadores, los cuales a su vez permiten crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos.

Finalmente, la intención de este proyecto de contribuir al mejoramiento de la calidad de la educación superior a través de la configuración de un sistema de indicadores se enmarca en la perspectiva del Doctorado en Educación en el Contexto de la Calidad de Rudecolombia y la Universidad del Atlántico. Igualmente, la investigación representa una contribución para la línea de investigación en administración y desarrollo de los sistemas educativos del Doctorado en Educación de la Universidad del Magdalena. Además, este trabajo guarda relación directa con los cursos en 1) sistemas de autoevaluación, acreditación y aseguramiento de calidad de las instituciones educativas y 2) universidad y desarrollo, del plan de estudios del Doctorado de la Universidad del Magdalena. Así, es claro que la calidad educativa es uno de los ejes fundamentales del programa de doctorado tanto en la Universidad del Atlántico como en la del Magdalena.

9. El nicho o contexto institucional de la presente investigación corresponde a programas de administración de empresas de IES colombianas y a los organismos que guardan relación con su calidad y evaluación tales como el MEN, el CNA, Conaces y el ICFES.

Capítulo 3

Ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior

Como consecuencia del problema de investigación, la ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior, seguida por Sánchez-Quintero (2013) contribuyó a responder la siguiente pregunta:

¿A partir de la comprensión de las perspectivas de directivos, egresados, profesores y pares evaluadores en relación con las razones fundamentales que determinaron los mejores resultados en las pruebas ECAES 2004-2010 y la acreditación por alta calidad, además del análisis de los indicadores del CNA y las interacciones entre indicadores, ¿cuál es el sistema de indicadores cruciales que se requiere configurar para mejorar la calidad integral de los programas académicos en administración de empresas? (p. 41)

Posición teleológica de la investigación

Con la respuesta a la anterior pregunta, Sánchez-Quintero (2013) logró el objetivo general de:

Configurar un sistema de indicadores de calidad que potencialmente puede contribuir al mejoramiento de programas en administración de empresas10 a partir de la comprensión de los factores que determinaron los mejores resultados en las pruebas ECAES 2004-2010, la acreditación de alta calidad y las perspectivas de directivos, egresados, profesores y pares evaluadores. (P. 41)

Los objetivos específicos que permitieron el logro del objetivo general y se constituyeron como referentes metodológicos fueron:

1.Identificar y caracterizar los programas de administración de empresas colombianos que obtuvieron anualmente mejores resultados en el periodo 2004-2010 en la prueba estandarizada ECAES.

2.Elaborar una construcción conceptual sobre sistemas de indicadores de calidad en el contexto de la evaluación de programas de pregrado en administración de empresas.

3.Identificar, comprender y jerarquizar los indicadores más relevantes a partir del análisis de los 183 indicadores propuestos por el CNA.

4.Interpretar y comprender los aportes de la acreditación de alta calidad de cuatro programas acreditados en administración de empresas a la identificación de indicadores cruciales de calidad.

5.Interpretar y comprender las perspectivas de egresados, profesores y directivos de cinco programas y de tres pares evaluadores sobre los resultados obtenidos en las pruebas estandarizadas ECAES en el periodo 2004-2010 y su relación con indicadores cruciales que puedan dar cuenta de la calidad de cada programa.

6.Establecer las relaciones e interacciones entre indicadores cruciales que permiten configurar un sistema de indicadores de calidad a partir de los resultados en ECAES 2004-2010, las perspectivas de egresados, profesores, directivos y pares evaluadores, y los aportes en materia de indicadores de la acreditación de alta calidad de programas universitarios colombianos en administración de empresas.

Gracias a estos objetivos específicos se lograron en la investigación los siguientes resultados: una propuesta de sistema de indicadores cruciales para evaluar y mejorar la calidad de programas en administración de empresas; un nuevo marco conceptual de lineamientos en cuanto a indicadores para la acreditación de programas colombianos; una caracterización de programas colombianos en administración de empresas acreditados y con resultados favorables en pruebas estandarizadas colombianas ECAES 2004-2010; un análisis de los indicadores del CNA 2006; un estudio de propuestas de indicadores para la educación superior en el contexto de diferentes países, y un examen de los indicadores asociados a resultados en las pruebas ECAES 2004-2010 de programas de administración de empresas.

Posición ontológica de la investigación

La posición ontológica adoptada en la investigación, y que se ilustra en la figura 1, asume que la realidad es dinámica y cambiante en un continuum histórico y prospectivo, donde el presente es traducido o interpretado para poderse conocer y transformar y el conocimiento es comprensión personal, provisional, colectiva y dialéctica. Esta posición supone entonces que los programas académicos de pregrado en administración de empresas hacen parte de un escenario en permanente cambio, construido por actores que a su vez se transforman y que, a través de la historia y diferentes perspectivas y dimensiones, les van dando a sus actividades connotaciones de mayor o menor calidad según las decisiones que tomen a partir de los indicadores que conciban como cruciales y prioritarios.

En este contexto, los hechos y las características de los procesos y resultados son interpretados y traducidos en acciones que conducen al mejoramiento o al empeoramiento de la calidad educativa. Estas interpretaciones, asumidas por actores claves (stakeholders) o grupos de interés, se sostienen de manera provisional11, en forma personal o colectiva, y en ambientes democráticos o autocráticos. Así se posibilitan el progreso y la transformación en beneficio o perjuicio de todos los actores universitarios y de la sociedad en general.

Figura 1. Posición ontológica de la investigación

Nota: la figura que representa la realidad multidimensional es conocida en geometría algebraica como Calabi-Yau múltiple o Calabi-Yau espacio y es asociada a la teoría de cuerdas. Esta imagen de Calabi-Yau manifold apareció en la portada 2007 de Scientific American.

Fuente: elaboración propia.

Posición epistemológica de la investigación

Platón, en el libro V de La República, distinguía episteme (conocimiento) de doxa (opinión). Esta última era concebida como algo distinto del saber y con diferente potencia, mientras que la primera permitiría alcanzar sin engaño la verdad (“la esencia de las cosas”) y organizar el conocimiento caótico proveniente de los estímulos sensoriales para darle el logos u orden racional. Así pues, gracias a la epistemología como estudio del conocimiento científico, es posible complementar la doxa y el conocimiento cotidiano y común. Según Silva (2004), “La epistemología estudia los procesos según los cuales el ser humano obtiene el conocimiento de la verdad sobre ese mundo existente, así como el modo de evaluar la fiabilidad de dicho conocimiento” (p. 9).

Con los aportes de la epistemología el ser humano ha podido satisfacer sus intereses de construir, comprender, explicar y transformar la realidad a través de las ciencias. De acuerdo con González (2008), según la posición epistemológica que se aborde en una investigación, existirá una concepción particular de la realidad (ontológica) y se asumirá una manera de abordarla y crear conocimiento válido y validado, lo que a su vez determinará la teleología (fines), la axiología (valores), la metodología de investigación y el papel de la teoría en esta.

Dada la naturaleza simbólica e interpretativa de las categorías que se utilizaron en la investigación, el enfoque epistemológico más pertinente correspondió al hermenéutico cualitativo. Esta posición, que es posible considerar emergente y complementaria con otros enfoques, determinó las consideraciones metodológicas explicitadas en este apartado. Asimismo, sigue la línea del CNA (2006), el cual ratifica la naturaleza hermenéutica cuando expresa que “la evaluación de la calidad en el campo de la acreditación en Colombia implica un ejercicio complejo que, a pesar de apoyarse en indicadores cuantitativos y objetivos, no puede renunciar a su carácter cualitativo y hermenéutico” (p. 22). De esta manera se privilegia el conocimiento como interpretación o comprensión dentro de un contexto histórico e intersubjetivo.

Manteniendo esta posición epistemológica, la investigación logró expandir o ampliar los horizontes de comprensión de los indicadores de calidad sistémicos y cruciales que contribuyen al mejoramiento de los programas universitarios en administración. Como resultado, los horizontes del investigador se fusionaron con los de los autores examinados y con las perspectivas de los actores universitarios entrevistados.

Figura 2. Posición epistemológica hermenéutica

Fuente: elaboración propia.

Adicionalmente, se asumió que el conocimiento se crea por la comprensión provisional del sentido individual y colectivo, sistémico y dialéctico, que los actores de los programas académicos en forma intersubjetiva dan a su realidad y a su transformación. Es clave considerar que para ello se sirven de un lenguaje de indicadores que sintetiza los aspectos esenciales que dan significación a la calidad de su desempeño y, en consecuencia, a los procesos y a los resultados que obtienen a través del tiempo, bajo sus condiciones particulares en el contexto social, cultural, económico, histórico, tecnológico y político al cual pertenece cada programa académico, tal y como lo ilustra la figura 2.

Para la posición epistemológica y metodológica de esta investigación se adoptó un enfoque “perspectivista”, pues como bien lo plantea Gadamer, citado por Campos (1999): “ninguna interpretación podrá sobreponerse a otra en nombre de la verdad y, por tanto, una perspectiva no podrá ser nunca reflejo de una realidad objetiva” (pp. 8-9). Por esta razón se acudió al diálogo con múltiples perspectivas teóricas y con la experiencia de actores universitarios significativos, en busca de las perspectivas e interpretaciones más completas, éticas y creíbles de la realidad de los programas universitarios de administración. Asimismo, según Madison, citado por Schwandt (1994), en la hermenéutica ontológica12 el método es menos la aplicación de reglas y más la actividad de usar principios éticos para guiar la elaboración de interpretaciones en una situación concreta. En consecuencia, en esta investigación se asumió un compromiso ético y moral enmarcado por principios de honestidad, franqueza, integridad y transparencia.