Indicadores de calidad en educación superior

En el presente libro el propósito de los indicadores es mejorar el aprendizaje como principal expresión de la calidad de un programa en educación superior. También se asume que al mejorar el nivel de aprendizaje aumenta la responsabilidad social universitaria pública y su pertinencia. En este sentido, Banta y Borden (1994), ahora frente al contexto europeo, señalaron que los académicos no eran capaces de identificar indicadores con capacidad para satisfacer, en esa época, el doble propósito de responsabilidad social pública universitaria y mejoramiento, algo que podría plantearse hoy para América Latina en general y para Colombia en particular.

Borrero (2001), refiriéndose a los sistemas de evaluación y acreditación, afirma que

En todos ellos subsiste la dificultad de precisar los indicadores de desempeño que no obedezcan a reducidos y estrechos criterios ni pequen por ser de tendencias cuantitativas más que cualitativas; que sean inmunes a prejuicios y componendas —como acontece con los rankings de reputación— y adaptables a cada medio cultural, y que garanticen suficiente validez y credibilidad más allá de los linderos regionales y nacionales (p. 44).

Chacón, Pérez-Gil, Holgado y Lara (2001) por su parte señalan que se ha “avanzado poco en el desarrollo de sistemas de información sobre las universidades, no encontrándose una metodología evaluativa ni objetiva, ni sistemática” (p. 295). Para ellos es necesario evaluar y medir la calidad mediante sistemas de indicadores válidos y fiables “con el objetivo de orientarse hacia la mejora continua” (p. 295).

Según Carot (2011)4,

La sociedad demanda información y por tanto hay que proporcionársela, pero una información adecuada, sin sesgos, adaptada a los perfiles y objetivos de cada institución y que finalmente valore la calidad dentro de cada perfil, dentro de cada área y dentro de cada entorno. Es un objetivo complicado, pero absolutamente necesario en una sociedad de la información y en un mundo globalizado. No es posible avanzar en un Área Común de Educación Superior ni en Europa ni en América Latina ni entre los dos continentes si no hay herramientas transparentes de información (p. 25).

En este sentido, Colombia ha estado mejorando a través del Sistema Nacional de Información en Educación Superior (SNIES), aunque todavía requiere avances en cuanto a brindar información detallada y específica sobre la calidad de los programas académicos ofrecidos a los estudiantes colombianos. Es importante mencionar, por ejemplo, que el SNIES no presenta indicadores de calidad específicos de los programas académicos; por lo tanto, la presente investigación asume que en las universidades colombianas la información relevante es escasa, desconocida o pobremente analizada. Además, dichos indicadores no se han interconectado sistémicamente ni relacionado con las perspectivas de actores universitarios claves, y tampoco se han asociado con los resultados que se obtienen en las pruebas ECAES ni con otros requisitos, buenas prácticas de gestión y acreditación, procesos y resultados que puedan dar cuenta de la calidad de las IES.

Tanto en la perspectiva de Cleary (2001) como en la de la Norma ISO 9000 (2005), una IES es de calidad cuando ofrece programas académicos de calidad identificados a través de indicadores esenciales y cruciales de su realidad. Al respecto puede apreciarse por ejemplo la definición dada por la Norma ISO 9000 (2005) a “Evidencia objetiva: Datos que respaldan la existencia o veracidad de algo” y a “Validación: Confirmación mediante el suministro de evidencia objetiva de que se han cumplido los requisitos para una utilización o aplicación específica prevista”.

En suma, mejorar la calidad es optimizar el aprendizaje, la creatividad y la capacidad de innovación de los estudiantes, así como el desempeño de los profesores y la calidad de vida de los actores universitarios y sociales. Este mejoramiento puede sintetizarse y apreciarse en indicadores de calidad de los programas académicos, en los resultados de las pruebas ECAES5 y en el logro de la acreditación.

Las características a través de las cuales se expresa la calidad de los programas académicos de pregrado en la educación superior colombiana se pueden reflejar en indicadores cualitativos y cuantitativos. Es posible relacionar estos, por un lado, con los insumos, los procesos, los productos o los resultados, los efectos y los contextos, según la perspectiva del modelo CIPP de Stufflebeam, o con el aprendizaje, los procesos, los clientes y las finanzas, de acuerdo con el modelo balanced scorecard de Kaplan y Norton (2001). Además, los indicadores pueden ser usados por los directivos de los programas para mejorar su calidad en términos del aprendizaje que se genera en el programa académico.

Por las razones señaladas, la investigación que dio origen a este libro asumió que los indicadores de planeación, enseñanza, aprendizaje, investigación, gestión, proyección social, bienestar universitario, internacionalización y recursos de los programas colombianos de pregrado en administración de empresas no se encuentran interconectados. Asimismo, se supuso que estos no están asociados a buenas prácticas educativas, experiencias en acreditación de alta calidad y resultados satisfactorios en las pruebas ECAES y Saber Pro que permitan mejorar la evaluación y la calidad en beneficio de los estudiantes, sus familias y el desarrollo social y económico de Colombia.

En ese orden de ideas, es preciso anotar que los indicadores que se utilizaron como guías o lineamientos en los procesos de autoevaluación y acreditación por alta calidad propuestos en el año 2006 por el CNA en Colombia fueron referentes desconectados6, con insuficiente definición, evaluación, jerarquización, validación y articulación dentro de un sistema de información. Adicionalmente, en ellos se mezclaban indicadores cruciales, prioritarios o esenciales para el mejoramiento de la calidad con indicadores secundarios, triviales o inútiles que opacaban a los primeros, e incluso estos también eran percibidos como descontextualizados por cuanto ignoraban las diversas condiciones del ambiente interno y externo en el que operan los programas en un país multicultural como el colombiano, donde en muchas ocasiones los directivos (rectores, vicerrectores, decanos y miembros de consejos directivos o máximos órganos de gobierno) no cuentan con una suficiente preparación en gestión7. Sin embargo, los indicadores tenían un valor relativo en el análisis de la calidad de los programas, por lo cual la solución no era eliminarlos, como ocurrió en la versión 2013 de los lineamientos del CNA, sino mejorarlos, jerarquizarlos y conectarlos en un sistema de indicadores cruciales.

Desde la perspectiva del CNA existen, dentro de los 183 indicadores referidos a 42 características y ocho factores, algunos que son esenciales o centrales8 a la característica a la que están asociados y otros que son complementarios. La tabla 1 muestra el número de factores, características e indicadores en los lineamientos de acreditación del CNA de 2006.

Tabla 1. Número de indicadores y características por factor del CNA

Fuente: elaboración propia. Información tomada de CNA (2006).

Es claro que no todos los 183 indicadores del CNA son considerados cruciales, relevantes y esenciales para el mejoramiento de la calidad expresada en mejores resultados en los ECAES y para el impacto de la acreditación en el desempeño de los estudiantes. No obstante, no se pudo establecer tal distinción entre los de mayor jerarquía y los secundarios o incluso triviales o inútiles, a pesar de que esta claridad permitiría a los directivos, docentes y estudiantes de los programas académicos tomar mejores decisiones ya que podrían dedicar más tiempo y recursos a lo esencial y menos tiempo a lo trivial (principio de Pareto), lo que incidiría significativamente en el aprendizaje, el desarrollo de competencias, el mejoramiento de la responsabilidad social pública, los resultados en los ECAES o Saber Pro y el mejoramiento de la calidad de la educación superior y la calidad de vida de los profesionales colombianos.

Los indicadores del CNA de 2006 fueron determinados de manera preestablecida, habiéndose estudiado parcialmente la situación real de los programas académicos sin avanzar en los últimos años en su revisión, evaluación, ajuste o replanteamiento hacia indicadores pertinentes para la época (siglo XXI). A su vez, no hubo participación profunda de los actores universitarios claves, por ejemplo, en cuanto a los indicadores que conducen a mejores resultados en las pruebas ECAES o a los que generan personas más éticas y con proyectos de vida cimentados y consolidados desde los programas de pregrado. En consecuencia, esta investigación cobra un importante sentido, que, de todos modos, no desconoce la relevancia de la propuesta del CNA.

Según Misas (2004):

La construcción de un conjunto de indicadores sobre la calidad de la educación superior en Colombia debe ir acompañado de una amplia discusión, dentro de las universidades y demás establecimientos de la educación superior, sobre los conceptos de calidad y de eficiencia del quehacer universitario que permita cimentar las bases para crear una cultura de la evaluación del trabajo docente e investigativo (p. 47).

La discusión amplia que plantea Misas (2004) no ocurrió para el caso de los 183 indicadores propuestos por el CNA en el 2006. Ahora bien, en el caso de los lineamientos elaborados y presentados por el CNA en el 2012, se realizaron algunos eventos de carácter informativo durante el año, en diferentes regiones del país, donde además escucharon algunos puntos de vista que condujeron a la incorporación de los indicadores a los aspectos, aumentando el número de indicadores-aspectos a más de 200.

Corvalán (2000) señala que

El estado de desarrollo de los indicadores en educación es aún incipiente, aunque se está avanzando en forma más integral, más participativa y a mayor velocidad que en la década pasada. Se están superando las dificultades encontradas para concebir y construir y usar indicadores comparables en ese campo. Hay mayor voluntad política para desarrollarlos (p. 160).

En relación con el número de indicadores, Scheele (2009) manifiesta que “se supone que el número de estándares e indicadores no puede ser demasiado grande para no desanimar a las instituciones en su decisión de mantener un sistema efectivo de aseguramiento de la calidad” (p. 13). Así pues, los 183 indicadores del CNA de Colombia resultan excesivos al compararlos con los 38 de España, los 12 propuestos por Cruz (2009), los 40 de Sudáfrica, los 52 de Egipto, los 27 deen India, 68 en México, 24 en los Países Bajos y 27 de la Global University Network for Innovation (GUNI). Frente al número excesivo de indicadores, “el CNA invita a las propias instituciones y a las asociaciones de Facultades, a elaborar y precisar indicadores más específicos” (CNA, 2006, p. 5), es decir, a identificar los que son realmente cruciales para cada tipo de programa académico. En varios apartados del documento de lineamientos del CNA se insiste adicionalmente en que las instituciones construyan sus propios indicadores para evaluar las características de calidad de los programas de pregrado según su naturaleza.

Luhmann, citado por Schepelmann (2007), afirma:

Una característica constituyente de la diferenciación funcional es la selección funcional de información. Solamente la información relevante a la función de un sistema diferenciado es seleccionada. Cualquier otra información es ruido innecesario, que disminuye la eficiencia definida funcionalmente de un sistema y en consecuencia necesita ser suprimida (p. 5).

Según la Agencia Nacional de Evaluación de la Calidad y Acreditación de España (Aneca, 2005):

La generación de una multitud de índices no supone, necesariamente, la obtención de una imagen más completa de la realidad, sino que más bien suele complicar la percepción de la misma. Es preciso por tanto llevar a cabo una clasificación de aquellos indicadores que proporcionen la información relevante. […] Para poder llevar a cabo esta selección, el sistema debe estar presidido por un marco estratégico que constituya la guía básica que determine cuáles son los principales objetivos a alcanzar y cuáles las mejores medidas de su logro (p. 440).

De manera que, en resumen, un número excesivo de indicadores trae consecuencias negativas para la evaluación y el mejoramiento de la calidad educativa universitaria por cuanto complican las percepciones de los actores universitarios (Aneca, 2005), los desaniman (Scheele, 2009) y producen ruido innecesario que disminuye la eficiencia del sistema (Luhmann, citado por Schepelmann, 2007).

Asimismo, según Aneca (2010):

En la actualidad es ineludible revalorizar el papel de la información como instrumento para la toma de decisiones en el ámbito universitario. Sin un conocimiento profundo de la realidad actual es difícil orientar con eficiencia las actuaciones de mejora de las instituciones. […] La información es un instrumento de sensibilización que promueve la autocrítica y contribuye a aprovechar la capacidad de autorregulación del sistema universitario. Con ello se fortalece, al mismo tiempo, la autonomía universitaria y el necesario rendimiento de cuentas a la sociedad. […] La selección de un número reducido de indicadores pretende que la reflexión de las Universidades sobre sus enseñanzas se concentre en unos pocos elementos críticos comunes a todos los títulos. Ello sin menoscabo de otros datos, derivados de la implantación de los sistemas de garantía de la calidad de los títulos, en los que las Universidades pueden fundamentar dicha reflexión (pp. 105-106).

En este orden de ideas, la presente investigación adopta la necesidad de seleccionar un número reducido de indicadores críticos o cruciales para que la reflexión se concentre en unos pocos elementos críticos comunes, es decir imprescindibles y vitales.

Por otra parte, no se han producido, identificado, analizado ni propuesto indicadores asociados a los resultados de las pruebas ECAES creadas mediante el Decreto 1781 de junio 26 de 2003. Según Rudnykh (2007) y Rudnykh y Barraza (2009), la información resultante de su implementación ha sido poco analizada desde una perspectiva global, a pesar de que es muy valiosa para evaluar y mejorar la calidad y tomar decisiones en relación con el uso de indicadores claves.

El Decreto 3963 de octubre de 2009 convirtió los ECAES en pruebas obligatorias para estudiantes que hayan completado el 75% de sus estudios y definió, entre otros, los siguientes objetivos:

b) […] proporcionar información para la comparación entre programas, instituciones y metodologías, y mostrar su evolución en el tiempo. c) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que fomenten la cualificación de los procesos institucionales y la formulación de políticas, y soporten el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo (p. 1).

Según lo anterior, en los objetivos de los ECAES queda clara su relación con la construcción de indicadores de valor agregado y el suministro de información para la evaluación de la calidad de los programas, su evolución y la comparación entre ellos.

La relación entre indicadores de los programas y los resultados en ECAES de Colombia no se ha investigado y en consecuencia es preciso conocerla con mayor profundidad. Sin embargo, puede afirmarse que la ausencia de un sistema de indicadores está impidiendo que la sociedad colombiana evalúe y mejore de manera pertinente y justa la calidad de la educación superior. Es posible que no se estén detectando tanto los aciertos como las deficiencias en los procesos de planeación, enseñanza, aprendizaje, investigación, gestión, bienestar universitario y compromiso social que permitan tomar mejores decisiones dentro de los programas académicos para entregar a la sociedad profesionales con mejores competencias y aprendizajes reflejados en los resultados ECAES, así como con mayor y mejor preparación e idoneidad para transformar favorablemente las condiciones sociales, políticas y económicas de la nación.

Toda esta problemática enunciada se suma al vacío existente en la literatura de un sistema alternativo de indicadores cruciales para evaluar y mejorar programas universitarios colombianos en administración. Así pues, y dado que las instituciones sólidas se construyen de abajo hacia arriba, es decir, a partir de sus actores protagonistas y de sus bases o pilares, es importante investigar, desde las perspectivas de los egresados, directivos, profesores y pares evaluadores, cuál es el sistema de indicadores de calidad asociado a los resultados de ECAES 2004-2010 y a los aportes de acreditación por alta calidad teniendo como referente principal la siguiente tesis: Un sistema de indicadores de calidad basado en la comprensión de los factores fundamentales que determinaron los resultados de las pruebas estandarizadas ECAES 2004-2010, aportes de la acreditación de alta calidad en cuanto a indicadores, y perspectivas de egresados, directivos, profesores y pares evaluadores, contribuye a mejorar el aprendizaje, la evaluación y la calidad de los programas universitarios en administración de empresas.

3. El marco de referencia que existe no es sistémico, tipo balanced scorecard o cuadro de mando integral, pues se trata de una lista de 183 indicadores que no muestra las interacciones o conexiones que existen entre ellos o, en caso de que se haga, se trataría de una racionalidad sistémica clásica o tradicional desconocida por el autor de esta investigación .

4. Director del proyecto de creación de un sistema integral de indicadores para América Latina.

5. Existe un debate mundial sobre si las pruebas estandarizadas tipo ECAES o Saber Pro en Colombia, o SBER en Estados Unidos, reflejan niveles de calidad y hasta qué punto lo hacen. Después de examinar los pros y los contras es posible concluir que los primeros son significativos en cuanto a la información que proveen para mejorar los niveles de aprendizaje, metodologías de enseñanza, actualización de contenidos y otras decisiones relacionadas con el desempeño de los egresados en las áreas curriculares de estudio de sus programas académicos. Por lo tanto, en esta investigación se consideran los resultados en ECAES 2004-2010 como un referente de especial importancia.

6. Desconectados por cuanto fueron propuestos como listas de indicadores asociados a aspectos y características sin evidenciar las relaciones o interacciones que podrían existir entre ellos.

7. En relación con los perfiles de los directivos de las IES, Restrepo, Trujillo y Guzmán (2012) manifiestan que “Una clara definición de los perfiles de aquellos cargos determinantes para el éxito de las IES constituye una necesidad apremiante: es necesario profesionalizar aún más la administración de la educación superior en Colombia”. En relación con los perfiles de cargos mencionan que deben establecerse “unos mínimos respecto a la formación específica para la administración de las IES, así como reclamar una experiencia que garantice un conocimiento profundo” para “garantizar juicio moral y capacidad de asesorar, evaluar y discernir respecto a asuntos trascendentales de las IES”. Finalmente, hacen referencia a unos mínimos que “garanticen excelencia académica y profesional lo cual permitirá el establecimiento de una democracia más calificada y llevará a reemplazar elementos políticos de carácter nocivo por elementos meritocráticos”. Bajo una dirección o gestión de mayor idoneidad (así como no basta leer un manual de aviación para pilotar un avión, no es suficiente hacer un diplomado para dirigir una organización), competencia, formación, ética, moral y experiencia, los indicadores resultan trascendentales como medios para tomar mejores decisiones y realizar mejor monitoreo o seguimiento a planes, programas, proyectos, actividades y recursos.

8. “Los indicadores que construye la institución y con los que se quiere establecer el cumplimiento de cada una de las características han de apuntar, unos, a aspectos centrales de la característica, otros, a aspectos complementarios” (CNA, 2006, p. 52).

Capítulo 2

Razones que justifican investigar en indicadores de calidad en educación superior

La investigación en indicadores de calidad en educación superior proporciona beneficios para directivos, estudiantes y profesores ya que desde ella se puede proponer un sistema de indicadores cruciales para evaluar y mejorar la calidad de programas colombianos de pregrado y para optimizar además los indicadores existentes. Este sistema a su vez permite identificar el grado de calidad alcanzado por los programas académicos mediante la valoración de indicadores cualitativos y cuantitativos. Adicionalmente, aporta conocimiento para tomar decisiones de acuerdo con la magnitud de los indicadores y permite emprender acciones correctivas, preventivas y de mejoramiento que soportan o apoyan el logro de la acreditación por alta calidad, la certificación ISO 9001 y, en consecuencia, una mayor responsabilidad social pública de las IES.

Para medir o evaluar los procesos que hacen parte de los programas académicos, tanto desde la perspectiva de la autoevaluación como desde la de acreditación del CNA y certificación con la Norma ISO 9001, es necesario utilizar indicadores que permitan enfocar la mirada hacia aspectos relevantes, críticos, pertinentes y necesarios que favorezcan la toma de decisiones y el mejoramiento de la calidad en educación superior, expresada entre otras medidas por los resultados de las pruebas ECAES. Estos indicadores no pueden ser excesivos, reduccionistas, desenfocados, ni irrelevantes; tampoco pueden dejar de reflejar o medir lo que es esencial. Por lo tanto, es necesario integrar lo normativo en calidad en cuanto a sistema y sus procesos con la práctica y la cultura de la calidad en las instituciones educativas mediante un sistema de indicadores conveniente, pertinente, adecuado y eficaz.

Un sistema de indicadores cruciales permite comprender mejor los programas académicos de pregrado en la educación superior colombiana y emplear metodologías o acciones para optimizarlos. En esta investigación se profundiza cómo se perciben los indicadores de calidad de los programas académicos de pregrado en administración desde la subjetividad de egresados, profesores, directivos y pares evaluadores.

Corvalán (2000), por ejemplo, menciona la situación crítica de la investigación en América Latina y el Caribe y subraya la necesidad de disponer de indicadores claves en materia de educación, investigación, ciencia y tecnología. En palabras de este autor, “es preciso crear un marco conceptual adecuado y amplio sobre el impacto social de la educación que permita el diseño conceptual y metodológico de indicadores pertinentes y factibles de construir” (p. 160).

En relación directa con los indicadores de calidad, Corvalán (2000) señala que:

La preocupación principal de las actuales políticas de educación se centra en asegurar su calidad y equidad en una concepción amplia y diversa. No obstante, su medición está aún poco explorada. Lo que comúnmente se considera dentro de esta categoría es el logro académico expresado como resultados de pruebas estandarizadas y comparables (p. 152).

El autor también afirma además que “La multiplicidad de iniciativas de generación de indicadores da cuenta del actual interés en el tema tanto de parte de los países como de los organismos internacionales” (Corvalán, 2000, p. 157). Este interés no es gratuito o simplemente instrumental, sino que corresponde a una necesidad imperiosa de información y conocimiento relevante, cierto y sintético que dé cuenta de lo que está ocurriendo en la educación. Con dicho fin, “los sistemas de estadística e indicadores educativos internacionalmente comparables deberían dar cuenta tanto del funcionamiento y desempeño del sistema educativo como del impacto de la educación en la sociedad” (p. 150).

Según Gutiérrez (2009), los indicadores son importantes para el proceso de conocer un fenómeno ya que posibilitan una teorización del objeto de estudio, permiten definir metodologías pertinentes para su estudio y representan la determinación de unidades de medición a partir de los contenidos teóricos del objeto. Igualmente, este investigador destaca la importancia de los indicadores por cuanto la producción de nuevos conceptos o de la teoría resignificada (al modo propuesto por Zemelman) depende no solo de los datos, sino de la reflexión que se hace de los resultados producto de la medición de los indicadores (p. 28). En sus palabras,