Indicadores de calidad en educación superior

Posición metodológica de la investigación

Consistente con las posiciones ontológica y epistemológica anteriormente mencionadas, el diseño metodológico correspondió al de una investigación cualitativa hermenéutica, en la que los datos se obtuvieron a partir de fuentes documentales, bases de datos del Icfes y entrevistas individuales a profundidad dentro del plan o procedimiento investigativo, constituido por los momentos hermenéuticos que más adelante se presentan.

Sobre el enfoque hermenéutico, González (2008) considera que:

El investigador recauda información de variadas fuentes cuya organización y disposición (notas crudas) da lugar a un texto (Corpus) que ha de ser intervenido a fin de desvelar los sentidos y significados que los autores del discurso registrado en el mismo atribuyen a las acciones a las que se refieren en dicho texto (p. 106).

Como resultado de esta investigación se originaron cinco productos: 1) los indicadores propuestos desde antecedentes y referentes teóricos nacionales e internacionales; 2) el análisis y comprensión de los indicadores del CNA mediante el uso del software ATLAS.ti; 3) los indicadores relacionados con el desempeño en las pruebas ECAES 2004-2010; 4) los indicadores asociados a buenas prácticas de acreditación, y 5) un esquema de propuesta de sistema de indicadores. Los tres últimos textos en particular fueron posibles gracias a la identificación de sentidos y significados de los egresados, profesores, directivos y pares evaluadores de programas académicos de pregrado en administración de empresas, obtenidos mediante entrevistas individuales a profundidad. Así, con la integración de los cinco documentos se obtuvo un gran corpus final que permitió, después de su análisis, identificar 34 indicadores y configurar un sistema de indicadores de calidad para evaluar y mejorar programas de administración de empresas.

Los hallazgos de una investigación cualitativa hermenéutica naturalista (en su ambiente natural, es decir, el de los programas de administración para el caso de esta investigación) deben validarse por algún medio, entendiéndose por validar “dar fuerza o firmeza a algo, hacerlo válido”; en otras palabras, se trata de garantizar que el resultado del trabajo es aceptable, firme, riguroso, creíble, robusto, fuerte, confiable, efectivo, soportado, corroborado, sustentado, bien fundamentado en la lógica o la “verdad” (esencia) y que vale o debe valer por la argumentación, las evidencias, la posición y el acuerdo intersubjetivo de los actores involucrados internamente y en su contexto. Esta posición metodológica se deriva de la posición epistemológica que se asumió, esto es, la hermenéutica cualitativa, de manera que se realizó triangulación de perspectivas, fuentes, teorías, métodos y análisis para ganar en atributos tales como credibilidad, autenticidad, transferibilidad, fiabilidad y confirmabilidad (Guba y Lincoln, 2001).

La dimensión temporal de este trabajo está comprendida entre julio de 2009 y julio de 2013. Además, el tiempo de análisis de los datos teóricos y empíricos coincide con el tiempo en que se desarrolló la investigación, por cuanto, en forma similar a lo que ocurre en los enfoques de teoría fundamentada, el análisis es simultáneo a la elaboración del proyecto investigativo debido a los aportes valiosos que se generan no solo en las prácticas de los actores universitarios entrevistados y la literatura explorada, sino en las prácticas del autor, que en este caso también es un actor universitario. En cuanto al trabajo de campo, este se realizó mediante un cuestionario de entrevista individual semiestructurada14 a profundidad, cuyas respuestas fueron grabadas y complementadas con notas de campo registradas durante las entrevistas.

Los cinco programas de administración de empresas que se estudiaron (con resultados opuestos en ECAES durante el periodo 2004-2010) permitieron conocer los indicadores de desempeño y calidad asociados a buenas prácticas y efectividad en cuanto a planeación, investigación, enseñanza, compromiso social, gestión, bienestar universitario y disponibilidad de recursos. Respecto a mejores prácticas, se seleccionaron intencionalmente los programas que obtuvieron los resultados más positivos en las pruebas ECAES cada año durante el lapso analizado. Estos programas debían estar acreditados por alta calidad, y el desempeño de sus estudiantes en las pruebas debía hallarse por encima del promedio nacional.

Como programas contrastantes se seleccionaron aquellos que obtuvieron resultados cada vez peores durante el periodo 2004-2010 y que no se habían acreditado por alta cantidad, además de un desempeño por debajo del promedio nacional entre sus estudiantes. Estos sirvieron para confrontar perspectivas, hacer triangulación15 y facilitar el análisis en relación con lo que se hace en los programas con buenas prácticas y los resultados favorables tanto en acreditación como en pruebas ECAES 2004-2010. En estos programas con resultados insatisfactorios se hicieron las mismas preguntas, pero enfocadas a la comprensión de los resultados negativos obtenidos en su variación cada vez peor en el promedio de las pruebas ECAES y en su ausencia de acreditación por alta calidad.

Con la anterior base de programas se realizó un análisis holístico16, en el cual se describieron detalladamente cada programa y los temas o procesos relacionados con los indicadores de desempeño que permiten juzgar su calidad (planeación, investigación, enseñanza, responsabilidad social, bienestar universitario, gestión, internacionalización y manejo de recursos). De este modo se pudo llevar a cabo posteriormente un análisis transversal17 con afirmaciones e interpretaciones derivadas de los cinco programas.

El análisis de los cinco programas siguió lo planteado por Yin (2003), esto es, aproximándose desde explicaciones rivales o antagónicas (lo que contribuye a la validez externa o transferibilidad y a la comparabilidad), descripciones, lógica de coincidencias entre programas (esto aporta a la validez interna o credibilidad) y síntesis transversal de hallazgos específicos. También se contemplaron las posturas de Dowd, Sawatzky y Korn (2011), quienes afirman que la validez es “el grado al cual la evidencia acumulada soporta o apoya la interpretación intencionada” (p. 23), y de Bonilla-Castro y Rodríguez (2000), para quienes “la validez hace referencia al grado de coherencia lógica interna de los resultados de otras investigaciones o estudios bien establecidos” (p. 150). Finalmente, se asumió, de acuerdo con Bonilla-Castro y Rodríguez (2000), que la validez interna corresponde al “grado en el cual los resultados reflejan la situación estudiada [y la validez externa] al nivel de aplicación de las conclusiones a grupos similares” (Bonilla et al, 2000, p. 150).

En cuanto a fuentes secundarias se utilizaron bases de datos del Icfes, documentos del CNA y de antecedentes nacionales e internacionales en forma de artículos científicos, libros resultantes de investigación y documentos de los sitios web de los programas de administración de empresas analizados. Por otro lado, como fuentes primarias se hicieron entrevistas a directivos, profesores, egresados y pares evaluadores. En cuanto a estrategias metodológicas de investigación que también contribuyeron a la validez de los resultados de la investigación se encuentran: triangulación, confrontación de perspectivas rivales, análisis de coincidencias entre programas, identificación de indicadores de buenas prácticas y análisis holístico o integrador de la totalidad de los datos obtenidos en la investigación. Por último, con la validación de 28 expertos mediante un cuestionario diligenciado en la Conferencia 2013 de la Asociación de Facultades de Administración (Ascolfa), se logró la confirmabilidad, que permitió dar mayor validez a los resultados obtenidos.

Como dimensión espacial de la investigación se consideran programas académicos de administración18 con resultados opuestos o contrarios en ECAES, seleccionados por conveniencia19, de cinco IES: cuatro privadas, de las cuales tres contaban con buenas prácticas en acreditación, y una oficial, también con buenas prácticas en acreditación y resultados satisfactorios en ECAES 2004-2010. Esta universidad oficial y dos de las universidades privadas se localizan en Medellín, otra universidad privada se encuentra en Bucaramanga, y la última universidad privada se ubica en Barranquilla (en el programa de esta se realizaron las entrevistas piloto).

A partir de lo anterior, se puede afirmar que (1) la presente investigación sobre indicadores de calidad universitaria trata de un objeto de estudio abstracto, simbólico, imaginado, razonado o construido por la mente humana (sistema de indicadores de evaluación de la calidad) que no se puede aislar del contexto de los programas académicos de pregrado en Colombia; (2) no se realizó control de variables pues se permitió que jugaran la intencionalidad y las categorías elegidas y resultantes del estudio; (3) el énfasis se hizo en la interpretación de los datos tanto teóricos como empíricos (obtenidos en las entrevistas) a través del sentido que les daban los autores y actores universitarios a los indicadores que consideraban cruciales y prioritarios, y (4) predominó la reflexión necesaria para el mejoramiento de la calidad de la educación superior desde la perspectiva del investigador (recordando que la reflexión es considerada como una categoría central para la comprensión y transformación de la realidad tanto por Gadamer como por Habermas, citado por Campos, 1999). Así se desarrollaron cada uno de los cinco momentos dinámicos20 de la investigación.

Con base en lo anterior, se realizaron inicialmente tres entrevistas piloto: una a un director, otra a un egresado y la tercera a un profesor. Estas primeras indagaciones permitieron hacer ajustes en las preguntas del cuestionario y determinar el tiempo apropiado de duración de cada entrevista. Así pues, adicionalmente se acordaron 21 entrevistas más en cuatro programas: uno de naturaleza oficial (cuatro entrevistas), y tres de naturaleza privada (17 entrevistas). La tabla 2 muestra la distribución de las entrevistas realizadas.

Tabla 2. Distribución de entrevistas individuales a profundidad

Fuente: elaboración propia.

Para lograr la colaboración de los entrevistados, se envió una carta a los directivos de los programas seleccionados solicitando el apoyo para llevar a cabo las entrevistas individuales. En síntesis, se realizaron entrevistas a 24 actores universitarios, entre los que se encuentran directivos, profesores, egresados y pares evaluadores en administración. Estos últimos fueron seleccionados a través de contactos de las mismas universidades, dos de ellos por su condición de ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración), con título de posdoctorado. Las entrevistas fueron grabadas y luego se procedió a la transcripción correspondiente utilizando el software gratuito Audacity y, en algunos casos, un software de reconocimiento de voz. De este modo se generaron más de 450 páginas.

Las entrevistas semiestructuradas contenían preguntas a las cuales se llegó como consecuencia de la revisión y análisis de antecedentes y referentes teóricos y de la coherencia necesaria entre las tareas metodológicas y el logro de los objetivos, es decir, las respuestas a las preguntas del cuestionario de entrevistas semiestructuradas debían tributar al logro de los objetivos específicos y del objetivo general para responder la pregunta de investigación ligada al objeto de estudio. En consecuencia, se buscó que las preguntas estuvieran vinculadas a información relacionada con indicadores cruciales y prioritarios que dieran cuenta de los factores o procesos que se consideran en los programas académicos de pregrado, los resultados en ECAES 2004-2010, las buenas prácticas en acreditación y, finalmente, las perspectivas de los actores universitarios protagonistas en los programas de pregrado de universidades de Medellín, Bucaramanga y Barranquilla.

En ese orden de ideas, el contenido de la entrevista utilizada fue el siguiente:

Con el propósito de configurar un sistema de indicadores cruciales de calidad a partir de las experiencias en acreditación de alta calidad y de los resultados en ECAES 2004-2010, comedidamente solicito su colaboración contestando las siguientes preguntas:

1.Según la literatura y la experiencia, se han establecido los principales factores asociados a la calidad de un programa académico: la planeación, la investigación, la enseñanza, el aprendizaje, la proyección social, el bienestar universitario, la gestión y los recursos. Dentro de los anteriores factores, ¿qué indicadores cruciales (los que no pueden faltar) o prioritarios evidencian mejor la calidad de un programa en administración de empresas? En cuanto a planeación… etc., ¿qué otros factores e indicadores agregaría?

2.De este listado de indicadores, ¿cuáles considera más decisivos para que un programa de administración de empresas alcance la acreditación? ¿Qué indicadores cruciales tuvieron mayor influencia en el logro de (o en no haber logrado) la acreditación de alta calidad?

3.Al observar los datos obtenidos por su programa en las bases de datos del Icfes se encontró una variación positiva (o negativa). De acuerdo con los resultados en ECAES 2004-2010 en su programa, ¿qué indicadores cruciales tuvieron mayor influencia positiva y negativa en esos resultados?

4.4. ¿Qué indicador(es) crucial(es) considera que deberían interconectarse para configurar un sistema que permita evaluar y mejorar la calidad del programa y cómo o cuál sería ese esquema?

5.¿Desea comentar algo más?

Dado que el problema y las preguntas conciernen a constructos elaborados por comunidades académicas, la investigación trabajó con categorías preestablecidas desde indicadores del CNA, indicadores de certificación ISO 9001 e indicadores de países como España, México, Sudáfrica, Egipto, India y Estados Unidos, mencionados en los antecedentes y en los referentes teóricos, que se refinaron y mejoraron con el análisis de la perspectiva de los actores entrevistados. Dichas percepciones fueron registradas gracias a las entrevistas semiestructuradas que se llevaron a cabo, y los datos obtenidos en estas consultas se procesaron y analizaron mediante el uso del software ATLAS.ti 5. En conclusión, y siguiendo lo propuesto por Dawson (2007), puede afirmarse que en esta investigación se realizó análisis temático, comparativo y de contenido, como podrá corroborarse en los siguientes capítulos.

Recolección y análisis de datos de la investigación

Los datos obtenidos durante la investigación se recopilaron teniendo en cuenta y adaptando al español la matriz de LeCompte y Preissle (1993), que propone preguntarse “¿qué necesito saber?” en cada objetivo específico, asociado a cada momento de la investigación y, si su naturaleza es empírica o teórica, “¿para qué lo necesito saber?”. Asimismo, se dio cabida a cuestionamientos como “¿qué clases de datos permiten lograr cada objetivo específico?”, “¿desde qué fuentes o personas deben ser obtenidos los datos?” y “¿en qué sitios específicos puedo encontrar los datos?”.

Tabla 3. Matriz de planeación de la recolección de datos

Fuente: elaboración propia basada en LeCompte y Preissle (1993).

Las perspectivas que guiaron la construcción de un sistema de indicadores cruciales para el mejoramiento de la calidad de programas de administración fueron las siguientes:

1.Que los indicadores aporten al mejoramiento de la calidad de los programas de administración.

2.Que los indicadores tengan capacidad o potencia de indicar calidad de insumos, procesos, productos y contextos.

3.Que los indicadores, al ser medidos, cumplan con objetivos de mejoramiento general de la calidad de la educación ofrecida por los programas de administración.

4.Que los indicadores sean susceptibles de ser medidos por los programas de administración de conformidad con la realidad colombiana en educación superior.

5.Que la evolución en el logro de las metas de los indicadores impacte la realidad económica y social del área de influencia del programa.

6.Que los datos o medidas de los indicadores puedan ser usados de manera significativa para tomar mejores decisiones y, en consecuencia, contribuyan al mejoramiento de la gestión del programa y su impacto social y económico.

7.Que las acciones, las actividades y la gestión del programa permitan incidir en el comportamiento de esos indicadores.

8.Que respondan a las consideraciones de los lineamientos del CNA (2013).

Las anteriores perspectivas se sumaron al siguiente procedimiento utilizado para el análisis de las entrevistas mediante ATLAS.ti 5:

1.Se registró la hora de inicio del análisis de cada entrevista, empezando con las tres entrevistas piloto.

2.Se realizó una edición básica de cada entrevista, pues luego en el software de ATLAS.ti 5 se podía continuar esta tarea. Se quitaron negritas, cursivas y otros elementos de formato y se identificaron uniformemente los sujetos en el texto. Asimismo, se dejó una línea entre cada participación de los sujetos y se hicieron revisiones de ortografía, entre otros aspectos, antes de empezar análisis. En el proceso se aseguró colocar un punto después de cada oración y de cada párrafo. También se utilizó “INV” para identificar al investigador en todas las entrevistas, de manera que no se codificara luego como un código o categoría de la investigación donde la palabra “investigador” cumple un papel crucial, mientras que para el entrevistado se usó “ENTREV”. La edición de las tres entrevistas piloto se llevó cabo de 5:40 p.m. a 6:34 p.m.

3.Se convirtieron los documentos a RTF. En el caso particular de las entrevistas piloto, se emplearon cinco minutos.

4.Se abrió y guardó una unidad hermenéutica por cada programa académico participante en la investigación con las entrevistas correspondientes. Esta tarea tomó tres minutos.

5.Al inicio del análisis de cada programa académico se revisaron las notas tomadas por el investigador durante las entrevistas y se elaboraron memos después de preguntar qué sucedió en cada entrevista: ¿qué hizo que este documento o entrevista fuera similar y diferente de las demás?

6.Se aplicó la herramienta word crunch de ATLAS.ti 5 para examinar la(s) palabra(s) que predominaba(n) o más se repetía(n) o era(n) usada(s) por cada persona entrevistada. De este modo se pudieron elaborar memos con las palabras que más se mencionaban. Igualmente, esto permitió buscar sinónimos que ayudaran al proceso de codificación, así como términos o conceptos emergentes significativos o sorprendentes para elaborar un memo con cada observación. Al rol del entrevistado se le asignó un memo con estos hallazgos. EL tiempo empleado en word crunch por entrevista fue de 23 minutos.

7.Se elaboró una tabla con cada uno de los códigos más significativos para facilitar el análisis, indicando lo siguiente de cada código: definición breve, definición amplia, cuándo usar: aplicar este código a todas las referencias que…; cuándo no usar: no usar este código para referirse a… Estos puntos fueron planteados por McQueen, McLellan, Kay y Milstein (1998).

8.Se codificó con autocoding, según la lista preliminar de códigos identificada en antecedentes y referentes teóricos y en el análisis de 183 indicadores del CNA, bajo confirmación previa dentro de citas que fueran palabras (haciendo clic fuera de la palabra demarcada y seleccionando la oración pertinente o correspondiente o que le daba sentido al código) y examinando la cita a la cual se asociaba cada código. Mientras se avanzaba en este proceso se fueron escribiendo memos en otro archivo, pues ATLAS.ti 5 no permite detenerse para escribir un memo y regresar al mismo lugar donde se dejó o alcanzó a codificar, es decir, vuelve al principio de los Principal Documents PD.

9.Se codificó con autocoding, esta vez usando códigos emergentes identificados con el word crunch o por lecturas previas, bajo confirmación previa y examinando la cita a la cual se asociaba cada código. Se decidió agregar el código “ponderación” por su utilidad para el análisis de los indicadores cruciales o prioritarios. También se identificaron como nuevos códigos importantes: “medir”, “poder” y “pertinencia” debido a una frecuencia identificada con la herramienta mencionada. Sin embargo, al revisar las palabras “pertinencia” y “poder” se pudieron identificar algunas citas que daban cuenta del sentido y significado que los consultados les daban, mostrando que no guardaban relación directa con esta investigación. También se tomó nota del tiempo de esta actividad para tenerlo en cuenta en el análisis de otras entrevistas.