Introducción

En la actualidad las organizaciones educativas (OE) están convocadas a mostrar su dedicación a adoptar prácticas de gestión efectivas; disponer de procesos e instrumentos de autoevaluación consistentes para demostrar y mejorar la eficiencia y la eficacia; lograr un aprendizaje más individualizado y una respuesta efectiva para todos los estudiantes. Para ello, resulta beneficioso la implementación de un sistema de gestión para organizaciones educativas (SGOE) respaldado por prácticas internacionalmente consensuadas (^{Guerra Bretaña et al., 2020}).

La mejora, como principio del SGOE, promueve un enfoque centrado en la investigación y determinación de los elementos esenciales del problema, seguido de prevención y acciones correctivas (Oficina Nacional de Normalización, 2015; 2019). Este principio induce a las OE a mantener sus niveles de desempeño, reaccionar a los cambios del contexto y aprovechar las oportunidades. Cuando este enfoque se aplica sistemáticamente, puede hablarse de mejora continua y permite a las OE perfeccionar su gestión y optimizar sus resultados, incluyendo los relacionados con el posgrado académico.

Como herramienta de mejora continua, la autoevaluación de programas de posgrado académico le permite a las OE conocer las fortalezas y las debilidades, los riesgos y las oportunidades de mejora, el nivel de madurez de estos programas y, si se repite, el progreso de estos en el tiempo (Oficina Nacional de Normalización, 2018). Una primera etapa para la autoevaluación es establecer los indicadores pertinentes al objeto de la mejora.

Un indicador se define como una expresión, ya sea cualitativa o cuantitativa, utilizada para representar características o conductas a lo largo del tiempo, mediante el seguimiento de una variable o el establecimiento de relaciones entre variables. Al comparar esta expresión con períodos anteriores o con una meta, se facilita la evaluación del desempeño y su evolución con el paso del tiempo (Departamento Administrativo de la Función Pública [DAFP], 2018; Ministerio de Planificación Nacional y Política Económica [MIDEPLAN], 2018; ^{Vinajera-Zamora et al., 2023}).

Mediante el empleo de indicadores, se puede obtener información importante sobre el nivel de logro de los objetivos previamente establecidos y la evolución de los factores críticos de éxito del proceso u organización que se está analizando. La información obtenida permite un mayor conocimiento de los procesos, lo que tributa a la mejora de estos (Asociación Española de Normalización, 2003; ISOTools Excellence, 2023).

^{Guerra Bretaña & Meizoso Valdéz (2019}) plantean que para que los indicadores sean eficaces deben proveer información pertinente, inequívoca y objetiva. Para conseguirlo, ^{Rossi & Illescas (2022}) explican que es esencial que los indicadores sean medibles, interpretables, precisos, verificables, fiables, comparables y accesibles. Además, es preciso que los indicadores utilizados sean claros, relevantes, pertinentes, técnicamente factibles y económicos (Consejo Nacional de Evaluación de la Política de Desarrollo Social, 2021).

Por lo tanto, un instrumento para evaluar indicadores tiene la finalidad de registrar los datos que permitan la valoración del grado en que las características inherentes del indicador cumplen con los requisitos. Las funciones de tal instrumento son: evidenciar la idoneidad del indicador e identificar sus oportunidades de mejora (Asociación Española de Normalización, 2003).

La eficacia de un instrumento de medición está determinada por la capacidad de este para representar al objeto que se pretende medir. Para lograr esto, el instrumento debe cumplir tres requisitos básicos (^{Hernández Sampieri et al., 2014}; García-Valcárcel et al., 2020):

Los indicadores diseñados para que las OE autoevalúen sus programas de maestría, diseñados para impartirse en la modalidad virtual, deben ser adecuados para medir las características tanto generales como intrínsecas de estos programas considerando su planificación, ejecución y control.

Lo anterior constituye el fundamento del problema que motivó esta investigación que presentó durante el diseño de una herramienta para la autoevaluación sistemática, integral y detallada de la calidad de programas de maestría en la modalidad virtual (^{Ramos Azcuy & Guerra Bretaña, 2023}), ya que se determinó que los criterios para la evaluación de los indicadores no estaban suficientemente establecidos. Por ello, el objetivo de este trabajo es implementar un instrumento de evaluación de los indicadores para la autoevaluación de los programas de maestría en la modalidad virtual.

Metodología

La presente investigación tuvo un enfoque cuantitativo, su alcance fue de tipo descriptivo explicativo y su diseño cuasiexperimental (^{Hernández Sampieri et al., 2014}). Se realizó la revisión bibliográfica para la identificación de artículos científicos, guías de diseño y normas técnicas que abordan la definición, desarrollo y evaluación de indicadores. Se empleó el motor de búsqueda de Google y de Google Académico, las bases de datos de Scopus y Scielo, así como las plataformas de navegación en línea de la Organización Internacional de Normalización y de la Asociación Española de Normalización con las palabras clave: indicadores, sistemas de indicadores, evaluación de indicadores.

Posteriormente, se efectuó un estudio preliminar de las fuentes bibliográficas identificadas, con el propósito de seleccionar los documentos que se ajustaran a los criterios de inclusión establecidos. Se observó la pertinencia del contenido de la literatura identificada con relación a la evaluación y selección de indicadores de desempeño dando prioridad a aquellas fuentes bibliográficas pertenecientes al espacio de tiempo comprendido desde 2018 hasta el presente, en idiomas inglés y español. En el caso de las normas técnicas y otros documentos normativos se verificó su vigencia mediante la información proporcionada por las organizaciones encargadas de su elaboración y edición.

A partir del análisis de los documentos seleccionados se efectuó la sistematización de la información obtenida para identificar los criterios de calidad que, a juicio de los autores, se justifican teóricamente y permiten la evaluación de los indicadores para la autoevaluación.

Sobre la base de los criterios identificados se construyó el instrumento que permitió la evaluación de los indicadores incluidos en la herramienta para autoevaluar programas de maestría en la modalidad virtual. Estos criterios se miden para cada indicador mediante una escala de Likert de cinco niveles, donde a cada valor le corresponde una etiqueta que le asigna un grado de acuerdo de manera ascendente. De esta forma, los valores y sus etiquetas son: 1 (Total desacuerdo), 2 (En desacuerdo), 3 (Ni de acuerdo ni en desacuerdo), 4 (De acuerdo) y 5 (Total acuerdo).

Resultados y discusión

A partir del análisis de las fuentes bibliográficas elegidas se identificaron siete herramientas, que se muestran en la tabla 1 y que establecen requisitos para la selección, el diseño y la evaluación de indicadores:

Tabla 1 Herramientas para la selección, diseño y evaluación de indicadores. 

De los 67 requisitos propuestos en estas herramientas se eliminaron seis, los cuatro de la etapa valoración global establecidos por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL, 2021) y dos del ILPES (2003), por estar enfocados en el uso de los indicadores y no en su calidad. A partir del análisis comparativo de los 59 requisitos seleccionados, se observó que 18 de ellos estaban presentes en varias herramientas, como se muestra en la tabla 2, aunque su denominación no es siempre la misma.

Tabla 2 Requisitos de calidad de los indicadores propuestos por las herramientas analizadas 

Los requisitos “Confiabilidad”, “Economía”, “Funcionalidad”, “Interpretabilidad”, “Pertinencia” y “Relevancia” están incluidos en cinco o más herramientas, lo que implica que tienen mayor relevancia para la evaluación de indicadores. Por su parte, los requisitos “Accesibilidad”, “Aplicabilidad”, “Coherencia” y “Factibilidad técnica” solo están descritos en una herramienta, aunque en el análisis realizado pudo determinarse que los contenidos de estos requisitos se encuentran diluidos en los contenidos del resto de requisitos con la excepción del requisito “Accesibilidad” que constituye una novedad introducida por el CONEVAL (2021).

El requisito “Confiabilidad” requiere que las fuentes de información elegidas sean fiables y que esta información posea atributos de calidad estadística. Además, exige que los datos a medir sean suficientes, demostrables y auditables de forma tal que los resultados sean siempre los mismos (ILPES, 2003; ISOTools Excellence, 2023; Ministerio de Planificación Nacional y MIDEPLAN, 2018).

Por su parte, el requisito “Economía” requiere que el costo asociado a la obtención de información para elaborar el indicador sea razonable (Departamento Administrativo Nacional de Estadística [DANE], 2012). En otras palabras “un indicador es económico si el beneficio de generar la información es mayor con respecto al costo económico o humano necesario para calcularlo” (CONEVAL, 2021, p. 16).

El requisito “Funcionalidad” permite comprobar que el indicador sea “medible, operable y sensible a los cambios registrados en la situación inicial” (DAFP, 2018, p. 55). Lo anterior se relaciona con la capacidad del indicador para ser monitorizado y se basa en que la información de las fuentes de verificación debe ser precisa y sin ambigüedades (CONEVAL, 2021).

La “Interpretabilidad” se relaciona con la facilidad del indicador para ser comprendido. En este sentido, el MIDEPLAN (2018, ) plantea que el indicador “debe ser tan directo e inequívoco como sea posible” (p. 14). Por su parte, el requisito “Pertinencia” demanda que el indicador se refiera a los procesos, productos y servicios básicos de la organización (DAFP, 2018; ILPES, 2003; UNE, 2003). Por último, el requisito “Relevancia” requiere que el indicador se enfoque en los aspectos de mayor importancia relacionados con su objetivo, o sea, “debe estar definido sobre algún aspecto importante con sentido práctico” (CONEVAL, 2021, p. 12).

A partir del estudio de los requisitos identificados, en particular de aquellos que con mayor frecuencia se utilizan en las herramientas analizadas, se establecieron seis criterios para la evaluación de indicadores:

El instrumento estuvo constituido por dos secciones. En la primera sección se colocó la información relacionada con el objetivo del instrumento, los seis criterios a valorar, la escala utilizada y su modo de empleo, consistente en asignar un grado de acuerdo para cada indicador evaluado. La segunda sección consistió en una tabla cuyas columnas representan los seis criterios de evaluación y las filas los indicadores a ser evaluados, además de una fila para que el evaluador anotara sus sugerencias, observaciones, propuestas de mejora, así como cualquier información considerada relevante.

En la validación del instrumento se calculó el estadístico de fiabilidad Alfa de Cronbach para la escala de medición de cada uno de los criterios con el software estadístico SPSS versión 21. Los resultados obtenidos para este estadístico superaron el valor de 0,7 en todos los casos lo que evidencia la fiabilidad de la escala utilizada para medir cada uno de los criterios.

Por otra parte, los datos generados por la prueba de Kendall, el análisis de dos vías de Friedman y el coeficiente ANOCHI, que se muestran en la tabla 3, evidenciaron que la concordancia entre expertos con respecto al valor otorgado a cada uno de los criterios de evaluación de los indicadores es buena.

Tabla 3 Resultados de las pruebas estadísticas para la estimación de la concordancia entre expertos 

Tras una primera ronda de consultas a los expertos, en la que se obtuvo un consenso del 52,5 %, se procedió a analizar los datos aportados por estos. Como resultado se determinaron seis tareas a realizar para optimizar los indicadores diseñados y mejorar su eficacia. Estas fueron:

En la próxima ronda de consultas a los expertos, se les proporcionó el instrumento junto con los indicadores que fueron revisados y actualizados. En esta ocasión se obtuvo un consenso superior al 70 % y ninguna sugerencia, observación o propuesta de mejora. De esta forma se obtuvo evidencia suficiente de la adecuada calidad de los indicadores diseñados para la autoevaluación de programas de maestría en la modalidad virtual.

En el estudio se determinaron los seis criterios de calidad que más se ajustan a la evaluación de indicadores de gestión en particular a la autoevaluación de programas virtuales de maestría. Estos criterios están establecidos en más del 71 % de las fuentes bibliográficas analizadas y proporcionan información tanto cualitativa como cuantitativa que resulta valiosa para la elección o elaboración de indicadores que permitan conocer, de manera integral, el estado de la gestión de los programas de maestría que se imparten en la modalidad virtual.

La evaluación de los seis criterios establecidos contribuye a que los indicadores diseñados sean específicos, medibles, alcanzables, realistas y de duración limitada. También favorece la robustez y equilibrio de estos indicadores puesto que permite la determinación de los posibles sesgos. Lo anterior permite que los indicadores exhiban un elevado desempeño en la adquisición de datos significativos con el propósito de respaldar la toma de decisiones (^{Boada & Alzate, 2020}).

Si bien las pruebas estadísticas realizadas para comprobar la concordancia entre expertos aportaron evidencias suficientes para asegurar la validez de contenido del instrumento implementado, se pudo comprobar que en el caso del criterio “Adecuación de la escala valorativa”, el resultado de estas pruebas es inferior con respecto al resultado obtenido por los otros criterios. Por este motivo, se recomienda una mayor precisión en la descripción del criterio analizado con el objetivo de robustecer y mejorar el desempeño del instrumento.

Conclusiones

La autoevaluación es una forma de verificar si se están cumpliendo los objetivos y las actividades necesarias para garantizar la calidad de los programas de maestría en la modalidad virtual. A partir del análisis del estado del arte con respecto a la evaluación de indicadores se identificaron los seis requisitos de calidad más relevantes para el diseño, selección y evaluación de indicadores de gestión y desempeño. El análisis de los requisitos identificados y su contextualización al entorno en que se imparten los programas virtuales de maestría permitió establecer seis criterios para la evaluación de los indicadores.

Los resultados de las técnicas estadísticas aplicadas a los datos obtenidos en la prueba piloto del instrumento diseñado evidenciaron la validez de este para evaluar los indicadores utilizados en la autoevaluación de programas de maestría en la modalidad virtual.

El instrumento implementado es eficaz para la evaluación de indicadores de autoevaluación de programas virtuales de maestría y puede generalizarse su uso a otras formas de posgrado académico como especialidades y doctorados en cualquier modalidad de estudios.