Introducción

Entre las funciones sustantivas que desarrolla la Educación Superior en Cuba, la formación de posgrado es una de las funciones fundamentales a través de la cual se articulan como un sistema la formación, investigación y la extensión tributando al desarrollo territorial. Esta, “como nivel más alto del sistema de educación, garantiza la superación permanente de los graduados universitarios” (Resolución, No 140 de 2019, p.2) y responde a las demandas de capacitación de los profesionales de las entidades laborales, estableciendo de esta forma alianzas que tributan a fortalecer la relación universidad-empresa (^{Concepción Toledo et al., 2020}).

A su vez, contribuyendo al cumplimiento de los objetivos de desarrollo sostenible (ODS), la formación de posgrado tiene entre sus prioridades garantizar una educación inclusiva, equitativa y de calidad, así como, promover oportunidades de aprendizaje durante toda la vida. Para esto entre sus principios destaca la participación de los estudiantes en el desarrollo social a través de procesos de investigación con un carácter multi, inter y transdisciplinar, que den respuesta a problemáticas de carácter regional, nacional e internacional, desde la generación, adaptación y aplicación de conocimientos.

Para lograr resultados eficientes y el impacto esperado en la sociedad, el posgrado debe dotar a los egresados de conocimientos, habilidades y valores que les permitan contribuir a la transformación de las diferentes esferas de la economía, la producción y los servicios en correspondencia con las demandas de la sociedad (^{Morales, 2017}; ^{Ortega et al., 2017}). Lo anterior implica la planificación, organización, ejecución y control de la docencia, la investigación y la extensión por parte, tanto del profesor en ejercicio como de los directivos de las Instituciones de Educación Superior, lo que deriva en un proceso de calidad.

En el presente artículo se enfatiza en el control del proceso, orientado hacia la evaluación del impacto que se deriva del seguimiento al desempeño de los egresados del posgrado, con el propósito de elevar la calidad del proceso formativo.

En la revisión de referentes teóricos se reconoce la calidad, como “el grado en el que un conjunto de características inherentes (en este caso al proceso formativo) cumple con las necesidades o expectativas establecidas por todas las partes interesadas en el desempeño del proceso” (^{Ramos Azcuy et al., 2016}, p. 116), además es entendida como la conjunción de la excelencia académica y la pertinencia social manifiesta en sus aportes concretos y dada por los fines del proyecto sociocultural y económico ( Junta de Acreditación Nacional, 2019a; Junta de Acreditación Nacional, 2019b). Siguiendo esta misma línea, (^{Hernández et al., 2017}, p.132) hacen referencia a la calidad de los servicios de posgrado “como la capacidad para dar respuesta a las necesidades sociales de referencia, de acuerdo con el nivel de desarrollo de los conocimientos científicos y técnicos aplicables a la utilización de los recursos humanos, financieros, materiales y técnicos”. Así también, ^{Pino-Sera et al., (2021}) coinciden en que la búsqueda de la calidad de la educación, entre otras aristas, debe estar orientada al incremento de la pertinencia e impacto al dar solución a problemáticas de alta demanda social.

El análisis de estos planteamientos permite establecer criterios de referencia al diseñar propuestas de evaluación del impacto del posgrado, reconociendo aspectos como la satisfacción de los egresados y empleadores con el proceso de formación, el incremento del desempeño profesional en el puesto de trabajo y la relación con el aporte al desarrollo desde la solución de problemáticas contextuales. Esto conduce a su vez a la necesidad de evaluar el impacto del posgrado tomando en cuenta los criterios de calidad expuestos, lo cual permitirá a futuro, diseñar estrategias y planes de mejoras de los programas de posgrado.

En este sentido se parte de reconocer que la evaluación conduce a la mejora de la eficacia de los procesos, a lo que plantean ^{Martínez Navarro y Jaya Escobar (2019}), que la “evaluación y regulación de la calidad están de tal modo relacionadas en sus propósitos y procedimientos, que no es posible considerarlas separadamente” (p. 9). Dada la estrecha relación que se establece entre calidad educativa y evaluación de la calidad es imposible concebirlas de manera independiente, correspondiendo “a la evaluación demostrar la existencia de calidad, evidenciarla e incluso certificarla socialmente” (^{Borges Oquendo y Añorga Morales, 2015}, p. 370).

Asimismo, la evaluación, como instrumento de retroalimentación, propicia la toma de decisiones efectivas, para incidir en el perfeccionamiento de los programas, de la instrucción y sobre la calidad del sistema (^{Fernández Medina, 2021}). Esta, permite además, describir, explicar, valorar los objetivos, los procesos, los resultados y el impacto de la labor de los centros universitarios en función de la calidad (^{Pino Sera et al., 2019}). Es por tanto la evaluación, un proceso de regulación que debe regir todo el proceso, desde el diagnóstico inicial marcando un estado de partida, siendo en el caso del posgrado y de la investigación el momento en que se define el tema a desarrollar identificando su repercusión en el contexto, hasta el continuo seguimiento al egresado en la implementación de los resultados de su formación y evidenciando su impacto, tanto desde el puesto laboral como en su desarrollo personal.

En el caso que se aborda, “el impacto puede considerarse como un cambio en el resultado del proceso y por tanto en cada una de las etapas que lo integran, y que induce transformaciones significativas y permanentes en la vida de las personas, las instituciones y la sociedad” (^{Lara Díaz et al., 2018}, p. 103). Así también, debe concebirse como “el beneficio, logrado, verificable y medible, expresado en indicadores objetivos, con la percepción de cambios favorables, sostenibles y relevantes en la economía y la sociedad, obtenidos por la aplicación de los resultados científicos” (^{Figueroa, 2017}, p. 19). Por lo que para este trabajo y coincidiendo con los autores citados, el impacto puede definirse como una cualidad que evidencia la pertinencia del desempeño de los egresados en sus contextos de actuación profesional a través de la aplicación de acciones concretas.

Para la evaluación del impacto del posgrado se reconocen modelos validados internacionalmente. Entre estos destacan: los modelos de ^{Wade (1999}), el de ^{Pineda (2000}) y ^{Kirkpatrick y Kirkpatrick (2009}), así también el modelo desarrollado por El Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) (^{Billorou, et al., 2011}). En estos modelos se identifican elementos en común relacionados con los resultados que genera la formación de posgrado desde la actividad de los egresados como son:

Respuesta/reacción ante la formación, lo que se identifica con niveles de satisfacción por la el proceso de enseñanza-aprendizaje.

Conducta/acción de los egresados en el puesto de trabajo, lo que se relaciona con la transferencia de los aprendizajes realizados al propio puesto.

Resultados efectos que la formación genera en las diferentes áreas de la organización

Impacto de la formación de los egresados en los objetivos de la organización.

En el contexto educativo cubano se evidencian modelos y metodologías para la evaluación del impacto del posgrado, entre estos se destacan la metodología propuesta por ^{Carrera Morales et al., (2022}). En su investigación identifican tres variables estudiantes, egresados y claustro, declarando para la variable egresados dos dimensiones, desempeño profesional y producción intelectual. Para la dimensión desempeño profesional establecen los indicadores continuidad en la formación, funciones técnicas y de dirección de procesos, soluciones a problemas de la producción y los servicios. En la dimensión producción intelectual consideran como indicadores publicaciones de impacto, participación en eventos científicos, protagonismo en el vínculo universidad - empresa, tutoría y otros.

Por otro lado, en su investigación ^{Bermúdez Morris y Pérez Martín (2022}), proponen como definición operacional de la variable impacto social de la maestría el efecto del programa, de la gestión del Comité Académico y de la información y los recursos disponibles; en el desarrollo local, en el crecimiento y desempeño profesional de los participantes y en el propio programa. Para esta definen cuatro dimensiones:

Crecimiento profesional: cambios en la autorregulación del comportamiento en correspondencia con las exigencias de la profesión

Desempeño profesional: participación como miembro o dirigente en las actividades docentes, metodológicas, de investigación, intervención social y superación, mediadas por las TIC

Efecto en el desarrollo local y del programa: solución de problemas del entorno laboral, social y del programa de la maestría, a partir de la aplicación de alternativas científicas, con integración de las TIC

Gestión de la información y de los recursos disponibles: acceso a la información requerida y calidad de los recursos, servicios e instalaciones para la docencia y la investigación

Asimismo, ^{Del Huerto Marimón y Darias Domínguez (2019}), hacen énfasis en la influencia del programa en los estudiantes, egresados y claustro en cuanto a su desempeño profesional y la influencia del programa en las entidades empleadoras en cuanto al mejoramiento de los procesos de producción o la prestación de servicios y los resultados sociales alcanzados. En su investigación plantean la definición de tres categorías que van de lo general a lo particular: Impacto en la sociedad (empleadores y directivos), Impacto en la institución (directivos, profesores y tutores) e Impacto en la persona (egresados y residentes).

Del análisis de las investigaciones abordadas se identifica como aspecto significativo el seguimiento a los egresados, siendo este uno de los aspectos a medir en la evaluación del impacto del posgrado, a lo cual hace referencia (Rodríguez y Tardo, 2018) planteando la evaluación y control al impacto de los egresados como una de las dimensiones que abarca el control de la calidad de la gestión académica.

… es la de evaluación y control del impacto de los graduados la que tiene como objetivo específico la valoración del nivel de desarrollo alcanzado en los egresados, su transferencia y el mejoramiento personal al contribuir a desarrollar cambios en la solución de situaciones o problemas detectados en sus contextos y áreas de desempeño. Esto permitirá controlar el impacto de los egresados en su desempeño profesional, al demostrarse en este su capacidad de autoformación al transformarse y transformar el contexto en el que incide. (^{Rodríguez Saif y Tardo Fernández, 2018}, p.136)

Desde el Centro de Estudios de la Educación Superior Agropecuaria (CEESA), adscripto a la Universidad Agraria de la Habana “Fructuoso Rodríguez Pérez” (UNAH), se desarrolla la coordinación de programas académicos, entre ellos un doctorado y dos maestrías, una de ellas acreditada como programa de excelencia por la Junta de Acreditación Nacional (JAN). Así también, el CEESA por su misión en la investigación científica de pre y posgrado en la UNAH, sus resultados tributan al centro y otras organizaciones que desarrollan programas académicos.

Como parte del perfeccionamiento a la calidad de estos programas, se realizan acciones de manera sistemática orientadas a la elaboración de una metodología propia para la evaluación del impacto. De esta forma, se pretende desde el CEESA, tributar a la gestión de la calidad de los programas de la institución universitaria, proporcionándoles un instrumento desarrollado en conjunto, que les permitan evaluar el impacto. Así mismo, la presente investigación contribuirá al enriquecimiento de la visión, a veces limitada, de estudios en los que se aborda la evaluación del impacto del posgrado solamente desde posiciones teóricas, sin alcanzar la propuesta y validación de instrumentos integradores con énfasis en el seguimiento a egresados, así como que brinden elementos para su construcción, aplicación y evaluación.

El trabajo se realizó con el objetivo de proponer un instrumento para la evaluación del impacto de programas de posgrado a partir de la dimensión egresados desde el Centro de Estudios de la Educación Superior Agropecuaria (CEESA), estableciendo los niveles de correspondencia entre esta y otras percepciones.

Metodología

Con una concepción dialéctico - materialista, se aplicaron métodos teóricos, empíricos y estadísticos. De los métodos del nivel teóricos se utilizaron el análisis-síntesis e inducción-deducción y el histórico-lógico, que permitieron el análisis crítico y la toma de posiciones teóricas para establecer las variables e indicadores, etapas y regularidades para el diseño y del instrumento para la evaluación de impacto. De los métodos empíricos la encuesta fue el instrumento diseñado y aplicado experimentalmente para su validación en la evaluación del impacto.

Para su validación se emplearon procedimientos metodológicos y estadísticos. Se empleo la consulta a expertos para alcanzar su valides de contenido además de los criterios de los propios encuestados (^{Herrera Masó et al., 2022}; ^{Rodríguez Medina et al., 2021}). De los métodos estadísticos se utilizaron el coeficiente Alfa de Cronbach y el análisis factorial para determinar la consistencia interna y la validez de constructo (^{Taber, 2018}). También se empleó la prueba de unidimensionalidad del constructo a través del análisis del gráfico de sedimentación (^{Barragán, 2018}; ^{Lara Díaz et al., 2019}).

La metodología a seguir para la propuesta del instrumento se desarrolló en cinco etapas, lo que permitió comprobar su validez de constructo y consistencia interna para su confiabilidad (^{Martín, 2004}; ^{Soriano Rodríguez, 2014}; ^{Villavicencia-Caparó et al., 2016}):

Etapas del proceso:

Análisis de referentes teóricos, metodologías y modelos de evaluación de impacto de programas académicos validados en el ámbito internacional y nacional.

Diseño y operacionalización de las variables e indicadores a medir para la evaluación del impacto.

Valoración de expertos y especialistas de prestigio para determinar la validez del contenido.

Prueba piloto para medir la validez y confiabilidad del instrumento.

Análisis estadístico de los resultados.

En la prueba piloto del cuestionario participaron 47 egresados de cuatro programas académicos, siendo la distribución como se muestra en la tabla 1. Para la selección de los programas se tuvo en cuenta que fueran diferentes en cuanto a las áreas a las que pertenecen de la institución universitaria, en su objeto de estudio y en la composición del claustro. Para su aplicación se utilizó el software de administración de encuestas Google Form el cual permitió su distribución vía online, así como la recuperación de la información para su posterior procesamiento y análisis con los softwares estadísticos SPSS 22 y Excel.

Tabla 1 Distribución de participantes por programa en prueba piloto. 

Resultados

Para el diseño del instrumento propuesto, se partió del análisis de referentes teóricos y antecedes investigativos descritos anteriormente, con propuestas metodológicas y modelos de evaluación del impacto desde los egresados. Así también para la identificación y selección de las dimensiones y variables se tuvieron en cuenta indicadores y criterios de evaluación planteados en los Subsistemas de Evaluación y Acreditación (SEA) de actividades de posgrado, maestrías y programas de doctorado emitidos por el Ministerio de Educación Superior de la República de Cuba.

A partir del resultado de estos análisis se identifica la dimensión impacto de los egresados, y se proponen cuatro variables para su estudio: evaluación del impacto, resultados de la formación, valoración de la satisfacción por el programa y sus resultados y reconocimiento a los egresados.

Luego de un primer diseño de las variables e indicadores del instrumento, se realizó la consulta a nueve expertos y especialistas. Para su selección se tuvo en cuenta que tuvieran el grado científico de doctor en ciencias y categoría docente de titular, que contaran con experiencia en la evaluación de programas académicos y gestión de calidad, además de desarrollar su actividad docente e investigativa en diferentes programas y áreas del propio CEESA, de la UNAH y en otras instituciones académicas nacionales e internacionales. Para este procedimiento se distribuyó el cuestionario a través del correo electrónico, vía por la cual se obtuvo la retroalimentación de las valoraciones, propuestas de modificación, adición, eliminación y sustitución de indicadores para las variables, llegando a consenso entre los expertos. Esta consulta arrojó como resultado la propuesta de indicadores por variables conformados por 51 ítems, con vistas a caracterizar el impacto de programas de posgrado a partir de la dimensión egresados, como que se presentan en las siguientes tablas:

Tabla 2 Indicadores para la variable “Evaluación del impacto” 

Tabla 3 Indicadores para la variable “Resultados de la formación” 

Tabla 4 Indicadores para la variable “Valoración de la satisfacción por el programa y sus resultados” 

Tabla 5 Indicadores para la variable “Reconocimiento de los egresados” 

Análisis de validez del instrumento

Luego de su valoración por los expertos, se procedió al montaje del cuestionario en Google Forms, lo que permitió su distribución para realizar la prueba piloto. Con la información obtenida se conformó una base de datos para su procesamiento en los softwares estadísticos SPSS 22 y Excel y desarrollar procedimientos de estudios de validación del instrumento.

La primera prueba realizada fue la de unidimensionalidad del constructo, siendo este un requisito indispensable para generar buenas medidas, permitiendo evidenciar homogeneidad escalar y de criterio, lo cual implica que los ítems que conforman el instrumento contribuyen a ello de manera conjunta (^{Barragán, 2018}; ^{Espinoza et al., 2020}). Para esto se llevó a cabo el procedimiento de análisis factorial realizando el análisis de la varianza total explicada y del gráfico de sedimentación que se muestra a continuación (Figura 1).

Fig. 1: Gráfico de sedimentación 

El resultado del Scree plot muestra una unidimensionalidad en el instrumento, apreciando que el codo a partir del punto 4, asciende un punto al 24.5 aproximadamente. Al comprobar la tabla de la varianza total explicada puede apreciarse que solamente el porcentaje de varianza del primer componente es mayor a 24 y solamente el segundo componente es mayor a 4.

Tabla 6 Varianza total explicada. Análisis de componentes principales 

Fuente: Elaboración propia

Luego de contar con la evidencia de unidimensionalidad, se procedió al análisis de consistencia interna del instrumento, para obtener el resultado de la interrelación entre las preguntas que lo integran. Este procedimiento muestra el grado de correlación entre los ítems del instrumento y la posibilidad de medir consistentemente una muestra. Para esto se realizó la prueba Alfa de Cronbach (^{Agreda Montoro et al., 2016}; ^{Taber, 2018}), de la cual se obtuvo como resultado global un valor de α.970, lo cual demuestra una elevada correlación entre sus ítems.

Tabla 7 Prueba Alfa de Cronbach 

Fuente: Elaboración propia

Asimismo, se procedió a realizar el análisis para cada una de las variables del cuestionario, obteniendo como resultado elevados valores de fiabilidad de Alfa de Cronbach, evidenciando la correlación interna de los indicadores por variables, lo que se muestran en la siguiente tabla.

Tabla 8 Valores de Alfa de Cronbach para las variables 

Fuente: Elaboración propia

Como parte del análisis de validación del cuestionario se realizó la comparación de medias a través del análisis de la varianza de un factor utilizando el procedimiento ANOVA. Mediante este procedimiento se pudo verificar el comportamiento de las variables tomando como factor de agrupación los cuatro programas académicos. Esta prueba mostró como resultado valores significativos en su relación como se aprecia en el siguiente gráfico donde la concentración de valores se muestra por debajo 0,5.

Fig 2: Valores Sig extraídos de la tabla de ANOVA  

Así también se realizaron pruebas utilizando el procedimiento de correlaciones bivariadas de Pearson con una prueba de significación bilateral, obteniendo valores significativos en la relación entre las variables. En el siguiente gráfico se aprecia que la mayor concentración de valores es significativa en los niveles 0.01 y 0.05.

Fig. 3: Valores Sig (bilateral) extraídos de la tabla de correlaciones 

Análisis de los resultados

La aplicación del instrumento, permitió recolectar datos referentes a los resultados obtenidos para cada programa incluido en el estudio. Para esto se procedió a realizar el cálculo de los promedios totales para cada variable, y el promedio total del programa. En la Tabla 9 que sigue a continuación se presentan los resultados.

Tabla 9 Resultados promedio para cada variable por programa 

Fuente: Elaboración propia

Aunque cada nivel de la evaluación de los programas muestra peculiaridades específicas en sus resultados, como tendencia puede afirmarse que de las variables estudiadas se observa que en todos los casos es la variable “Valoración de la satisfacción por el programa y sus resultados” la de mayores resultados con 4,5, identificados los resultados más elevados en los ítems 3.7, 3.8, 3.11 y 3.12 con valores entre 4,7 y 4,8, los cuales hacen referencia a la satisfacción por la calidad, preparación, apoyo, exigencias y atención del claustro hacia el proceso de formación.

Así también, se muestra con altos valores la variable “Evaluación del impacto” con un promedio total de 4,1. En esta se destacan los ítems 1.1, 1.3, 1.6, 1.7, 1.8 y 1.9, con valores entre 4,3 y 4,6, los cuales proponen valorar los procesos de retroalimentación y seguimiento del programa hacia los egresados, la estimulación a la producción científica y su información a través de eventos y publicaciones y la identificación de los efectos de la formación en los contextos de actuación profesional.

De igual forma la variable “Resultados de la formación” muestra un resultado total de 4,1. En esta se destacan los ítems 2.5, 2.8, 2.9, 2.11, 2.14, 2.15, 2.16 y 2.17, con valores entre 4,3 y 4,6 en los cuales se expresa la valoración de la eficiencia y calidad de los procesos como resultado de la formación de los egresados desde la actividad profesional que desempeñan, así como la incidencia de estos en el desarrollo del contexto.

La variable “Reconocimientos a los egresados” con un valor total de 3,9 expresa en sus indicadores como los programas inciden en el desarrollo de los egresados, lo cuales les ha permitido alcanzar categorías docentes superiores, formar parte de proyectos de desarrollo local, participar como parte del claustro de programas académicos, desarrollar actividades docentes y científicas en el extranjero, alcanzar premios y reconocimientos que avalen su actividad científica. Estas categorías se evidencian en los ítems 4.1, 4.6, 4.7 y 4.8 con valores entre 4,3 y 4,7.

Por otro lado, los resultados generales de los programas evidencian valores entre 3,6 y 4,7 con un comportamiento que permite establecer diferencias entre ellos para su estudio, aunque con una tendencia estable en los resultados de las variables como se muestra en el siguiente gráfico.

Fig. 4: Resultados generales de los programas académicos 

Así también el cuestionario permite recoger criterios a través de tres preguntas abiertas al cierre del mismo:

Identifique las principales limitaciones que ha tenido que enfrentar para cumplir con las demandas profesionales de su puesto de trabajo

En general, ¿cómo considera que ha impactado la preparación recibida del programa en su desarrollo profesional y personal?

¿Qué acciones recomienda para mejorar la eficiencia y eficacia del programa cursado?

De las respuestas se obtuvieron criterios diversos desde los diferentes programas, las cuales permiten lograr una visión holística de la valoración global del instrumento en concordancia con los demás valores expresados.

Conclusiones

La revisión de la literatura científica desde un análisis crítico y reflexivo, evidencia que la evaluación del impacto del posgrado desde la dimensión egresados permite obtener una retroalimentación significativa para la mejora de los programas académicos. Así también, condujo a la identificación, conceptualización y operacionalización de las variables para la elaboración del cuestionario. Desde estas, se abordan aspectos orientados al reconocimiento y valoración de los programas académicos en el mejoramiento del desempeño profesional, el crecimiento en valores, reconocimiento a logros alcanzados y participación en la solución de problemáticas del contexto de actuación.

Se pudo demostrar la validez del cuestionario propuesto a través de los procedimientos estadísticos realizados. Los resultados arrojaron que el instrumento de medida es fiable confirmado en los valores obtenidos en las pruebas del coeficiente Alfa de Cronbach superior a 0.70, obteniendo un valor de α.959. Se pudo comprobar la unidimensionalidad del instrumento lo que permitió evidenciar homogeneidad escalar y de criterio. Asimismo, se obtuvieron valores significativos de correlación de Pearson entre las variables y a través del análisis factorial desde el procedimiento ANOVA.

La aplicación de la prueba piloto del instrumento permitió obtener resultados significativos para el análisis del impacto de los programas desde los egresados. Así como indicaron su satisfacción y valoración por los resultados de la formación, los programas y sus resultados, el impacto y su reconocimiento con un valor general de 4,2, también expresaron sus criterios y recomendaciones a los programas para el perfeccionamiento de los mismos.

Lo antes expresado deja clara la necesidad de perfeccionar la evaluación y control del impacto de los graduados en la solución de situaciones o problemas detectados en sus contextos y áreas de desempeño para alcanzar, como expresan algunos autores, un nivel de control del impacto de los egresados en su desempeño profesional que los sitúe como modelo, como referente ante los ojos de estos y generar una influencia que contribuya a su desarrollo.