Introducción

Desde el punto de vista práctico la calidad de las universidades se mide a nivel internacional de acuerdo a parámetros de investigación, como la producción científica y de forma correlacional, el porcentaje de docentes con formación posgradual en grado de doctorado. Si se quiere reformar la universidad para lograr una educación de calidad, los esfuerzos deberían orientarse a la investigación y al postgrado. Ello implica crear las condiciones necesarias para que en un mediano plazo haya logros significativos (García et al, 2019).

Con el surgimiento de las sociedades aparece la evaluación, cuya evolución desde los planos conceptuales y metodológicos en el área científica, según García et al. (2021), ha estado permeada por las diferentes corrientes de pensamiento que han aparecido en la humanidad para indagar en distintos fenómenos o el universo mismo que los rodea en los diferentes ámbitos, ya sean social, económico, físico, medioambiental, entre otras.

Uno de los recursos con que cuentan las diversas áreas autorizadas por el Ministerio de Educación Superior de la República de Cuba para la formación de sus doctorandos, es, sin lugar a dudas, la evaluación de impacto de dicho proceso. En la actualidad ha ganado en notabilidad, devenida en herramienta eficaz en término de conocer los resultados, efectos e impactos que son generados por esos procesos formativos; a la vez de constituir una garantía medular a la hora de la toma de decisiones en estrategias encaminadas a la pertinencia, equidad y perspectiva de la calidad de los futuros Doctores en Ciencias de este país, de manera que se ponga a la ciencia en función de la resolución de los problemas para el logro de una sociedad más justa y próspera de sus ciudadanos, ya sean de índoles: sociales, económicos, científicos, tecnológicos o medioambientales.

Sin embargo, a juicios de los autores de este trabajo, existen múltiples miradas entorno al análisis de la evaluación de impacto de los procesos de formación doctoral desde la mirada teórica, se evidencian incongruencias en los posicionamientos teóricos en entender qué se concibe como evaluar el impacto y cómo realizarla, particularmente en la determinación de los indicadores a tener en cuenta a la hora de evaluar el impacto en el mencionado proceso.

Una evaluación creíble y adecuada del impacto de la formación doctoral puede mejorar considerablemente la eficacia del desarrollo del proceso en sí mismo, por lo que puede devenir en acciones generalizables sobre la base de los resultados científicos concretos obtenidos a tenerse en cuenta, para lograr este propósito, que la comunicación constituye un sistema abierto que garantiza la distribución y redistribución de las funciones de los participantes, el intercambio de los roles para la solución de problemas, la aspiración a comprender la posición del otro, el tener puntos de vista diferentes que enriquezcan el diálogo y el debate. Asumir estas posiciones favorecerá, sin duda, la conexión entre los implicados y la proyección coherente en todos los escenarios (^{Alarcón et al, 2019}).

La universidad, por tanto, debe orientar la formación del capital humano en concordancia con las necesidades contextuales, reorientar sus líneas de investigación para producir conocimientos útiles a la región y apoyar la formación doctoral. Desde los criterios de Lazo et al. (2020), se deben adquirir las competencias que les permitan colaborar con otras universidades en proyectos de investigación y desarrollo del conocimiento.

Por su parte Díaz y Marrero (2021), consideran dentro de las modalidades evaluativas, a la evaluación del impacto como la más abarcadora, ya que recoge en sus pasos y momentos de evaluación a las otras modalidades: la diagnóstica, la formativa, la sumativa, la de transferencia y el impacto final. Lo que demuestra la interdependencia entre estas modalidades y la lógica que sigue la evaluación del impacto al transcurrir por los diferentes momentos de evaluación, donde cada resultado estará en estrecha relación con los anteriores.

La fuerza cada vez mayor que se le imprime a la evaluación de impacto de los procesos ha generado múltiples preguntas, que, dentro de las más aplicables a los resultados de la formación doctoral, se identifican las siguientes: ¿Qué se entiende por evaluación de impacto de la formación? ¿Por qué se deben realizar evaluaciones de impacto de los procesos de formación doctoral? ¿Cuál es el basamento y dirección de la evaluación de impacto? ¿Cuáles son los enfoques que se utilizan en la evaluación de impacto? ¿Cómo se construye el sistema de evaluación de impactos? Y, a estas, se le añade la que particulariza los resultados del Centro de Estudios para el Perfeccionamiento de la Educación Superior (CEPES) en esta línea: ¿Cuáles son los resultados concretos obtenidos como consecuencias del proceso de formación doctoral en el CEPES? Estas preguntas constituyen los móviles que motivaron la realización de este trabajo, cuyas respuestas constituyen la guía lógico - metodológica a desarrollar.

Lo expuesto en este artículo es el resultado de una investigación que mezcla elementos de lo propositivo, en tanto se fundamenta en una necesidad, desde la mirada teórica referida a la evaluación de impacto en la formación doctoral, llegando a realizar una propuesta de indicadores para superar la situación actual. También de lo descriptivo, toda vez que detalla la situación de la formación doctoral a partir de la exposición de las experiencias del CEPES.

Metodología

La investigación se apoya fundamentalmente en métodos teóricos, empíricos, con enfoque cuali - cuantitativo, de tipo descriptivo - explicativo y la propia experiencia de los autores en el proceso de formación doctoral, lo cual ha sido muy útil en el análisis, las inferencias y las propuestas realizadas. La selección y procesamiento de datos se realizó a partir de las bases de datos de la institución, donde se registra la información completa del proceso.

Resultados y discusión

Reflexiones teóricas entorno a la evaluación del impacto

Al unísono con el surgimiento de las sociedades aparece la evaluación, cuya evolución desde los planos conceptuales y metodológicos en el área científica, ha estado permeada por las diferentes corrientes de pensamiento que han aparecido en la humanidad para indagar en distintos fenómenos o el universo mismo que los rodea en los diferentes ámbitos (social, económico, físico, medioambiental, etc.). Lo constata la existencia de los diversos modelos: objetivistas, subjetivistas y críticos. (^{Martínez y Borot, 2015}).

Cada uno de estos modelos con diferentes interpretaciones, que, si bien no riñen entre ellos, sesgaron la concepción de evaluación hacia sus intereses particulares. Hoy día se interconectan las posiciones de estos modelos en una mirada holística del proceso, proporcionando a la evaluación una mirada integral, que incluya lo informativo con una mirada sistémica y sistemática, con el fin de la emisión de juicios de valor, para influir en la calidad de los procesos y posibilitar la toma de decisiones más acertadas.

Al seguir la lógica de las respuestas a las preguntas realizadas en la Introducción, corresponde la contestación a, ¿qué se entiende por evaluación de impacto de la formación?

Antes de ofrecer una definición que dé respuesta a esta pregunta, se considera importante entender lo que significa impacto. Para este trabajo se asume la definición de Sophie Robin, entendida como: “El impacto se entiende como el cambio -positivo o negativo- que resulta de la puesta en marcha de un conjunto de servicios o actividades en un determinado contexto social y ambiental. Generalmente, se mide en el largo plazo” (Robin, 2012. p.5).

Al tratar la evaluación del impacto de un proceso formativo inserto en un proceso docente educativo, como lo constituye la formación doctoral, en este caso de posgrado, es considerado como un proceso integral, dado que aglutina resultados referidos al trabajo pedagógico desplegado en la mencionada formación, el aprendizaje alcanzado en término de habilidades investigativas alcanzadas por los doctorandos, así como la evaluación como proceso que se va sucediendo en los diferentes momentos, en lo interno del proceso y en el “a posteriori”.

De tal modo, ^{Varona (2021}), plantea que ciertamente en la formación es determinante la voluntad de quien se está formando, no menos cierto es que es determinante también el hecho de construir en los seres humanos, física y espiritualmente, de hacer de ellos algo nuevo, más que de moldear sus cualidades, que es lo esencial de la educación, aunque con esta también se llega a una calidad nueva. La diferencia entre ambas está en la intensidad de moldear y construir.

Al definir este tipo de evaluación, la Agencia de los Estados Unidos para el Desarrollo Internacional (conocida por sus siglas en inglés USAID), utiliza la siguiente definición:

Las evaluaciones de impacto miden el cambio en un resultado de desarrollo que se puede atribuir a una intervención definida; las evaluaciones de impacto se basan en modelos de causa y efecto y requieren un contrafactual creíble y definido rigurosamente para controlar factores distintos a la intervención que podrían explicar el cambio observado (^{Rogers, 2012}, p. 2)

Como se evidencia en la definición anterior, existen autores que analizan este proceso con una mirada reduccionista, en términos de sólo incluir un contrafactual de alguna denominación, es decir, realizando el cálculo de lo que habría ocurrido si la intervención no se hubiese llevado a vías de hecho, o, en comparaciones con algún otro grupo que no haya sido objeto de intervención. Atendiendo a las características del objeto que se investiga en este trabajo, se es consecuente con la definición de ^{Añorga (2004}) al exponerlo como:

Se entiende por evaluación de impacto el proceso que mide el grado de trascendencia que tiene la aplicación del objeto evaluable en el entorno socio económico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegurar la selección mejorada de nuevos objetos de evaluación”. (p.4)

Por tanto, a criterios de quienes suscriben, la evaluación de impacto se dedica a investigar las acciones transformadoras (ya sean a favor o en contra) que estimula una mediación explícita, a la vez que deviene en proceso interventor, que se materializa en diferentes niveles: local, influencias en organizaciones o sucesiones de proyectos con actividades dirigidas a la mejora de la capacidad de una comunidad en diversas áreas: científicos, tecnológicos, económicos, sociales o medioambientales.

Es una práctica común entender que los impactos ocurren después de los procesos de intervención, a la vez que, consecuencia de aquellos resultados parciales o intermedios. Es juicio de los redactores que se deben realizar análisis a lo interno del proceso que está siendo objeto de evaluación, pues existe una relatividad entre resultados e impactos, ello depende de cuáles fueron los objetivos que se establecieron en el proceso de intervención y a qué niveles y espacios de tiempo se realice el análisis en cuestión.

Ahora, la evaluación de impacto de la formación constituye una de las variantes de la evaluación de impacto en sí que se da en las instituciones formadoras. Por impacto de la formación doctoral, a juicio de los autores, se entiende como las repercusiones que la realización de las acciones formativas incide en el desarrollo de la ciencia, a fin de dar respuesta a los problemas de la sociedad en sus diferentes ámbitos, de manera que se contribuya al logro de los objetivos estratégicos que la organización tiene planteados.

Una segunda cuestión es ¿por qué se deben realizar evaluaciones de impacto de los procesos de formación doctoral? Para realizar una evaluación de impacto de la formación doctoral en particular, depende de su objetivo y de quiénes son sus usuarios potenciales primarios, para el caso que ocupa, serían los doctorandos en su proceso de formación. Algunos saberes comunes para realizar una evaluación de impacto ayudan a:

Importancia de la evaluación de impacto en el proceso de formación doctoral

Aparte de estos elementos hay un grupo de preguntas que, su respuesta, constituyen justificaciones de por qué realizar una evaluación de este tipo. Estas preguntas claves pueden agruparse de acuerdo con diversos indicadores, dentro de las más significativas y adaptadas a la formación doctoral, se pueden definir las siguientes:

De acuerdo al impacto general:

Al seguir la lógica expresada en la introducción, corresponde darle respuesta a la pregunta guía ¿Cuál es el basamento y dirección de la evaluación de impacto? La evaluación de impacto se basa en el contraste entre la situación de partida y lo que ocurre una vez que la formación ha tenido lugar, que esto, con mirada a largo plazo, es la concepción general que tienen los autores al respecto. Pero se es del criterio que, a lo interno, en la sistematicidad del proceso formativo a partir de la concepción de formación que se tiene como proceso continuo, es aspecto de constante revisión y regulación para lograr u efecto positivo. Ese contraste busca revelar los cambios que se pueden atribuir a la intervención que se evalúa. Esta se dirige a: la sociedad, las instituciones y las personas en sí mismas.

A nivel de sociedad pudieran ser:

A nivel de institución pudieran ser:

A nivel de persona pudieran ser:

Al referirse al cómo proceder en términos de: ¿Cuáles son los enfoques que se utilizan en la evaluación de impacto? En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar en forma combinada, dependiendo de las características del programa a evaluar, del tipo de participantes y del enfoque de evaluación diseñado. De hecho, en la propuesta de los indicadores a proponer para evaluar el impacto de la formación doctoral hay un conjunto de ambos enfoques.

Pero ¿cómo se construye el sistema de evaluación de impactos? Para medir correctamente un impacto, es de crucial importancia identificar los indicadores utilizados que permitirán monitorizar los cambios deseados por la acción implementada, así como seleccionar los métodos más apropiados para medir este cambio.

Un indicador define los datos que deberán ser recogidos para medir los avances obtenidos frente a determinados objetivos. Por esta razón, el indicador deviene un instrumento de gestión indispensable para la toma de decisiones, tanto estratégicas como operacionales. (^{Robin, 2012}; ^{Loyola, 2021}). Constituyen, asimismo, una comparación entre diferentes tipos de datos que proporcionan la elaboración de una medida cuantitativa o una valoración cualitativa del fenómeno o proceso. Esta comparación arroja un valor, una magnitud o un criterio, que tiene significado para quien lo analiza.

Una de las ventajas de utilizar indicadores es la objetividad y comparabilidad; representan un lenguaje común que facilita una medida estandarizada. Son herramientas útiles porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un participante en la formación.

Se considera primordial aclarar que la determinación de los indicadores depende del objetivo que se preconciba de evaluación, es decir, no es lo mismo determinar el efecto de las acciones de la formación doctoral, traducido en beneficios para las instituciones, o si lo que se pretende es determinar la eficiencia de las acciones del proceso de formación doctoral, de manera que se verifique la rentabilidad social y financiera del proceso de intervención.

Lo anterior se traduce en múltiples alternativas metodológicas a la hora de proceder con la evaluación de impacto, las anteriores mencionadas van, la primera a la experimentación, la que busca la relación causa - efecto, con todo el diseño de experimento que lleva aparejado un proceso de este tipo. La segunda va dirigida a la orientación operacional, la que tiene en cuenta elementos distintivos de la gestión organizacional, particularmente en la teoría de sistema, en los que se determinan los logros por niveles de sus elementos contentivos, esta es la intención de este trabajo.

En esta dirección, aparece en la literatura un modelo muy difundido y aceptado por la comunidad científica que se asocia a esta orientación operacional y es el modelo de Kiskpatrick (2000) en este modelo se establecen cuatro niveles de evaluación, los que se relacionan directamente con el proceso de formación doctoral. Estos son:

En función de este modelo teórico y sobre la base de los elementos que estipula la Junta de Acreditación Nacional (JAN, 2005) en el Sistema de Evaluación y Acreditación de Programas, dado que este proceso formativo se sustenta siempre en un programa, sea cual fuere el área de conocimiento en que se inscriban los doctorandos, es que se proponen un conjunto de indicadores para la evaluación de impacto de la formación doctoral.

Por ello, lo primero es referenciar los elementos que define la JAN (2005) a tal fin:

Medir el impacto se trascribe en la producción de indicadores para los procesos previo, dentro y pos de la formación, que permitan valorar la posición en cada momento y realizar comparaciones con los fines prestablecidos para reajustar la guía a seguir. El propósito esencial es contribuir a la creación de organizaciones inteligentes, capaces de recibir y procesar información, crear conocimiento a partir de la información procesada y usar el conocimiento para la toma de decisiones de manera eficaz, a fin de cooperar de modo creativo al desarrollo del país (^{Triana et al.,2018}).

El conocimiento, por tanto, puede provenir de cualquier fuente y está en todas partes; por ello, lo más importante resulta la interacción y vinculación entre los diferentes actores que lo generan y lo demandan, según ^{Triana et al. (2021}), y de ahí el proceso de formación doctoral y la importancia de evaluar su impacto. La determinación de indicadores comunes atendiendo a la dispersión de áreas del saber en las que se forman los doctores en ciencias de Cuba, es un proceso complejo y de múltiples aristas, dado el número de criterios de determinación de dichos indicadores, dígase:

A partir de este análisis se decide proponer un conjunto de indicadores para la formación doctoral que presentan niveles de generalidad elevado, toda vez que los evaluadores pueden operacionarlos, de forma que se adapten a las áreas autorizadas de formación doctoral. La distinción entre lo cualitativo y lo cuantitativo es una práctica asumida desde referentes cercano de los indicadores de ^{Quintero (2007}). Estos son:

Desde el enfoque cuantitativo:

Desde el enfoque cualitativo:

Resultados del proceso de formación doctoral en el CEPES

El Centro de Estudios para el Perfeccionamiento de la Educación Superior (CEPES) de la Universidad de La Habana cuenta con tradición científica, experiencia demostrada y excelentes resultados científicos en la formación de doctores en Ciencias de la Educación.

Desde su creación el 25 de junio en 1982, el CEPES ha acumulado una amplia experiencia investigativa que ha contribuido en el plano teórico-metodológico y práctico al perfeccionamiento de la educación superior en los diferentes espacios de intervención universitaria y a la elevación de la calidad de los procesos universitarios, en función de las necesidades del desarrollo económico y social del país, así como del contexto internacional, en particular de América Latina y el Caribe. Tiene como áreas de conocimiento consolidadas la pedagogía, la gestión y las Tecnologías de la Información y las Comunicaciones (TIC), todo en el marco de la educación superior.

Una parte importante del trabajo del centro se dedica a la formación posgraduada de profesores e investigadores universitarios, en sus dos vertientes: la formación profesional con numerosos cursos, diplomados y entrenamientos, y en la formación académica el programa de Maestría en Ciencias de la Educación Superior¹ (550 graduados en 32 ediciones), y hasta 2019 los programas de Doctorado en Ciencias Pedagógicas² (84 graduados) y Doctorado en Ciencias de la Educación³ (138 graduados), que se integran en el programa de Doctorado en Educación Superior en el 2020.

A modo de ejemplo, en el año 2018, la matrícula de posgrado fue de 939 estudiantes, 758 en la superación profesional y 181 en el posgrado académico, de ellos 140 matriculados en los programas de doctorado y 41 en el de maestría, con tres ediciones en ejecución. (CEPES, 2018)

Para enfrentar esta intensa actividad de posgrado se cuenta con un claustro formado por 36 profesores de los cuales el 86% es doctor y el 11% máster. En 2019 publicó 63 artículos, de ellos 19 en la Web of Sciencie y Scopus, muchos de ellos en coautoría con los doctorandos en y pos formación y obtuvo un Premio de la Academia de Ciencias de Cuba, lo que habla a favor del impacto del proceso de formación dcotoral.

El centro dirige la Revista Cubana de Educación Superior (RCES), indexada en Scielo (www.rces.uh.cu, http://scielo.sld.cu, http://ojs.uh.cu.EducacionSuperior/index.php/RCES) y Coordina el Taller “Educación Superior y sus Perspectivas" en los Congresos Universidad cada dos años.

En la actualidad el CEPES es la única área autorizada por la Universidad de La Habana para el desarrollo de los programas de doctorado que otorgan títulos de Doctor en Ciencias Pedagógicas y Doctor en Ciencias de la Educación. Un ejemplo de la cantidad de matriculados por programas se muestra en la tabla 1.

Como se evidencia en la tabla anterior, una característica de la formación doctoral en el CEPES es la amplia demanda de estudiantes extranjeros, la tabla 2 muestra la matrícula en el programa de doctorado en noviembre de 2019; en ambos casos se demuestra la diversidad, demanda y reconocimiento de la formación doctoral del CEPES, respaldado por sus resultados nacionales e internacionales.

Desde el año 2013 ha crecido de forma permanente la cantidad de defensas realizadas, constituyendo un porciento elevado de ellas, las realizadas en la Universidad de La Habana. La figura 1, muestra este resultado.

De los aspectos destacables se encuentran que entre 2017 y 2019 se han graduado 4 profesoras del CEPES, lo que ha contribuido al incremento de la calidad del claustro y a elevar sus índices de impacto. En 2018 y 2019 los graduados de Doctorado del CEPES representan aproximadamente el 20% de todos los graduados de la Universidad de La Habana, dato relevante, por ser la Universidad Cubana que más doctores gradúa anualmente.

El nuevo programa de formación doctoral fue aprobado en 2018 por la Comisión Nacional de Grado Científico (CNGC), denominado Doctorado en Educación Superior, y tuvo una exitosa primera convocatoria en el año 2019. Desde enero de 2020 todos los doctorandos están incorporados al programa y es el único que ofrece el CEPES, manteniendo la certificación de Excelente del Programa en Ciencias de la Educación.

Estos resultados acompañan además otros, que van desde la reorganización del proceso de formación doctoral en el CEPES, ganando autonomía, visión integral y proyección hacia la educación superior en general; hasta la creación de un proyecto nacional que concibe la metodología general de formación doctoral interdisciplinaria en Educación Superior. Por tanto la evaluación de impacto trasciende los marcos teóricos necesarios para convertirse en una herramienta imprescindible en el seguimiento antes, durante y después de la formación doctoral en Ciencias de la Educación, constituyendo el CEPES pionero en este sentido.

Conclusiones

El proceso de evaluar el impacto constituye una gran dificultad para muchos programas que, dependiendo del alcance, se hace más o menos complejo. En el caso de la formación doctoral se cuenta con una definición obtenida a partir de la sistematización realizada por los autores en el presente trabajo.

Medir el impacto es concretamente, tratar de determinar lo que se ha alcanzado, que es lo que se realiza en los diferentes momentos de este proceso de intervención, por lo que se determinan un conjunto de indicadores, que, si bien no constituyen tácitamente los elementos a medir en todas las áreas, pueden signar un camino de elaboración contextualizado a cada proceso de formación doctoral.

Los resultados del CEPES ofrecen muestra clara del impacto del proceso de formación doctoral como muestra a la resolución de los problemas científicos de la Universidad de La Habana, el país y a otros países.