Español (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Cómo citar:
Martínez-Corona, J. I., Palacios-Almón, G. E., y Juárez-Hernández, L. G. (2020). Análisis de validez de constructo del instrumento: “Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento”. Retos Revista de Ciencias de la Administración y Economía, 10(19), pp. 153-165. https://doi.org/10.17163/ret.n19.2020.09
1. Introducción
En la actualidad una de las grandes exigencias que tienen los servidores públicos es que desarrollen sus actividades con mayor eficacia y eficiencia; es decir, cumplir con los objetivos propios de su responsabilidad, pero que usen los menos recursos posibles. En este sentido, existe como referencia una corriente conocida como Nueva Gestión Pública (NGP), la cual promueve que se incorporen modelos gerenciales en administración pública (Ministerio de Economía y Finanzas, 2015). En el contexto de los países desarrollados, se utiliza para mantener el nivel de desarrollo alcanzado y superar temas relacionados con crisis fiscales o financieras; sin embargo, en los países en desarrollo el objetivo fundamental de su utilización es encontrar un nivel de desarrollo mayor, es decir, encontrar mejores resultados de la implementación de las políticas públicas.
En este cambio de la forma de hacer las cosas en la gestión pública, es que se busca un Estado más eficiente y mucho más cercano a la sociedad (Pliscoff-Varas, 2017), y como es el caso de Latinoamérica, se pretende alcanzar un nivel de desarrollo mayor, es por lo que se habla de una Gestión para Resultados (GpR) (Ministerio de Economía y Finanzas, 2015). Este término se ha concebido como una disciplina gerencial (Secretaría de Hacienda y Crédito Público, 2017) que se aplica al sector público y que implica elementos del ciclo de la gestión (Shack & Rivera, 2017).
A este respecto, Martínez-Corona y Palacios-Almón (2019) expresan que la GpR comprende un enfoque de cultura organizacional y que se apoya de herramientas prácticas. Por lo tanto, supone que los servidores públicos deben enfocarse en términos de una profesionalización y un enfoque directivo que se centre en los resultados que aportan valor a la sociedad. Además, la GpR debería verse como un compromiso y no como un reto, ya que implica una transformación en la cultura institucional.
Unos de los retos importantes para los servidores públicos es que no se pueden evaluar ex ante los impactos de la ejecución de la política pública; los efectos podrán observarse con los resultados obtenidos en su implementación en una medición ex post (Secretaría de Hacienda y Crédito Público, 2017). Por ello, el directivo debe contar con un enfoque para la utilización de metodologías, técnicas y tecnologías para tal fin. De aquí que se encuentra una conveniencia en considerar los principios de la Sociedad del Conocimiento, que entre sus elementos principales tiene la creación del conocimiento, el trabajo colaborativo, la gestión del cambio y el uso de las Tecnologías de la Información y Comunicaciones. La conjunción de estos elementos ayuda a las organizaciones a resolver problemas y alcanzar metas compartidas (Tobón, Guzmán, Hernández, & Cardona, 2015).
Si bien el tema es de alta prioridad, los aportes instrumentales para su evaluación son escasos. A este respecto, únicamente se cuenta con el aporte de Martínez-Corona, Palacios-Almón y Juárez-Hernández (2020) quienes propusieron el instrumento denominado “Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento” (EDGpRSC). El instrumento integra como referencia los cuatro ejes fundamentales del ciclo de gestión: planificación, presupuesto, ejecución de programas y proyectos, y evaluación (Kauffman, Sangines, & García-Moreno, 2015) y se consideró como base lo expresado en el primer principio de la Declaración de Marrakech (Chica, 2015) que estructura el enfoque de la gestión para resultados en tres dimensiones: Ex ante, durante la ejecución y Ex post; para hacerlo asequible con la Sociedad del Conocimiento, se incorpora una dimensión transversal de este tópico.
Es importante señalar que, una vez concluida la fase de construcción, Martínez-Corona et al. (2020) presentan el cómo fue validado el instrumento en términos de facie y contenido. Adicionalmente se señala que, el instrumento se aplicó a un grupo piloto constituido de 12 funcionarios a nivel directivo de la administración pública, donde, además se evaluó el grado de satisfacción de los ítems e instrucciones, y el grado de satisfacción con el instrumento. Este último proceso es importante ya que, es asequible la utilización del instrumento al contexto en el que se quiere aplicar; es decir, se cumple con la característica o cualidad de factibilidad (Carvajal, Centeno, Watson, Martínez, & Sanz-Rubiales, 2011).
Relacionado con lo anterior, evaluar las propiedades psicométricas del instrumento es un criterio fundamental para determinar la calidad de lo que pretende medir (Carvajal et al., 2011). Por lo tanto, contar con la validez de contenido es relevante; pero, para que el instrumento obtenga una calidad óptima se requiere del análisis de validez de constructo. A este respecto, Hernández-Sampieri, Fernández-Collado, y Baptista-Lucio (2010) definen constructo como la variable medida que tiene lugar dentro de una hipótesis, teoría o esquema teórico. Los mismos autores expresan que, desde el punto de vista científico, es probable que la validez de constructo sea el más importante de los conceptos.
Hernández-Sampieri et al. (2010) indican que la validez de constructo refiere a “qué tan exitosamente un instrumento representa y mide un concepto teórico” (p. 51). Por su parte, Prieto y Delgado (2010) expresan que puede utilizarse para contrastar teorías científicas con la utilización del método hipotético-deductivo; así como, representa “un marco integral para obtener pruebas de validez” (p. 71); el cual es integrador con la validez de contenido y de criterio. Los autores refieren que la validación se concreta al fundamentarse en las teorías en las que se define el constructo evaluado y su relación “con otros constructos, sus manifestaciones y sus potenciales aplicaciones e interpretaciones” (p. 71). Otra propiedad psicométrica relevante es la confiabilidad o fiabilidad, la cual es definida como la precisión de los resultados al aplicarse el instrumento en distintas ocasiones (Carvajal et al., 2011).
Como precisan Carvajal et al. (2011), el proceso de validación de un instrumento es continuo y dinámico, y evaluar sus propiedades psicométricas es un criterio esencial para determinar la calidad de su medición (Gómez-Benito & Hidalgo, 2015). Es por lo que, en el desarrollo del presente trabajo se aborda el análisis de validez de constructo y confiabilidad del instrumento EDGpRSC, con el objetivo de que obtenga una calidad óptima y de que éste, en su momento, brinde evidencias válidas y confiables.
2. Materiales y método
2.1. Tipo de Estudio
Se realizó un estudio instrumental, el cual consiste en el desarrollo / adaptación de pruebas o aparatos, así como el estudio de sus propiedades psicométricas para desarrollar nuevos procedimientos, aparatos, instrumentos o pruebas (Montero & León, 2002). Específicamente en el presente, se analizaron la validez de constructo y confiabilidad del instrumento mencionado: enfoque directivo en la gestión para resultados en la sociedad del conocimiento. Con lo anterior, se busca dar al instrumento exactitud y consistencia para poder hacer generalizaciones en los hallazgos (Hidalgo, 2005).
2.2. Procedimiento
El estudio de validez de constructo y confiabilidad del instrumento se llevó a cabo mediante las siguientes fases:
2.2.1. Instrumento
El instrumento EDGpRSC consiste en una rúbrica analítica que tiene como objetivo evaluar el enfoque de los directivos del sector público en una administración basada en la gestión para resultados y que tengan una perspectiva desde la sociedad del conocimiento (Martínez-Corona et al., 2020), la cual agrupa cuatro aspectos (ex ante, implementación, ex post y eje transversal: sociedad del conocimiento) y se integra en siete ítems. Los aspectos mencionados se constituyen en una dimensión, la que representa al constructo teórico Gestión para Resultados en la Sociedad del Conocimiento; esto obedece a que, el modelo teórico, como ya se mencionó, se basa en los ejes fundamentales del ciclo de gestión y el primer principio de la Declaración de Marrakech. Cada uno de los ítems posee un descriptor; el cual, se formuló considerando algunos de los elementos de la taxonomía socioformativa y los niveles establecidos fueron receptivo, resolutivo, autónomo y estratégico (Tobón, 2017). En la Tabla 1 se presentan los aspectos, componentes e indicadores que integran el instrumento.
Posterior a su diseño, el instrumento se validó en facie y en contenido (Martínez-Corona et al., 2020). A la primera fase se le denomina validación de facie, validez de presentación o validez aparente y sus objetivos son verificar: si los ítems son pertenecientes a un fenómeno o constructo, su relevancia, su redacción y si son comprensibles (Buela-Casal & Sierra, 1997; Reina Gamba & Vargas Rosero, 2008; Salas-Razo & Juárez-Hernández, 2019). Ahora, específicamente, para el análisis de validez de contenido, se realizó un juicio de expertos con un enfoque cuali-cuantitativo, en donde todos los ítems se validaron, revelando “el grado en que el instrumento refleja un dominio específico de contenido de lo que se mide” (Hernández-Sampieri et al., 2010, p. 201). Es importante destacar que, posterior a este proceso, el instrumento se aplicó a un grupo piloto de funcionarios a nivel directivo de la administración público con el objetivo de evaluar la asequibilidad del instrumento y efectuar un análisis inicial de confiabilidad mediante el coeficiente Alfa de Cronbach (Cronbach, 1951). Los resultados de esta fase fueron favorables, revelando valoraciones de bueno y excelente, en cuanto al grado de comprensión y un valor óptimo de confiabilidad (Alfa de Cronbach: 0.822).
2.2.2. Selección de la muestra poblacional para la aplicación del instrumento
El instrumento se aplicó a 505 directivos (servidores públicos de mando); los cuales, en el periodo que se determinó para la recolección de los datos, son los que respondieron a la invitación. Para ser considerados como sujetos de investigación debieron cumplir el criterio de desempeñar una responsabilidad directiva en el sector público. Es importante precisar que, la aplicación del instrumento se realizó en línea, mediante invitación a participar en el estudio, para lo cual se les brindó una descripción del instrumento, su propósito y las instrucciones a seguir. Los datos sociodemográficos de los participantes se muestran en la Tabla 2.
2.2.3. Análisis de validez de constructo y confiabilidad
El análisis de validez de constructo se realizó mediante la técnica de análisis factorial exploratorio (AFE), con el objetivo de corroborar si los ítems del instrumento representan las diferentes dimensiones del mismo constructo (Mavrou, 2015). Para el desarrollo del AFE, se consultó lo indicado por Costello y Osborne (2005), Hair, Black y Anderson (2010), Pérez y Medrano (2010), Frías-Navarro y Pascual-Soler (2012), Mavrou (2015) y López-Aguado y Gutiérrez-Provencho (2019) respecto a la muestra mínima y verificar la pertinencia de los datos para este análisis.
Esto último se realizó a través de la observación de la matriz de correlaciones, el valor de la determinante, la prueba de Kaiser-Meyer-Olkin y de Barlett (Pérez & Medrano, 2010; Hair et al., 2010; Mavrou, 2015). Acorde a estos autores, los coeficientes de correlación deben ser en su mayoría superiores a 0.50 y significativos, el valor de la determinante fue cercano a cero, el índice de KMO fue superior a 0.70 y finalmente la prueba de esfericidad de Bartlett fue estadísticamente significativa (p< 0.05) (Costello & Osborne, 2005; Pérez & Medrano, 2010; Juárez-Hernández, 2018).
Al estar esos supuestos cumplidos, se eligió el método de extracción de factorización de ejes principales (Gorsuch, 1983; Hair et al., 2010; De Winter & Dodou, 2012; Juárez-Hernández, 2018; López-Aguado & Gutiérrez-Provecho, 2019). Es importante señalar que, el número de factores a retener fue basado en la regla de Gutman-Kaiser (Ruiz & San Martín, 1992; Pérez & Medrano, 2010). Por su parte, la determinación de la significancia en las cargas factoriales se realizó acorde a lo estipulado por Rositas-Martínez (2014), quien precisa que acorde al tamaño de muestra en el presente, la carga factorial debe de ser mayor de 0.30. Sí en la matriz factorial, las cargas factoriales presentan cargas significativas a más de un factor, se realizó la rotación de la matriz mediante el algoritmo de mayor conveniencia. El análisis de confiabilidad mediante el coeficiente Alfa de Cronbach (Cronbach, 1951) y finalmente se analizó la cualidad de factibilidad a través de la encuesta de satisfacción con el instrumento (CIFE, 2018).
3. Resultados
3.1. Análisis de validez de constructo y confiabilidad del instrumento
En la Tabla 3 se muestra la matriz de correlaciones entre los ítems; en la cual, se puede observar que todos los ítems están correlacionados significativamente (p<0.05) y con una determinante de 0.058. En segundo orden las pruebas Kaiser Meyer Olkin (KMO: 0.901) y esfericidad de Bartlett (X2: 1429.358 gl: 21; p<0.001) mostraron que los datos son susceptibles para su análisis mediante el AFE.
El AFE en su primera matriz (comunalidades), mostró la representación de todos los ítems dentro del modelo factorial (Tabla 4) y un solo factor presentó un autovalor mayor a 1 y este explicó más del 56% de la varianza. El análisis de la matriz factorial denotó la representación de los ítems con una carga significativa al factor encontrado (Tabla 4).
En la aplicación del instrumento a la muestra participante, se obtuvo un valor óptimo de confiabilidad (Alfa de Cronbach: 0.868). Finalmente, se encontró que los participantes mostraron de buen a excelente grado de comprensión con las instrucciones del instrumento, comprensión de los ítems, satisfacción con el instrumento y relevancia de las preguntas (Tabla 5).
4. Discusión
En la actualidad desde el punto de vista organización, las diferentes herramientas que soportan la gestión giran su atención a los resultados más que en los procedimientos. En esta característica se pueden mencionar los criterios o marco de referencia para certificación de los sistemas de gestión o en el caso de la evaluación con fines de acreditación de los programas de estudio en educación superior. En tanto en la administración pública, la gestión para resultados es una perspectiva que ha tomado principal relevancia, particularmente en América Latina; en el cual se aprecia que existen pocos antecedentes (García-López & García-Moreno, 2010). Como es de suponerse desde el punto de vista de evaluación del enfoque de los directivos, en este constructo, se encontró que las aportaciones son nulas. Por lo que se parte de que la GpR es una disciplina a nivel gerencial que busca superar los problemas en la administración pública, con el uso de la información de la política pública para mejorar la toma de decisiones (Martínez-Corona & Palacios-Almón, 2019).
Lo anterior representa una necesidad, ya que la evaluación tiene dos funciones: una psicosocial y otra administrativa. La primera relacionada con el desarrollo personal y adaptación al ambiente; la segunda, para identificar a las personas más adecuadas para un puesto e identificar propuestas formativas (Gil-Flores, 2007). En particular se tiene la premisa de que el enfoque directivo como toda competencia debe ser demostrado y debe contar con criterios de desempeño (Vargas-Leyva, 2008).
En este sentido es que se considera conveniente y relevante el diseño y desarrollo de un instrumento que sirva como apoyo para evaluar el enfoque directivo hacia una gestión para resultados; particularmente, conveniente para una sociedad del conocimiento y con ello aportar a que en la administración pública se otorguen servicios que realmente sean de valor para la sociedad. En consecuencia, la importancia de contar con un enfoque directivo orientado en una gestión para resultados radica en resaltar que debe apreciarse como un sistema; por lo cual, se basa en el ciclo de gestión orientada a los resultados, que implica desde un diagnóstico hasta la rendición de cuentas. Resalta que cada una de las etapas deben estar debidamente articuladas, con el objetivo de facilitar las etapas subsecuentes (Kauffman et al., 2015), precisando que aún y cuando es importante como se realizan las acciones, el principal énfasis es: qué se hace, qué se logra y cuál es su impacto (UAEM, 2015).
Para cumplir este cometido, como se indicó, se propuso la rúbrica analítica: “enfoque directivo en la gestión para resultados en la sociedad del conocimiento” (Martínez-Corona et al., 2020); la cual se considera una aportación al área, ya que denota elementos para identificar características en los servidores públicos de mando hacia una orientación para resultados en la implementación de la política pública; así como tomar decisiones para la formación de gerentes públicos, basadas en un diagnóstico institucional. Esto derivado de que el instrumento toma como referencia los ejes del ciclo de gestión y se estructura bajo enfoque de gestión para resultados.
Si bien el instrumento se considera que incluye los aspectos que caracterizan la GpR, se hace necesario su validación para verificar que mida lo que deba medir; es decir, para lo que fue diseñado (Carvajal et al., 2011). A este respecto, en los instrumentos de evaluación existen diversas propiedades psicométricas de relevancia. De ellas se señala la denominada validez de facie, la cual es la verificación de la relevancia de los ítems del instrumento y a la evaluación de su claridad y comprensión en su redacción (Reina Gamba & Vargas Rosero, 2008); y la segunda, denominada validez de contenido la cual “refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide” (Hernández-Sampieri et al., 2010, p. 201).
Con respecto a esto último, Juárez-Hernández y Tobón (2018) refieren a la validez de contenido como la calidad y precisión del instrumento de investigación; para lo cual, realizan un análisis del desarrollo histórico del término, del cual destacan definiciones como la de Kerlinger (1986) que expresa es la representatividad del contenido, hasta la de Koller, Levenson y Glück (2017) donde agregan elementos como representatividad de ítems y sus aspectos gramaticales, así como la claridad de sus instrucciones. Por su parte, Carvajal et al. (2011) expresan que la validez de contenido es una evaluación cualitativa para conocer si el cuestionario cubre todas las dimensiones del fenómeno que se pretende medir. Acorde a lo anterior el instrumento fue sometido a estos procesos; por lo que, se puede indicar que el instrumento para evaluar el EDGpRSC cuenta con validez de contenido y cuenta con las características adecuadas para su aplicación.
Ahora bien, ambas propiedades han sido mencionadas como importantes, más la validez de constructo es considerada como la de mayor relevancia e importancia, ya que le corresponde el significado del instrumento y le concierne verificar que un instrumento representa y mide el concepto teórico que pretende medir (Hernández-Sampieri et al., 2010, p. 203). Otros autores indican que es la principal en cuanto a los tipos de validez, y que es un concepto unificador, ya que integra en un marco común para probar las relaciones teóricamente relevantes, las consideraciones de validez de contenido y de criterio (Messick, 1980).
Para cumplir con el esquema de validación en el presente se realizó el análisis de esta propiedad, para lo cual se aplicó el instrumento a 505 directivos de la administración pública, lo cual cumple de manera óptima con el estándar fundamental del tamaño muestral para la aplicación del Análisis Factorial Exploratorio (Hair et al., 2010; Mavrou, 2015). Los resultados fueron satisfactorios, ya que en primer lugar se observó la correspondencia de lo propuesto teóricamente. En este sentido, aún y cuando en el instrumento se consideran diversos aspectos, su base son los ejes del ciclo de gestión y el primer principio de la declaración de Marrakech; esto es que representan a un proceso donde todos los aspectos están relacionados y forman parte del mismo constructo. Por lo que se pudo verificar que responden a una misma dimensión derivado de que en la matriz de la varianza total explicada, solo un factor obtuvo un autovalor superior a 1 y el cual explicó más del 56% de la varianza.
En segundo lugar, todos los ítems propuestos están representados dentro del modelo factorial y del factor encontrado revelando que los ítems del instrumento representan y miden el constructo o concepto teórico que se propone (Mavrou, 2015). Este aspecto es relevante ya que muestra la valía de la validación de contenido, ya que como se indicó, esta última representa una parte fundamental de la validez de constructo (Messick, 1980). Otro aspecto importante para señalar es el cumplimento de todos los supuestos, ya que el método precisa muestras grandes, correlación entre variables y los datos de adecuación fueron favorables. El cumplimiento de estos supuestos aporta robustez y pertinencia a los resultados encontrados.
Otra propiedad analizada en el presente fue la confiabilidad, la cual de acuerdo con Virla, González-Pineda y Gutiérrez (2013) está relacionada con la precisión con la que un instrumento mide lo que lo que se desea medir. Por su parte Hernández-Sampieri et al. (2010) expresan que refiere al grado en que la aplicación repetida de un instrumento al mismo individuo produce iguales resultados. Específicamente en el presente se obtuvo un valor óptimo (Alfa de Cronbach de 0.868) acorde a los criterios indicados (Cervantes, 2005; Juárez-Hernández, 2018; Taber, 2018), revelando la confiabilidad del instrumento, lo que se traduce en que sus resultados son fiables al aplicarlo en diversas ocasiones (Carvajal et al., 2011). En este orden, es importante precisar que en su primer análisis el instrumento mostró valores óptimos de confiabilidad (Alfa de Cronbach de 0.822) en el grupo piloto (Martínez-Corona et al., 2020); sin embargo, es importante reconocer la limitación del tamaño del grupo piloto, ya que de acuerdo con Charter (2003) el coeficiente tiende a ser inestable con muestras pequeñas. Lo anterior da pie a destacar el valor obtenido en el presente, ya que la muestra se considera como óptima para efectuar este análisis y tener la certeza sobre el valor obtenido.
Otro aspecto para destacar del instrumento es la característica o cualidad de factibilidad; es decir, su asequibilidad para la población objeto (Carvajal et al., 2011). En el presente se obtuvieron ponderaciones de buen grado respecto a la comprensión de instrucciones e ítems, así como con la satisfacción con el instrumento, lo que es similar en la aplicación al grupo piloto (Martínez-Corona et al., 2020). Este aspecto es de suma importancia, ya que como lo refieren Corral (2009) y Carvajal et al. (2011), la inadecuada comprensión de instrucciones o preguntas puede afectar las propiedades psicométricas, así como propiamente los resultados del instrumento.
5. Conclusiones
Ante los resultados presentados en este trabajo, se precisa que el instrumento “enfoque directivo en la gestión para resultados en la sociedad del conocimiento” y los elementos que lo integran representan y miden con precisión el constructo que se pretende evaluar. Aunado a estos resultados, sobresale la relevancia de las fases previas de revisión y validación de contenido del instrumento, las cuales tuvieron importancia significativa en lo obtenido en el presente estudio. Conviene destacar la evaluación por parte de la población objetivo, ya que manifestó que las instrucciones e ítems del instrumento son comprensibles y existe un alto grado de satisfacción con los mismos. En conjunción, estas evidencias denotan la calidad en el instrumento y en su medición; lo que en primera instancia representa un aporte al área de estudio y en segunda instancia brindan la oportunidad de aplicar el instrumento para la obtención de un diagnóstico que permita identificar líneas de formación y capacitación de los directivos en el sector público; lo que puede mejorar las decisiones y los resultados de las políticas públicas.
