SciELO - Scientific Electronic Library Online

 
vol.10 número19Perspectivas del financiamiento corporativo y el mercado de valores del PerúAnálisis de convergencia para el caso ecuatoriano a nivel cantonal en el período: 2007-2017 índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


RETOS. Revista de Ciencias de la Administración y Economía

versión On-line ISSN 1390-8618versión impresa ISSN 1390-6291

Retos vol.10 no.19 Cuenca abr./sep. 2020

https://doi.org/10.17163/ret.n19.2020.09 

Articles

Análisis de validez de constructo del instrumento: “Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento”

Analysis of construct validity of the instrument: “Managerial approach in management for results in the knowledge society”

José Isaías Martínez-Corona1 
http://orcid.org/0000-0003-3465-5606

Gloria Edith Palacios-Almón2 
http://orcid.org/0000-0002-2411-5553

Luis Gibran Juárez-Hernández3 
http://orcid.org/0000-0003-0658-6818

1Profesor de tiempo completo del Tecnológico Nacional de México, México

2Profesora de tiempo completo del Tecnológico Nacional de México, México

3Profesor e investigador del Centro Universitario CIFE, México


Resumen

En el presente trabajo se exponen los resultados de un estudio instrumental que aborda el análisis de la validez de constructo y confiabilidad del instrumento: enfoque directivo en la gestión para resultados en la sociedad del conocimiento, con el objeto de que obtenga una calidad óptima para que brinde evidencias válidas y confiables. La construcción del instrumento se basó en los cuatro ejes fundamentales del ciclo de gestión y en lo expresado en el primer principio de la Declaración de Marrakech. Para cumplir con el objetivo, el instrumento fue aplicado a 505 directivos de la administración pública. El análisis de validez de constructo se realizó con la técnica del análisis factorial exploratorio (AFE), verificándose la pertinencia de los datos para esta técnica y se analizó la confiabilidad del instrumento mediante el Alfa de Cronbach. Los resultados del AFE revelan que los ítems están representados en el modelo factorial, manifestándose un solo factor, lo cual corresponde con el modelo teórico propuesto. En cuanto al análisis de confiabilidad, se obtuvo un valor óptimo (Alfa de Cronbach: 0.868). Ante estos resultados, se concluye que el instrumento y los elementos que lo integran representan y miden con precisión el constructo que se pretende evaluar.

Palabras clave Gestión para resultados; enfoque directivo; sociedad del conocimiento; rúbrica analítica; confiabilidad; fiabilidad; validez; validez de constructo

Abstract

In this paper, the results of an instrumental study are presented that deals with the analysis of construct validity and reliability of the instrument: managerial approach in management for results in the knowledge society, with the objective to obtain an optimum quality so that provide valid and reliable evidence. The construction of the instrument was based on the four fundamental axes of the management cycle and what was expressed in the first principle of the Marrakech Declaration. To meet the objective, the instrument was applied to 505 executives of the public administration. The construct validity analysis was performed using the exploratory factor analysis (EFA) technique, verifying the pertinence of the data for this technique and analyzing the reliability of the instrument using Cronbach's Alpha. The results of the EFA reveal that the items are represented in the factorial model, manifesting only one factor, which corresponds to the proposed theoretical model. Regarding the reliability analysis, an optimal value was obtained (Cronbach's Alpha: 0.868). Given these results, it is concluded that the instrument and the elements that integrate it accurately represent and measure the construct that is intended to be evaluated.

Keywords Management for results; management approach; knowledge society; analytical rubric; reliability; validity; construct validity

Cómo citar:

Martínez-Corona, J. I., Palacios-Almón, G. E., y Juárez-Hernández, L. G. (2020). Análisis de validez de constructo del instrumento: “Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento”. Retos Revista de Ciencias de la Administración y Economía, 10(19), pp. 153-165. https://doi.org/10.17163/ret.n19.2020.09

1. Introducción

En la actualidad una de las grandes exigencias que tienen los servidores públicos es que desarrollen sus actividades con mayor eficacia y eficiencia; es decir, cumplir con los objetivos propios de su responsabilidad, pero que usen los menos recursos posibles. En este sentido, existe como referencia una corriente conocida como Nueva Gestión Pública (NGP), la cual promueve que se incorporen modelos gerenciales en administración pública (Ministerio de Economía y Finanzas, 2015). En el contexto de los países desarrollados, se utiliza para mantener el nivel de desarrollo alcanzado y superar temas relacionados con crisis fiscales o financieras; sin embargo, en los países en desarrollo el objetivo fundamental de su utilización es encontrar un nivel de desarrollo mayor, es decir, encontrar mejores resultados de la implementación de las políticas públicas.

En este cambio de la forma de hacer las cosas en la gestión pública, es que se busca un Estado más eficiente y mucho más cercano a la sociedad (Pliscoff-Varas, 2017), y como es el caso de Latinoamérica, se pretende alcanzar un nivel de desarrollo mayor, es por lo que se habla de una Gestión para Resultados (GpR) (Ministerio de Economía y Finanzas, 2015). Este término se ha concebido como una disciplina gerencial (Secretaría de Hacienda y Crédito Público, 2017) que se aplica al sector público y que implica elementos del ciclo de la gestión (Shack & Rivera, 2017).

A este respecto, Martínez-Corona y Palacios-Almón (2019) expresan que la GpR comprende un enfoque de cultura organizacional y que se apoya de herramientas prácticas. Por lo tanto, supone que los servidores públicos deben enfocarse en términos de una profesionalización y un enfoque directivo que se centre en los resultados que aportan valor a la sociedad. Además, la GpR debería verse como un compromiso y no como un reto, ya que implica una transformación en la cultura institucional.

Unos de los retos importantes para los servidores públicos es que no se pueden evaluar ex ante los impactos de la ejecución de la política pública; los efectos podrán observarse con los resultados obtenidos en su implementación en una medición ex post (Secretaría de Hacienda y Crédito Público, 2017). Por ello, el directivo debe contar con un enfoque para la utilización de metodologías, técnicas y tecnologías para tal fin. De aquí que se encuentra una conveniencia en considerar los principios de la Sociedad del Conocimiento, que entre sus elementos principales tiene la creación del conocimiento, el trabajo colaborativo, la gestión del cambio y el uso de las Tecnologías de la Información y Comunicaciones. La conjunción de estos elementos ayuda a las organizaciones a resolver problemas y alcanzar metas compartidas (Tobón, Guzmán, Hernández, & Cardona, 2015).

Si bien el tema es de alta prioridad, los aportes instrumentales para su evaluación son escasos. A este respecto, únicamente se cuenta con el aporte de Martínez-Corona, Palacios-Almón y Juárez-Hernández (2020) quienes propusieron el instrumento denominado “Enfoque Directivo en la Gestión para Resultados en la Sociedad del Conocimiento” (EDGpRSC). El instrumento integra como referencia los cuatro ejes fundamentales del ciclo de gestión: planificación, presupuesto, ejecución de programas y proyectos, y evaluación (Kauffman, Sangines, & García-Moreno, 2015) y se consideró como base lo expresado en el primer principio de la Declaración de Marrakech (Chica, 2015) que estructura el enfoque de la gestión para resultados en tres dimensiones: Ex ante, durante la ejecución y Ex post; para hacerlo asequible con la Sociedad del Conocimiento, se incorpora una dimensión transversal de este tópico.

Es importante señalar que, una vez concluida la fase de construcción, Martínez-Corona et al. (2020) presentan el cómo fue validado el instrumento en términos de facie y contenido. Adicionalmente se señala que, el instrumento se aplicó a un grupo piloto constituido de 12 funcionarios a nivel directivo de la administración pública, donde, además se evaluó el grado de satisfacción de los ítems e instrucciones, y el grado de satisfacción con el instrumento. Este último proceso es importante ya que, es asequible la utilización del instrumento al contexto en el que se quiere aplicar; es decir, se cumple con la característica o cualidad de factibilidad (Carvajal, Centeno, Watson, Martínez, & Sanz-Rubiales, 2011).

Relacionado con lo anterior, evaluar las propiedades psicométricas del instrumento es un criterio fundamental para determinar la calidad de lo que pretende medir (Carvajal et al., 2011). Por lo tanto, contar con la validez de contenido es relevante; pero, para que el instrumento obtenga una calidad óptima se requiere del análisis de validez de constructo. A este respecto, Hernández-Sampieri, Fernández-Collado, y Baptista-Lucio (2010) definen constructo como la variable medida que tiene lugar dentro de una hipótesis, teoría o esquema teórico. Los mismos autores expresan que, desde el punto de vista científico, es probable que la validez de constructo sea el más importante de los conceptos.

Hernández-Sampieri et al. (2010) indican que la validez de constructo refiere a “qué tan exitosamente un instrumento representa y mide un concepto teórico” (p. 51). Por su parte, Prieto y Delgado (2010) expresan que puede utilizarse para contrastar teorías científicas con la utilización del método hipotético-deductivo; así como, representa “un marco integral para obtener pruebas de validez” (p. 71); el cual es integrador con la validez de contenido y de criterio. Los autores refieren que la validación se concreta al fundamentarse en las teorías en las que se define el constructo evaluado y su relación “con otros constructos, sus manifestaciones y sus potenciales aplicaciones e interpretaciones” (p. 71). Otra propiedad psicométrica relevante es la confiabilidad o fiabilidad, la cual es definida como la precisión de los resultados al aplicarse el instrumento en distintas ocasiones (Carvajal et al., 2011).

Como precisan Carvajal et al. (2011), el proceso de validación de un instrumento es continuo y dinámico, y evaluar sus propiedades psicométricas es un criterio esencial para determinar la calidad de su medición (Gómez-Benito & Hidalgo, 2015). Es por lo que, en el desarrollo del presente trabajo se aborda el análisis de validez de constructo y confiabilidad del instrumento EDGpRSC, con el objetivo de que obtenga una calidad óptima y de que éste, en su momento, brinde evidencias válidas y confiables.

2. Materiales y método

2.1. Tipo de Estudio

Se realizó un estudio instrumental, el cual consiste en el desarrollo / adaptación de pruebas o aparatos, así como el estudio de sus propiedades psicométricas para desarrollar nuevos procedimientos, aparatos, instrumentos o pruebas (Montero & León, 2002). Específicamente en el presente, se analizaron la validez de constructo y confiabilidad del instrumento mencionado: enfoque directivo en la gestión para resultados en la sociedad del conocimiento. Con lo anterior, se busca dar al instrumento exactitud y consistencia para poder hacer generalizaciones en los hallazgos (Hidalgo, 2005).

2.2. Procedimiento

El estudio de validez de constructo y confiabilidad del instrumento se llevó a cabo mediante las siguientes fases:

2.2.1. Instrumento

El instrumento EDGpRSC consiste en una rúbrica analítica que tiene como objetivo evaluar el enfoque de los directivos del sector público en una administración basada en la gestión para resultados y que tengan una perspectiva desde la sociedad del conocimiento (Martínez-Corona et al., 2020), la cual agrupa cuatro aspectos (ex ante, implementación, ex post y eje transversal: sociedad del conocimiento) y se integra en siete ítems. Los aspectos mencionados se constituyen en una dimensión, la que representa al constructo teórico Gestión para Resultados en la Sociedad del Conocimiento; esto obedece a que, el modelo teórico, como ya se mencionó, se basa en los ejes fundamentales del ciclo de gestión y el primer principio de la Declaración de Marrakech. Cada uno de los ítems posee un descriptor; el cual, se formuló considerando algunos de los elementos de la taxonomía socioformativa y los niveles establecidos fueron receptivo, resolutivo, autónomo y estratégico (Tobón, 2017). En la Tabla 1 se presentan los aspectos, componentes e indicadores que integran el instrumento.

Fuente: Martínez-Corona et al., 2020.

Tabla 1. Aspectos, componentes e indicadores del instrumento 

Posterior a su diseño, el instrumento se validó en facie y en contenido (Martínez-Corona et al., 2020). A la primera fase se le denomina validación de facie, validez de presentación o validez aparente y sus objetivos son verificar: si los ítems son pertenecientes a un fenómeno o constructo, su relevancia, su redacción y si son comprensibles (Buela-Casal & Sierra, 1997; Reina Gamba & Vargas Rosero, 2008; Salas-Razo & Juárez-Hernández, 2019). Ahora, específicamente, para el análisis de validez de contenido, se realizó un juicio de expertos con un enfoque cuali-cuantitativo, en donde todos los ítems se validaron, revelando “el grado en que el instrumento refleja un dominio específico de contenido de lo que se mide” (Hernández-Sampieri et al., 2010, p. 201). Es importante destacar que, posterior a este proceso, el instrumento se aplicó a un grupo piloto de funcionarios a nivel directivo de la administración público con el objetivo de evaluar la asequibilidad del instrumento y efectuar un análisis inicial de confiabilidad mediante el coeficiente Alfa de Cronbach (Cronbach, 1951). Los resultados de esta fase fueron favorables, revelando valoraciones de bueno y excelente, en cuanto al grado de comprensión y un valor óptimo de confiabilidad (Alfa de Cronbach: 0.822).

2.2.2. Selección de la muestra poblacional para la aplicación del instrumento

El instrumento se aplicó a 505 directivos (servidores públicos de mando); los cuales, en el periodo que se determinó para la recolección de los datos, son los que respondieron a la invitación. Para ser considerados como sujetos de investigación debieron cumplir el criterio de desempeñar una responsabilidad directiva en el sector público. Es importante precisar que, la aplicación del instrumento se realizó en línea, mediante invitación a participar en el estudio, para lo cual se les brindó una descripción del instrumento, su propósito y las instrucciones a seguir. Los datos sociodemográficos de los participantes se muestran en la Tabla 2.

Fuente: Elaboración propia.

Tabla 2. Datos sociodemográficos de los Participantes (n=505) 

2.2.3. Análisis de validez de constructo y confiabilidad

El análisis de validez de constructo se realizó mediante la técnica de análisis factorial exploratorio (AFE), con el objetivo de corroborar si los ítems del instrumento representan las diferentes dimensiones del mismo constructo (Mavrou, 2015). Para el desarrollo del AFE, se consultó lo indicado por Costello y Osborne (2005), Hair, Black y Anderson (2010), Pérez y Medrano (2010), Frías-Navarro y Pascual-Soler (2012), Mavrou (2015) y López-Aguado y Gutiérrez-Provencho (2019) respecto a la muestra mínima y verificar la pertinencia de los datos para este análisis.

Esto último se realizó a través de la observación de la matriz de correlaciones, el valor de la determinante, la prueba de Kaiser-Meyer-Olkin y de Barlett (Pérez & Medrano, 2010; Hair et al., 2010; Mavrou, 2015). Acorde a estos autores, los coeficientes de correlación deben ser en su mayoría superiores a 0.50 y significativos, el valor de la determinante fue cercano a cero, el índice de KMO fue superior a 0.70 y finalmente la prueba de esfericidad de Bartlett fue estadísticamente significativa (p< 0.05) (Costello & Osborne, 2005; Pérez & Medrano, 2010; Juárez-Hernández, 2018).

Al estar esos supuestos cumplidos, se eligió el método de extracción de factorización de ejes principales (Gorsuch, 1983; Hair et al., 2010; De Winter & Dodou, 2012; Juárez-Hernández, 2018; López-Aguado & Gutiérrez-Provecho, 2019). Es importante señalar que, el número de factores a retener fue basado en la regla de Gutman-Kaiser (Ruiz & San Martín, 1992; Pérez & Medrano, 2010). Por su parte, la determinación de la significancia en las cargas factoriales se realizó acorde a lo estipulado por Rositas-Martínez (2014), quien precisa que acorde al tamaño de muestra en el presente, la carga factorial debe de ser mayor de 0.30. Sí en la matriz factorial, las cargas factoriales presentan cargas significativas a más de un factor, se realizó la rotación de la matriz mediante el algoritmo de mayor conveniencia. El análisis de confiabilidad mediante el coeficiente Alfa de Cronbach (Cronbach, 1951) y finalmente se analizó la cualidad de factibilidad a través de la encuesta de satisfacción con el instrumento (CIFE, 2018).

3. Resultados

3.1. Análisis de validez de constructo y confiabilidad del instrumento

En la Tabla 3 se muestra la matriz de correlaciones entre los ítems; en la cual, se puede observar que todos los ítems están correlacionados significativamente (p<0.05) y con una determinante de 0.058. En segundo orden las pruebas Kaiser Meyer Olkin (KMO: 0.901) y esfericidad de Bartlett (X2: 1429.358 gl: 21; p<0.001) mostraron que los datos son susceptibles para su análisis mediante el AFE.

Fuente: Elaboración propia.

Tabla 3.  Matriz de correlación entre ítems (Nota *= p<0.05) 

El AFE en su primera matriz (comunalidades), mostró la representación de todos los ítems dentro del modelo factorial (Tabla 4) y un solo factor presentó un autovalor mayor a 1 y este explicó más del 56% de la varianza. El análisis de la matriz factorial denotó la representación de los ítems con una carga significativa al factor encontrado (Tabla 4).

Fuente: Elaboración propia.

Tabla 4.  Comunalidades y Carga Factorial 

En la aplicación del instrumento a la muestra participante, se obtuvo un valor óptimo de confiabilidad (Alfa de Cronbach: 0.868). Finalmente, se encontró que los participantes mostraron de buen a excelente grado de comprensión con las instrucciones del instrumento, comprensión de los ítems, satisfacción con el instrumento y relevancia de las preguntas (Tabla 5).

Fuente: Elaboración propia.

Tabla 5. Resultados de la Encuesta de Satisfacción del Instrumento 

4. Discusión

En la actualidad desde el punto de vista organización, las diferentes herramientas que soportan la gestión giran su atención a los resultados más que en los procedimientos. En esta característica se pueden mencionar los criterios o marco de referencia para certificación de los sistemas de gestión o en el caso de la evaluación con fines de acreditación de los programas de estudio en educación superior. En tanto en la administración pública, la gestión para resultados es una perspectiva que ha tomado principal relevancia, particularmente en América Latina; en el cual se aprecia que existen pocos antecedentes (García-López & García-Moreno, 2010). Como es de suponerse desde el punto de vista de evaluación del enfoque de los directivos, en este constructo, se encontró que las aportaciones son nulas. Por lo que se parte de que la GpR es una disciplina a nivel gerencial que busca superar los problemas en la administración pública, con el uso de la información de la política pública para mejorar la toma de decisiones (Martínez-Corona & Palacios-Almón, 2019).

Lo anterior representa una necesidad, ya que la evaluación tiene dos funciones: una psicosocial y otra administrativa. La primera relacionada con el desarrollo personal y adaptación al ambiente; la segunda, para identificar a las personas más adecuadas para un puesto e identificar propuestas formativas (Gil-Flores, 2007). En particular se tiene la premisa de que el enfoque directivo como toda competencia debe ser demostrado y debe contar con criterios de desempeño (Vargas-Leyva, 2008).

En este sentido es que se considera conveniente y relevante el diseño y desarrollo de un instrumento que sirva como apoyo para evaluar el enfoque directivo hacia una gestión para resultados; particularmente, conveniente para una sociedad del conocimiento y con ello aportar a que en la administración pública se otorguen servicios que realmente sean de valor para la sociedad. En consecuencia, la importancia de contar con un enfoque directivo orientado en una gestión para resultados radica en resaltar que debe apreciarse como un sistema; por lo cual, se basa en el ciclo de gestión orientada a los resultados, que implica desde un diagnóstico hasta la rendición de cuentas. Resalta que cada una de las etapas deben estar debidamente articuladas, con el objetivo de facilitar las etapas subsecuentes (Kauffman et al., 2015), precisando que aún y cuando es importante como se realizan las acciones, el principal énfasis es: qué se hace, qué se logra y cuál es su impacto (UAEM, 2015).

Para cumplir este cometido, como se indicó, se propuso la rúbrica analítica: “enfoque directivo en la gestión para resultados en la sociedad del conocimiento” (Martínez-Corona et al., 2020); la cual se considera una aportación al área, ya que denota elementos para identificar características en los servidores públicos de mando hacia una orientación para resultados en la implementación de la política pública; así como tomar decisiones para la formación de gerentes públicos, basadas en un diagnóstico institucional. Esto derivado de que el instrumento toma como referencia los ejes del ciclo de gestión y se estructura bajo enfoque de gestión para resultados.

Si bien el instrumento se considera que incluye los aspectos que caracterizan la GpR, se hace necesario su validación para verificar que mida lo que deba medir; es decir, para lo que fue diseñado (Carvajal et al., 2011). A este respecto, en los instrumentos de evaluación existen diversas propiedades psicométricas de relevancia. De ellas se señala la denominada validez de facie, la cual es la verificación de la relevancia de los ítems del instrumento y a la evaluación de su claridad y comprensión en su redacción (Reina Gamba & Vargas Rosero, 2008); y la segunda, denominada validez de contenido la cual “refiere al grado en que un instrumento refleja un dominio específico de contenido de lo que se mide” (Hernández-Sampieri et al., 2010, p. 201).

Con respecto a esto último, Juárez-Hernández y Tobón (2018) refieren a la validez de contenido como la calidad y precisión del instrumento de investigación; para lo cual, realizan un análisis del desarrollo histórico del término, del cual destacan definiciones como la de Kerlinger (1986) que expresa es la representatividad del contenido, hasta la de Koller, Levenson y Glück (2017) donde agregan elementos como representatividad de ítems y sus aspectos gramaticales, así como la claridad de sus instrucciones. Por su parte, Carvajal et al. (2011) expresan que la validez de contenido es una evaluación cualitativa para conocer si el cuestionario cubre todas las dimensiones del fenómeno que se pretende medir. Acorde a lo anterior el instrumento fue sometido a estos procesos; por lo que, se puede indicar que el instrumento para evaluar el EDGpRSC cuenta con validez de contenido y cuenta con las características adecuadas para su aplicación.

Ahora bien, ambas propiedades han sido mencionadas como importantes, más la validez de constructo es considerada como la de mayor relevancia e importancia, ya que le corresponde el significado del instrumento y le concierne verificar que un instrumento representa y mide el concepto teórico que pretende medir (Hernández-Sampieri et al., 2010, p. 203). Otros autores indican que es la principal en cuanto a los tipos de validez, y que es un concepto unificador, ya que integra en un marco común para probar las relaciones teóricamente relevantes, las consideraciones de validez de contenido y de criterio (Messick, 1980).

Para cumplir con el esquema de validación en el presente se realizó el análisis de esta propiedad, para lo cual se aplicó el instrumento a 505 directivos de la administración pública, lo cual cumple de manera óptima con el estándar fundamental del tamaño muestral para la aplicación del Análisis Factorial Exploratorio (Hair et al., 2010; Mavrou, 2015). Los resultados fueron satisfactorios, ya que en primer lugar se observó la correspondencia de lo propuesto teóricamente. En este sentido, aún y cuando en el instrumento se consideran diversos aspectos, su base son los ejes del ciclo de gestión y el primer principio de la declaración de Marrakech; esto es que representan a un proceso donde todos los aspectos están relacionados y forman parte del mismo constructo. Por lo que se pudo verificar que responden a una misma dimensión derivado de que en la matriz de la varianza total explicada, solo un factor obtuvo un autovalor superior a 1 y el cual explicó más del 56% de la varianza.

En segundo lugar, todos los ítems propuestos están representados dentro del modelo factorial y del factor encontrado revelando que los ítems del instrumento representan y miden el constructo o concepto teórico que se propone (Mavrou, 2015). Este aspecto es relevante ya que muestra la valía de la validación de contenido, ya que como se indicó, esta última representa una parte fundamental de la validez de constructo (Messick, 1980). Otro aspecto importante para señalar es el cumplimento de todos los supuestos, ya que el método precisa muestras grandes, correlación entre variables y los datos de adecuación fueron favorables. El cumplimiento de estos supuestos aporta robustez y pertinencia a los resultados encontrados.

Otra propiedad analizada en el presente fue la confiabilidad, la cual de acuerdo con Virla, González-Pineda y Gutiérrez (2013) está relacionada con la precisión con la que un instrumento mide lo que lo que se desea medir. Por su parte Hernández-Sampieri et al. (2010) expresan que refiere al grado en que la aplicación repetida de un instrumento al mismo individuo produce iguales resultados. Específicamente en el presente se obtuvo un valor óptimo (Alfa de Cronbach de 0.868) acorde a los criterios indicados (Cervantes, 2005; Juárez-Hernández, 2018; Taber, 2018), revelando la confiabilidad del instrumento, lo que se traduce en que sus resultados son fiables al aplicarlo en diversas ocasiones (Carvajal et al., 2011). En este orden, es importante precisar que en su primer análisis el instrumento mostró valores óptimos de confiabilidad (Alfa de Cronbach de 0.822) en el grupo piloto (Martínez-Corona et al., 2020); sin embargo, es importante reconocer la limitación del tamaño del grupo piloto, ya que de acuerdo con Charter (2003) el coeficiente tiende a ser inestable con muestras pequeñas. Lo anterior da pie a destacar el valor obtenido en el presente, ya que la muestra se considera como óptima para efectuar este análisis y tener la certeza sobre el valor obtenido.

Otro aspecto para destacar del instrumento es la característica o cualidad de factibilidad; es decir, su asequibilidad para la población objeto (Carvajal et al., 2011). En el presente se obtuvieron ponderaciones de buen grado respecto a la comprensión de instrucciones e ítems, así como con la satisfacción con el instrumento, lo que es similar en la aplicación al grupo piloto (Martínez-Corona et al., 2020). Este aspecto es de suma importancia, ya que como lo refieren Corral (2009) y Carvajal et al. (2011), la inadecuada comprensión de instrucciones o preguntas puede afectar las propiedades psicométricas, así como propiamente los resultados del instrumento.

5. Conclusiones

Ante los resultados presentados en este trabajo, se precisa que el instrumento “enfoque directivo en la gestión para resultados en la sociedad del conocimiento” y los elementos que lo integran representan y miden con precisión el constructo que se pretende evaluar. Aunado a estos resultados, sobresale la relevancia de las fases previas de revisión y validación de contenido del instrumento, las cuales tuvieron importancia significativa en lo obtenido en el presente estudio. Conviene destacar la evaluación por parte de la población objetivo, ya que manifestó que las instrucciones e ítems del instrumento son comprensibles y existe un alto grado de satisfacción con los mismos. En conjunción, estas evidencias denotan la calidad en el instrumento y en su medición; lo que en primera instancia representa un aporte al área de estudio y en segunda instancia brindan la oportunidad de aplicar el instrumento para la obtención de un diagnóstico que permita identificar líneas de formación y capacitación de los directivos en el sector público; lo que puede mejorar las decisiones y los resultados de las políticas públicas.

Referencias

Buela-Casal, G., & Sierra, J. C. 1997. Manual de evaluación psicológica: fundamentos, técnicas y aplicaciones. España: Siglo XXI. [ Links ]

Carvajal, A., Centeno, C., Watson, R., Martínez, M., & Sanz-Rubiales, Á. 2011. ¿Cómo validar un instrumento de medida de la salud? Anales Sis San Navarra, 34(12), 63-72. [ Links ]

Cervantes, V. H. 2005. Interpretaciones del coeficiente alpha de Cronbach. Avances en medición, 3(1), 9-28. [ Links ]

Charter, R. A. 2003. A Breakdown of Reliability Coefficients by Test Type and Reliability Method, and the Clinical Implications of Low Reliability. The Journal of General Psychology, 130(3), 290-304. https://doi.org/10.1080/00221300309601160. [ Links ]

Chica, S. A. 2015. Gestión para Resultados en el Desarrollo: Hacia la Construcción de una Buena Gobernanza. Administración & Desarrollo, 45(1), 71-93. [ Links ]

CIFE. 2018. Planeación del diseño y validación de un instrumento de investigación. Cuernavaca, Morelos, México: Centro Universitario CIFE. [ Links ]

Corral, Y. 2009. Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista Ciencias de la Educación, 19 (33), 228-247. [ Links ]

Costello, A. B., & Osborne, J. W. 2005. Best Practices in Exploratory Factor Analysis: Four Recommendations for Getting the Most From Your Analysis. Practical Assessment, Research & Evaluation, 10(7). https://dx.doi.org/10.4135/9781412995627.d8Links ]

Cronbach, L. J. 1951. Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. https://doi.org/10.1007/BF02310555Links ]

De Winter, J. C., & Dodou, D. 2012. Factor recovery by principal axis factoring and maximum likelihood factor analysis as a function of factor pattern and sample size. Journal of Applied Statistics, 39, 695-710. https://doi.org/10.1080/02664763.2011.610445. [ Links ]

Frías Navarro, D., & Pascual Soler, M. 2012. Prácticas del Análisis Factorial Exploratorio (AFE) en la investigación sobre conducta del consumidor y marketing. Suma Psicológica, 47-58. [ Links ]

García-López, R., & García-Moreno, M. 2010. La gestión para resultados en el desarrollo: Avances y desafíos en América Latina y el Caribe. Banco Interamericano de Desarrollo. [ Links ]

Gil-Flores, J. 2007. La evaluación de competencias laborales. Educación XX1(10), 83-106. [ Links ]

Gómez-Benito, J., & Hidalgo, M. D. 2015. La validez en los tests, escalas y cuestionarios. La sociología en los escenarios, 8 (revista electrónica), 1-14. [ Links ]

Gorsuch, R. L. 1983. Factor Analysis (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates. [ Links ]

Hair, J. F., Black, W. C., & Anderson, R. E. 2010. Multivariate data analysis. Upper Saddle. River, NJ: Prentice Hall. [ Links ]

Hernández-Sampieri, R., Fernández-Collado, C., & Baptista-Lucio, P. 2010. Metodología de la Investigación. México: McGraw-Hill Educación. [ Links ]

Hidalgo, L. 2005. Confiabilidad y validez en el contexto de la investigación y evaluación cuantitativas. Revista Venezolana de Investigación, 225-243. [ Links ]

Juárez-Hernández, L. G. 2018. Manual práctico de estadística básica para la investigación. Florida: Kresearch. [ Links ]

Juárez-Hernández, L. G., & Tobón, S. 2018. Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios, 39(53), 23. [ Links ]

Kauffman, J., Sangines, M., & García-Moreno, M. 2015. Construyendo gobiernos efectivos: Logros y retos de la gestión pública para resultados en América Latina y el Caribe. (B. I. Desarrollo, Ed.) Washington, D.C., USA. [ Links ]

López-Aguado, M., & Gutiérrez-Provecho, L. 2019. Cómo realizar e interpretar un análisis factorial exploratorio utilizando SPSS. REIRE Revista d’Innovació i Recerca en Educació, 12(2), 1-14. http://doi.org/10.1344/reire2019.12.227057. [ Links ]

Martínez-Corona, J. I., & Palacios-Almón, G. E. 2019. Análisis de la Gestión para Resultados en el Marco de la Sociedad. Revista Atenas, 3(47), 180-197. [ Links ]

Martínez-Corona, J. I., Palacios-Almón, G. E., & Juárez-Hernández, L. G. 2020. Diseño y validación del instrumento “enfoque directivo en la gestión para resultados en la sociedad del conocimiento”. Revista Espacios, artículo en prensa. [ Links ]

Mavrou, I. 2015. Análisis factorial exploratorio: cuestiones conceptuales y metodológicas. Revista Nebrija de Lingüistica Aplicada a la Enseñanza de las Lenguas, 19.Links ]

Messick, S. 1980. Test validity and ethics of assessment. American Psychologist, 35, 1012-1027. http://dx.doi.org/10.1037/0003-066X.35.11.1012Links ]

Ministerio de Economía y Finanzas. 2015. Presupuesto por resultados y la articulación territorial. Recuperado de: http://bit.ly/2oYlt36 (2019-05-29) [ Links ]

Montero, I., & León, O. G. 2002. Clasificación y descripción de las metodologías de investigación en psicología. Revista Internacional de Psicología Clínica y de la Salud, 2(3), 503-508. [ Links ]

Pliscoff -Varas, C. 2017. Implementando la nueva gestión pública: problemas y desafíos a la ética pública. El caso chileno. Convergencia Revista de Ciencias Sociales, 24(73), 141-164. [ Links ]

Pérez, E. R., & Medrano, L. 2010. Análisis Factorial Exploratorio: Bases Conceptuales y Metodológicas. Revista Argentina de Ciencias del Comportamiento, RAAC, 2(1), 58-66. [ Links ]

Prieto, G., & Delgado, A. R. 2010. Fiabilidad y validez. Papeles del Psicólogo, 31(1), 238-253. [ Links ]

Reina Gamba, N. C., & Vargas Rosero, E. 2008. Validez de contenido y validez facial del instrumento "Percepción de comportamientos de cuidado humanizado". Avances en enfermería, 26(2), 71-79. [ Links ]

Rositas-Martínez, J. 2014. Los tamaños de las muestras en encuestas de las ciencias sociales y su repercusión en la generación del conocimiento. Innovaciones de negocios. Innovaciones de Negocios, 11(22), 235-268. [ Links ]

Ruiz, M. A., & San Martín, R. 1992. El comportamiento de la regla k1 en la estimación del número de factores. Psicothema, 4(2), 543-550. [ Links ]

Salas-Razo, G., & Juárez-Hernández, L. G. 2019. Rúbrica analítica para el diagnóstico integral del nivel de desarrollo de una comunidad rural. Ager: Revista de Estudios sobre Despoblación y Desarrollo Rural, 26(1), 161-188. [ Links ]

Secretaría de Hacienda y Crédito Público. 2017. Módulo 2. Planeación y Presupuesto Orientado a Resultados del Diplomado de Presupuesto Basado en Resultados. Ciudad de México: SHCP. [ Links ]

Shack, N., & Rivera, R. 2017. Seis años de la gestión para resultados en el Perú (2007-2013). Huancayo: Universidad Continental, Fondo Editorial. [ Links ]

Taber, K. S. 2018. The use of Cronbach’s alpha when developing and reporting research instruments in science education. Research in Science Education, 48(6), 1273-1296. [ Links ]

Tobón, S. 2017. Evaluación socioformativa: estrategias e instrumentos. Mount Dora, USA: Kresearch. [ Links ]

Tobón, S., Guzmán, C. E., Hernández, J. S., & Cardona, S. 2015. Sociedad del conocimiento: Estudio documental desde una perspectiva humanista y compleja. Paradigma, 36(2), 7-36. [ Links ]

UAEM 2015. Gestión para resultados en la UAEM. Recuperado de: bit.ly/34lPnxk [ Links ]

Vargas-Leyva, M. R. 2008. Diseño curricular por competencias. Ciudad de México: ANFEI. [ Links ]

Virla, M. Q., González-Pineda, M., & Gutiérrez, D. J. 2013. Pertinencia de los términos validez y fiabilidad en investigaciones de la complejidad social. Opción, 29(71), 45-56. [ Links ]

Recibido: 02 de Diciembre de 2019; Aprobado: 22 de Enero de 2020

Creative Commons License Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.