SciELO - Scientific Electronic Library Online

 
vol.8 suppl.1Evaluating the Graph-based Visualization Technique: A Controlled ExperimentCase based reasoning applied to medical diagnosis using multi-class classifier: A preliminary study author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Enfoque UTE

On-line version ISSN 1390-6542Print version ISSN 1390-9363

Enfoque UTE vol.8  suppl.1 Quito Feb. 2017

https://doi.org/10.29019/enfoqueute.v8n1.137 

Ingeniería General

Herramienta para evaluar cuantitativamente el proceso de formación informal que tiene lugar a través de una aplicación Facebook.

Tool for the quantitative evaluation of a Facebook app-based informal training process

Adolfo Calle-Gómez1 

Félix Fernández-Peña1 

Pilar Urrutia-Urrutia1 

1 Universidad Técnica de Ambato, Ambato - Ecuador ax.calle@uta.edu.ec, fo.fernandez@uta.edu.ec, elsapurrutia@uta.edu.ec


Resumen:

El estudio del impacto de Facebook en el ámbito educativo ha estado basado, mayoritariamente, en el análisis cualitativo de los resultados de aprendizaje y de motivación de los estudiantes. El presente trabajo toma como punto de partida el uso de la aplicación Facebook Sigma por parte de estudiantes de la Universidad Técnica de Ambato, la que les permite compartir recursos educativos, en lo que constituye un proceso de aprendizaje informal que está teniendo lugar. Nos hemos propuesto construir Gamma, una herramienta para generar estadísticas y gráficos que ilustren el impacto de la red social en este proceso de aprendizaje. En el presente trabajo se presentan los resultados del estudio de cómo aquellos que aprenden de forma informal, valoran el uso de Gamma. Se comprobó que la aplicación 1) sirve de retroalimentación a los usuarios de la comunidad educativa con relación al valor de los recursos educativos y de las acciones sociales que tienen lugar y que 2) permite evaluar cuantitativamente el impacto del uso de Facebook en el proceso de formación informal. Como valor agregado, Gamma garantiza la comunicación entre usuarios adeptos y detractores del uso de Facebook en el ámbito educativo.

Palabras clave: Proceso de aprendizaje informal; Facebook; evaluación cuantitativa.

Abstract:

The study of the impact of Facebook in academy has been mainly based on the qualitative evaluation of the academic performance and motivation of students. This work takes as starting point the use of the Facebook app Sigma in the Universidad Técnica de Ambato. Students of this university share educative resources through Sigma. This constitutes an informal learning process. We have proposed to construct Gamma, a tool for the generation of statistics and charts that illustrates the impact of the social network in the resulting learning process. This paper presents the results of the study of how Gamma is valued by those who like to do informal learning. It was checked that 1) Gamma gives feedback about the value of educative resources and social actions and that 2) it allows the quantitative measurement of the impact of using Facebook in the informal learning process. As an added value, Gamma supports the communication between supporters and detractors of the use of Facebook in the academia.

Keywords: Informal learning process; Facebook; quantitative measurement.

1. Introducción

Según la teoría de Astin, la cantidad de aprendizaje del estudiante y el desarrollo asociado con un programa educativo está directamente relacionado con la calidad y cantidad del vínculo del estudiante con dicho programa. Astin encontró que la cantidad de tiempo que los estudiantes dedican al diálogo con el docente fuera de clase está correlacionado positivamente con su satisfacción con relación a la calidad de la instrucción, e incluso, con su rendimiento académico (Astin, 1993). En este sentido, los entornos de comunicación virtual constituyen, hoy en día, una herramienta a considerar en cuanto a aprendizaje informal y relaciones sociales se trata (Junco, 2012)(Gordon, 2014)(Cunha et al., 2016).

Múltiples estudios se han enfocado en las posibilidades del uso de Facebook como herramienta de aprendizaje informal a través de los “Grupos Facebook” (Tsovaltzi et al., 2016) (Gómez et al., 2012) (Puhl et al., 2015) (Chun & Sheng, 2015) (Cunha et al, 2016). Sin embargo, múltiples autores aluden las dificultades de utilizar una herramienta que no fue concebida con fines educativos en el entorno académico (Kirschner & Karpinski, 2010) (Junco, 2012) (Yunus & Salehi, 2012) (Kirschner, 2015). También se ha señalado que los docentes no están convencidos de utilizar Facebook en el proceso docente (Junco, 2012) (Gómez et al., 2012), lo que hace ver a los estudiantes como nativos y a los docentes como inmigrantes digitales (Gómez et al., 2012).

En un trabajo previo, a partir de las ventajas del uso de los grupos Facebook señaladas por algunos autores (Tsovaltzi et al., 2016) (Gómez et al., 2012) (Oklar, 2012) (Junco, 2012) (Yunus & Salehi, 2012) (Pérez & de la Cruz, 2014) (Gordon, 2014) (Puhl et al., 2015) (Michikyan et al., 2015) (Cunha et al, 2016) y las desventajas señaladas por estos mismos autores y por otros (Kirschner & Karpinski, 2010) (Junco, 2011) (Junco, 2012) (Yunus & Salehi, 2012) (Gómez et al., 2012) (Abdulahi et al., 2014) (Kirschner, 2015), construimos un repositorio digital académico como aplicación Facebook que se utiliza actualmente para compartir recursos educativos entre estudiantes de la Universidad Técnica de Ambato.

El objetivo de esta aplicación, llamada Sigma (Fernández & Urrutia, 2016), fue explotar las funcionalidades que se han valorado positivamente y reforzar las limitaciones que han sido detectadas en el uso de los grupos Facebook en el ámbito académico. El resultado fue una aplicación que personaliza el funcionamiento del mecanismo de comunicación (y colaboración) que ofrece la red social en función de la gestión académica alrededor del aprendizaje informal (Fernández & Urrutia, 2016). Para detalles de su funcionamiento se sugiere consultar https://www.youtube.com/watch?v=-adJ8Q8L17M. A partir de la evaluación de resultados del desarrollo de Sigma, nos propusimos construir la aplicación Gamma, dedicada al análisis cuantitativo de la interacción en la red social Facebook utilizando la información acumulada por Sigma. Con ello, se pretende apoyar la toma de decisiones en el proceso de aprendizaje informal que tiene lugar a través de Sigma.

El objetivo del presente trabajo es evaluar en qué medida la aplicación Gamma, 1) sirve de retroalimentación a los usuarios con relación al valor de los recursos educativos y de las acciones sociales de los miembros de la comunidad que utiliza Sigma en el proceso de aprendizaje informal y 2) en qué medida permite evaluar cuantitativamente el impacto del uso de la red social en el proceso de formación académica.

Algunos autores han señalado la posible influencia negativa de las redes sociales sobre el tiempo que el estudiante dedica a la lectura (Gómez et al., 2012) (Junco, 2012) y al estudio, en general (Kirschner & Karpinski, 2010) (Kirschner, 2015), llegando a considerarse hasta como una posible adicción (Abdulahi et al., 2014). Sin dejar de reconocer las dificultades que enfrenta, estudios recientes defienden el potencial de Facebook para desarrollar la identidad estudiantil, fidelidad y confianza en la institución universitaria por parte de los educandos y enfatizan la importancia de hacer uso de los componentes de la herramienta que influyen positivamente en el rendimiento estudiantil (Junco, 2015) (Nevzat et al., 2016) (Brech et al., 2016).

La mayoría de los estudios consultados relacionados con el uso de Facebook en la academia se refieren a análisis cualitativos cuyo resultado se avala por el procesamiento estadístico de las encuestas realizadas (Kirschner & Karpinski, 2010) (Tsovaltzi et al., 2016) (Junco, 2011) (Junco, 2012) (Yunus & Salehi, 2012) (Gómez et al., 2012) (Oklar, 2012) (Abdulahi et al., 2014) (Puhl et al., 2015) (Junco, 2015) (Michikyan et al., 2015). Solo Chun, Kitto y Tsovaltzi explotan, de alguna manera, la capacidad de la plataforma Facebook para recuperar información de la actividad de sus usuarios y llevar a cabo un análisis cuantitativo del comportamiento de los mismos (Chun & Sheng, 2015) (Kitto et al., 2015) (Tsovaltzi et al., 2016).

En (Chun & Sheng, 2015), se trabaja con un grupo de 31 estudiantes de noveno grado, se crea una especie de club extra clase en el que los estudiantes participaron por un período de 30 días y se utilizan las funcionalidades de un “Grupo Facebook” como medio de aprendizaje colaborativo. En esta investigación se excluyó a los estudiantes que no poseían cuenta personal de Facebook, quedando un número de 28 estudiantes, 12 hombres y 16 mujeres. La planificación del contenido académico a compartirse dentro del grupo fue propuesta por el profesor, quien publicó un único artículo todos los días a las 17:00 pm.

Después de trascurrido el mes del experimento, realizaron un análisis cuantitativo de los datos, utilizando las herramientas NCapture y NVivo. Con la primera herramienta se descargó el número de acciones sociales que tuvieron lugar en el grupo Facebook, utilizando una cuenta de usuario debidamente registrado, y con la segunda herramienta se realizó el procesamiento estadístico.

Los resultados indicaron que las publicaciones realizadas por el docente generaron mayor interés que las publicaciones realizadas por otros estudiantes. También determinaron que el mayor nivel de interacción se dio los días jueves y viernes, lo que supuestamente se debe al estilo de vida y hábitos académicos de los estudiantes (Chun & Sheng, 2015).

Por su parte, Kitto construyó una aplicación web denominada Connected Learning Analytics Toolkit (CLA), creada bajo licencia Open Source GPL3, que captura datos de la interacción de estudiantes y profesores con contenido académico en distintas redes sociales y genera estadísticas. Las redes sociales con las que trabaja son Twitter, Facebook, Forum, YouTube, Diigo, Blog, unificando en una sola aplicación la variedad de acciones de las distintas redes sociales. CLA utiliza el estándar para tecnologías de aprendizaje denominado Experience API ó xAPI, el cual permite capturar y almacenar de una manera estructurada las actividades de aprendizaje en línea realizadas por una persona (Kitto et al., 2015).

Además, Tsovaltzi realiza una investigación enfocada a determinar si los servicios de redes sociales (del inglés Social Network Service SNS) favorecen la construcción del conocimiento académico de los estudiantes a través de la discusión sobre temas académicos en las redes sociales, para ello realizó un experimento con 40 estudiantes de una universidad alemana, los cuales interactuaron en Facebook (a través de cuentas creadas para el experimento sin la identidad del estudiante) en la discusión de un tema específico por 55 minutos. Se aplicó un cuestionario de veinticuatro preguntas de opción múltiple y dos preguntas abiertas al principio y al final del experimento y se determinó que la discusión argumentada del tema en la red social favoreció a la ganancia de conocimiento de los estudiantes. Para la elaboración del cuestionario se utilizó la escala de Likert del 1 al 5 para la valoración de las respuestas. (Tsovaltzi et al., 2016).

Desde la perspectiva empresarial es de significancia la existencia de herramientas de análisis estadístico que permitan conocer el tráfico de usuarios en los sitios web. La herramienta más utilizada en la actualidad es Google Analytics, la que permite además integrar acciones sociales en las páginas web y medir el éxito de la publicidad que tiene la página a través de las redes sociales. De acuerdo a reportes, el 52.9% del total de sitios web a nivel mundial ocupan esta herramienta. (https://w3techs.com/technologies/overview/traffic_analysis/all). Las características primordiales de esta herramienta son la riqueza en la presentación de las gráficas y el gran nivel de personalización de las estadísticas de acuerdo a las necesidades del usuario o del sitio web.

El presente artículo se encuentra estructurado de la siguiente manera. En la sección 2 se describe las funcionalidades y la implementación de la herramienta para luego someter la misma a un estudio experimental con un grupo de usuarios. En la sección 3 se presentan y analizan los resultados del estudio experimental para finalmente arribar a conclusiones en la sección 4.

2. Materiales y Métodos

Para verificar el cumplimiento de los objetivos planteados se utilizó el método de investigación experimental en pos de responder las siguientes preguntas de investigación.

P1. ¿Gamma retroalimenta a los usuarios con relación al valor de los recursos educativos y de las acciones sociales de los miembros de la comunidad que utiliza Sigma en el proceso de aprendizaje informal?, y

P2. ¿Gamma permite evaluar cuantitativamente el impacto del uso de la red social en el proceso de formación académica?

En esta sección, en primera instancia se describe la construcción de Gamma para posteriormente describir el diseño del experimento llevado a cabo en la Facultad de Ingeniería en Sistemas Electrónica e Industrial de la Universidad Técnica de Ambato para responder las preguntas de investigación en cuestión.

2.1. Propuesta de Solución

Gamma se desarrolló con herramientas de software libre, como aplicación internet enriquecida (RIA, del inglés Rich Internet Application), con actualización asincrónica de las estadísticas y los gráficos, utilizando el lenguaje de programación JavaScript del lado del cliente. Del lado del servidor se utilizó el marco de trabajo Yii 1.1.17, que posee integrado un patrón de diseño MVC (Modelo Vista Controlador) y el lenguaje de programación PHP.

La información generada por Sigma es guardada en una base de datos que se implementó mediante MySql. Se manejan 11 tablas en total, 4 para la administración de usuarios y roles, 4 para el manejo de categorías y recursos educativos, y 3 para el registro de las acciones sociales (shares, visits, likes). La aplicación Gamma procesa los datos registrados y los transforma en estadísticas y gráficos de apoyo a la toma de decisiones en el ámbito académico. Gamma permite realizar tres tareas principales:

Gestión de recursos educativos

Los usuarios pueden actualizar los datos (y el estado) de los recursos educativos que publican utilizando el módulo Gamma. Estas actualizaciones quedan automáticamente accesibles en Facebook a través de Sigma. Si sobre determinado recurso educativo no se realizan acciones sociales en un periodo de tiempo determinado, quien lo publica puede decidir excluirlo del repositorio usando Gamma. Esta herramienta también se encarga de notificar automáticamente al usuario que comparte determinado recurso educativo cuando este “deja de utilizarse”. Para implementar este sistema de notificaciones se añadió el complemento PHPMailer al marco de trabajo de Yii.

En este sentido la herramienta constituye un espacio alternativo para compartir y actualizar la información de los recursos educativos por parte de los usuarios desde fuera de Facebook, a diferencia de trabajos relacionados (Chun & Sheng, 2015) que restringen al usuario a publicar y visualizar los recursos educativos estrictamente dentro de la red social en el grupo Facebook.

Generación de estadísticas

A través de Gamma, los miembros de la comunidad académica tienen disponibles estadísticas en tiempo real del “valor social“ de los recursos educativos compartidos (medido en función de la cantidad de acciones sociales ejercidas sobre ellos por la comunidad). No es necesario realizar primero la descarga de los datos con una herramienta y luego el procesamiento con una segunda herramienta como fue propuesto por Chun et al. (Chun & Sheng, 2015), puesto que Gamma fusiona las dos funcionalidades (recuperación de datos y generación de estadísticas). Los reportes son generados en tiempo real, y en función de las preferencias y/o necesidades del usuario. En la Figura 1 se muestra un ejemplo del tipo de estadísticas generadas por la aplicación Gamma.

Fig. 1: Estadística del número de acciones sociales y la relevancia de recursos educativos. 

Para incrementar el nivel de interactividad y usabilidad de la aplicación, en comparación con el de la propuesta de Kitto et al. (Kitto et al., 2015), se llevó a cabo un estudio de bibliotecas JavaScript para la generación de gráficos estadísticos. La valoración de diferentes criterios cualitativos se cuantificó en una escala de uno a tres, tomando en cuenta el criterio de expertos. El resultado obtenido se muestra a continuación (Tabla 1). Se seleccionó a Morris JS (http://morrisjs.github.io/morris.js/) como la opción que mejor se adapta a los requerimientos planteados. Morris JS es de fácil uso, la documentación disponible es amplia y la curva de aprendizaje para utilizarla es reducida.

Tabla 1 Comparativa de Bibliotecas JS. 

Para crear los gráficos estadísticos se diseñaron consultas a la base de datos mediante lenguaje SQL; el controlador de la aplicación recupera los datos y los estructura en objetos JSON que envía a la vista cliente de la aplicación. Se utiliza MorrisJS para recibir los objetos JSON, configurar los parámetros y mostrar las gráficas al usuario. Morris JS permite crear gráficos de cuatro tipos: barras, líneas, áreas y pasteles. En la Figura 2, se muestra la implementación de la gráfica del número de acciones sociales realizadas sobre un recurso educativo utilizando el objeto JSONoasharevisitlike:

Fig. 2: Implementación de gráficas estadísticas con MorrisJS. 

En el diseño de las gráficas estadísticas de Gamma se tomó en cuenta la riqueza y la personalización de las gráficas que presenta Google Analytics; para ello se utilizó la capacidad de actualización asincrónica del contenido con JavaScript (tecnología Ajax). Es importante señalar que el manejo de objetos JSON para la recuperación de la información de la base de datos es similar al empleado en la herramienta Connected Learning Analytics Toolkit para recuperar actividades de aprendizaje del Almacén de Registros de Aprendizaje (Kitto et al., 2015).

Desde el punto de vista de la calidad de las medidas definidas, para determinar la relevancia de los recursos educativos y de los autores, se establecieron métricas que están en relación al número de acciones sociales realizadas sobre los mismos. La relevancia de un recurso educativo ri es determinada utilizando la fórmula:

siendo Si, Vi y Li la cantidad de Shares, Visits y Likes que recibe el recurso educativo en cuestión. Esta fórmula fue seleccionada teniendo en cuenta la opinión de expertos en el área y de usuarios potenciales que fueron consultados y también es utilizada para ordenar los recursos educativos cuando se muestran en la aplicación Sigma (Fernández & Urrutia, 2016).

Por su parte, la actividad social de un usuario en Sigma se calcula sobre la base de la relevancia de los recursos educativos que publica utilizando la siguiente fórmula:

donde n es la cantidad de recursos educativos del usuario en cuestión.

Haciendo un análisis de la medición de estas métricas para las categorías de recursos educativos que se manejan, se determinan cuáles son relevantes para la comunidad educativa así como las que son de poco interés dentro de la institución (Figura 3). La cantidad de recursos educativos creados por categoría también refleja áreas de mayor interés en los usuarios del sistema. El procesamiento de los datos permite determinar cuáles son los miembros de la comunidad académica con mayor actividad lo que, según Cuhna, genera mayor influencia en el aprendizaje informal que tiene lugar (Cunha et al., 2016).

Fig. 3: Gráficos estadísticos generados por Gamma

El mismo análisis se lleva a cabo para determinar los miembros de la comunidad menos activos y generar alertas a los docentes/facilitadores que gestionan el proceso de aprendizaje informal, teniendo en cuenta que se puede tratar de estudiantes menos participativos, que requieran una atención diferenciada como parte del proceso de aprendizaje colaborativo. Si fuera el caso, el docente cuenta con una herramienta que facilita detectar a dichos estudiantes y tomar las medidas correctivas en el proceso de aprendizaje.

Gamma permite la combinación de estadísticas entre autores, recursos educativos, categorías educativas y acciones sociales. Se encarga de generar estadísticas específicas combinadas a voluntad del usuario; para ello se tomó como referencia el tipo y la forma de presentación de las estadísticas generadas por Google Analytics. Por ejemplo: evolución en el tiempo de recursos educativos creados por un autor vs el total de recursos educativos. Adicionalmente, el usuario de Gamma puede seleccionar el tipo de gráfica en la que desee representar las estadísticas (barras, líneas o áreas), establecer un rango de fechas de las estadísticas (año, semestre, mes) y descargar las mismas en diferentes formatos (pdf y Excel).

Personalización de servicios

La autenticación de los miembros de la comunidad académica está implementada en Gamma de dos formas: autenticación Facebook y autenticación propia del sistema. Para quienes lo prefieren, la aplicación se comunica con la plataforma Facebook y valida las credenciales del miembro de la comunidad académica como usuario Facebook registrado en la aplicación. Para la autenticación a través de Facebook en Gamma, se utilizó el SDK de Facebook en JavaScript versión 2.7, con la que se obtienen los datos de la cuenta de usuario de la red social y se les valida oportunamente.

Teniendo en cuenta las dificultades enfrentadas cuando miembros de una comunidad académica son detractores del uso de Facebook, que fueron documentadas en investigaciones previas (Pérez & de la Cruz, 2014), la aplicación permite el registro en Gamma con credenciales que se almacenan en la base de datos de la aplicación. De esta forma, estudiantes y docentes sin una cuenta de Facebook, o que decidan retroalimentarse con relación al uso que está teniendo Sigma, pero que no desean actuar “socialmente” a través de Facebook, sí pueden utilizar Gamma. El respeto a la autodeterminación reclamado en trabajos previos (Pérez & de la Cruz, 2014) demanda esta funcionalidad. Para más detalles del funcionamiento de la herramienta Gamma se sugiere consultar https://www.youtube.com/watch?v=yQmaln8Ywt0&t=2s.

2.2. Diseño del experimento

Se convocó a estudiantes y docentes de la Facultad de Ingeniería en Sistemas, Electrónica e Industrial, de la Universidad Técnica de Ambato para la evaluación del impacto de Gamma en el proceso de aprendizaje informal. Los datos del uso experimental de Sigma durante seis meses se pusieron a disposición de un conjunto de 25 usuarios potenciales (tamaño representativo de un grupo de aprendizaje en la universidad) en lo que constituyó un experimento controlado de validación. El tamaño de muestra está además en correspondencia con el utilizado por Chun et al. (Chun & Sheng, 2015) y Tsovaltzi et al. (Tsovaltzi et al., 2016).

Entre los 25 usuarios (3 docentes) se consideró a tres que no son usuarios de Facebook y son detractores de su uso en el ámbito académico (dos docentes y un estudiante). En el estudio que realizan Chun et al., se identificaron que las publicaciones del profesor en un grupo Facebook recibe mayor atención que la de los estudiantes (Chun & Sheng, 2015). Para evitar que la opinión del docente generara influencia en el proceso de aprendizaje informal, en nuestro trabajo el docente no aporta contenido sino que evalúa la calidad del proceso de aprendizaje informal. El experimento se estructuró en tres fases.

En la primera fase se evaluó la herramienta por parte de los 25 usuarios durante el período de un mes (Octubre 2016). Los usuarios con cuenta en Facebook utilizaron la autenticación Facebook y a los otros tres se les asignó credenciales en la aplicación Gamma. A los participantes se les dio las siguientes órdenes de manejo de la herramienta:

Autenticarse en la aplicación (utilizando Facebook o no, dependiendo del usuario).

Acceder al menú de opciones y verificar la lista de publicaciones realizadas por su usuario en Sigma / Gamma.

Compartir un recurso educativo mediante Gamma y seleccionar la o las categorías a las que pertenece el recurso educativo.

Posteriormente, se les indicó utilizar libremente la herramienta durante un mes, además de que interactuaran, de forma paralela, de considerarlo oportuno, con la aplicación Sigma en Facebook. Al final de esta fase, se cuantificó y socializó el resultado del uso de la aplicación.

En la segunda fase se aplicó un cuestionario basado en los criterios de usabilidad de Nielsen (Nielsen, 1999) para determinar el nivel de usabilidad de la aplicación Gamma.

En la tercera fase del experimento se tomó como referencia el trabajo de Tsovaltzi, para diseñar un test con nueve indicadores (Tabla 2), a evaluar utilizando la escala de Likert, y dos preguntas abiertas para conocer la opinión de los usuarios sobre Gamma. Los indicadores 1 al 5 están relacionados con la pregunta de investigación P1 y los indicadores 6 al 9 con P2. Las preguntas están relacionadas a las preguntas de investigación P1 y P2, respectivamente.

Tabla 2 Indicadores de evaluación de Gamma en la tercera fase del experimento. 

Pregunta 1. ¿Qué beneficio le representó el uso de Gamma con respecto al aprendizaje?

Pregunta 2. ¿Cuáles considera que son los puntos fuertes y débiles de la aplicación Gamma?

3. Resultados y Discusión

Los resultados obtenidos en cada fase se muestran a continuación:

Primera Fase.

Las órdenes de manejo de la herramienta fueron cumplidas de forma exitosa y permitieron establecer un punto de partida sólido para la evaluación experimental de la herramienta. Por su parte, en la Tabla 3 se presentan las estadísticas generales recuperadas por Gamma durante el mes del experimento con los 25 usuarios:

Tabla 3 Estadísticas generales de Gamma

Según las estadísticas, se observa que durante el mes del experimento existió una cantidad representativa de publicaciones de recursos educativos y acciones sociales; se observa además, que todos los usuarios publicaron por lo menos un recurso educativo, lo que asegura que todos los usuarios están en la capacidad de valorar la aplicación en las fases posteriores del experimento. Por su parte, en la Tabla 4 se muestran las áreas con mayor y menor interés respectivamente, de acuerdo al número de recursos educativos compartidos en cada una de ellas. Se observa que la población escogida para el experimento tiene un marcado interés en temáticas del área de ingeniería de software y que, por tanto, están en condiciones de evaluar los datos de seis meses de trabajo previo con estudiantes de la Carrera de Sistemas.

Tabla 4 Estadísticas de áreas con mayor cantidad de recursos educativos. 

Adicionalmente, se verificó el registro académico de los estudiantes y se comprobó que existe una correspondencia entre los estudiantes con rendimiento más alto y los usuarios más relevantes en el uso de la aplicación, en consonancia con estudios que sugieren que hacer uso de las capacidades de colaboración a través de Facebook influye positivamente en el rendimiento estudiantil (Junco, 2015) (Nevzat et al., 2016) (Brech et al., 2016).

Se revisó la relación de las estadísticas entre usuarios y recursos educativos y se comprobó que existe correspondencia entre los artículos más relevantes y los usuarios con mayor influencia y los artículos menos relevantes con los usuarios menos influyentes. Los artículos más relevantes tienen que ver con innovación y tecnología actual mientras que los menos relevantes tienen que ver con conceptos básicos, lo que puede deberse a la diferencia en el grado de investigación entre estudiantes.

Segunda Fase.

De los diez criterios de usabilidad de Nielsen (Nielsen, 1999), “Ayuda al Usuario” y “Documentación” fueron excluidos del análisis por cuanto más del 80% de los participantes en el experimento consideraron que no se aplicaban por la filosofía en que opera la herramienta y el contexto de aplicación de esta. Los resultados de la aplicación de la encuesta de usabilidad de Gamma se tabularon en el cuadro que se muestra a continuación (Tabla 5). Se utilizó la escala de Likert con los siguientes criterios: completamente deficiente - deficiente - aceptable - satisfecho - completamente satisfecho.

Tabla 5 Resultados de evaluación de usabilidad de Gamma

El resultado demuestra el nivel de usabilidad de la herramienta reconocido por los encuestados, por cuanto los criterios menos satisfactorios fueron aquellos en que solo tres, de los veinticinco participantes en el experimento consideraron que el criterio de usabilidad no se cumplía de forma satisfactoria.

Tercera Fase.

Se procesaron las valoraciones obtenidas de los indicadores, divididos en dos grupos, según las preguntas de investigación definidas. En la Figura 4 se muestra los resultados de la valoración. Realizando un análisis de tendencia de las valoraciones de los indicadores vemos que hay una marcada tendencia a la verificación positiva de las preguntas de investigación P1 y P2. Los gráficos tienen una ligera valoración más positiva que las estadísticas y el criterio de evaluación de la retroalimentación de los recursos educativos propios es superior a la de los de otros usuarios, lo cual puede deberse a que los usuarios estén mejor identificados con sus recursos que con los de otros usuarios.

Fig. 4: Resultados del procesamiento de las encuestas. 

Por su parte, en las respuestas a la primera pregunta abierta, las opiniones más significativas en las que coinciden los encuestados indican que la aplicación apoya el aprendizaje informal, por cuanto retroalimenta el proceso de consumo de recursos educativos compartidos. Este resultado coincide con el de Tsovaltzi et al., quienes determinaron que la discusión argumentada de un tema académico en la red social favoreció a la ganancia de conocimiento de los estudiantes (Tsovaltzi et al., 2016). Los usuarios recalcaron que vieron incrementado su conocimiento consultando el contenido más relevante, el que es fácilmente identificable a través de las estadísticas generadas por la aplicación. También se mencionó por parte de los usuarios que Gamma permite conocer el “valor social” de las contribuciones de un usuario y que esto es indicador válido del nivel de conocimiento y/o aceptación que posee el usuario en relación al contenido y áreas temáticas de interés de la comunidad educativa.

En las respuestas a la segunda pregunta, se mencionaron como puntos fuertes de la aplicación la retroalimentación que ofrecen las estadísticas con relación a la interacción de la comunidad educativa en Facebook, la claridad y personalización de las estadísticas a voluntad del usuario, la integración de usuarios contrarios al uso de Facebook y de usuarios que están a favor del uso de la red social en la enseñanza aprendizaje. Como punto débil de la propuesta, y aspecto que pretendemos incluir en el trabajo futuro de la presente investigación, los usuarios señalan la necesidad de optimizar el mecanismo de notificaciones, haciendo que tenga en cuenta el contenido de los recursos educativos y el perfil de cada usuario.

4. Conclusiones y Recomendaciones

Si bien, la construcción de Sigma garantizó la gestión de un repositorio digital académico en Facebook, es Gamma la herramienta que garantiza la retroalimentación con relación a lo que sucede en el proceso de aprendizaje informal que tiene lugar. Con esta herramienta se cierra el ciclo del proceso de formación académica informal en las redes sociales que se ha propuesto por cuanto permite evaluar cuantitativamente el impacto del uso de la red social en el proceso de formación académica, y la evaluación de los resultados obtenidos en la experimentación con la herramienta fue satisfactoria.

La herramienta Gamma tomó en cuenta los beneficios de las herramientas reportadas en la literatura y reforzó las debilidades detectadas en las mismas. Muestra estadísticas y gráficas claras e interpretables y crea un espacio alternativo de administración del contenido académico que además integra a usuarios que están a favor y usuarios que están en contra del uso de la red social Facebook en el proceso de enseñanza aprendizaje.

Como trabajo futuro, se pretende definir formalmente el proceso de aprendizaje informal soportado por las herramientas, optimizar el mecanismo de notificaciones, haciendo que tenga en cuenta el contenido de los recursos educativos y el perfil de cada usuario, llevar a cabo una evaluación longitudinal de impacto en el rendimiento académico de los estudiantes y fortalecer la capacidad de apoyo a la toma de decisiones con un sistema automático de recomendaciones basado en la experiencia de uso de Sigma y Gamma. Es importante señalar que los resultados obtenidos son parciales, por cuanto en el experimento participaron estudiantes de una única facultad de la Universidad Técnica de Ambato y se trabajó con un único proceso educativo. Como trabajo futuro también nos proponemos extender el ámbito de la experimentación llevada a cabo.

Bibliografía

Abdulahi, A., Samadi, B., y Gharleghi, B. (2014). A Study on the Negative Effects of Social Networking Sites Such as Facebook among Asia Pacific University Scholars in Malaysia. International Journal of Business and Social Science, 5(10), 133-145. [ Links ]

Astin, A. (1993). What matters in college: Four critical years revisited. The Journal of Higher Education. Washington, 22(8). [ Links ]

Brech, F., Messer,U., Vander Schee, B., Rauschnabel, P., y Ivens, B. (2016). Engaging fans and the community in social media: interaction with institutions of higher education on facebook. Journal of Marketing for Higher Education, 1-19. [ Links ]

Chun-Jung, C., y Sheng-Yi, W. (2015). A case study exploring junior high school student’s interaction behavior in a learning community on Facebook: Day and time. International Journal of Learning, Teaching and Educational Research, 12(2), 99-106. [ Links ]

Cunha, F.R., van Kruistum, C., y van Oers, B. (2016). Teachers and facebook: using online groups to improve students’ communication and engagement in education. Communication Teacher, 30(4), 228-241. [ Links ]

Fernández-Peña, F., y Urrutia-Urrutia, P. (2016). Construcción de un repositorio digital académico utilizando facebook. Tecnología, innovación e investigación en los procesos de enseñanza-aprendizaje. Edit. Octaedro. [ Links ]

Gómez, M., Roses, S., y Farias, P. (2012). The Academic Use of Social Networks among University Students. Comunicar, 38, 131 - 138. [ Links ]

Gordon, J. (2014). How is language used to craft social presence in facebook? a case study of an undergraduate writing course. Education and Information Technologies, 21(5), 1033-1054. [ Links ]

Junco, R. (2011). The relationship between frequency of Facebook use, participation in Facebook activities, and student engagement. Computers and Education, 58(1), 162-171. [ Links ]

Junco, R. (2012). Too much face and not enough books: The relationship between multiple indices of Facebook use and academic performance. Computers in Human Behavior, 28(1), 187-198. [ Links ]

Junco, R. (2015). Student class standing, Facebook use, and academic performance. Journal of Applied Developmental Psychology, 36, 18-29. [ Links ]

Kirschner, P. A., y Karpinski, A. C. (2010). Facebook and academic performance. Computers in Human Behavior , 26(6), 1237-1245. [ Links ]

Kirschner, P.A. (2015). Facebook as learning platform: Argumentation superhighway or dead-end street? . Computers in Human Behavior . [ Links ]

Kitto, K., Cross,S., Waters, Z., y Lupton, M. (2015). Learning Analytics beyond the LMS: the Connected Learning Analytics Toolkit. Computers in Human Behavior , 11-15. [ Links ]

Michikyan, M., Subrahmanyam, K., y Dennis, J. (2015). Facebook use and academic performance among college students: A mixedmethods study with a multi-ethnic sample. Computers in Human Behavior , 45, 265-272. [ Links ]

Nevzat, R., Amca, Y., Tanova, C. y Amca, H. (2016). Role of social media community in strengthening trust and loyalty for a university. Computers in Human Behavior , 65, 550-559. [ Links ]

Nielsen, J. (1999). Designing web usability: The practice of simplicity. New Riders Publishing. [ Links ]

Oklar, A. N. C. (2012). Evaluations of Students on Facebook as an Educational Environment. Turkish Online Journal of Qualtitative Inquiry, 3(4), 42-53. Recuperado de http://www.tojqi.net/articles/TOJQI_3_2/TOJQI_3_2_Article_4.pdfLinks ]

Pérez, J., Le, K., y de la Cruz, J. (2014). Integrating Facebook in the classroom: Pedagogical dilemmas. Journal of Instructional Pedagogies, 1-10. Recuperado de http://www5.aabri.com/manuscripts/131752.pdfLinks ]

Puhl, T., Tsovaltzi, D., y Weinberger, A. (2015). A Long-Term View on Learning to Argue in Facebook: The Effects of Group Awareness Tools and Argumentation Scripts. Paper presented at Computer Supported Collaborative Learning Conference (CSCL), Gothenburg, Sweden. [ Links ]

Tsovaltzi, D., Weinberger, A., Scheuer, O., Dragon, T., y McLaren, B. M. (2011). Collaborative learning in Facebook: Can argument structure facilitate academic opinion change? CSCL Conference Proceedings, 2-5. [ Links ]

Yunus, M., y Salehi, H. (2012). The effectiveness of Facebook groups on teaching and improving writing: Student’s perceptions. International Journal of Educational and Information Technologies, 6(1), 87-96. [ Links ]

Recibido: 09 de Enero de 2017; Aprobado: 24 de Febrero de 2017

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons