SciELO - Scientific Electronic Library Online

 
vol.9 issue2Effect of the application of nutritive solution for the initial growth of Polylepis racemosa at hatchery level author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Enfoque UTE

On-line version ISSN 1390-6542Print version ISSN 1390-9363

Enfoque UTE vol.9 n.2 Quito Apr./Jun. 2018

https://doi.org/10.29019/enfoqueute.v9n2.326 

Mecatrónica

Modelado y simulación del Robot Mitsubishi RV-2JA controlado mediante señales electromiográficas

(Modeling and simulation of the Mitsubishi RV-2JA Robot controlled by electromyographic signals)

Bonilla Venegas Félix Vladimir1 

Moya Cajas Marcelo Javier1 

Anatoly Vitalyevich Evgeny

Anatolevich Lukyanov2 

Marín Pillajo Leonardo Emanuel1 

1 Universidad Tecnológica Equinoccial, Quito, Ecuador fbonilla@ute.edu.ec, mcmj46112@ute.edu.ec, mple43861@ute.edu.ec

2 Don State Technical University, Rostov, Rusia alit2010@rambler.ru, lukevgan@gmail.com


Resumen:

El objetivo del presente trabajo es controlar al Robot Mitsubishi RV-2JA mediante señales electromiográficas de superficie sEMG. Se seleccionaron señales sEMG de la mano mediante un brazalete Myo que adquiere las señales generadas por los músculos a través de sensores superficiales; la integración del sistema se realizó en la plataforma Simulink de Matlab para procesar, identificar, validar y controlar el robot por medio de las sEMG. Para estudiar las gesticulaciones de las manos se realizó el análisis a partir de la metodología de aproximación temporal que permitió la extracción de sus principales características; se identificaron los siguientes parámetros: integrado electromiográfico (IEMG), media del valor absoluto (MAV), media cuadrática (RMS) y varianza (VAR), que tienen correlación directa con el tipo de movimiento que realiza la mano. Para clasificar los tipos de movimiento como fist, spread fingers, wave right, wave left, elder y voor se utilizaron seis redes neuronales, las cuales permiten activar tres grados de libertad del robot. Para la integración y verificación del sistema en tiempo real se aplicó la simulación hardware in the loop (HIL) basada en PC, que permitió ejecutar el modelo de planta, la conexión con el sistema de control y comunicación adecuada para verificar que el sistema controla al robot.

Palabras clave: electromiografía de superficie; hardware in the loop; Myo; red neuronal artificial; Robot Mitsubishi RV-2JA.

Abstract:

The aim of this work is to control the Mitsubishi RV-2JA Robot using sEMG surface electromyographic signals. The sEMG signals were obtained from the hand through a Myo bracelet with surface sensors. Myo surface sensors are able to detect the electromyographic signals generated by the muscles. The integration of the system was performed in the Matlab Simulink platform to process, identify, validate and control the robot through the electromyographic signals. The hand gestures analysis was performed using a temporal approximation that allowed the extraction of characteristics of the signals. The parameters identified were Electromyographic Integrated (IEMG), Mean of Absolute Value (MAV), Quadratic Mean (RMS) and Variance (VAR), having direct correlation with the type of Hand movement. In order to classify the first movements like spread fingers, wave right, wave left, elder and voor, we used six neural networks, which allow to activate three degrees of freedom of the robot. For the integration and verification of the real-time system, the hardware in loop simulation (HIL) was applied. This simulation allowed the execution of the plant model, the connection with the appropriate control and communication system to verify that the system controls the robot.

Keywords: surface electromyography; hardware in the loop; artificial neural network; Myo; Robot Mitsubishi RV-2JA.

1. Introducción

De acuerdo a Deng et al., (2016) el uso de los robots en todos los campos de la ciencia se ha incrementado en los últimos años, lo cual se debe a su capacidad de realizar tareas repetitivas y precisas además de su alta velocidad y destreza. El diseño de sistemas robóticos se ve influenciado por diversas variables tales como la geometría del robot, su cinemática, dinámica y las características de sus sistemas de enlace (Lemmel-Vélez et al., 2017). Las investigaciones en el campo de la robótica llevan ya varios años desarrollando aplicaciones que permitan a los humanos interactuar de forma más eficiente y amigable con los robots, de tal forma que los sistemas de control basados en gesticulaciones son una vía natural de comunicación dentro de las interfaces humano máquina (Raj et al., 2017).

Como menciona Amirabdollahian et al., (2017) en su trabajo, el problema en la detección de la postura de la mano puede ser solucionado mediante varios métodos basados en visión artificial, guantes que permitan sensar los movimientos o señales mioeléctricas que permitan obtener las señales producidas por los movimientos musculares. Estos métodos permiten identificar gestos de forma que puedan ser utilizados para controlar prótesis biolectrónicas o robots industriales. Las señales mioeléctricas son un conjunto de acciones potenciales hacia las unidades motoras que se producen neurológicamente o de forma eléctrica. Dichas señales permiten detectar anormalidades médicas, estimar o reconocer las unidades motoras, los cambios neuromusculares en las patologías de los músculos, analizar la biomecánica del movimiento del ser humano y controlar dispositivos para la rehabilitación como exoesqueletos y prótesis (D. Yang et al., 2017).

El uso de la electromiografía como canal de enlace bioelectrónico para controlar dispositivos mecatrónicos se ha incrementado; estos dispositivos están sustituyendo a las interfaces de usuario (UI) tales como palancas de mando y teclados, por interfaces intuitivas y naturales. Sin embargo, no es posible modificar o cambiar las interfaces en todas las aplicaciones en las que se requiere precisión, esto se debe a que las señales electromiográficas de superficie no presentan patrones constantes para identificar el movimiento de las articulaciones; no obstante, pueden ser utilizadas para determinar movimientos deseados en las articulaciones y tener un enlace bioelectrónico para garantizar que el sistema mecatrónico se mueva a través de la trayectoria deseada (Ramos et al., 2011).

Una de las principales limitantes en el uso del control basado en señales mioeléctricas se debe a que los lazos de control no son intuitivos. Los equipos comerciales en su mayoría utilizan máquinas de estado que permiten ejecutar una función a la vez. En este sentido, el reconocimiento de patrones en las señales sEMG (Surface Electromyography Signal) propone una solución directa a estas limitaciones, basada en sistemas embebidos y en el uso de redes de electrodos para adquisición de señales mioeléctricas de superficie (Kapelner et al., 2018).

El desarrollo de prótesis robóticas, sistemas de rehabilitación, entrenadores virtuales y la realidad virtual han permitido que el área de la robótica posea y adquiera una elevada importancia dentro de la medicina clínica. Según el trabajo presentado por Woodward et al., (2017) el uso de ambientes de juego combinados con prótesis mioeléctricas ha permitido facilitar la ejecución de rehabilitación neuromuscular, aunque siempre se requiera supervisión clínica.

Como mencionan Yang et al. (2018), el procesamiento y recolección de las señales EMG para el reconocimiento de ciertos patrones de movimiento de mano y muñeca se encuentra ampliamente desarrollado e identificado en la bibliografía. De forma contraria, el análisis simultáneo de señales EMG para el control de robots con múltiples grados de libertad es un área que requiere de una urgente atención ya que solo existen sistemas comerciales que no permiten un análisis simultáneo de la información.

De acuerdo a Moya et al. (2015), un sistema embebido permite desarrollar hardware enfocado a aplicaciones específicas, estos componentes pueden estar conformados por procesadores, microcontroladores, FPGA´s (Field Programmable Gate Array), memorias (RAM, ROM, EPROM, Flash), interfaces de comunicación, sensores y actuadores que en conjunto con software desarrollado realizan funciones específicas como puede ser el reconocimiento de patrones de señales sEMG.

En base a los estudios citados, se evidencia que en la actualidad existen varios estudios basados en la identificación de patrones sEMG para controlar sistemas de rehabilitación y exoesqueletos, lo cual deja un vacío en la robótica industrial. En este contexto, se realizó el modelado, simulación y control del Robot Mitsubishi RV-2JA, en el cual se requiere adquirir y tratar señales sEMG específicas e identificarlas a través de redes neuronales artificiales (RNA) que permitan enlazar de forma bioelectrónica un sistema embebido mecatrónico entre el operador el equipo Myo y el robot Mitsubishi RV-2AJ.

2. Metodología

El sistema de seguridad electromiográfico está diseñado para que el operador controle al robot de forma remota; las señales sEMG son tomadas del operador y pertenecen a movimientos musculares específicos, estas son procesadas en el programa encargado de extraer sus características particulares para determinar el tipo de movimiento que realizará el robot. Las características identificadas de las señales sEMG ingresan a una red neuronal artificial que activa las correspondientes articulaciones del robot que se desee mover con determinada posición de la mano.

En el desarrollo se utilizó el brazalete Myo como dispositivo de entrada para la adquisición de datos (Morais et al., 2016). Los datos de entrada son analizados mediante el diseño de un programa en Matlab-Simulink que proporciona datos de entrenamiento para las redes neuronales del sistema. En un entorno virtual se realiza una simulación detallada del robot la cual permitirá replicar los movimientos deseados por el operador para luego validar los resultados del procesamiento y entrenamiento del sistema.

En la Figura 1, se puede apreciar el diagrama general del flujo de datos, mecanismos y conexiones involucrados en el desarrollo del sistema basados en la metodología propuesta por Chapman (2018). El operador del robot genera los movimientos deseados a través de su brazo, los cuales generan señales mioeléctricas que son adquiridas por el sensor Myo (Sánchez, 2016) y enviadas a Matlab mediante su SDK (Kit de desarrollo de software). Matlab adquiere las señales y realiza un procesamiento de datos que comprende el filtrado y entrenamiento de una red neuronal artificial que enviará una señal de control al modelo 3D del robot; el lazo de control se retroalimenta con la visualización del movimiento deseado por el operador.

En la adquisición de datos se utilizó el brazalete Myo, el cual es capaz de adquirir señales sEMG de ocho diferentes lugares a través de una pulsera en tiempo real. El brazalete proporciona dos tipos de datos: espaciales y gestuales. Los datos espaciales significan la orientación y el movimiento del brazo, y se representan en términos de un cuaternión que puede convertirse en otras expresiones, como una matriz de rotación o ángulo de Euler y en un vector de aceleración que es igual a la aceleración que el brazalete está experimentando en un momento dado (Sánchez, 2016). Los movimientos de mano realizados por el operador se convierten en señales gestuales que le indican a la aplicación lo que este realiza con sus manos en forma de una o varias posturas. Los datos sEMG se utilizan para identificar las posturas mencionadas, definir cuál brazo se está usando y en cuál dirección está orientado. Además, una aplicación propia del sistema puede proporcionar retroalimentación al operador al emitir un comando de vibración. Los datos son enviados a una computadora a través de comunicación Bluetooth y esta a su vez los trasmite a una aplicación desarrollada en lenguaje C en forma de eventos. Este sistema permitirá identificar el brazalete Myo proporcionando una marca de tiempo del momento en que se recibió el evento en conjunto con los datos enviados. Para acceder a los eventos y datos generados por el Myo, se utilizarán las herramientas y los códigos proporcionados por el SDK del fabricante.

Fig. 1: Diagrama de bloques del sistema. 

El SDK es una compilación de ejecutable binario, bibliotecas, controladores, encabezados y documentación necesaria para interactuar con el brazalete Myo. Posee varios códigos de ejemplo para adquisición, tratamiento y selección de las señales adecuadas para la aplicación deseada que permiten demostrar la implementación de los datos anteriores para desarrollar una amplia variedad de aplicaciones.

Para habilitar la comunicación con el brazalete Myo en un nivel físico, el SDK contiene una librería llamada libmyo que analiza los datos del Bluetooth del dispositivo en una librería C API, lo que permite el acceso de aplicaciones en varios lenguajes de programación, tanto de datos sin procesar, como los construidos en el clasificador del dispositivo.

Las posiciones de la mano utilizadas para el desarrollo del sistema se determinaron de tal forma que puedan asemejarse al manipulador de tres grados de libertad y cumplan con el comportamiento deseado (Boyali et al., 2015). En la Figura 2 se puede observar las diferentes posiciones de la mano que fueron usadas para representar cada grado de libertad y la ubicación del brazalete en el antebrazo lo cual permite la lectura de las señales sEMG. Cada grado de libertad corresponde a dos posiciones diferentes, primer grado de libertad (fist y spread fingers), segundo grado de libertad (wave right y wave left) y tercer grado de libertad (elder y voor).

Al utilizar los enlaces C++, las bibliotecas y encabezados necesarios incluidos en el SDK del brazalete Myo, se debe analizar los datos espaciales y gestuales directamente en Matlab. Myo Armband Manager, el software de Thalmic Labs, debe estar funcionando siempre durante la ejecución de los códigos de procesamiento en Matlab.

Cuando se transmiten los datos desde el Myo, se utiliza una frecuencia de 200Hz, la cual es la frecuencia real de adquisición del dispositivo, se genera la compilación de códigos que convierte los enlaces C++ del SDK en un objeto Matlab, capaz de transmitir datos en tiempo real. Los datos cuaternión representan una notación matemática de las orientaciones y rotaciones de un objeto en tres dimensiones, en este caso las señales provienen de los sensores: orientación, giroscopio, acelerómetro y señales sEMG obtenidos del brazalete, presentados en la Figura 3, en Matlab. El brazalete Myo reconoce la posición FIST de la mano del operador y obtiene los siguientes datos: orientación con un módulo unitario, las posiciones, giroscopio con la velocidad del movimiento, y aceleración en los tres ejes cuaternión, además de ocho señales EMG provenientes de los músculos.

Fig. 2: Posiciones de la mano del operador, utilizando el brazalete Myo. 

Fig. 3: Datos cuaternión de la posición FIST. 

Para la extracción de las características de las señales sEMG se implementó un sistema que las analiza y representa matemáticamente en el dominio del tiempo (Ferguson et al., 2002). Las características en el dominio del tiempo por lo general se calculan rápidamente, debido a que no necesitan una transformación. La obtención de un conjunto de características que representen y determinen la señal permite la caracterización y predicción del comportamiento del sistema (Veer et al., 2016). El conjunto de características utilizadas para el análisis y representación matemática de las señales electromiográficas de superficie en el dominio del tiempo según Litvin et al. (2014), son:

Integrado EMG (IEMG). Se utiliza como un índice para detectar el inicio de la actividad muscular. Está relacionado con el punto de disparo de la secuencia de señales sEMG. Se define como la suma de valores absolutos de la amplitud de la señal EMG y es expresada por la Ecuación 1.

(1)

Donde:

Xi: representa la señal EMG en un segmento i

N: se refiere a la longitud de la señal EMG

Media del valor absoluto (MAV). Se calcula tomando la media del valor absoluto de la señal sEMG. Este indicador se puede utilizar para detectar niveles de contracción muscular y se determina mediante la Ecuación 2.

(2)

Media cuadrática (RMS). Está relacionada con la fuerza constante y la contracción no fatigante del músculo. Se refiere a la desviación estándar, que es expresada mediante la Ecuación 3.

(3)

Varianza (VAR). Es el valor medio del cuadrado de la desviación de esa variable. Utiliza la potencia de la señal sEMG como una característica. Sin embargo, la media de la señal EMG es cercana a cero y se expresa por la Ecuación 4.

(4)

Donde:

M: es el valor medio de la señal sEMG

En el modelo de prueba se utilizaron las características calculadas para crear datos de entrenamiento adecuados como la entrada de diferentes tipos de modelos y el clasificador. Los datos de prueba se adquieren del resultado del procesamiento de los modelos y clasificadores, por lo que se aclara una distinción entre ellos.

En general, los datos de entrenamiento son una compilación de archivos que contienen las características extraídas de todas las posiciones de las manos con las que deseamos entrenar la red neuronal artificial. Los datos de prueba son los que proporciona la red neuronal artificial para realizar el comportamiento deseado (Bach, 2009). Entrenar una RNA es un proceso que modifica el valor de la intensidad de sinapsis que conecta dos o más neuronas (pesos) y vías asociadas a cada neurona, de tal forma que la RNA analice los datos presentados en la entrada y genere una salida, como se muestra en la Figura 4.

Los datos de entrada son obtenidos de la extracción de las características mencionadas como IEMG, MAV, RMS, Var y las señales sEMG; para los datos de salida de la RNA se obtienen valores lógicos que varían entre 0 y 1, debido a que se aplica una función sigmoidal expresada en la Ecuación 5.

(5)

Donde:

net = WX para la capa de entrada

Fig. 4: Entrenamiento de la red neuronal artificial. X: Características de la señal sEMG. Y: Respuesta de la RNA. W: Pesos sinápticos. 

Para crear el sistema se utilizó la herramienta SIMULINK de Matlab. El sistema consta de diferentes subsistemas que cumplen funciones específicas tales como la adquisición de señales sEMG, filtrar las señales, analizar las señales, identificación de patrones en la RNA, convertir la señal de salida en valores lógicos, interpretar los valores lógicos en grados y control del robot RV-2JA. En la Figura 5 se observa la arquitectura completa del sistema de seguridad electromiográfico para manipuladores teleoperados.

Fig. 5: Arquitectura del programa diseñado en Matlab-Simulink. 

Los datos de pruebas de las señales electromiográficas de superficie sEMG ingresan por In_sEMG al subsistema All_Signals_sEMG que se encarga de redistribuir los datos de entrada para producir una salida con un tamaño de fotograma menor; para el sistema se aplicó un tamaño de fotograma igual a 32 muestras (Bonilla et al., 2017). Cuando el subsistema redistribuye los datos, se encarga de analizar las señales para eliminar muestras que no mantienen un patrón estable en su comportamiento y poder identificar solo las muestras con mayor actividad electromiográfica.

Por el puerto sEMG ingresan los datos a los subsistemas Clockwise y Counterclockwise los cuales procesan las señales electromiográficas, previamente filtradas, para que las funciones que se encuentran en este subsistema analicen y representen matemáticamente las características necesarias para el sistema. Las características extraídas son analizadas por pattern Recognition Neuronal Network, que se encarga de identificar los patrones de las posturas de la mano que representa al comportamiento deseado, el cual fue previamente entrenado para la correcta identificación de patrones de cada postura de mano.

Los subsistemas Signal se encargan de gestionar la condición necesaria para ordenar el valor lógico necesario que requiere el movimiento de las articulaciones del robot. Como salida de todos los datos procesados en el sistema se tiene Out_Signal (V). En los subsistemas Servomotor se interpretan los valores lógicos ordenados previamente para obtener como salida una posición angular que se encarga de controlar las articulaciones del robot. Como subsistema final se encuentra el modelo del Robot_RV-2JA, el cual se encarga de controlar las articulaciones J1 J2 y J3 del robot y toma la señal de salida que es generada por el entorno virtual del servomotor. La señal ingresa al bloque Joint Actuator, el cual requiere como entrada el ángulo de movimiento, la velocidad angular y la aceleración angular; una vez ingresados los valores correspondientes, el subsistema interpreta la señal de entrada y generará el movimiento deseado de la articulación. Para verificar el movimiento de la articulación existe el bloque Joint Sensor que permite generar datos para visualizar que la articulación está siendo controlada mediante las señales electromiográficas.

Para las pruebas realizadas con las señales sEMG obtenidas del Myo en las diferentes posiciones de la mano, es necesario obtener el valor absoluto de cada señal y el valor medio que permitirá determinar qué señal sEMG tiene mayor actividad muscular. De las señales sEMG obtenidas del operador se procede a realizar un análisis de las características IEMG, MAV, RMS y VAR, para identificar sus respectivos comportamientos. Una vez obtenidos los valores medios de los comportamientos de las características IEMG, MAV, RMS y VAR, se los presenta en la Tabla 1, para determinar cuál señal sEMG tiene mayor actividad y, con esta señal, se realiza el entrenamiento de la red neuronal.

Tabla 1 Características de la señal sEMG, posición de mano FIST. 

De las señales obtenidas del giroscopio Myo al realizar las diferentes poses de la mano del operador, se debe escoger la señal más relevante que se asemeja al comportamiento de las señales sEMG, previo al análisis realizado en el programa Matlab-Simulink. La señal escogida del giroscopio es usada para el entrenamiento de la red neuronal. Para seleccionar la red neuronal artificial en Matlab es necesaria la herramienta Neural network Toolbox. En este estudio se utilizó la aplicación Pattern Recognition, que es una herramienta de reconocimiento de patrón de redes neuronales, la cual permite la solución de un problema de clasificación de reconocimiento de patrones mediante una red de dos capas feed-forward patternnet con las neuronas de salida sigmoidea.

Para la arquitectura de la red es necesario escoger el número de neuronas ocultas, en este caso se procedió a realizar pruebas con 5, 10, 15 y 20 neuronas (Bonilla et al., 2015); con los parámetros seleccionados se procede al entrenamiento de la red usando un algoritmo de aprendizaje supervisado que se usa para entrenar redes neuronales artificiales. Se aplica el modelo Backpropagation que es la propagación hacia atrás de errores o retropropagación. Cuando la red neuronal artificial ya está entrenada se generan versiones desplegables de la red neural entrenada.

Con respecto a la integración, es necesario determinar el error de las diferentes neuronas ocultas usadas. Con este error se puede saber cuál red neuronal es la adecuada para el proyecto, como se muestra en la Tabla 2. La red neuronal que posea un menor error y un número de neuronas ocultas bajo será utilizada en el entrenamiento ya que su salida se asemeja al comportamiento deseado del sistema y se debe considerar que en la bibliografía no existe una regla establecida para la selección de neuronas en las capas ocultas.

Tabla 2 Numero de neuronas y error de la señal sEMG de la RNA, posición de mano FIST. 

Neuronas ocultas Error
5 4.39
10 4.29
15 4.44
20 4.29

El entorno virtual mediante el cual se analizaron los datos de salida del sistema, es una representación del comportamiento de un servomotor realizado en Matlab-Simulink. La señal ingresa al subsistema H-Brinde el cual se encarga de generar el movimiento clockwise (horario) o counterclockwise (anti horario) del subsistema DC servomotor, el movimiento del servomotor es analizado por el subsistema Angular Position Sensor, el cual transforma los radianes a grados para la correcta interpretación de los datos. En el bloque Condition se limita el movimiento angular según los datos técnicos del robot Mitsubishi RV-2JA.

Para la verificación de la interface entre el sistema de adquisición de las señales y el entorno virtual del sistema robótico, se emplean los datos de prueba que se generan a la salida del sistema de la Figura 6.

Fig. 6: Integración del sistema al entorno virtual del servomotor. 

Los datos de prueba se encuentran entre los valores 1 y -1 que ingresan al entorno virtual del servomotor. Como respuesta del entorno virtual se tiene una salida con datos en grados que corresponden al movimiento del servomotor.

En la etapa de verificación y validación se pretende buscar un punto intermedio entre la simulación y la experimentación que otorgue flexibilidad, sencillez, experimentación y coste. Con la aplicación de un sistema “hardware in the loop” (HIL) que es una forma de simulación y validación en tiempo real, la parte física de una máquina o sistema se sustituye por una simulación (Kumar et al., 2017). En la investigación se aplicó una simulación HIL basada en PC (Figura 7). El entorno de simulación que se utilizó para ejecutar el modelo de planta, permite la conexión con el sistema de control y proporciona la comunicación adecuada con el modelo de planta (Figura 7-1).

Para verificar el funcionamiento adecuado del sistema (Figura 7-2), se realizó una plataforma que a través de HIL generó movimiento de un servomotor de prueba como respuesta a la acción del sistema electromiográfico. En su validación se realizó un lazo de control para el robot Mitsubishi RV-2AJ de manera virtual en Matlab-Simulink (Figura 7-3). Los tres grados de libertad que se controlaron en el entorno virtual son cintura, brazo y antebrazo (McMullen et al., 2017).

Fig. 7: Sistema “hardware in the loop” HIL. (1) Comunicación Myo Matlab. (2)Planta de prueba. (3) Modelo virtual robot Mitsubishi RV-2AJ. 

3. Resultados

Las pruebas fueron trabajadas con muestras de brazo de una persona de 27 años de edad, perímetro del antebrazo de 25 cm y longitud del antebrazo de 26 cm. Los parámetros fueron medidos como se indica en (Cipriano, 2014). Los datos obtenidos por medio del brazalete MYO y las características extraídas de las señales electromiográficas fueron almacenados en archivos de extensión .mat.

Para el análisis de las señales sEMG en el espacio del tiempo, se requirió del diseño de una interfaz gráfica la cual permita visualizar la dinámica de cambio de los parámetros IEMG, MAV, RMS y VAR (Figura 8).

Con la finalidad de validar la identificación de posiciones realizada por las redes neuronales, se implementó el modelo virtual del robot Mitsubishi RV-2AJ. El control del grado de libertad J1, mostrado en la Figura 9, se realizó mediante las posiciones de mano "fist" y "spread fingers", J2 y J3 se controlaron por "wave right" y "wave left", "elder" y "voor" respectivamente.

La integración de los sistemas se realizó en la plataforma Simulink para validar los resultados del procesamiento de señales, de la identificación de movimientos y del control del robot. Mediante pruebas HIL se verificó que la respuesta del sistema a la señal FIST (Figura 10) representa un tren de pulsos (Figura 11) con amplitud entre 0 y 1 y el ciclo de trabajo necesario para que el servomotor tome la posición angular enviada (Figura 12). La salida del sistema muestra una respuesta en grados y tiene un máximo de 150 y un mínimo de 0.

3. Discusión

En el desarrollo de la investigación se analizó la factibilidad, la precisión y el potencial que existe en el uso de un sistema de control basado en información neuronal uniendo señales sEMG multicanal con un robot industrial Mitsubishi MELFA Rv2AJ. A pesar de la naturaleza de las contracciones musculares el sistema fue capaz de identificar claramente ocho señales sEMG por cada posición de mano en las que se analizó los parámetros: IEMG, MAV, RMS VAR y valor medio para detectar la actividad muscular más intensa. El análisis consideró el menor error en el entrenamiento de la red neuronal en donde el número de neuronas en la capa oculta y la posición de la mano fueron las variables a considerar; esto permitió encontrar la salida del sistema con el comportamiento deseado sin afectar la carga de procesamiento en el sistema. El error de entrenamiento de la red depende directamente de la posición de la mano y se ve afectada en ciertos casos por el número de neuronas en las capas ocultas como se muestra en la Tabla 3.

Fig. 8: Características de FIST. (a) Señal sEMG del sensor 8. (b) Señal IEMG. (c) Señal MAV. (d) Señal RMS. (e) Señal VAR. 

Fig. 9: Movimiento de la articulación J1. (a)Desplazamiento angular positivo. (b)Torque generado. 

Se realizaron varias secuencias de los movimientos de mano en un periodo de tiempo máximo de 20 segundos (Figura 10). Por tal motivo, la cantidad de posiciones de mano pueden variar en el tiempo establecido.

Fig. 10: Señales sEMG de la posición de mano FIST. 

Fig. 11: Respuesta del sistema. 

Fig. 12: Salida del sistema. 

Tabla 3 Errores de entrenamiento según la posición de la mano y número de neuronas ocultas 

La precisión obtenida en el reconocimiento de los movimientos de la mano se asemeja al nivel mostrado en estudios similares considerando movimientos equivalentes de mano como lo son "fist", "spread fingers", "wave right", "wave left", "elder", "voor". El sistema embebido desarrollado permite la detección y procesamiento de varias señales sEMG al mismo tiempo, esto se debe al método de entrenamiento de las RNA, junto a los parámetros obtenidos a través de la función de análisis estadístico (IEMG, MAV, RMS VAR), los cuales permitieron que el sistema presente un elevado rendimiento y estabilidad.

De acuerdo con los datos muestreados en el entrenamiento de la red y en conjunto con la retroalimentación del operador, los movimientos de muñeca como la supinación/pronación requieren de una mayor fuerza que los movimientos de flexión/extensión, abducción/ aducción para poder lograr obtener una señal adecuada en cada tipo de movimiento. Este fenómeno se produce debido a que la fuerza aplicada es diferente para cada tipo de movimiento; en el caso de la flexión/extensión de la muñeca y de la abducción/aducción, se considera que la distancia entre el punto de aplicación de la fuerza y el eje de rotación sea igual a la longitud entre la palma de la mano y el centro de rotación, mientras que para la supinación/pronación la distancia se considera desde el punto de aplicación de la fuerza hasta el eje de rotación y es equivalente a la mitad del ancho medido de la palma de la mano. Si se toman en consideración los parámetros descritos, la fuerza requerida para realizar los movimientos de supinación/pronación es mayor en comparación a la fuerza que requieren los movimientos de flexión/extensión y abducción/ aducción.

El rendimiento del modelo de reconocimiento basado en el menor error mejoró a medida que los datos de entrenamiento ingresados a la red fueron aumentando. Cuando el número de datos utilizados en el entrenamiento es bajo el modelo no permite describir los movimientos de la mano de forma adecuada y disminuye el rendimiento de la predicción. Al incrementar de forma gradual los datos de entrenamiento la red neuronal aprenderá información más detallada sobre los movimientos de la mano, mejorará el rendimiento y disminuirá el error.

El uso de un filtro de umbral permitió examinar los datos del conjunto de entrada (movimientos de la mano) y excluir a todos los valores que no cumplieron con las condiciones del contorno, para generar una segmentación de las imágenes y crear una imagen de salida en escalas de grises. De esta forma se ingresan los datos filtrados al sistema de entrenamiento y se mejora la precisión en el entrenamiento de la RNA. El método de entrenamiento utilizado en la investigación con una red neuronal artificial para reconocimiento de patrones, muestra que es posible realizar un lazo de control basado en señales electromiográficas sEMG, así como usar filtros de imágenes y la aplicación de herramientas de análisis estadístico en el dominio del tiempo como datos de entrada en el entrenamiento de una red neuronal artificial, lo cual ha permitido integrar un sistema de seguridad electromiográfico, con un robot Mitsubishi RV-2AJ de 3 grados de libertad J1, J2 y J3 para aplicaciones industriales.

La interfaz virtual del robot Mitsubishi RV-2AJ permite realizar pruebas HIL con la finalidad de validar el algoritmo de control. Del análisis se pudo observar que, al momento de generar la señal de control mediante la actividad muscular de la gesticulación VOOR, la red neuronal para el reconocimiento de patrones mostro un error de 4.8% en la etapa de entrenamiento; y de 3.6% de error en la etapa de pruebas; para las otras gesticulaciones el error no supera el 2.5%.

4. Conclusiones y recomendaciones

Mediante los protocolos de comunicación del SDK del Myo Armband, se pudo obtener señales sEMG para el análisis, filtrado y procesamiento en Matlab. Para el entrenamiento del sistema, se muestreó 10 veces para cada movimiento de mano que representa una articulación del robot en un intervalo de tiempo de 20 segundos. Las características del brazo del operador son: persona de 27 años de edad, perímetro del antebrazo de 25 cm y longitud del antebrazo de 26 cm.

A través de redes neuronales artificiales se realizó el reconocimiento de los patrones de señales sEMG de las diferentes posiciones de mano. La cantidad de neuronas aplicadas en las capas ocultas dentro de la investigación varía de 5 a 10, según la posición de mano que se requiera reconocer.

Para obtener patrones linealmente independientes se aplicó un filtro de análisis estadístico en el nivel de la extracción de las características de cada señal sEMG, esta estrategia disminuyó la influencia de la actividad muscular que se genera por mantener una posición determinada en el cuerpo del operador.

El modelo de entrenamiento aprendió de los datos recopilados por la plataforma Myo y el operador del robot, el cual puede identificar patrones de los movimientos de su mano de manera que el resultado es estable y repetible.

Como trabajos futuros se propone realizar un escenario de control real mediante un sistema embebido que controle el robot Mitsubishi RV2AJ, así como desarrollar modelos predictivos y diferentes protocolos de entrenamiento buscando un mejor rendimiento del sistema.

Bibliografía

Amirabdollahian, F., & Walters, M. L. (2017, 17-20 July 2017). Application of support vector machines in detecting hand grasp gestures using a commercially off the shelf wireless myoelectric armband. Paper presented at the 2017 International Conference on Rehabilitation Robotics (ICORR). [ Links ]

Bach, P. F. (2009). Myoelectric signal features for upper limb prostheses. Institutt for teknisk kybernetikk. [ Links ]

Bonilla, V., Lukyanov, Y., Anatolevich, L., Anatoly, V., & Alekseevich, D. D. (2015). Identificación de parámetros cinemáticos del movimiento del codo utilizando tecnologías de redes neuronales artificiales. Boletín de la Universidad Técnica del Estado de Don, 15(1 (80)). [ Links ]

Bonilla, V., Mosquera, G., Mideros, D., & Litvin, A. (2017). DEFINICIÓN DE LOS PARÁMETROS DEL MOVIMIENTO DEL CODO MEDIANTE EL ANÁLISIS DE LAS SEÑALES ELECTROMIOGRÁFICAS SUPERFICIALES DEL BÍCEPS. INCISCOS 2017. [ Links ]

Boyali, A., Hashimoto, N., & Matsumoto, O. (2015, 27-30 Oct. 2015). Hand posture and gesture recognition using MYO armband and spectral collaborative representation based classification. Paper presented at the 2015 IEEE 4th Global Conference on Consumer Electronics (GCCE). [ Links ]

Chapman, W. (2018). Engineering modeling and design: Routledge. [ Links ]

Cipriano, M. (2014). Antropología física. [ Links ]

Deng, H., Xia, Z., Weng, S., Gan, Y., Fang, P., & Xiong, J. (2016). A motion sensing-based framework for robotic manipulation. Robotics and Biomimetics, 3(1), 23. doi:10.1186/s40638-016-0056-9 [ Links ]

Ferguson, S., & Dunlop, G. R. (2002). Grasp recognition from myoelectric signals. Paper presented at the Proceedings of the Australasian Conference on Robotics and Automation, Auckland, New Zealand. [ Links ]

Kapelner, T., Negro, F., Aszmann, O. C., & Farina, D. (2018). Decoding Motor Unit Activity From Forearm Muscles: Perspectives for Myoelectric Control. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 26(1), 244-251. doi:10.1109/TNSRE.2017.2766360 [ Links ]

Kumar, A., Mittal, A., Arya, R., Shah, A., Garg, S., & Kumar, R. (2017, 19-20 Jan. 2017). Hardware in the loop based simulation of a robotic system with real time control and animation of working model. Paper presented at the 2017 International Conference on Inventive Systems and Control (ICISC). [ Links ]

Lemmel-Vélez, K., & Valencia-Hernandez, C. A. (2017). Design of a Robotic Hand Controlled by Electromyography Signals Using an Arduino Type Microcontroller for People with Disabilities, Cham. [ Links ]

Litvin, A., Lukyanov, E., Bonilla, F., & Deplov, D. (2014). EFFECT OF KINEMATIC PARAMETERS OF ELBOW MOTION ON BICEPS ELECTROMYOGRAPHIC SIGNAL. Vestnik of Don State Technical University(14), 8. [ Links ]

McMullen, S. A., Henderson, T., & Ison, D. (2017). Embry-Riddle Aeronautical University multispectral sensor and data fusion laboratory: a model for distributed research and education. Paper presented at the Next-Generation Spectroscopic Technologies X. [ Links ]

Morais, G. D., Neves, L. C., Masiero, A. A., & de Castro, M. C. F. (2016). Application of Myo Armband System to Control a Robot Interface. Paper presented at the BIOSIGNALS. [ Links ]

Moya, M., Guerrón, G., & Montero, A. (2015). Sistema de Control Embebido en Tiempo Real para una Estación Meteorológica Portátil. Enfoque UTE, 6(3), 106-114. [ Links ]

Raj, M. D., Gogul, I., Thangaraja, M., & Kumar, V. S. (2017, 6-8 Jan. 2017). Static gesture recognition based precise positioning of 5-DOF robotic arm using FPGA. Paper presented at the 2017 Trends in Industrial Measurement and Automation (TIMA). [ Links ]

Ramos, M., Betancourt, Á., Vázquez, G., Hernández, E., & Juárez, L. (2011). Detección y Acondicionamiento de Señales Mioeléctricas. [ Links ]

Sánchez, N. M. C. (2016). Gesture classification based on electromyography. [ Links ]

Veer, K., & Sharma, T. (2016). A novel feature extraction for robust EMG pattern recognition. Journal of medical engineering & technology, 40(4), 149-154. [ Links ]

Woodward, R. B., Cancio, J. M., Fisher, R., Hargrove, L. J., Rábago, C. A., Siewiorek, D., & Smailagic, A. (2017, 19-22 June 2017). A virtual coach for upper-extremity myoelectric prosthetic rehabilitation. Paper presented at the 2017 International Conference on Virtual Rehabilitation (ICVR). [ Links ]

Yang, D., Zhang, H., Gu, Y., & Liu, H. (2017). Accurate EMG onset detection in pathological, weak and noisy myoelectric signals. Biomedical Signal Processing and Control, 33, 306-315. doi:https://doi.org/10.1016/j.bspc.2016.12.014Links ]

Yang, W., Yang, D., Liu, Y., & Liu, H. (2018). A 3-DOF hemi-constrained wrist motion/force detection device for deploying simultaneous myoelectric control. Medical & Biological Engineering & Computing. doi:10.1007/s11517-018-1807-2 [ Links ]

Recibido: 13 de Junio de 2018; Aprobado: 25 de Junio de 2018

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons