SciELO - Scientific Electronic Library Online

 
vol.29 número2Efectos del Estrés Materno Intenso y Prolongado Durante el Embarazo y su Repercusión Sobre el Neurodesarrollo del Feto.Enfermedad aterosclerótica intracraneal y pérdida dental severa en adultos mayores. índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Revista Ecuatoriana de Neurología

versión On-line ISSN 2631-2581versión impresa ISSN 1019-8113

Rev Ecuat Neurol vol.29 no.2 Guayaquil may./ago. 2020

https://doi.org/10.46997/revecuatneurol29200029 

Artículo Original

Propuesta de un paradigma computarizado para valorar memoria de trabajo

Proposal of a computerized paradigm for evaluation of working memory

Diana Cadme-Orellana1 

Fernando Estévez1 

Gladys Bueno1 

Omar Alvarado1 

Andrés López1 

Daniel Aguirre-Reyes2 

1Universidad del Azuay. Cuenca, Ecuador. <katherin.cadme@gmail.com>

2Pontificia Universidad Católica de Chile. Santiago, Chile.


RESUMEN

Se validó un paradigma para evaluar memoria de trabajo con el uso de las tareas N-back en un programa informático para ser aplicado dentro de Resonancia Magnética Funcional (RMF). La hipótesis de estudio se basa en que un nivel de dificultad 2-back verbal aumenta el éxito en el desempeño de la tarea en memoria de trabajo, válido para ser usado en RMF. Por medio de un estudio cuantitativo transversal se adaptó el paradigma N-back a un programa informático PshicoPy. La tarea consistió en responder al estímulo o letra que sea igual al que apareció dos puestos atrás (2 back). Se presentaron 4 bloques de 30 segundos cada uno, y 4 bloques de reposo de 30 segundos; en total tiene una duración de 4 minutos. Para estudiar la validez del paradigma se realizó una validación por expertos y una prueba piloto con la participación de 18 sujetos adultos universitarios. Los datos se tabularon en una hoja de cálculo, usando pruebas estadísticas de tabla de contingencia; y de sensibilidad y especificidad. Los resultados ofrecieron datos mayores a 80 % de sensibilidad y especificidad en cuanto al desempeño del sujeto ante la prueba, y de la validez de los estímulos. Se concluye que la prueba puede ser usada para valorar memoria de trabajo por medio de un programa informático, el mismo que también puede ser usado en aplicaciones como la RMF.

Palabras claves: Memoria de trabajo; paradigma; RMF; N-back; PsycoPy.

ABSTRACT

A paradigm for evaluating working memory was validated with the use of N-back tasks in a computer program to be applied within Functional Magnetic Resonance (RMF). The study hypothesis is based on the fact that a verbal 2-back difficulty level increases the success in the performance of the task in working memory, valid to be used in RMF. Through a quantitative cross-sectional study, the N-back paradigm was adapted to a PshicoPy computer program. The task consisted of responding to the stimulus or letter that is the same as the one that appeared two places behind (2 back). 4 blocks of 30 seconds each were presented, and 4 blocks of rest of 30 seconds; in total it lasts 4 minutes. To study the validity of the paradigm, an expert validation and a pilot test were carried out with the participation of 18 adult university subjects. The data was tabulated in a spreadsheet, using statistical contingency table tests; and of sensitivity and specificity. The results offered data greater than 80% sensitivity and specificity regarding the subject's performance before the test, and the validity of the stimuli. It is concluded that the test can be used to assess working memory by means of a computer program, which can also be used in applications such as RMF.

Key words: Working memory; paradigm; fMRI; N-back; PsycoPy.

INTRODUCCIÓN

En los últimos años la tecnología ha dado pasos agigantados con la generación de aplicaciones y software dentro del campo neurocientífico. Dentro de los programas informáticos frecuentemente usados se encuentra el PsycoPy, una aplicación de acceso libre de Python, el cual permite crear experimentos dentro de las ciencias del comportamiento, entre ellos la neurociencia, psicología, psicoestadistica, lingüística, entre otros(1). Gracias a esta herramienta se ha podido elaborar y adaptar programas de rehabilitación y test cognitivos. La valoración de la función cognitiva se realiza con mayor eficacia y rapidez, algo necesario dentro del amplio campo de la salud mental. Originalmente fue diseñado para estudios de psicofísica, sin embargo, se convirtió también en un paquete para presentar estímulos de la manera cognitiva tradicional en experimentos psicológicos. El programa PsycoPy ha sido usado ampliamente también dentro de laboratorios de Resonancia Magnética Funcional (RMF), magnetoencefalografía (MEG), y electroencefalogramas (EEG)(2).

Las funciones ejecutivas (FE) están ligadas al lóbulo frontal del cerebro humano que permiten regular el comportamiento, metacognición y emociones. Su desarrollo es progresivo, viéndose implicadas en el desarrollo social, emocional y académico(4). Estas funciones constituyen las habilidades cognitivas requeridas para controlar y regular nuestros pensamientos, emociones y acciones(5). Distintos elementos ayudan a llegar a este propósito, entre los que se destacan: la memoria de trabajo u operativa, los recursos atencionales, la inhibición de estímulos y respuestas, la monitorización de conductas, los estados emocionales y motivacionales y la flexibilidad cognitiva(7).

La memoria de trabajo (MT) es una función de gran importancia dentro de la vida diaria y para poder definirla primero hay que conocer que es la memoria. Esta función tiene la capacidad de retener y de evocar eventos del pasado mediante procesos neurobiológicos de almacenamiento y de recuperación de la información, básica en el aprendizaje y pensamiento(8).

La MT u operativa es un tipo de memoria a corto plazo (MCP) en la que la información es registrada por un lapso de tiempo para luego ser usada inmediatamente(9), es decir, no sólo se recuerda la información, sino que además se utiliza esa información para realizar actividades más complejas. Incluye la capacidad para mantener, ensayar y manipular las representaciones activas, con un límite distintivo de tres a cuatro ítems o fragmentos de información(10), por ejemplo, retener un número telefónico en la mente mientras se está marcando el teléfono para realizar una llamada. Su capacidad de almacenamiento es limitada, debido a que la información se desvanece y en segundos desaparece al terminar la tarea.(11) .

La MT se utiliza para retener información, apoyar el aprendizaje de nuevos conocimientos, resolver los problemas o responder a las demandas del medio interactuando con él, y se caracteriza porque la información se mantiene en ella mientras se le presta atención y se la utilice, pero tan pronto la persona se dedica a otra cosa, decae rápidamente; por este motivo, se considera como el sistema central de la memoria(12). Todos los procesos de pensamiento implicados en las tareas simples o complejas que se realizan habitualmente -como repasar la lista de la compra, leer un libro, ver la televisión o las funciones del trabajo diario-, se llevan a cabo a partir de la manipulación y la retención de la información necesaria dentro de esta memoria operativa(13). La importancia de la MT es que se considera como un sistema general de control cognitivo y de procesamiento ejecutivo que guía el comportamiento y en los que se entrelazan los diversos procesos mentales como la atención, la percepción, la motivación y la memoria(14).

En 1974 Baddeley & Hitch propusieron un modelo de MT que se dividía en tres subsistemas(15). El buffer fonológico, la agenda visuoespacial y el ejecutivo central. El primero se encarga de la información verbal y numérica(16), en la que se puede dar una manipulación vía almacén fonológico, reteniendo información en códigos, ya sea fonológicos o de manera articulatoria(14); el segundo maneja la información visual y espacial; y el último maneja la información de los sistemas mencionados anteriormente. Baddeley añadió posteriormente un cuarto componente llamado el buffer episódico(16). Este último componente se considera como un almacén que puede guardar información entre los sistemas secundarios y de la memoria a largo plazo, que a su vez se cree es controlado por el componente ejecutivo central (14). El buffer episódico permite relacionar lo que ya se sabe, es decir, lo que se tiene integrado en la memoria a largo plazo, con información que ingresa y que es manipulada en la memoria de trabajo(17).

Las pruebas desarrolladas para medir MT se dividen en pruebas de alcance o capacidad y pruebas hacia atrás N(18). La prueba N-back fue propuesta por Kirchner (1958), como una prueba visuoespacial con cuatro factores de carga (“O-back” a “3-back”), y por Mackworth (1959) como una prueba visual de letras con seis factores de carga(19).

En el test de letras, los participantes deben observar una secuencia de letras, una por una, en la que se determina un valor N, de acuerdo al valor asignado, el nivel de dificultad se incrementa(20). Esta tarea requiere monitoreo en línea, actualización y manipulación de información recordada y por lo tanto, se supone que impone grandes demandas a una serie de procesos clave dentro de la MT. La carga de la tarea en la MT es variable, habitualmente desde uno hasta tres 3-back(21). La tarea implica múltiples procesos tales como la codificación de los estímulos entrantes, el monitoreo, mantenimiento y actualización del material, así como que coincida con el estímulo N preestablecido(22).

Desde la perspectiva psicológica, el test N-back conceptualmente puede estar dividido en dos fases: la primera fase comienza con la presentación del estímulo y termina después de la respuesta al estímulo. En esta fase se asume que los sujetos tienen que desempeñar un simple test de pareo para comparar el actual estímulo con los estímulos almacenados en la memoria de corto plazo. En la segunda fase, oscilando desde la respuesta del estímulo que va al comienzo del siguiente estimulo, se asume que múltiples funciones ejecutivas son requeridas para una correcta respuesta(23).

Dentro de la MT se asume que el rendimiento en las tareas de memoria depende de la habilidad del individuo para manipular unidades pequeñas de información, asegurándose que ésta sea comprensible, para identificarla y organizarla de mejor manera; así como evidenciar los problemas que puedan influir en el aprendizaje, como interferencias o distractores(8). Un punto de relevancia es el hecho de que la MT se encuentra relacionada con la inteligencia; la memoria permite aflorar el recuerdo de lo aprendido y la inteligencia pone en pie alternativas de cómo resolver una situación presentada(24).

Durante mucho tiempo, las evaluaciones se realizaron principalmente en formatos a papel y se han enfocado en la evaluación de desempeño. Pero, desde finales de 1980, con la rápida diseminación de computadores personales, los formatos de evaluación se han adecuado a las computadoras(25). Este hecho introdujo beneficios como, por ejemplo, control y precisión en la presentación de los ítems a través del monitor, administración de ítems complejos o interactivos, registro del tiempo o del proceso de respuesta, corrección y almacenamiento de las respuestas, devolución rápida y eficaz de los resultados(26).

El primer paso en la construcción de este tipo de pruebas es realizar un análisis de los procesos cognitivos que demanda la resolución de la tarea y un estudio detallado de cuáles son las características del ítem que, en función de esos procesos, determinan su diferente nivel de demanda cognitiva y, por tanto, su dificultad(27). Una de las posibilidades más interesantes con el uso de pruebas informatizadas, consiste en evaluar el proceso que sigue el sujeto para realizar las distintas tareas, es decir, las estrategias y los procesos cognitivos que se utilizan ante la tarea o prueba, pudiendo ser usados con fines diagnósticos. Este tipo de análisis de los procesos cognitivos superiores sería muy difícil de llevar a cabo sin el uso del ordenador(28). Estos formatos tienen muchas ventajas con respecto a las versiones en papel, ya que facilitan su aplicación, calificación e interpretación y permiten una gran flexibilidad(29). El manejo adecuado de los sistemas computacionales genera una mayor seguridad por lo que aumenta la estabilidad, fiabilidad y validez de las mediciones(30).

Un paradigma es un conjunto de estímulos que, organizados con determinadas pautas temporales y de diseños, conforma las tareas que debe desempeñar el sujeto durante la adquisición de las imágenes por RMF. Por medio de los paradigmas se ponen en marcha procesos cognitivos para localizar la arquitectura funcional subyacente a ellos(3).

Una forma de diseñar los paradigmas para su uso en RMF es hacerlo en “bloque”(31). En el formato de diseño por bloques, se presentan dos situaciones, una de activación con un estímulo específico y otra de control o reposo, con un estímulo neutro que evita la activación(3). El diseño por bloques tiene las ventajas de poder implementarse y analizarse con facilidad y de tener alta potencia estadística. En general, durante la condición de control se pide al sujeto que “no haga nada” o que deje de hacer la tarea solicitada en la condición de “activación”. En estos casos se denomina “reposo”(32). El tiempo de la tarea está considerado alrededor de los 240 segundos especificando el número de volúmenes según sea el valor del tiempo de repetición (TR), tiempo de eco (TE) y el número de volúmenes en estado de reposo y actividad(33).

Dentro de las investigaciones realizadas con paradigmas para medir la MT se encuentran entre otros, la prueba Memonum en personas mayores de 50 años para evaluar la MT visual(34); una prueba computarizada para evaluar la MT Visual-Verbal (MemPavox) que integra tres tareas: conteo de vocales, categorización de los sujetos y dual, usada en México(35); un paradigma de MT en en RMF en pacientes con trastorno bioplar(36). También se ha empleado el test de Span Visual de la escala de memoria de Wechsler como parte de un sistema computarizado de pruebas psicométricas, para la exploración de la memoria visual en niños con hipotiroidismo congénito y otras enfermedades que comprometen el desarrollo normal del sistema nervioso(37). En Chile se realizó un ensayo de aplicación práctica del test informatizado Memopoc para evaluar memoria(30), en otro estudio se usó la prueba computarizada “CubMemPC” para evaluar memoria a corto plazo visoespacial con y sin distractores, en donde se presenta el funcionamiento y ventajas del programa con una versión computarizada de los “cubos de Corsi”(38). En estas investigaciones se han adaptado diferentes pruebas tradicionales para valorar memoria a versiones computarizadas, en algunos casos han sido usados en RMF.

En el Ecuador se han venido realizando investigaciones relacionadas con las funciones ejecutivas en cuanto a su desempeño en adultos(39)(40), el bajo rendimiento escolar en niños(41), así como la validación de un cuestionario en formato autoreporte (EFECO )(42), en Quito. Se estandarizó la Batería BANFE-2 para evaluar funciones ejecutivas en adolescentes en Ambato(43). Se evaluó la atención de tipo selectivo en escuelas urbanas y rurales con un test computarizado de breve duración(44) y se describió las características de las funciones ejecutivas en niños con trastorno por déficit de atención e hiperactividad en Cuenca. En un estudio se usó una herramienta computacional para la valoración de la MT en adultos mayores en la que se incluye tareas N-back(45), por otro lado se realizó un mapeo de la función cerebral en adultos mayores enfocado en la tarea de funciones ejecutivas(46) y de la atención con la tarea Stroop(47) en Resonancia Magnética Funcional en la ciudad de Loja.

Específicamente dentro de la ciudad de Cuenca, se usan paradigmas para la valoración del lenguaje y áreas motoras en RMF. Por lo tanto, se evidencia un déficit dentro de las investigaciones realizadas en MT, y el uso de programas informatizados dentro de nuestro medio.

La hipótesis que se plantea es que con la aplicación de un nivel de dificultad 2-back verbal aumenta el éxito en el desempeño de la tarea en MT, válido para ser usado en RMF.

La importancia de valorar esta función cognitiva radica en la implicación que ésta tiene en el adecuado desempeño que realicemos en nuestras actividades cotidianas. Además, el uso de herramientas de valoración que se pueda adaptar a equipos de neuroimagen permite evaluar de manera objetiva y eficaz la actividad cerebral que se presenta ante tareas cognitivas dentro del campo clínico o de investigación.

Diseño metodológico

Se trata de un estudio cuantitativo descriptivo transversal con el objetivo de describir los resultados observados de manera objetiva en un periodo de tiempo corto (Álvarez, 2011; García, 2004) para validar un paradigma mediante un programa informático para ser utilizado dentro de RMF.

Población y Muestra:

La muestra fue no probabilística por conveniencia debido a la accesibilidad y proximidad de los sujetos al investigador(48). Se obtuvo la participación de 18 estudiantes de medicina quienes voluntariamente aceptaron ser parte del estudio, firmando un acta de consentimiento.

Materiales:

En un procesador laptop HP Pavilion g6 series se instaló el protocolo de aplicación de la prueba, el paradigma de MT adaptado al software PsycoPy y la rúbrica de evaluación del mismo.

Procedimiento:

Se estableció un proceso de cuatro fases para realizar la validación del paradigma, las mismas que se dividen de la siguiente manera:

Fase 1: Adaptación del paradigma al PsicoPy.- El formato que se usó, es el de letras, con un solo nivel de dificultad, 2 back, para los cuatro bloques de presentación que en su totalidad dura cuatro minutos. El sujeto debe responder a la misma letra que aparezca y sea igual a la que apareció dos puestos atrás. El instrumento consta de 15 láminas por bloque, cada una con una duración de dos segundos. En total 60 láminas. Antes de cada bloque se ubicó una lámina con duración de 30 segundos de reposo, representada por una cruz. Las láminas no contienen indicaciones escritas, éstas se expusieron verbalmente a los sujetos antes de la prueba. Se usó un fondo negro para las diapositivas, con letras en color blanco y todas en mayúsculas. El tamaño de letra usado fue de 138 puntos y el tipo de letra, Arial.

La tarea se inicia con la presentación de un punto de fijación que consiste en una cruz que aparece en el centro de la pantalla y que se mantiene durante treinta segundos. Luego la cruz desaparece y comienza la presentación de las letras, tal y como se presenta en el ejemplo de la figura 1. (Figura 1)

Figura 1 Los tiempos de reposo están representados por una cruz (duración 30 segundos); cada bloque tiene 15 láminas: 2 segundos; en total 30’ por bloque, con diferentes letras. Las flechas rojas indican el estímulo al cual hay que responder (hacer clic), ya que las letras son idénticas a las que pasaron hace dos puestos atrás. 

Las respuestas se registran cada vez que el sujeto presiona la tecla designada, pudiendo identificar de esta manera los aciertos y errores. Se otorga 1 punto por cada estimulo correcto y 0 por cada incorrecto. Las respuestas se registraron en un archivo de hoja de cálculo de excel, así como el tiempo que le tomó al sujeto responder ante el estímulo.

Fase 2: Elaboración de una rúbrica de evaluación. - Se elaboró una rúbrica en una hoja de cálculo para validar si el formato de presentación del paradigma es adecuado, tomando como base los siguientes criterios: el tamaño, tipo de letra; el tiempo de presentación, el fondo del color, la duración de la prueba, claridad de la consigna, los estímulos presentados y certeza de haber presionado adecuadamente la techa asignada.

La matriz fue programada para registrar los datos y posteriormente tener un valor total de puntaje obtenido en cada indicador, así como de las observaciones dadas por los participantes y el grupo de expertos.

Fase 3: Prueba de pilotaje. - Se citó a los participantes en un horario diferenciado, ya que las pruebas fueron aplicadas de manera individual con el objetivo de observar el desempeño de cada participante. La aplicación se realizó en un día a 18 sujetos.

Para el desarrollo de la prueba en primer lugar se estableció un lugar tranquilo en el que no hubiese situaciones que puedan causar interferencias en la ejecución de la prueba. Se pidió a cada participante que se ubicara frente a la computadora sin ningún tipo de distractor como celulares, alarmas y/o relojes para evitar que el sujeto se pueda desconcentrar de la tarea.

Se explicó la consigna a cada sujeto, cerciorándose de que comprenda la manera correcta de realizar la prueba.

La consigna que se les dio a los participantes de manera verbal antes de empezar la prueba fue la siguiente “A continuación aparecerá una cruz durante 30 segundos, luego aparecerá una serie de letras, usted debe presionar la tecla espacio cada vez que se presente la misma letra que apareció hace dos letras o puestos atrás. Tenga la seguridad que al pulsar la tecla sus respuestas se registrarán de automáticamente”.

Se realizó un ensayo con anterioridad. En caso de dificultad en la comprensión la prueba se repitió antes de desarrollarse dos o tres veces más. Se aplicó el paradigma, y posteriormente, la matriz de evaluación. Cada aplicación duró de 15 a 20 minutos incluyendo la explicación de la consigna y aplicación de la rúbrica.

Fase 4: Validación por expertos. - Se realizó una validación de expertos tomando en consideración a profesionales en los ámbitos de la ingeniería eléctrica, neuropsicología, estadística, neurociencia y neurología, conocedores en psicometría, uso de software, valoración neuropsicológica, entre otros. Se establecieron reuniones periódicas en las que se fueron analizando los avances y cambios establecidos dentro del paradigma. Se usó la rúbrica de evaluación, así como el criterio de cada uno de los expertos de acuerdo a su área de especialización.

Fase 5: Análisis de datos. - El análisis de datos estadístico utilizó el software Excel en donde se contabilizó el número de aciertos y errores de acuerdo al desempeño de cada participante. Luego, se realizó una tabla de confusión en las que se tabularon los datos verdaderos positivos (respuestas dadas a los estímulos correctos) con los falsos positivos (respuestas en blanco a las que no se debía responder), los cuales eran considerados correctos, así como los falsos negativos (respuesta a estímulos incorrectos) y los verdaderos negativos (omisiones a estímulos correctos) de las respuestas dadas por cada participante. Se tabularon los datos de cada bloque; obteniendo el porcentaje del desempeño ante la prueba, producto de la fracción de verdaderos positivos (FVP) por la fracción de falsos positivos (FFP).

Por otro lado, se realizó un análisis de sensibilidad y especificidad. La sensibilidad indica la capacidad de estimar, en este caso, a los sujetos que respondieron adecuadamente a los estímulos que eran correctos. La especificidad, indica la capacidad de la prueba para detectar a los estímulos que no se debía responder y que a la vez son correctos. Cuando el valor de especificidad supera el 80 %, se considera buena(49).

Resultados

En cuanto al análisis de la prueba, se consideró el porcentaje total del desempeño de cada sujeto, a través del cálculo del porcentaje de FVP y FFP obtenido en cada bloque, tal y como se presenta en la tabla 1: (Tabla 1)

Tabla 1 Porcentajes del rendimiento de los participantes en cada bloque con su total. 

RENDIMIENTO (%)(Producto de FVP*FFP)
Ítem Bloque 1 Bloque 2 Bloque 3 Bloque 4 TOTAL
1 100 100 100 100 100
2 100 100 100 100 100
3 100 100 100 100 100
4 100 100 100 100 100
5 100 61 100 100 93
6 92 100 75 91 89
7 100 100 100 100 100
8 67 100 100 100 93
9 67 100 100 100 93
10 100 100 100 100 100
11 67 61 100 100 86
12 100 100 100 100 100
13 100 100 75 100 93
14 100 100 100 100 100
15 100 100 100 100 100
16 100 100 100 100 100
17 100 100 100 100 100

*Fuente: Datos recolectados por el investigador.

El porcentaje del rendimiento de la prueba superó el 80 % lo que indica que los participantes pudieron realizar la prueba con éxito. La consigna y preparación antes de la tarea fue adecuada.

En la figura 2 se puede observar la frecuencia con la que los participantes aciertan ante la prueba, siendo así que el desempeño total de respuestas correctas dadas supera el 80 %. La mayor parte de participantes que respondieron adecuadamente a la prueba están dentro de un rango de 95 a 100 % de aciertos. (Figura 2)

Figura 2 Porcentaje total del desempeño obtenido por los participantes distribuidos por rangos. Fuente: Datos recolectados por el investigador. 

Se realizó la tabulación de los datos para encontrar los porcentajes de sensibilidad y especificidad de las láminas de cada bloque, luego se hizo un cálculo para determinar el porcentaje total de la prueba. Estos datos ayudan a comprobar la validez de las láminas y de la prueba en su totalidad siendo el punto de corte 80 %. Los resultados obtenidos se detallan en la tabla 2. (Tabla 2)

Tabla 2 Porcentajes de sensibilidad y especificidad obtenidos en cada bloque con su total. 

SENSIBILIDAD (SEN) Y ESPECIFICIDAD (SP) (%)
SUJETOS BLOQUE 1 BLOQUE 2 BLOQUE 3 BLOQUE 4 TOTAL
  SEN SP SEN SP SEN SP SEN SP SEN SP
1 100 100 100 100 100 100 100 100 100 100
2 100 100 100 100 100 100 100 100 100 100
3 100 100 100 100 100 100 100 100 100 100
4 100 100 100 100 100 100 100 100 100 100
5 100 100 100 100 100 100 100 100 100 100
6 92 92 100 100 100 100 92 91 96 96
7 100 100 100 100 100 100 100 100 100 100
8 100 100 100 100 100 100 100 100 100 100
9 100 100 100 100 100 100 100 100 100 100
10 100 100 100 100 100 100 100 100 100 100
11 100 100 100 100 100 100 100 100 100 100
12 100 100 100 100 100 100 100 100 100 100
13 100 100 100 100 100 100 100 100 100 100
14 100 100 100 100 100 100 100 100 100 100
15 100 100 100 100 100 100 100 100 100 100
16 100 100 100 100 100 100 100 100 100 100
17 100 100 100 100 100 100 100 100 100 100
18 92 92 100 100 100 100 89 91 96 96

*Fuente: Datos recolectados por el investigador.

En cuanto a la sensibilidad y especificidad obtenida de las láminas se puede observar que los sujetos pudieron responder correctamente ante los estímulos presentados por sobre el 80 %, lo que indica que la prueba tiene un alto grado de confiabilidad y validez.

En la figura 3 se puede observar que los participantes respondieron adecuadamente ante cada estímulo, por lo que el porcentaje de desempeño sobrepasa el 80 %. El mayor número de láminas a las que reaccionaron correctamente se encuentra dentro de un 96 a 100 % de aciertos. (Figura 3)

Figura 3 Porcentaje total del desempeño obtenido por los participantes ante cada lámina. Fuente: Datos recolectados por el investigador. 

Resultados de la rúbrica de evaluación aplicada a los participantes:

En general, los participantes consideraron que el tamaño, tipo de letra; el tiempo de presentación, el fondo del color, la duración de la prueba, los estímulos presentados y el nivel de dificultad eran adecuados.

En el indicador “se puede identificar que ya marcó la respuesta al momento de presionar el botón”, un 50 % de participantes mencionaron que no; en el ítem “con la explicación de la consigna se pudo tener la certeza de que se registró su respuesta”, 55,6 % contestaron que sí; y por último en la pregunta: ¿cree usted que debe colocarse un indicador que identifique que se registro su respuesta? un 50 % de participantes consideraron que sí.

Se observó que un grupo considerable de personas manifiesta la importancia de colocar algún signo que afirme que la repuesta al hacer “clic” fue registrada, puesto que hay sujetos que manifestaron la duda de si pulsaron o no correctamente. Sin embargo, otro grupo de personas mencionaron que el aclarar en la consigna que “las respuestas se registrarán automáticamente”, fue suficiente para tener la certeza de que pulsaron corectamente. En las observaciones recomendaron colocar un identificador de tipo visual, como por ejemplo que la letra cambie de color o que resplandezca, o por otro lado que aparezca un visto; auditivo, un sonido que identifique que se aplastó correctamente la tecla.

Algunos mencionaron dificultad en cuanto a la compresión de la consigna, por lo que no entendían con claridad en que momento tenían que aplastar la tecla. Su duda radicaba en si debían responder al estímulo que fuera igual al de la letra anterior mas dos puestos atrás, cuando la consigna especifica que el estímulo debe ser igual a la letra que paso hace dos puestros atrás. Al explicarles como debían realizar la tarea de manera gráfica, presentandoles un ejemplo del paradigma, pudieron comprender con precisión lo que tenían que hacer.

Discusión

El objetivo del presente estudio fue determinar la validez del uso del paradigma N-back en un programa computarizado para ser usado en RMF. De acuerdo a nuestra hipótesis, un nivel de dificultad 2-back verbal aumenta el éxito en el desempeño de la tarea en MT, válido para ser usado en RMF.

En cuanto al formato de programación de la tarea, se pudo constatar que los programas computacionales permiten clasificar los ítems seleccionados de acuerdo a reglas pre establecidas(30). Se proponen los parámetros de selección de acuerdo a aciertos y errores de los participantes, y, de acuerdo a una plantilla con los estímulos que se debe seleccionar. Es cierto que el uso de programas computacionales favorece economizar el tiempo en la corrección y la supervisión profesional, como también disminuir errores en la corrección y caer en la subjetividad; por ejemplo, la influencia que puede tener el examinador sobre el examinado(50), siendo de esta manera objetivos ante el desempeño del sujeto.

En cuanto a la precisión del rendimiento ante los estímulos, en una investigación para valorar MT comparando dentro del RMF tareas N-back de letras y fractales, encontraron que hay igual similitud entre el uso de estímulos estandar de letras N-back y los de diseños geométricos, de igual manera el rendimiento es sensible a los parámetros de manipulación de carga de memoria(51).

La percepción del nivel de dificultad y el tiempo de ejecución de la prueba fue adecuada para todos los participantes. La duración de la tarea se encuentra dentro de los parámetros establecidos en el estudio de Aguirre (2012) que indica que el tiempo total de duración de la prueba debe oscilar alrededor de 240 segundos, lo que es igual a cuatro minutos(33). De igual manera, el paradigma está establecido por bloques, por lo que puede implementarse y analizarse con facilidad, además de tener alta potencia estadística(32).

El desempeño en la tarea fue alta con relación al uso del nivel de carga 2-back, lo que indica que los estímulos presentados son adecuados y comprensibles. Además de que el nivel de dificultad permitió discernir adecuadamente entre los estímulos correctos de los incorrectos, por lo que los errores fueron mínimos.

Es importante mencionar que al buen desempeño en la tarea se puede sumar factores cómo la motivación, el interés, el descanso y la concentración de los participantes, que pudieron influir en la prueba, caso contrario los resultados no hubiesen sido los esperados. En un estudio acerca de los efectos de la privación del sueño en la memoria de trabajo usando la prueba N-back; concluyeron que la privación del sueño es un factor que influye de manera decreciente en las tareas N-back, siendo así que las áreas cerebrales posteriores a la privación del sueño disminuyeron su actividad en 76 % para la tarea 2-back. A esta baja activación se suma el aburrimiento y baja concentración(52). Por lo tanto, estos parámetros deben tomarse en cuenta y ser valorarlos en los pacientes antes de la aplicación de la prueba.

En un estudio realizado por Jacola y sus colaboradores, encontraron evidencia para la validación del N-back como una medida clínica en estudios de neuroimagen funcional en memoria de trabajo. Observaron que los participantes con un mejor desempeño en el lapso de dígitos más largos hacia atrás lo realizaron precisamente en la tarea 2-back verbal durante RMF(53). Por otro lado, Torres, encontró que en tareas 2-back y 3-back hay una mayor carga de MT(54). En otra investigación Ragland y sus colaboradores, evidenciaron que hubo una mayor activación de la corteza prefrontal dorsolateral en condiciones de mayor carga de memoria, cuando las demandas de monitoreo y manipulación del Sistema Ejecutivo Central (CES) fueron mayores, es decir en el contraste 2-back/1 back(51).

A pesar de no tener una base psicométrica validada, hay evidencia que sugiere que el N-back es un instrumento de evaluación adecuado para la valoración de la activación cerebral en MT, así como para la rehabilitación y estimulación de las áreas que intervienen en esta función. Existen estudios bajo las mismas condiciones que garantizan la validez del paradigma y demuestran activación cerebral dentro de RMF(45).

El N-back es una tarea que ha sido extensamente usada en diversas investigaciones, sin embargo, existen pocos estudios realizados en nuestro medio, especialmente con el uso de programas computarizados. En el Ecuador se emplean paradigmas motores y de lenguaje específicamente, siendo así que paradigmas más complejos como el de MT se encuentran aún en investigación y validación.

Este trabajo es un aporte importante dentro del campo de las neurociencias en el país, específicamente de la neuropsicología, así como un punto de partida para futuras investigaciones en el uso de paradigmas computarizados y la valoración de funciones cognitivas.

Implementar dentro del área de la salud paradigmas que valoren la MT, amplía el campo de acción dentro de la neuropsicología y permite el acceso a la población a nuevos servicios de salud.

Como limitación del estudio se puede señalar la poca o nula experiencia en el uso de programas informáticos lo que de alguna manera atrasó la consecución del paradigma para su aplicación. La capacitación por parte de profesionales en la rama ayudó a que el proyecto pueda continuar y finalmente llegar a su objetivo.

El próximo reto, es llevar la aplicación del paradigma dentro del equipo de RMF y evaluar la participación de las áreas de activación en MT.

Conclusión

Debido a que los resultados en la ejecución de la tarea fueron altos, tanto a nivel global de desempeño como por la respuesta dada a cada lámina, permite confirmar que la prueba N-back adaptada a un software informático es válida y confiable para evaluar MT, pudiendo ser usado posteriormente dentro de RMF.

Referencias

Peirce J, Gray JR, Simpson S, MacAskill M, Höchenberger R, Sogo H, et al. PsychoPy2: Experiments in behavior made easy. Behav Res Methods [Internet]. 2019;51(1):195-203. Available from: https://pubmed.ncbi.nlm.nih.gov/30734206/ [ Links ]

Peirce JW. Generating stimuli for neuroscience using PsychoPy. Front Neuroinform [Internet]. 2009;2(JAN):1-8. Available from: https://www.frontiersin.org/articles/10.3389/neuro.11.010.2008/full [ Links ]

Cabrales A. Neuropsicología y la localización de las funciones cerebrales superiores en estudios de resonancia magnética funcional con tareas Neuropsychology and the localization of superior brain functions in fMRI with task studies. Acta Neurolólogica Colombiana. 2015;31(1):92-100. Available from: http://www.scielo.org.co/pdf/anco/v31n1/v31n1a14.pdf [ Links ]

Besserra-Lagos D, Lepe-Martínez N, Ramos-Galarza C. Las Funciones Ejecutivas del Lóbulo Frontal y su Asociación con el Desempeño Académico de Estudiantes de Nivel Superior. Rev Ecuatoriana Neurol. 2018;27(3):51-6. [ Links ]

Morton JB. Funciones Ejecutivas. In: Enciclopedia sobre el Desarrollo de la Primera Infancia [Internet]. 2013. Available from: http://www.enciclopedia-infantes.com/sites/default/files/dossiers-complets/es/funciones-ejecutivas.pdf [ Links ]

Verdejo A, Bechara A. Neuropsicología de las funciones ejecutivas. Psicothema. 2010;22(2):227-35. [ Links ]

YOLDI A. LAS FUNCIONES EJECUTIVAS: HACIA PRÁCTICAS EDUCATIVAS QUE POTENCIEN SU DESARROLLO. Páginas Educ [Internet]. 2015;8(1):72-98. Available from: http://www.scielo.edu.uy/scielo.php?script=sci_arttext&pid=S1688-74682015000100003&lang=es%0Ahttp://www.scielo.edu.uy/pdf/pe/v8n1/v8n1a03.pdf [ Links ]

Etchepareborda-Simonini MC, Abad-Mas L. Memoria de trabajo en los procesos básicos del aprendizaje. Rev Neurol [Internet]. 2005;40(S01):S079. Available from: http://www.mdp.edu.ar/psicologia/psico/sec-academica/asignaturas/aprendizaje/Memoria de trabajo.pdf [ Links ]

Margarita J, Cabarcas E, Rozo PP, Fernando W, Alhucema P. Comprensión Lectora Multinivel En Adultos. Un Análisis Correlacional Con La Memoria De Trabajo. Research Gate* [Internet]. 2017. Available from: https://www.researchgate.net/publication/320287730_Comprension_lectora_multinivel_en_adultos_Un_analisis_correlacional_con_la_memoria_de_trabajo [ Links ]

Carruthers P. Mindreading in infancy. Mind Lang [Internet]. 2013;28(2):141-72. Available from: http://faculty.philosophy.umd.edu/pcarruthers/Mindreading in infancy.pdf [ Links ]

Lepe-Martínez N, Cancino.Durán F, Tapia-Valdés F, Zambrano-Flores P, Muñoz-Veloso P, Gonzalez-San MArtínez I, et al. Desempeño en Funciones Ejecutivas de Adultos Mayores: Relación Con su Autonomía y Calidad de Vida. Rev Ecuatoriana Neurol [Internet]. 2020;29(1):92-103. Available from: http://revecuatneurol.com/wp-content/uploads/2020/07/2631-2581-rneuro-29-01-00092.pdf [ Links ]

Lupón M, Torrents A, Quevedo L. Procesos Cognitivos Básicos. Psicol en Atención Vis [Internet]. 2019;1-42. Available from: https://ocw.upc.edu/sites/all/modules/ocw/estadistiques/download.php?file=370508/2012/1/54662/tema_4.__procesos_cognitivos_basicos-5313.pdf [ Links ]

Vila JO. Memoria operativa, inteligencia y razonamiento: la necesidad de medidas contextualizadas del componente de memoria operativa a largo plazo. Dialnet 2011;440. Available from: https://dialnet.unirioja.es/servlet/tesis?codigo=26781 [ Links ]

López M. Memoria de Trabajo y Aprendizaje: Aportes de la Neuropsicología. Cuad Neuropsicol [Internet]. 2011;5(July):25-47. Available from: https://www.redalyc.org/pdf/4396/439642487003.pdf [ Links ]

Baddeley A. Working memory and language : an overview. PubMed 2003;36:189-208. Available from: https://pubmed.ncbi.nlm.nih.gov/12742667/ [ Links ]

González-Nieves S, Morales-Nieves FH, Duarte JE. Memoria de trabajo y aprendizaje. Saber, Cienc y Lib [Internet]. 2016;11(2):161-76. Available from: https://revistas.unilibre.edu.co/index.php/saber/article/view/554 [ Links ]

Humanas C. La memoria de trabajo de los estudiantes de interpretación: estudio comparativo. 2017; Available from: https://repositorio.comillas.edu/rest/bitstreams/102387/retrieve [ Links ]

Stelzer F, Andés ML, Canet-Juric L, Introzzi I. Memoria de Trabajo e Inteligencia Fluida. Una Revisión de sus Relaciones. Acta Investig Psicológica. 2016;6(1):2302-16. [ Links ]

Coulacoglou C, Saklofske DH. Executive Function, Theory of Mind, and Adaptive Behavior. Psychom Psychol Assess [Internet]. 2017;91-130. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4224037/ [ Links ]

Aghajani H, Garbey M, Omurtag A. Measuring mental workload with EEG+fNIRS. Front Hum Neurosci [Internet]. 2017;11(July):1-20. Available from: https://www.frontiersin.org/articles/10.3389/fnhum.2017.00359/full [ Links ]

Owen AM, McMillan KM, Laird AR, Bullmore E. N-back working memory paradigm: A meta-analysis of normative functional neuroimaging studies. Hum Brain Mapp [Internet]. 2005;25(1):46-59. Available from: https://pubmed.ncbi.nlm.nih.gov/15846822/ [ Links ]

Jaeggi SM, Buschkuehl M, Perrig WJ, Meier B. The concurrent validity of the N-back task as a working memory measure. Memory [Internet]. 2010;18(4):394-412. Available from: https://pubmed.ncbi.nlm.nih.gov/20408039/ [ Links ]

Grissmann S, Faller J, Scharinger C, Spüler M, Gerjets P. Electroencephalography based analysis of working memory load and affective valence in an N-back task with emotional stimuli. Front Hum Neurosci [Internet]. 2017;11(December):1-12. Available from: https://pubmed.ncbi.nlm.nih.gov/29311875/ [ Links ]

Francisco E, Vargas L, Alejandro M, García B. La relación entre memoria e inteligencia. 2019; Available from: https://www.eumed.net/rev/atlante/2019/01/relacion-memoria-inteligencia.html [ Links ]

López R, Sanmartín P, Méndez F. Revisión de las evaluaciones adaptativas computarizadas (CAT)*. 2014;16(26):27-40. Available from: http://revistas.unisimon.edu.co/index.php/educacion/article/view/2345 [ Links ]

Lozzia GS, Abal FJP, Blum GD, Aguerri ME, Galibert MS, Attorresi HF. Tests Informatizados. Nuevos desafíos prácticos y éticos para la Evaluación Psicológica. Summa Psicológica [Internet]. 2013;6(1):135-48. Available from: https://www.researchgate.net/publication/28316501_Tests_Informatizados_Nuevos_desafios_practicos_y_eticos_para_la_Evaluacion_Psicologica [ Links ]

Francisco J, Juan R. Tests informatiados y otros tipos de tests. 2010;31(1):97-107. Available from: https://dialnet.unirioja.es/servlet/articulo?codigo=3150845 [ Links ]

Belloch C. Recursos tecnológicos para la Evaluación Psicoeducativa. Unidad Tecnol Educ (UTE) Univ Val [Internet]. 2014;1-16. Available from: https://www.uv.es/bellochc/logopedia/NRTLogo3.pdf [ Links ]

Ruiz-Díaz Marina, Guevara-Pérez MA, MH G. Desarrollo computacional de pruebas para evaluar funciones ejecutivas: HANOI y WISCONSI. Av en la Investig Científica en el Cucba. 2008;383-90. [ Links ]

Schade N, Hernández P, Elgueta B. Ensayo de Aplicación práctica , el Test Informatizado de Practical Application of Memopoc informatized Memory Test : A test of the procedure. Rev Psicol la Univ Chile [Internet]. 2005;XIV(1):73-88. Available from: https://core.ac.uk/download/pdf/46532522.pdf [ Links ]

Rosales F. MR. RESONANCIA MAGNETICA FUNCIONAL: UNA NUEVA HERRAMIENTA PARA EXPLORAR LA ACTIVIDAD CEREBRAL Y OBTENER UN MAPA DE SU CORTEZA. Rev Chil Radiol [Internet]. 2003 [cited 2020 May 21];9(2):86-91. Available from: https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0717-93082003000200008 [ Links ]

Ríos-Lago M. Functional magnetic resonance and neuropsychology: Basic concepts. Radiologia [Internet]. 2008;50(5):351-65. Available from: http://dx.doi.org/10.1016/S0033-8338(08)76050-8 [ Links ]

Aguirre-Reyes DFA. Tamaño de muestra a considerarse en un estudio de resonancia magnética funcional (RMF) con un equipo de resonancia magnéticade 1.5 T. Rev Ecuatoriana Neurol [Internet]. 2012;21(1-3):10-4. Available from: http://revecuatneurol.com/magazine_issue_article/muestra-a-considerarse-en-estudio-de-resonancia-magnetica-funcional/ [ Links ]

Prada EL, Pineda GE, Mejía MA, Conde CA. Prueba Computarizada Memonum: Efecto de intervalos y distractores sobre la memoria de trabajo en mujeres mayores de 50 años. Univ Psychol [Internet]. 2010;9(3):893-906. Available from: https://www.researchgate.net/publication/51022870_Prueba_Computarizada_Memonum_Efecto_de_Intervalos_y_Distractores_sobre_la_Memoria_de_Trabajo_en_Mujeres_Mayores_de_50_Anos [ Links ]

Sanz-Martin A, Gumá-Díaz E, Guevara MA, Hernández-González M. MemPavox: Prueba Computarizada para Evaluar la Memoria de Trabajo Visual-Verbal. Rev Mex Ing Biomédica [Internet]. 2014;35(1):81-92. Available from: https://www.medigraphic.com/cgi-bin/new/resumen.cgi?IDARTICULO=62464 [ Links ]

López-Jaramillo C, Correa-Palacio A, Delgado J, Lopera-Vásquez A, Rascovsky S, Castrillon G, et al. Diferencias en la resonancia magnética funcional en pacientes con trastorno bipolar usando un paradigma de memoria de trabajo. Rev Colomb Psiquiatr [Internet]. 2010;39(3):481-92. Available from: http://www.scielo.org.co/pdf/rcp/v39n3/v39n3a04.pdf [ Links ]

Fernández-Yero JL, Carlos-Pías N, Álvarez Á, Álvarez-Robaina R. Evaluación del desarrollo neurocognitivo implementado mediante un sistema computarizado de pruebas psicométricas. Research Gate 2009;10(3):23-7. Available from: https://www.researchgate.net/publication/322096468_EVALUACION_DEL_DESARROLLO_NEUROCOGNITIVO_IMPLEMENTADO_MEDIANTE_UN_SISTEMA_COMPUTARIZADO_DE_PRUEBAS_PSICOMETRICAS/link/5a44b3fdaca272d2945c47ca/download [ Links ]

Guevara MA, Sanz-Martin A, Hernández-González M, Sandoval-Carrillo IK. CubMemPC: Prueba Computarizada para Evaluar la Memoria a Corto Plazo Visoespacial con y sin Distractores. Rev Mex Ing Biomed [Internet]. 2014;35(2):175-86. Available from: http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0188-95322014000200006 [ Links ]

Proaño-Alcivar DL. El Desempeño de Funciones Ejecutivas en Pacientes con Dependencia al Alcohol [Internet]. Universidad de las Américas; 2014. Available from: http://dspace.udla.edu.ec/bitstream/33000/3443/1/UDLA-EC-TPC-2014-06%28S%29.pdf [ Links ]

Cabrera-Aráuz DS. ANÁLISIS COMPARATIVO SOBRE EL DESEMPEÑO DE LAS FUNCIONES EJECUTIVAS EN PERSONAS SORDAS SIGNANTES Y PERSONAS OYENTES [Internet]. Pontificia Universidad Católica del Ecuador; 2018. Available from: http://repositorio.puce.edu.ec/bitstream/handle/22000/16577/DISERTACIÓN%2C DIANA STÉFANY CABRERA ARÁUZ.pdf?sequence=1&isAllowed=y [ Links ]

Robalino D. La Función Ejecutiva y la relación con el bajo rendimiento escolar en los niños y niñas de 8 a 12 años. 2013;136. Available from: http://200.12.169.19/bitstream/25000/3166/1/T-UCE-0007-32.pdf [ Links ]

Ramos-Galarza C, Bolaños-Pasquel M, García-Gómez A, Martínez-Suárez P, Jadán-Guerrero J. La Escala EFECO para Valorar Funciones Ejecutivas en Formato de Auto-Reporte. Rev Iberoam Diagnóstico y Evaluación - e Avaliação Psicológica. 2019;50(4). [ Links ]

Jarrín-Chávez FA. Estandarización de la Batería para evaluar las funciones ejecutivas en adolescentes entre 15 a 17 años en la ciudad de Ambato [Internet]. Universidad Central del Ecuador; 2015. Available from: http://www.dspace.uce.edu.ec/bitstream/25000/7183/1/T-UCE-0007-61pg.pdf [ Links ]

Alexandra G, Pacheco B. Atención cognitiva en escolares de la zona urbana y rural de la ciudad de Cuenca-Ecuador 02. 2018:59-74. Available from: http://publicaciones.uazuay.edu.ec/index.php/ceuazuay/catalog/download/48/45/491-1?inline=1 [ Links ]

Gutiérrez-Romero MG. Diseño e implementación de una herramienta computacional dinámica para mejorar las habilidades de memoria de adultos mayores, y comprobar su eficacia por medio de la detección de actividad cerebral utilizando imágenes de resonancia magnética. 2017;141. Available from: https://www.coursehero.com/file/45997056/Gutirrez-Romero-Mara-Gabrielapdf/ [ Links ]

Esparza N. Mapeo de la función cerebral en adultos mayores enfocado en la tarea de funciones ejecutivas. Univ Técnica Part Loja [Internet]. 2017;98. Available from: http://www.dspace.uce.edu.ec/bitstream/25000/1233/1/T-UCE-0007-10.pdf [ Links ]

Aguirre-Reyes DF. Mapeo de la Función Cerebral utilizando Resonancia Magnética Funcional en una tarea de atención STROOP, en participantes de Loja, Ecuador. 2014. Available from: https://es.scribd.com/document/238668068/Mapeo-de-la-Funcion-Cerebral-utilizando-Resonancia-Magnetica-Funcional-en-una-tarea-de-atencion-STROOP-en-participantes-de-Loja-Ecuador [ Links ]

Otzen T, Manterola C. Técnicas de Muestreo sobre una Población a Estudio. Int J Morphol [Internet]. 2017;35(1):227-32. Available from: https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0717-95022017000100037 [ Links ]

Huerta-Iga FM. ERGE: pruebas diagnósticas. Rev Gastroenterol México. 2012;77:4-6. [ Links ]

Soto-p F, Mart MF, Jim F. TECNOLOGÍAS Y NEUROPSICOLOGÍA : Hacia una Ciber - Neuropsicología. Cuad Neuropsicol. 2010;4(2):112-30. [ Links ]

Ragland JD, Turetsky BI, Gur RC, Gunning-dixon F, Turner T, Schroeder L, et al. Working Memory for Complex Figures: An fMRI Comparison of Letter and Fractal n-Back Tasks. NIH Public Access. 2015;16(3):370-9. [ Links ]

Martínez-Cancino DP, Azpiroz-Leehan J, Jiménez-Angeles L. The Effects of Sleep Deprivation in Working Memory Using the N-back Task. 2015. Available from: https://link.springer.com/chapter/10.1007/978-3-319-13117-7_108 [ Links ]

Jacola LM, Willard VW, Ashford JM, Ogg RJ, Scoggins MA. Utilidad clínica de la tarea N-back en estudios de neuroimagen funcional de la memoria de trabajo. NCBI 2015;36(8):875-86. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4229404/ [ Links ]

Torres B. El entrenamiento en memoria de trabajo mejora la eficiencia cognitiva en pacientes de Esclerosis Múltiple Working memory training improves cognitive efficiency in multiple sclerosis patients. 2018;5(2):16-25. Available from: http://riberdis.cedd.net/handle/11181/5746 [ Links ]

Recibido: 05 de Junio de 2020; Aprobado: 05 de Julio de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons