Perspectiva primera: tecnología neurofisiológica en dispositivos de metaverso

El estado tecnológico más avanzado apunta a la comunicación de la mente con la máquina mediante el uso de la interfaz cerebro-computadora (BCI) gracias al EEG (Ni^{ng et al., 2021}; ^{Park y Kim, 2022}). El EEG, tecnología clásica de la neurociencia (Ning et al., 2021; Park y Kim, 2022) y la más empleada en el desarrollo de BCI (^{Barrios et al., 2017}; SSVAR, 2022), emplea sensores emplazados en el cuero cabelludo para el registro de la actividad neural (^{Cinel et al., 2019}) y facilita la codificación y decodificación de señales cerebrales y el envío de órdenes a los dispositivos.

El BCI-EEG se utiliza hoy en entornos de VR; se utiliza para conocer el funcionamiento del cerebro y crear terapias de restauración de la movilidad y sensaciones en pacientes con discapacidades severas (^{Lebedev y Nicolelis, 2017}), además de por su capacidad para permitir simulaciones y experimentos sobre procesos cognitivos en un contexto controlado de laboratorio (^{Cannard et al., 2020}) y atractivo para motivar al sujeto (^{Barrios et al., 2017}).

La existencia de tecnologías neurofisiológicas portátiles, económicas y no invasivas podrían impulsar aplicaciones comerciales (SSVAR, 2022; ^{Lee y Kim, 2022}; ^{Park y Kim, 2022}; ^{Rauschnabel et al., 2022}; ^{Riar et al., 2022}) (tabla 2). Los BCI no invasivos abren la puerta a su consumo masivo en el campo de metaverso, más allá de la aplicación sanitaria (SSVAR, 2022). Ciertos autores consideran que el BCI está llamado a conformar la tercera pata en la construcción de metaverso (^{Brambilla-Hall y Baier-Lentz, 2022}).

La tecnología (BCI-EEG) podrá utilizarse conjuntamente con los head mounted displays (HMD) de VR/AR/MR en diversas actividades educativas y de ocio: videojuegos (Idun Technologies, n.d.), entretenimiento y comunicación (^{Ienca y Andorno, 2021}). Iniciativas pioneras evidencian su interés en el mercado de masas. Meta (antigua Facebook) propuso crear, en colaboración con UCSF, un casco no invasivo BCI para redefinir la experiencia AR/VR (^{Makin et al., 2020}; Tech at Meta, 2020). Para Meta, el futuro de metaverso se encuentra en las ciencias de la percepción e IA y la realidad mixta con dispositivos hápticos, hand tracking y eye-tracking (CNET Highlights, 2022). Otras tecnológicas han desarrollado guantes, pulseras y bodysuits para potenciar el sentido táctil y las emociones del usuario (^{Park y Kim, 2022}; ^{Tayal et al., 2022}).

Los sistemas de reconocimiento gestual y de voz, de detección térmica y háptica facilitarán el feedback necesario para proporcionar mayores niveles de inmersión en los entornos virtuales (^{Shepard, 2022}). Con los hápticos térmicos, los usuarios podrán sentir la temperatura de un objeto virtual y tener una interacción más realista con su entorno; mientras que con los hápticos basados en ultrasonido, los pulsos producidos por altavoces especiales crearán puntos de presión sensibles a la piel. Se aplicará en videojuegos, vending machines, shopping kiosks… (Shepard, 2022).

El eye tracking, tecnología de seguimiento ocular que registra, entre otros, patrones de movimiento y atención, se incorpora en los headsets (^{Egliston y Carter, 2021}b) y facilita la optimización en el diseño de experiencias (^{Rogers, 2019}).

Metaverso virtualiza y datifica los movimientos del individuo para traducir las experiencias físicas en virtuales (AEDP, 2022). El Internet de las cosas y las interfaces neuronales actúan como puente para la interacción físico-virtual (AEPD, 2022). Las tecnologías para enriquecer las experiencias sensoriales (auditivas, hápticas, visuales, olfativas…) (^{Egliston y Carter, 2021}b) facilitan información neurofisiológica de potencial interés para la investigación comercial.

Perspectiva 2: la tecnología de registro neurofisiológico y la investigación comercial

Posibilidades investigadoras en entornos de VR/AR

Los hardwares de VR/AR con sensores neurofisiológicos integrados podrán ser de uso habitual en el futuro. Actualmente existen evidencias de su implementación, al menos, con carácter operativo (tabla 3). Estos sensores abren una puerta metodológica alrededor de técnicas y métricas que eliminan los sesgos de las técnicas que dependen de la respuesta verbalizada (^{Dincelli y Yayla, 2022}). Opinión compartida por los entrevistados (E1, E3).

Los expertos apuntan a una amplia oferta de tecnologías del campo de la neurociencia y psicología en el estudio del sujeto. Se señala la posibilidad de incorporar gran variedad de sensores a los cascos y dispositivos de VR (EEG, ECG, EDA…) (E1, E2, E7). Además, existe una gran cantidad de wearables en el mercado de consumo (p.ej. relojes inteligentes…) que registran datos fisiológicos e identifican el estado anímico; estos podrían combinarse durante el uso de metaverso para el estudio del sujeto (E1).

La investigación con sensores neurofisiológicos es posible en el laboratorio; pero su aplicación en escenarios reales de uso debe superar ciertos obstáculos (E1, E2, E3, E4, E6, E7).

Existe gran variabilidad en la fiabilidad de los sensores incorporados en los dispositivos existentes (E2, E7), sin embargo, los cascos Vive de HTC se utilizan en laboratorios por la calidad de sus sensores (E5).

Los dispositivos pesan y pueden producir dolor de cabeza (E4).

Son necesarios mejores sensores -fiables, baratos- (E2)

Debe asegurarse una adecuada colocación de los aparatos (E2, E3, E7)

Se precisa avanzar en la IA (E2) y machine learning (E7), así como en el filtrado de señales que garanticen la utilidad empresarial de los datos (E2, E2, E7).

Además, no todos los sensores facilitan información profunda sobre procesos emocionales y cognitivos, para ello debería incorporarse el EEG, complejizando la investigación extraordinariamente (E2, E3, E7). La idea de que esta tecnología pueda “leer la mente” es una falacia (E2). Hoy, la investigación en entornos reales de uso de VR con EEG plantea problemas metodológicos a sortear (E7):

La variabilidad en la fiabilidad y validez en el registro de datos fuera del laboratorio (E2, E3, E7).

El registro de datos en condiciones de ruido, movimiento… (E2, E3, E7) y el filtrado de variables extrañas (E2, E7).

La fiabilidad de los EEG comerciales (E2, E7).

La conectividad de los EEG no invasivos sin geles (E2).

La calidad de los electrodos circunscritos a las zonas frontales y la utilidad de dicha información (E2, E7).

La ergonomía de BIC-EEG con dispositivos de AR/VR (E3).

La complejidad en el manejo de los EEG (E2, E7) y su adecuada colocación (E2, E3, E7).

Registro emocional y cognitivo

La Academia ha reportado un alto volumen de trabajos que emplean métricas fisiológicas en entornos de VR para comprender el procesamiento cognitivo y emocional del ser humano ante ciertos estímulos (^{Venkatesan et al., 2021}). Estudios sobre tecnologías neurofisiológicas y VR se centran en la creación de metodologías y sistemas de reconocimiento de emociones evocadas (^{Marín-Morales et al., 2018}). La investigación acerca de los estados afectivos/emocionales en entornos virtuales inmersivos con datos fisiológicos es relativamente incipiente y creciente (Marín-Morales et al., 2018; ^{Dozio et al., 2022}). Ello es altamente relevante, pues las emociones afectan al comportamiento (^{Mandolfo et al., 2022}). Los entornos de realidad virtual simulan escenarios del mundo real y ofrecen diversos inputs sensoriales medibles con neurotecnología (^{Parsons y Duffield, 2020}). Los mundos virtuales se convierten así en espacios de interés para empresas vinculadas con el retail, la moda, los medios de comunicación, la educación o el turismo.

Existe un amplio abanico de tecnologías aplicadas en el estudio de la emoción en el contexto de la realidad virtual: el EEG (en forma de headset o como electrodo textil), la pupilometría, el EDA… (^{Halbig y Latoschik, 2021}; ^{Marín-Morales et al., 2018}). Tradicionalmente, los estados emocionales ante estímulos se han medido de acuerdo con un sistema bidimensional formado por valencia y arousal. Mientras la valencia evidencia el grado en que una respuesta es positiva o negativa, el arousal mide el grado de activación asociado a una emoción (Bolls et al., 2001).

El registro de datos psicofisiológicos en tiempo real ofrece información relativa a estados cognitivos (^{Marín-Morales et al., 2018}). Los enfoques clásicos en la evaluación de la experiencia de VR tienden a emplear dispositivos de medición fisiológica para monitorizar la atención, el estrés, estado meditativo (^{Orlosky et al., 2021}), ansiedad, carga cognitiva (^{Halbig y Latoschik, 2021}). Estos son de aplicación en: terapia, entrenamiento y simulación (^{Angelini et al., 2022}), aprendizaje, entretenimiento y comunicación (Halbig y Latoschik, 2021).

Para el registro del estrés se han empleado diversas tecnologías, como chest bands y pulseras, que aportan datos de relevancia sobre la conductancia de la piel e información cardiovascular. La temperatura corporal, respiración, movimiento y el ECG también forman parte de este tipo de estudio. La carga cognitiva señala lo demandante que puede resultar una tarea y, por tanto, el esfuerzo mental invertido en una actividad.

Esta resulta particularmente interesante en el campo de la simulación y el aprendizaje en entornos de VR. Estudios con EEG y EDA monitorizan diversos niveles de carga cognitiva. Las pulseras weareables también facilitan información cardiovascular interesante para valorar niveles de carga. Los EEG son los más utilizados para valorar este aspecto. Otros estudios también evidencian la efectividad del eye tracking y la medición ocular; dato especialmente relevante dada su implementación en los HDM (tabla 3). La ansiedad puede monitorizarse con sensores de variabilidad cardíaca, temperatura corporal, conductancia de la piel y EEG (^{Halbig y Latoschik, 2021}).

El uso de datos fisiológicas en el contexto del VR facilitaría investigaciones como (^{Halbig y Latoschik, 2021}):

Comparativa de respuestas fisiológicas en escenarios virtuales versus escenarios reales.

Comparativa de grupos mediante diferencias en la reacción fisiológica.

Análisis de procesos, mediante la monitorización de cambios fisiológicos en simulaciones virtuales.

Análisis sobre el progreso a través de la identificación de cambios en la respuesta ante el mismo estímulo en múltiples exposiciones.

Correlaciones y establecimiento de relaciones entre la medición de variables.

Clasificaciones de usuarios basados en las respuestas/segmentación.

Visibilización de procesos inconscientes y latentes.

Adaptación de los contenidos al usuario de acuerdo con indicadores de esfuerzo y estrés.

Aplicaciones y beneficios de la neurotecnología para la empresa

A continuación, se listan los beneficios funcionales de la tecnología neurofisiológica (B.F) para el soporte de metaverso; y los derivados de la investigación (B.I.) del usuario con técnicas neurofisiológicas (tabla 4).

Los sistemas de seguimiento de la mirada o el posicionamiento absoluto en entornos reales pueden ser empleados para un sinfín de aplicaciones, incluidas las relacionadas con el marketing o el consumo (E6). Estas tecnologías permiten identificar y crear perfiles de usuarios con patrones de comportamiento (E1, E6), que facilitarían las recomendaciones personalizadas (E1, E2; E3). El tándem que formarían con la IA y el aprendizaje automático garantizaría la predicción de comportamientos gracias al alto volumen de datos potencialmente recolectados con los sensores (E1, E2, E5, E6).

Por otro lado, la metodología sugerida podría tornarse relevante en el diseño de contenidos/inputs y la optimización del estado de ánimo, al cuantificar los efectos emocionales ante estímulos mostrados en los entornos virtuales inmersivos (^{Marín-Morales et al., 2018}). En metaverso, la identificación de emociones resulta crucial para que los avatares puedan emular a los seres humanos; estos deberán aprender a expresar emociones (E1). Gracias al registro fisiológico, se podrá conocer qué emociona, estresa, tranquiliza… y estimular a los usuarios en uno u otro sentido (E1). Otros beneficios potenciales:

Fiabilidad y objetividad de las investigaciones (E3).

Identificación de los contenidos más efectivos (agrado y desagrado) y atractivos (E1, E2, E3, E4) para cualquier campo -educación, medios de comunicación, publicidad- (E1).

Personalización de contenidos/publicidad/educativos (E1, E2, E3, E4).

Diseño de entornos varios como los educativos (E7) así como el de retail y emplazamiento de producto (E1, E5).

Acceso seguro a plataformas mediante identificación biométrica (E2).

Estado del arte sobre los estudios comerciales

Las neurotecnologías desarrollan tecnologías innovadoras en el campo de la neurociencia. Las compañías analizadas destinan estos recursos en entornos VR para aliviar el dolor crónico, la rehabilitación cognitiva, motora… Pocas evidencian su relación con el gaming y/o investigaciones comerciales (Kernel, Brain CO., Emotiv, Neurable, BitBrain technologies, NextMind, MindMaze); y menos las que se aplican en contextos de VR (tabla 5).

De los 52 miembros de la NMSBA, solo dos aluden al empleo de sensores neurofisiológicos en la VR. Tobii realiza estudios de atención (ET) en escenarios de VR que permiten:

Evitar el uso de escenarios físicos altamente complejos.

Alcanzar una elevada muestra.

Controlar espacios digitales y ajustarse a requerimientos de packaging y diseño de tienda sin necesidad de su versión física.

Analizar imágenes digitales.

Tobii (n.d., n.d.b) quiere que su tecnología sirva para la creación de avatares realistas e interfaces intuitivas y como herramienta para la autenticación. Considera que las aplicaciones sociales y los juegos son las áreas donde los consumidores apreciarán más metaverso. Neurons (n.d), por su parte, analizó mediante un headset de EEG, una conversación en VR versus conversaciones en persona. Se demostró similares niveles de engagement emocional en ambos casos. La VR ha sido aclamada como la próxima gran novedad.

Beneficios para el usuario

Los entrevistados apuntan al valor de la VR y los sensores neurofisiológicos para hacer investigación en laboratorios y con fines sanitarios/educativos/sociales. Los entornos virtuales permitirían el diagnóstico y la rehabilitación de los usuarios (E2, E3, E4, E5). El EEG en un escenario de VR se utiliza hoy para detectar ansiedad y, potencialmente, depresión (E2, E3). La realidad virtual podría proponer contenidos y diseños estimulantes para el bienestar del usuario (E3, E7) e impulsar el sentimiento de conexión social altamente beneficioso para los sujetos (E4). La IA simplificaría la vida de los usuarios al aportar datos sobre el estado de salud e información relevante para la toma de decisiones (E1).

Protocolo de la investigación

Actualmente, los sujetos comparten datos personales y comportamentales a través de sus móviles, redes sociales y wearables (E1, E4, E7). El cuerpo humano se convierte en una plataforma tecnológica; el internet de las cosas se traslada hoy al internet de los cuerpos, llenos de sensores para recopilar datos en tiempo real (E1).

El registro de datos con sensores neurofisiológicos no diferiría del actual modelo de Meta u otras similares (E1). Metaverso está pensado para recolectar datos, la inclusión de información neurofisiológica podría enriquecer ese “emporio de los datos” (E1). Metaverso podría convertirse en una plataforma ideal para la investigación fuera del laboratorio por su alto volumen de participantes voluntarios en entornos realistas y a los que no habría que retribuir (E1, E3).

La existencia de hardware con sensores integrados y el software es condición necesaria para la investigación en entornos reales. Al inicio de la sesión, la plataforma podría registrar diversas métricas de provecho comercial (E1). La información neurofisiológica se encuentra en el máximo nivel de protección legal (E2). El consentimiento expreso del usuario, previo registro de datos por terceros resulta obligatorio (E1, E2, E3, E4, E5, E6). Si bien la legislación europea resulta altamente garantista, la norteamericana podría ser más laxa en cuanto a su cobertura (E2). Es destacable la facilidad con la que los usuarios autorizan compartir sus datos para acceder a contenidos online (E1, E4).

El consentimiento dependerá del interés que suscite el contenido (E3) y la propiedad de estos será siempre del individuo (E2, E4), sin embargo, una vez el desarrollador de la plataforma anonimice los datos y los trate colectivamente, serán de su propiedad (E1; E2; E3). Cómo se empleen esos datos será relevante. Sus fines deben ser los correctos (E1).

Cabe clarificar que la recogida de datos en un escenario real es una tarea compleja (E2, E3, E4, E5, E7). La propia recolección podría presentar obstáculos insalvables en la actualidad (véase 3.2.1.); a ello se suma una cuestión metodológica básica, el diseño de la investigación (E2, E3, E7), que debe atender a cada caso en particular (E7). Se debe definir el objetivo (E2, E3, E6, E7) y las técnicas apropiadas al efecto (E2, E3, E7). Es preciso concretar las acciones a analizar y seleccionar unos marcadores que estén perfectamente sincronizados e identificados y faciliten la recolecta de datos, cualesquiera que sean (p.ej. la mirada) (E2, E3). Esos marcadores deben ser consultados y pactados con expertos experimentados que determinen qué partes interesan analizar y aportan información de valor y, consiguientemente, ayuden a extraer conclusiones válidas (E3). Recolectados los datos, deben limpiarse y etiquetarse (data labelers) para crear una base de datos con la que trabajar desde la IA (E1, E3). Gracias a ese proceso se podrán identificar cortes transversales de toda la muestra en una misma situación (E2, E3) y establecer dinámicas de comportamiento (E1, E3). La categorización de los sujetos en patrones facilitará decisiones sobre la gestión de contenidos, fundamentada y ligada a las posibilidades ofrecidas por la IA (recomendaciones, personalización…) (E1).

Es incuestionable que la investigación debe adherirse al protocolo científico. La interpretación de datos debe ser rigurosa (E2, E3, E7). No hay que caer en reduccionismos (E2). Hoy, el reto para la comunidad científica es obtener, a través de este tipo de registros, indicios claros sobre lo que acontece, por lo que la salida del laboratorio resulta, cuanto menos, compleja (E2, E3, E7). No obstante, se apunta a que la investigación con videojuegos resulta altamente adecuada, por enmarcarse en escenarios controlados y poseer reglas duras que limitan las acciones y los espacios de actuación (E3). Si una plataforma desea realizar investigación en sus entornos digitales de juego podrá implementar desafíos, niveles y actividades (E3). La investigación sugerida podría ser un poco más sencilla para desarrolladores que posean hardware y software propio, pues el investigador independiente debería tramitar por separado el consentimiento de usuarios y de los desarrolladores de hardware y de software (E3).

Perfiles profesionales

El equipo profesional conformado para una investigación de carácter comercial debe ser el mismo que el creado para una investigación académica (E7). Los equipos ajenos a la comunidad científica/académica podrían no adherirse al protocolo científico (E7). Aunque no se debe formar el equipo sin identificar antes el problema a resolver (E4, E6, E7), se sugieren los siguientes perfiles potencialmente involucrados en una investigación como la propuesta:

Especialistas en neuroergonomía cognitiva, ergonomía fisiológica (E3).

Expertos en robótica (E6).

Ingenieros con capacidad para escribir código; ingenieros de software (E4).

Artistas gráficos para diseñar de entornos de VR (E4).

Experto en modelado cognitivo (E2).

Expertos en realidad extendida (E6).

Expertos en big data (E6), matemáticos, estadísticos (E1, E2), data scientist (E1, E2).

Expertos en IA, machine learning (E1, E5, E6, E2), data labellers (E3).

Expertos en visión por computador (E6).

Experto en física para procesamiento de señales (E2).

Ingenieros biomédicos para el manejo de los sensores (E4).

Neurocientíficos o ingenieros biomédicos para la interpretación de datos (E1, E2, E4).

Experto en Ciencias Cognitivas (E2) y Ciencia Computacional (E2).

Psicólogos o coaches expertos en liderar procesos grupales (E4, E2).

Expertos en el área de interés de la investigación: Marketing, Comunicación, Educación, Moda… (E1, E2, E4, E5).

Futuro de la investigación comercial

Al igual que las redes sociales evolucionaron al amparo de nuevas aplicaciones comerciales, metaverso podría experimentar una situación similar. La empresa debe identificar el potencial de estas herramientas y crear productos a medida de sus necesidades (E1). Lanzado el producto, las desarrolladoras de software crearán productos y la IA demostrará sus capacidades (E1). Primero metaverso debe convertirse en una realidad (E1, E2, E3, E4, E5). Su normalización depende del coste y democratización de las gafas de VR, entre otros (E1, E2, E7).

La investigación neurofisiológica en metaverso en condiciones de uso real es teóricamente posible. Algunos no dudan de su futuro interés comercial (E1, E6, E7), aunque todavía queda mucho por avanzar (E2, E3, E7). La VR/AR/MR ha mejorado exponencialmente en los últimos años, tanto el hardware (más económico, potente, sensorizado, robusto…), como los algoritmos y software disponibles -incluso de uso libre- (E6). Sin embargo, el salto del laboratorio al hogar requerirá de un gran salto tecnológico y científico (E2, E3, E7) (véase 3.2.1.). Existe una fractura entre las expectativas creadas y los resultados conseguidos en la actualidad, ocasionada por los reclamos de determinados círculos, medios de comunicación y el ejercicio del neuromarketing (E7).

El interés por esta metodología dependerá del éxito de metaverso (E1), el reconocimiento de su potencial (E1) y su capacidad para generar beneficios empresariales/sociales/educativos (E1, E3). Para ello se precisan compañías punteras e innovadoras que lideren el camino y que luego se sumen otras: pymes y grupos de investigación (E3, E6). Grandes tecnológicas como Meta o Google disponen de recursos, pero no todas sus propuestas resultan exitosas (E3, E4). El interés por los mundos virtuales no es nuevo. Estaríamos ante el tercer intento de impulsar vivencias ligadas a la VR/metaverso (E4). El usuario no estará interesado en ellas mientras disponga de todo lo que necesita en su smartphone (E4) y no ofrezca experiencias distintas a la realidad (E4), pues la experiencia física nunca superará a la virtual (E5). A pesar de la inversión millonaria en metaverso, parece que no despegan los proyectos de Meta y otras tecnológicas (E3, E4, E5, E7). El valor bursátil de las tecnológicas a finales de 2022, evidencia, cuanto menos, un futuro incierto (E4, E5, E7).