A Novel Brain-Computer Interface Using a Multi-Touch Surface

Resumen—Este documento presentará es su primera sección una introducción al tema de las intefaces cerebro computadora, posteriormente un resumen de la investigación de Beste F Yuksel, Michael Donnerer, James Tompkin y Anthony Steed titulada A Novel Brain-Computer Interface Using a Multi-Touch Surface, la cual fue presentada en el congreso CHI 2010 en Atlanta. En posteriores secciones se presentaran trabajos relacionados y finalmente una conclusión.

1. Introducción

Las interfaces cerebro computadora (brain-computer interface o BCI en Inglés) utilizan las funciones mentales o cognitivas del usuario como medio de comunicación en vez de los métodos tradicionales que usan periféricos controlados por los músculos del cuerpo, es decir, controlar una computadora por medio de pensamientos.

Las BCI suelen ser usadas principalmente por personas con impedimentos motrices para mejorar su calidad de vida, pero existe un gran interés sobre nuevas formas de interacción humano computadora que aprovechen las BCI. Existen varias técnicas para construir estas interfaces [1]:

• Invasivas. Usa implantes en el cerebro hechos con neurocirugía para recuperar las señales cerebrales fielmente. Son métodos usados principalmente en personas discapacitadas para que recuperen, por ejemplo, la vista.
• No invasivas. Usa técnicas como electroencefalografía (EEG) para recuperar las señales cerebrales, por ejemplo, con un casco. Es una técnica muy barata y fácil de usar.

2. A Novel Brain-Computer Interface Using a Multi-Touch Surface [2]

Los modelos clásicos interacción con BCI’s normalmente utilizan una tarea de escritura usando una cuadrícula de caracteres o símbolos intermitente se muestra en un monitor. Este tipo de modelos se le conoce como Standard Speller System (SSS) Procedure

En estos modelos, el usuario trata de ubicar un carácter de interés y se le pide que cuente los destellos de ese carácter. Todos los caracteres de la cuadrícula destellan en forma aleatoria uno tras otro, siendo el de interés el que menos veces destella para comprobar el rendimiento del sistema. En la siguiente figura se muestra un ejemplo de este tipo de sistemas.

Fig. 1. Interfaz BCI clásica llamada usando un g.tec P300-based speller.

En la investigación de Beste F Yuksel, Michael Donnerer, James Tompkin y Anthony Steed titulada A Novel Brain-Computer Interface Using a Multi-Touch Surface demuestra cómo utilizar objetos físicos, en vez de letras en un monitor, como los objetivos a los que el usuario debe estar atento. Estos objetos están dispuestos libremente sobre una mesa multi-táctil donde se detecta su forma por un sistema de visión por computador. Estos objetos son después iluminados por un área de luz que los rodea.

El experimento hecho en la investigación muestra cómo los usuarios no tienen ninguna dificultad para indicar su interés por los objetos en la mesa.

2.1. Experimentación

El experimento fue hecho para reemplazar las interfaces actuales que usan caracteres en un monitor de computadora por objetos físicos. El nombre de este procedimiento sería descrito por los autores como Multi-Touch System (MTS) Procedure

Como se menciono antes, los objetos son puestos en una mesa multi-táctil. La mesa reconoce los contornos de los objetos y ejecuta los algoritmos de procesamiento de imágenes para generar áreas de luz en torno a esos objetos. Esta es la interfaz en la que un participante puede seleccionar los objetos. La figura siguiente muestra como se ve la mesa y el tipo de interacción que usaría el usuario del experimento.

Fig. 2. Interacción con la mesa multi-táctil con 6 objetos comunes.

El procesamiento de imágenes fue desarrollado en Java y el envoltorio DirectShow Java (DSJ). En palabras simples, sistema toma imágenes, primero del fondo y luego después con los objetos en la mesa. Estas imágenes son pasadas por filtros para aplicar el algoritmo apropiado para detectar y etiquetar las zonas donde están los objetos. En la siguiente figura puede observase el proceso.

Fig. 3. Procesamiento de imágenes de la mesa y sus objetos

Los participantes que usuraron estuvieron en el experimento, participaron primero en un prueba con un Standard Speller System (SSS) Procedure y luego en el Multi-Touch System (MTS) Procedure.

En la primera prueba se les pido que contaran mentalmente las veces que parpadeara la letra A y que contaran mentalmente las letras de las CAT, DOG, DV8, y FLY. Al final los usuarios recibían retroalimentación de la prueba.

En la siguiente prueba usando la mesa multi-táctil se colocaron 6 objetos con en la figura 1. Estos objetos, al igual que en la prueba anterior, parpadeaban. Al usuario se le pido que observara un objeto y contara mentalmente las veces que parpadeaba, esto se repitió con todos los objetos.

2.2. Resultados de las prueba

Puede verse en la tabla siguiente que en otros estudios cono los que se llevaron en la prueba que no hay diferencia estadística entre SSS y MTS. Dado que las tasas de éxito promedio son más altas, esto es una buena evidencia de que MTS funciona bien. No hubo un impacto del orden de los dos requisitos que sugiere que hubo un efecto de aprendizaje.

Tabla 1. Comparación de pruebas.

2.3. Conclusiones de la investigación

Aun cuando se usó sólo un tipo de paradigma BCI, muestra una gran promesa para nuevas interacciones. Demuestra que es posible usar un P300-based usando objetos reales.

Una sugerencia de trabajo en un escenario futuro en situaciones reales podría ser aumentada para que los objetos físicos pudieran actuar como sus propias interfaces. En una casa inteligente, un proyector o una matriz de luces pueden resaltar los objetos para ser utilizado con el BCI.

3. Otros trabajos relacionados

Muchos de estos sistemas se han construido con diferentes propósitos, como maniobrar maquinar o simular acciones.

Este es el caso de dos experimentos, uno en second life y otro operando una silla de ruedas con la mente.

3.1. Usando BCI para Second Life

Este prototipo fue desarrollo en el Laboratorio de Ingeniería Biomédica de la Universidad Keio donde se construyo usando el Standard Speller System (SSS) Procedure, es decir, usando una pantalla con letras y frases brillantes como se describió en secciones anteriores, para similar los movimientos del avatar, el usuario elige los movimientos de la pantalla de la computadora, también puede elegir letras para formar palabras para interactuar con otras personas en el mundo virtual.

Fig. 4. Representación de Second Life usando BCI

El prototipo funciona al, como define el autor: “imaginar la realización de movimientos. La actividad del cerebro se lee y se representa por un electroencefalograma, que se lo reenvía a un equipo que ejecuta un algoritmo de análisis de ondas cerebrales que interpreta los movimientos imaginados. Un emulador de teclado traduce los datos en señales que pueden ser utilizados para controlar los movimientos en pantalla del avatar del usuario en tiempo real.” [3]

3.1. LURCH – La silla de ruedas autonoma

LURCH significa “Let Unleashed Robots Crawl the House”. Esta silla fue desarrollada en el laboratorio de Inteligencia Artificial y Robótica del Departamento de Electrónica e Información del Politecnico di Milano. En la siguiente figura puede verse la silla LURCH.

Fig. 5. Silla LURCH.

La interfaz de control presenta al usuario varias opciones. El sistema identifica la selección del usuario mediante la detección de P300s en correspondencia con el resalte de la elección de los usuarios. La detección de un P300 en un solo ensayo es muy difícil, por lo que repetidas estímulos se utilizan para mejorar la precisión en la selección de los estímulos más probable que han generado una P300.

La silla de ruedas tiene un sistema de navegación autónomo, que incluye módulos para la planificación de rutas de acceso y evasión de obstáculos. Para la localización, marca especial colocada en el techo se utilizan, que son recogidas por una cámara a bordo hacia arriba [4].

Referencias

[1] Wikipedia, The Free Encyclopedia. (2010). Brain–computer interface. [Online]. Available:

http://en.wikipedia.org/w/index.php?title=Brain%E2%80%93computer_interface&oldid=359095811

[2] Yuksel, B. F., Donnerer, M., Tompkin, J., and Steed, A. 2010. A novel brain-computer interface using a multi-touch surface. In Proceedings of the 28th international Conference on Human Factors in Computing Systems (Atlanta, Georgia, USA, April 10 - 15, 2010). CHI '10. ACM, New York, NY, 855-858. DOI= http://doi.acm.org/10.1145/1753326.1753452.

[3] D. Pescovitz. (2007). Brain-computer interface for Second Life [Online]. Available:

http://boingboing.net/2007/10/15/braincomputer-interf.html

[4] M. Matteucci, S. Ceriani, D. Migliore, G. Fontana, M. Rossi and M. Brenna (2007) “LURCH - The autonomous wheelchair,” [Online]. Available: http://airwiki.elet.polimi.it/mediawiki/index.php/LURCH_-_The_autonomous_wheelchair

Videos relacionados