USO DE TAP STRAP 2 PARA EL CONTROL GESTUAL CON MANOS

 

María Antonieta Abud-Figueroa ,      Ulises Juárez-Martínez,      Lisbeth Rodríguez-Mazahua,      Hilarión Muñoz-Contreras      


Tecnológico Nacional de México
Instituto Tecnológico de Orizaba


Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo. ,      Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo. ,      Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo. ,      Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

Citar

 

Resumen

La evolución tecnológica brinda nuevas formas de interacción humano-computadora. Nuevos dispositivos permiten el desarrollo de aplicaciones donde el usuario puede interactuar con la computadora utilizando gestos a mano alzada en el aire. Tradicionalmente estos gestos son capturados a través de cámaras, sin embargo, hoy en día existen dispositivos vestibles que permiten capturar dichos gestos con mayor exactitud. En este artículo se presenta una revisión de las características del dispositivo Tap Strap 2, el cual permite una interacción con movimientos de las manos en el aire.

Palabras Clave: interacción humano-computadora, gestos con las manos.

 

Abstract

Evolution in technology evolution provides new forms of human-computer interaction. New devices allow the development of applications where the user can interact with the computer using freehand gestures in the air. Traditionally these gestures are captured through cameras, however, today there are wearable devices that allow these gestures to be captured more accurately. This article presents a review of the characteristics of the Tap Strap 2 device, which allows interaction with hand movements in the air.

Keywords: human-computer interaction, hand gestures.

 

Introducción

A medida que la tecnología de cómputo evoluciona se presentan nuevos retos en la interacción humano-computadora. Aunque los métodos tradicionales de teclado y mouse siguen vigentes, hoy en día se tienen nuevas formas de interacción mediante dispositivos portátiles que ayudan a mantener esta interacción de una forma más natural. Dentro de estos dispositivos se encuentra el Tap Strap 2, el cual permite una interacción humano-máquina con movimientos de los dedos de las manos. En este artículo se presentan las características de este dispositivo y su capacidad de utilizarse como medio de interacción gestual.

Tap Strap 2

Con el objetivo de proporcionar una nueva forma de interacción humano-computadora la compañía Tap Systems, Inc. presentó un dispositivo vestible llamado Tap Strap 2. Este dispositivo está formado por cinco anillos que se deslizan en la mano y se conectan a un dispositivo de cómputo mediante Bluetooth. El usuario desliza cada anillo en cada dedo, colocando el más grande en el pulgar como se muestra en la Figura 1.

 

 

Como se muestra en la Figura 2, el dispositivo consta de cinco anillos flexibles, conectados entre sí mediante tiras de nailon trenzado. Cada anillo contiene un chip de mouse óptico, un elemento háptico, una batería, una placa de circuito y un acelerómetro de tres ejes; el anillo del pulgar también contiene una unidad de medición inercial (IMU, Inertial Measurement Unit) de seis ejes capaz de medir la fuerza específica, la velocidad angular y la orientación de cada dedo utilizando una combinación de acelerómetros y giroscopios. La trenza de nailon contiene conductores que llevan las señales de los sensores a la placa de circuito, donde un microcontrolador recopila los datos, establece la combinación de derivaciones y transmite la información a través de Bluetooth.

 

 

El dispositivo Tap Strap 2 tiene cuatro modos de operación: el modo de teclado predeterminado, el modo de mouse, el modo de gesto aéreo y el modo personalizado que se describen a continuación.

Modo Teclado

Mientras está en el modo de teclado, el usuario puede escribir tocando diferentes combinaciones de dedos al mismo tiempo sobre una superficie sólida. Las pulsaciones se detectan mediante el uso de los acelerómetros integrados en cada anillo. Esta información luego es enviada y procesada por un microcontrolador.

En la Figura 3 se muestran las combinaciones de los dedos correspondientes a letras y números que acepta el dispositivo.

 

 

Uno de los inconvenientes del dispositivo es que su curva de aprendizaje es bastante pronunciada, ya que el usuario necesita memorizar una distribución de teclado completamente nueva con muchas combinaciones aparentemente aleatorias, aunque algunas de ellas, como las vocales, son bastante sencillas de memorizar. Algunas de las combinaciones de tapping en sí mismas también pueden ser físicamente exigentes de ejecutar para personas que sufren de poca destreza en las manos.

Modo mouse

El modo de mouse funciona mediante el uso de un Chip óptico incrustado en el anillo del pulgar. En este modo se puede navegar, seleccionar desplazarse, arrastrar y soltar sobre la marcha en cualquier entorno. El usuario activa el modo mouse apoyando el pulgar sobre una superficie. Luego, el cursor puede guiarse arrastrando el pulgar por la superficie en la dirección en la que el usuario desea moverlo. También hay varios comandos del mouse, como hacer clic y desplazarse, que se pueden realizar tocando con los dedos cuando se está en modo mouse. Este modo se desactiva simplemente levantando el pulgar de la superficie. En la Figura 4 se presentan las combinaciones para los movimientos del cursor.

 

 

Gesto aéreo

El tercer modo que tiene esta tecnología es el modo de gesto aéreo. Esto se hace mediante el uso de una unidad de medición inercial de 6 ejes, o IMU, que está integrada en el anillo para el pulgar. Esta unidad se utiliza junto con los acelerómetros para determinar la posición de la mano en el aire. El modo de gesto aéreo se activa cuando el usuario extiende la mano en lo que el sitio oficial de Tap Strap 2 denomina posición de "apretón de manos". En este modo es posible convertir comandos complejos en simples toques con los dedos y movimientos aéreos para controlar las aplicaciones, juegos y dispositivos favoritos. Algunos ejemplos se presentan en la Figura 5.

 

 

De forma predeterminada, el modo de gesto aéreo convierte el Tap Strap 2 en un mouse, donde el usuario puede dirigir el cursor con la mano y realizar comandos (clics, desplazamiento, etc.) extendiendo los dedos y moviéndolos rápidamente en diferentes direcciones. Además de que, con computadoras y dispositivos móviles, este modo también se puede utilizar con televisores y reproductores multimedia Bluetooth.

Modo personalizado

Por último, el modo personalizado permite realizar configuraciones personalizadas de las combinaciones de pulsación de los dedos, para lo cual ofrece la herramienta Web TapMapper la cual es gratuita, simple y rápida. En la Figura 6 se presenta la interface de esta herramienta.

 

 

Además, se cuenta con un kit de desarrollo de software (SDK) disponible para Tap Strap 2 en TapWithUs GitHub que contiene un código que permite al usuario recopilar diversas formas de información del dispositivo, como entradas y datos sin procesar del sensor, siempre que Tap Strap 2 esté conectado a la computadora y en modo desarrollador.

Los datos brutos del acelerómetro y la IMU son de particular interés aquí porque si se pueden encontrar tendencias en los datos con respecto a las entradas de caracteres en sí, puede ser posible proponer un algoritmo de aprendizaje automático que mejorará la precisión de las lecturas del dispositivo.

Conclusiones

Después de realizar el análisis del dispositivo Tap Strap 2 se concluye que es una herramienta que proporciona una forma adecuada de interacción humano-computadora a través de gestos con las manos. Comparada con enfoques que utilizan cámaras para la detección de los movimientos de las manos ofrece la ventaja de no depender de las condiciones en las cuales se realiza la detección, en los enfoques con cámaras factores como iluminación y elementos que se interponen entre la cámara y la mano inciden en problemas en la identificación del gesto. Aunque el aprendizaje de los gestos representa en ocasiones una dificultad debido a la curva de aprendizaje, una vez aprendidos el dispositivo permite una interacción efectiva entre la persona y la computadora.

Referencias

1. Mrazek, K., Holton, B., Klein, T., Khan, I., Ayele, T., Khan Mohd, T. (2021). The Tap Strap 2: Evaluating Performance of One-Handed Wearable Keyboard and Mouse.In: Stephanidis, C., et al. HCI International 2021 - Late Breaking Papers: Multimodality, eXtended Reality, and Artificial Intelligence. HCII 2021.Lecture Notes in Computer Science(), vol 13095. Springer, Cham. https://doi.org/10.1007/978-3-030-90963-5_7


2. Tap Systems Inc (2023). Tap Strap 2. Recuperado: Diciembre 4, 2023, from https://www.tapwithus.com/product/tap-strap-2/


3. Tap Systems Inc (2023). Tap Strap User Guide. Recuperado Diciembre 4, from https://www.tapwithus.com/quick-start-guide/tap-strap/


4. Tap Systems Inc (2023). How Tap Works: A Detailed Look at the World’s Most Advanced Input DeviceRecuperado Diciembre 6, from https://www.tapwithus.com/how-tap-works/