Sistema de seguimiento de manos en tiempo real para VR

La división de investigación de Facebook propone un nuevo enfoque para el seguimiento de las manos frente a la realidad virtual. Para ello ha mostrado un sistema de seguimiento manual en tiempo real que está destinado a experiencias de realidad virtual y aumentada.

Utilizando cuatro cámaras monocromáticas ojo de pez, este sistema genera movimiento de manos 3D preciso y de baja fluctuación a través de un gran volumen de trabajo para un conjunto diverso de usuarios, lo consiguen gracias a arquitecturas de redes neuronales para detectar las manos y estimar ubicaciones de puntos clave de mano.

La división de investigación afirma que diseñaron mecanismos escalables y semiautomáticos para recopilar un conjunto grande y diverso de datos de verdad sobre el terreno utilizando una combinación de anotación manual y seguimiento automatizado. También utilizaron un método de detección por seguimiento para aumentar la suavidad al tiempo que reducen el costo computacional, el sistema optimizado se ejecuta a 60 Hz en PC y 30 Hz en un procesador móvil.

Al proyecto lo han bautizado como MEgATrack, podemos ver una muestra de su uso en el video, y si quieres más información puedes ir a la web oficial del proyecto.

Ver más sobre el tema y los comentarios en el foro