Omnimotion quiere optimizar nuestros vídeos. Introducimos un nuevo método para optimizar el tiempo de prueba y estimar el movimiento denso y de largo alcance en videos. Los métodos anteriores de seguimiento de partículas o flujo óptico se limitan a ventanas temporales. Lo que dificulta seguir el movimiento a través de oclusiones y mantener la coherencia global de las trayectorias estimadas. Presentamos OmniMotion, una representación que asegura una estimación precisa de movimiento para cada píxel en el video.
OmniMotion utiliza un volumen canónico cuasi-3D para representar el video y rastrea los píxeles mediante biyecciones entre el espacio local y canónico. Esta representación permite mantener la coherencia global, seguir oclusiones y modelar diversas combinaciones de movimiento de la cámara y los objetos.
Las evaluaciones exhaustivas en el punto de referencia TAP-Vid y en imágenes del mundo real demuestran que nuestro enfoque supera significativamente a los métodos anteriores tanto en términos cuantitativos como cualitativos.
Demostración interactiva online
Ofrecemos una demostración interactiva que permite inspeccionar las correspondencias generadas por nuestro método. Al hacer clic en una ubicación en el marco de consulta, se mostrará su ubicación correspondiente en el marco de destino. Además, se puede cambiar al marco de destino deseado utilizando el control deslizante y borrar todos los puntos haciendo clic en el botón de borrar puntos.
Los puntos identificados como ocluidos se muestran como cruces «+» en lugar de puntos «●». Es importante tener en cuenta que esta demostración muestra las correspondencias para un solo marco de consulta, pero nuestra representación captura todas las correspondencias entre cada par de marcos en el video.
Visualización de pseudo profundidad
Nuestro método también permite obtener una visualización de pseudo profundidad que muestra el orden relativo de las diferentes partes de la escena. Los objetos cercanos se muestran en azul y los objetos lejanos en rojo.
Sin embargo, es importante mencionar que nuestro método puede tener dificultades con movimientos rápidos, no rígidos y estructuras delgadas. En estos casos, las correspondencias entre pares pueden no ser suficientes para calcular un movimiento global preciso.
Puedes ver más información sobre OmniMotion aquí. Echa un vistazo al vídeo para ver su capacidad en acción.
En el foro tienes más información, donde también puedes dejar tus comentarios, sigue leyendo…