Nueva técnica permite reconstruir escenas 3D a partir de reflejos oculares: un vistazo más allá de la visión directa de la cámara.

 La naturaleza reflexiva del ojo humano ha sido subestimada como una valiosa fuente de información acerca de nuestro entorno. Mediante la captura de imágenes de los ojos de una persona en movimiento, es posible obtener múltiples perspectivas de una escena que se encuentra fuera de la línea de visión directa de la cámara, a través de los reflejos presentes en los ojos. En este artículo, se presenta un método para reconstruir una escena tridimensional más allá de la línea de visión de la cámara utilizando imágenes de retratos que contienen reflejos oculares.

A partir de un puñado de fotos de retratos de una persona, calculan una reconstrucción 3D de lo que están observando utilizando los reflejos oculares.

Esta tarea representa un desafío debido a dos factores principales. En primer lugar, resulta difícil estimar con precisión la postura del ojo. En segundo lugar, se presenta la complicación adicional de la textura entrelazada entre el iris del ojo y los reflejos de la escena. Para abordar estos desafíos, se propone un enfoque que refinan de manera conjunta la postura de la córnea, el campo de resplandor que representa la escena y la textura del iris del ojo del observador. Además, se plantea la utilización de una regularización simple previa al patrón de textura del iris, con el fin de mejorar la calidad de la reconstrucción.

Al colocar modelos de ojos realistas en escenas sintéticas, realizaron una reconstrucción completa de la escena utilizando solo los reflejos oculares.

Para demostrar la eficacia de este enfoque, se llevaron a cabo diversos experimentos utilizando capturas sintéticas y del mundo real, con personas que presentaban una variedad de colores de ojos. Los resultados obtenidos demuestran la viabilidad de esta metodología para recuperar escenas tridimensionales mediante el análisis de los reflejos oculares.

La geometría de la córnea en los adultos sanos muestra una consistencia aproximada. Aprovechando esta característica, es posible determinar con precisión la ubicación de los ojos de una persona al calcular el tamaño de píxel de la córnea en una imagen. Utilizando esta información, se lleva a cabo un proceso de entrenamiento del campo de radiancia en los reflejos oculares, mediante el trazado de rayos desde la cámara y su posterior reflexión en la geometría aproximada del ojo. Con el objetivo de evitar la aparición del iris en la reconstrucción, se realiza una descomposición de la textura, entrenando simultáneamente un mapa de texturas 2D que captura la información textural del iris. 

Sin embargo, la aproximación de la postura ocular únicamente a partir de la imagen puede generar un alto nivel de ruido. Para abordar esta problemática, se lleva a cabo una optimización de la postura del ojo, la cual juega un papel fundamental en el rendimiento del sistema, tal como se muestra a continuación.

En este proceso de optimización, se busca mejorar la precisión de la estimación de la postura ocular. Se utilizan técnicas de ajuste y refinamiento de parámetros para encontrar la configuración óptima que minimice el ruido y maximice la calidad de la reconstrucción. Este enfoque permite obtener resultados más confiables y precisos, aumentando así la eficiencia del sistema en general.

En conclusión, la capacidad reflexiva del ojo humano brinda valiosa información acerca del entorno que nos rodea. La reconstrucción de escenas tridimensionales más allá de la línea de visión de la cámara, a partir de imágenes de retratos con reflejos oculares, representa un desafío técnico significativo. Sin embargo, mediante el refinamiento de la postura ocular, el análisis de la textura del iris y la utilización de técnicas de regularización, es posible obtener resultados prometedores en la recuperación de información tridimensional. Este enfoque tiene el potencial de ser aplicado en diversas áreas, como la realidad virtual, la robótica y la visión computarizada, entre otras.

Para ver más ejemplos y ampliar la información vistita la web oficial: Seeing the World through Your Eyes (world-from-eyes.github.io)