PanoHead: Un avance en la síntesis y reconstrucción de cabezas humanas 3D

 La cantidad de formas en que podría usarse en videojuegos y el metaverso nos sorprende.

¡La IA se acerca cada vez más a las películas de ciencia ficción futuristas!

La síntesis y reconstrucción de cabezas humanas en 3D ha despertado un creciente interés en los campos de visión por computadora y gráficos por computadora en los últimos tiempos. Sin embargo, las redes antagónicas generativas 3D (GAN, por sus siglas en inglés) existentes para este propósito se han encontrado con limitaciones, ya sea al generar vistas casi frontales o al mantener la consistencia 3D en ángulos de visión amplios. Para abordar este desafío, se ha propuesto un nuevo modelo llamado PanoHead, el cual representa el primer enfoque generativo 3D consciente que permite la síntesis de imágenes de alta calidad y la visualización consistente de cabezas humanas completas en 360°, con apariencias diversas y geometría detallada, utilizando únicamente imágenes no estructuradas de la naturaleza para el entrenamiento.

En esencia, PanoHead amplía el poder de representación de las GAN 3D actuales y cierra la brecha de alineación de datos al entrenar con imágenes naturalmente distribuidas. Esto se logra mediante una novedosa alineación de imágenes autoadaptativa de dos etapas, que permite un entrenamiento robusto de las GAN 3D. Además, se introduce una representación de volumen neuronal de tres cuadrículas que aborda de manera efectiva el problema de enredado de características presente en la formulación triplano ampliamente utilizada para el modelado de cabezas. Mediante esta representación, el método logra sintetizar cabezas con geometría precisa y diversas apariencias, incluyendo peinados largos ondulados y afro, las cuales pueden ser renderizadas desde poses arbitrarias.

Un aspecto destacado de PanoHead es su capacidad para inculcar el conocimiento previo de la segmentación de imágenes 2D en el aprendizaje adversarial de estructuras de escenas neuronales 3D. Esto permite la síntesis de cabezas compuestas por elementos provenientes de diversos orígenes. Gracias a estas mejoras, el método supera significativamente a las GAN 3D previas, generando cabezas 3D de alta calidad con geometría precisa y apariencias diversas, incluso en casos de peinados complicados, como los largos ondulados o afro, los cuales pueden ser renderizados en diferentes poses.

Además de su capacidad de síntesis, PanoHead también demuestra ser eficiente en la reconstrucción de cabezas 3D completas a partir de una sola imagen de entrada, lo que lo convierte en una herramienta prometedora para la creación de avatares 3D personalizados y realistas.

El modelo PanoHead representa un avance significativo en la síntesis y reconstrucción de cabezas humanas en 3D. Su enfoque generativo consciente y sus innovadoras técnicas de alineación de imágenes y representación neuronal han logrado superar las limitaciones existentes, permitiendo la generación de cabezas 3D de alta calidad con geometría precisa y diversas apariencias. Este avance tiene el potencial de impactar positivamente en campos como la animación, los videojuegos y la realidad virtual, donde la creación de personajes y avatares realistas es fundamental. La capacidad de PanoHead para sintetizar cabezas en 360° con apariencia diversa y detalles precisos, incluso en peinados complejos, abre nuevas posibilidades en la generación de contenido visualmente impactante y convincente.

Créditos o u/lkewis on Reddit Visite github link SizheAn/PanoHead: Code Repository for CVPR 2023 Paper "PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree" (github.com)