Meta quiere crear una réplica 3D increíblemente realista de nosotros a partir de un escaneo de teléfono

Después de poner casi todos sus huevos en una canasta virtual, Meta ahora está buscando formas de hacer del metaverso un lugar que la gente realmente quiera visitar, comenzando por brindarles a los usuarios una manera sorprendentemente fácil de digitalizarse como un avatar de realidad virtual usando solo el hardware en tu teléfono inteligente.

Los dobles de riesgo digitales son más populares que nunca en Hollywood, pero son algo más que una forma más segura de hacer que la acción en la pantalla sea más emocionante. 

La recreación de muchos de los disfraces de cómics de Marvel en las películas a menudo solo se puede lograr a través de dobles digitales (suponiendo que no quieras pagar sindicatos). 

Crear tales dobles, en este momento, requiere grandes equipos de talentosos artistas de efectos visuales y equipos especializados, todos los cuales se unen para digitalizar la actuación de un actor. 

Eso incluye escenarios de sonido gigantes cubiertos por cámaras de rastreo, con actores que tienen que usar trajes especiales y maquillaje para que sus rasgos faciales puedan ser capturados y reproducidos con precisión. 

Es costoso y complicado, razón por la cual la mayoría de los avatares online parecen caricaturas de dibujos animados que apenas se parecen a la persona que representan. Eso, o puede encargar una costosa plataforma vtuber, pero incluso así no se verá como un ser humano real.

Si los usuarios realmente van a comenzar a pasar más tiempo en el metaverso, tiene que ser más atractivo, y una forma de hacer que las experiencias virtuales con amigos sean más agradables es que se vean como tus amigos. Pero nadie quiere pasar horas tratando de recrearse en un elaborado personalizador de avatar, ni Meta quiere invitar a sus miles de millones de usuarios a un estudio de VFX para digitalizarse. El mejor enfoque es aprovechar la tecnología a la que todos ya tienen acceso, y para la mayoría de los usuarios de Facebook, eso es un teléfono inteligente.

En un documento que se presentará en la conferencia Siggraph 2022 en Vancouver, Columbia Británica, en agosto, un equipo de investigadores de Reality Labs de Meta detalla un nuevo enfoque para digitalizar la apariencia de un ser humano y luego generar un modelo completamente 3D capaz de expresar una amplia gama. de emociones: algo en lo que la compañía ha estado trabajando durante años. 

En 2019, los investigadores de Facebook utilizaron una plataforma gigante llamada Mugsy, con 171 cámaras de alta resolución dentro de una esfera gigante, para capturar las imágenes necesarias para generar estos avatares en 3D. 

Registraba 180 GB de datos cada segundo y requería que la persona digitalizada se sentara en el centro de la esfera de la cámara durante aproximadamente una hora mientras leía guiones y hacía muecas extrañas. Produjo grandes resultados, pero simplemente no era una forma práctica de digitalizar las masas.

Tres años más tarde, la plataforma Mugsy se puede reemplazar con la cámara selfie frontal de un teléfono inteligente de última generación. En lugar de pasar una hora en una silla rodeada de cientos de cámaras, los usuarios simplemente tienen que mover su teléfono inteligente por la cara, de lado a lado, y luego recrear una serie de 65 expresiones faciales específicas. 

Los investigadores dicen que el proceso ahora toma alrededor de tres minutos y medio, y utilizando una red neuronal que se entrenó previamente en los datos faciales en 3D capturados de 255 sujetos diversos dentro de una plataforma de cámara similar a Mugsy, el nuevo enfoque puede generar sorprendentemente modelos de avatar 3D realistas.

El proceso aún no es instantáneo. Una vez que se han realizado y capturado los escaneos faciales y varias expresiones, una computadora con capacidades serias de procesamiento de números aún necesita alrededor de seis horas para generar los resultados. 

Pero una vez más, aquí es donde la nube muestra su utilidad, ya que los usuarios individuales no necesitarán un PC de alta gama en casa; todo el renderizado se puede realizar en otro lugar. 

El proceso tampoco funcionará si alguien usa anteojos, y hace un mal trabajo al recrear el cabello largo. También solo funciona en las cabezas, por lo que si bien los avatares 3D creados pueden parecer lo suficientemente realistas como para finalmente escapar del valle inquietante, solo interactuar con las cabezas incorpóreas de tus amigos y familiares aún traerá consigo cierto nivel de espeluznante.