Salvo mejoras en calidad y dimensiones, la evolución de la fotografía no ha tenido mucho margen para la innovación en el último siglo. Por este motivo, una firma de tecnología se propuso revolucionar el mercado de la imagen a través de un proceso de inteligencia artificial (IA) para convertir cualquier fotografía bidimensional en 3D.
Y aunque actualmente no es demasiado complicado lograr una foto en 3D con una cámara especializada -como las que se usan para crear entornos de realidad virtual- los resultados dejan mucho que desear si no se utilizan equipos profesionales.
La primera vez que se tomó una instantánea hace 75 años con una cámara Polaroid, se logró “capturar el mundo 3D en una imagen 2D realista”, según recordó NVIDIA en un comunicado. Ahora, la empresa se jacta de conseguir justo lo contrario: “Convertir una colección de fotografías en una escena 3D en segundos”.
Fue así que la firma experta en placas gráficas presentó una nueva tecnología llamada Instant Neural Radiance Field (NeRF) que entrena algoritmos de IA para crear objetos 3D de fotos bidimensionales.
Conocido como “representación inversa”, el proceso utiliza IA para “aproximarse a la forma en que se comporta la luz en el mundo real al permitir a los investigadores reconstruir una escena 3D a partir de un puñado de imágenes 2D tomadas desde diferentes ángulos”.
La red neuronal llena los espacios en blanco del panorama de 360 grados y predice el color de la luz que emana desde cualquier dirección, desde cualquier punto del espacio 3D, para obtener resultados más realistas. Nvidia dice que esta técnica funciona en algún tipo de oclusión.
En el vídeo facilitado por la empresa se puede ver cómo cuatro fotografías tomadas desde diferentes puntos de vista se fusionan en una imagen tridimensional.
Instant NeRF utiliza técnicas de aprendizaje profundo y abre la puerta a cualquier persona con un equipo relativamente asequible para lograr una imagen 3D casi al instante. Esto hace que sea bastante fácil crear contenido para entornos virtuales. Aunque esta es solo una de las posibles cosas que permite esta tecnología.
Posibles usos de NeRF
Usando AI, convierte fotos bidimensionales en 3D. Nvidia.
Instant NeRF podría usarse para entrenar robots y coches autónomos para comprender el tamaño y la forma de los objetos del mundo real. Para ello se utilizaría la captura de imágenes 2D o secuencias de vídeo. También podría aprovecharse en arquitectura y entretenimiento para generar rápidamente representaciones digitales de entornos reales que los creadores pueden modificar y construir.
Tal y como ha defendido la compañía, es “el más rápido hasta la fecha”. “El modelo requiere solo unos segundos para entrenarse en unas pocas docenas de fotos fijas, además de datos sobre los ángulos de cámara desde los que se tomaron, y luego puede renderizar la escena 3D resultante en decenas de milisegundos”, lo que acelera el proceso en 1000x. .
La compañía explica sobre este proceso que “en una escena que incluya personas u otros elementos en movimiento, cuanto más rápidas sean las fotos, mejor”. En este sentido, si hay demasiada movilidad durante el proceso de captura 2D, la escena 3D generada por la IA “será borroso”.
