Fuente: Google.
Lo que necesitas saber
- Project Starline es una nueva forma de conectarse de forma remota con las personas al proporcionar la sensación de estar presente con ellos, conocida como telepresense.
- La cabina utiliza una pantalla de 8K con una matriz de lentes tipo barrera de paralaje para mostrar imágenes en 3D sin el uso de anteojos.
- El movimiento y el audio del usuario se rastrean a través de 3 “pods” que se utilizan para representar una versión 3D realista de una persona para transmitir de forma inalámbrica.
Cuando Google anunció el Proyecto Starline en Google I / O 2021 en mayo, nadie se hacía ilusiones de que la tecnología detrás de él fuera simple. Un nuevo documento técnico publicado por la investigación de Google, descubierto por 9to5Google, solo detalla cómo complicada la tecnología en realidad es.
Todo comienza con el diseño del stand, que es similar al stand de un restaurante familiar y brinda a los usuarios un lugar cómodo para sentarse mientras se encuentran o conversan con otras personas de forma remota. Google dice que eligió un diseño sentado principalmente para este propósito.
Dado que la comodidad era primordial para el diseño, Google optó por desarrollar una tecnología que no requiriera que los usuarios usaran nada (un visor de realidad virtual como el Quest 2 o los lentes 3D) y aún así poder ver y escuchar a la persona del otro lado como lo más realista posible.
Google también quería asegurarse de que los usuarios tuvieran la libertad de moverse un poco, estirar las piernas y aún así tener una vista completa de la persona en el otro extremo de la cabeza a la cintura.
Google construyó cabinas de Project Starline con la capacidad de mostrar una recreación realista en 3D de la persona en el otro extremo, completa con la capacidad de verla desde múltiples ángulos, mantener el contacto visual e incluso escuchar el audio como si proviniera de la otra persona. boca.
Para lograr esto, Project Starline registra y rastrea a las personas con un conjunto de tres “cápsulas”, dos ubicadas sobre la pantalla en los lados izquierdo y derecho, y una centrada debajo de la pantalla, que contiene cuatro cámaras monocromáticas sincronizadas de 1280 × 1024 que funcionan a 120 Hz, con filtros para bloquear la luz del infrarrojo cercano, de modo que la información adicional de la pantalla no se recoja por error.
Piense en cómo un control remoto de Wii se asustaría cuando la luz del sol entrara en una habitación y comprenderá rápidamente la importancia de bloquear este tipo de luz.
La cápsula inferior contiene una cámara RGB adicional que captura el color necesario para replicar correctamente a un individuo en el espacio 3D. También se encuentran cuatro micrófonos cardioides a lo largo de estas cápsulas, lo que ayuda al sistema a replicar exactamente de dónde proviene el sonido cuando finalmente recrea a la persona en el otro extremo.
La información visual y de audio capturada de estas cámaras se procesa luego en una PC Lenovo P920 con cuatro GPU, es decir, dos GPU NVIDIA Quadro RTX 6000 y dos GPU NVIDIA GeForce Titan RTX, y luego se envía a través de Internet a través de WebRTC. Básicamente, se crea una imagen compuesta utilizando todas las imágenes de las cápsulas combinadas en una gran pieza.
La recreación renderizada en 3D de la persona sentada en el stand del Proyecto Starline permite a Google no solo enviar una imagen de mayor calidad que la que se puede entregar a través de un video 2D como lo encontraría en Zoom, Skype o FaceTime, sino que también otorga la capacidad para mover y rotar el modelo 3D para crear la ilusión de una persona tridimensional sentada frente a usted.
Esa pantalla es un panel 8K personalizado de 65 pulgadas con lentes estereoscópicos, que al menos tienen una similitud pasajera con la pantalla que se encuentra en una Nintendo 3DS, que usa una barrera de paralaje. A diferencia de una barrera de paralaje, que tiene un pequeño “punto óptimo” donde se crea la imagen en 3D, las lentes en Project Starline se utilizan para enviar una imagen diferente a cada ojo, recreando la visión en 3D de una manera totalmente natural.
Se puede argumentar que la realidad virtual puede crear una experiencia similar de muchas maneras, pero Google señala que los auriculares de realidad virtual existentes no tienen un campo de visión lo suficientemente amplio y tienen problemas para recrear correctamente una cara, ya que los auriculares de realidad virtual bloquean bastante. cuando se usa.
La latencia y otros problemas comunes que aún afectan la comunicación por Internet también pueden afectar un poco a Starline, pero parece que podría hacer un mejor trabajo de lo que esperamos de las soluciones de video 2D actuales.
Google ha utilizado Project Starline por muchas razones, incluidas la incorporación y las reuniones, pero no está claro qué tan ampliamente utilizado veremos Starline en las oficinas u otras áreas comerciales en el futuro. Por ahora, vea el video del anuncio original de Google a continuación para verlo en acción.
