Google Cloud y DeepMind remasterizan El Mago de Oz con IA para proyectarlo en formato inmersivo dentro de Sphere Las Vegas.
Google Cloud Next 25 trajo consigo varios anuncios en materia de IA, resaltando la versión 2.5 de Gemini como eje de lo presentado, además de la nueva TPU Ironwood que es más eficiente. En la misma dinámica, dio a conocer que el 28 de agosto de este año se estrenaría una versión remasterizada del Mago de Oz (The Wizard of Oz), usando modelos de IA.
Sphere Studios, Google Cloud y Google DeepMind se aliaron para dar vida a una versión mejorada y más inmersiva del clásico de 1939 el Mago de Oz (he Wizard of Oz), usando modelos de IA generativa para mejorar cada cuadro de la película para adaptarlos a la pantalla LED de 14.800m2 (160.000 pie2) de la Sphere, en Las Vegas.
El proyecto no contempló nada nuevo en temas de audio. De hecho, Google declara que se basaron completamente en el material original para construir la experiencia inmersiva, haciendo un upscale de cada cuadro mediante las herramientas de IA como: Imagen, Veo y Gemini.
La Sphere de Las Vegas, inaugurada en septiembre de 2023, es la estructura con forma de casi una esfera más grande e imponente del mundo, un clásico tratándose de Las Vegas.
La estructura cuenta con 112 metros de altura y 157 metros de diámetro. En el interior cuenta con una pantalla LED envolvente de casi 15.000 m² (160.000 pie²) con resolución 16K, mientras que el exterior cuenta con una superficie de 54.000 m² de pantallas LED.
El recinto tiene capacidad para 18.600 espectadores, con 10.000 asientos equipados con tecnología háptica y efectos 4D, incluyendo viento, aromas y vibraciones.
El sistema de audio está compuesto por aproximadamente 164.000 altavoces, utilizando tecnologías de formación de haces y síntesis de campo de ondas. En cuanto al software que se mane
Para procesar toda la información, The Sphere dispone de 150 unidades de procesamiento gráfico Nvidia RTX A6000 para gestionar sus pantallas de alta resolución, prácticamente un centro de datos dedicado.
A continuación, se presenta una tabla con las especificaciones técnicas detalladas de la Sphere:
The Sphere emplea un sistema de transmisión de datos desarrollado por Hitachi Vantara con arquitectura distribuida de 27 nodos y 4 PB de almacenamiento flash.
Este entorno permite mover más de 400 GB/s con una latencia inferior a 5 ms, lo que permite que el flujo de videos 4K a 60 fps con submuestreo 4:4:4 y color en 12 bits, genera una experiencia inmersiva fluida.
La idea de llevar el Mago de Oz a la pantalla LED de la Sphere es prácticamente imposible usando el formato original de 4:3, y que no es compatible con una proyección a gran escala como lo requiere la sala.
El resto era escalar el celuloide original filmado en tres negativos separados de 35mm y en formato 4:3 a un formato de resolución de 16K requerido por The Sphere. Para esto se usó IA generativa en vez de CGI convencional, para ampliar y completar visualmente cada escena.
Así lo declara Buzz Hays, líder global para soluciones de entretenimiento en Google Cloud, explicó:
“Estamos empezando con una imagen original de 4:3 en un negativo de 35 mm. Eso obviamente no sirve para una pantalla de 160.000 pies cuadrados”.
Buzz Hays, líder global para soluciones de entretenimiento en Google Cloud
Con esta idea en mente, el equipo recurrió a una colaboración internacional con Sphere Studios, Magnopus y artistas de efectos visuales.
La IA sería la clave para escalar la imagen original en tamaño, además de mejorar los detalles en función del contexto de cada cuadro del filme, manteniendo siempre la fidelidad con la obra original.
“[…] estamos trabajando con Sphere Studios, Magnopus y artistas de efectos visuales en todo el mundo, junto con nuestros modelos de IA, para dar vida a los personajes y entornos originales en un lienzo completamente nuevo — creando una experiencia de entretenimiento inmersiva que aún respeta el original en todos los sentidos”.
Buzz Hays, líder global para soluciones de entretenimiento en Google Cloud
Los equipos de IA desarrollaron una técnica de superresolución para mejorar los detalles de la película original, a esto sumaron:
“Descubríamos algo que creíamos imposible y, un mes después, ya pensábamos: en realidad, tal vez sí podemos hacerlo”.
Dr. Steven Hickson, investigador en Google DeepMind
La publicación de Google Cloud detalla que los desafíos apuntan también a situaciones más allá de lo técnico. De hecho, relatan que en la escena donde aparece el León Cobarde, era necesario mantener a todos los personajes en simultáneo, lo cual el montaje tradicional con cortes de cámara no permite.
Para resolver este problema, mediante uso de modelos, rellenaron esos huecos visuales del filme original, sin alterar la narrativa original.
Para que la IA no inventara, algo muy frecuente que tienden a inventar o alucinar información, los equipos detrás de las ideas, proporcionaron documentos muy detallados donde se presentan:
El artículo destaca que toda esta data se incorporó al entrenamiento de los modelos, con la idea de preservar hasta los más mínimos detalles, como las pecas de Dorothy, o el movimiento natural de Toto,.
“Esta fue la mejor oportunidad para mostrar la magia que desarrollamos usando IA”.
Dr. Irfan Essa, científico principal en Google DeepMind y director del laboratorio de Atlanta
Toda modificación se hizo en colaboración con Warner Bros., para asegurar coherencia con el espíritu del filme.
“Consideramos hacerlo de muchas formas. Nos dimos cuenta de que realmente necesitábamos hacerlo con IA”.
Jane Rosenthal, productora de la experiencia en Sphere
El impacto de este proyecto no solo redefine cómo se puede revivir un clásico, sino que también muestra cómo la inteligencia artificial puede adaptarse al arte con respeto y precisión.
“Cuando tienes innovación como esta, no siempre sabes hacia dónde irá. Lo que verás en ‘The Wizard of Oz at Sphere’ es claramente un salto de fe”.
Jim Dolan, presidente ejecutivo de Sphere Entertainment
¿Qué te parece el proyecto conjunto entre Sphere Studios, Google Cloud y Google DeepMind?
