Grandes incumbentes de la industria de telecomunicaciones y actores estratégicos en diferentes líneas tecnológicas colaboraron en una prueba de concepto de realidad virtual (RV) usando tecnología de comunicación 5G. Entre los actores que colaboraron con esta prueba se encuentran: Ericsson, NVIDIA, Qualcomm, AT&T, Wevr, Dreams Immersive (Dreamscape) y Warner.
En la nota sobre el test que realizaron Entel y Ericsson en la Escuela Domingo Santa María de cómo hacer una clase mediante realidad virtual, en ella comentamos dos de las grandes aristas de estos procesos:
- Poder de procesamiento de cómputo local o en la nube para mover los recursos que requiere la realidad virtual.
- Y, por supuesto, internet de alta velocidad mediante fibra óptica o bien 5G SA.
Cloud Gaming y Cloud Computing
El primer punto tiene un parangón cercano, y probablemente conocido para algunos, los que usan plataformas de juegos en línea (cloud gaming) como GeForce Now de NVIDIA, saben que pueden ver todos sus juegos en cualquier monitor o TV con conexión a internet. Esto NO requiere dispositivos para procesar las gráficas de manera local, ya que los servidores de NVIDIA lo hacen por ti.
La siguiente figura muestras las tres típicas realidades de los jugadores hoy en día. La primera es la más típica y antigua, en que tiene todos los juegos físicos y/o disponibles en tu computador; la segunda es la que hoy ofrece Steam, con la compra de licencia digital y descargar en el PC; y finalmente el servicio que hoy tiene GeForce Now, juegos que están disponibles y optimizados en prácticamente cualquier plataforma.
El siguiente esquema muestra cómo funciona el cloud gaming en todo el proceso, desde que entregas una instrucción con el mando de juegos, hasta que se refleja en la pantalla el desplazamiento o movimiento. En cada nodo de conexión se observará un retraso propio de la gestión de la información.
- Operación del mando de control
- Salida por la red interna del hogar, posibles retrasos por operaciones inalámbricas y operaciones, equipamiento de red.
- Entrega de los datos al operador local de telecomunicaciones (ISP).
- El ISP entrega las instrucciones a los Servidores del servicio gaming.
- Comienza el proceso «Cloud computing»: Se trabaja el procesamiento en la nube: IA del Juego, compresión de video, sonido. etc.
- La instrucción procesada vuelve al ISP con el video comprimido, instrucción de la IA, etc.
- El ISP regresa la instrucción al módem y/o router del hogar.
- Comienza el proceso de descompresión de videos e instrucciones de movimientos en el juego, entre otros.
- El jugador ve en pantalla la instrucción que dio en el mando del paso número 1.
El procesado gráfico de los juegos en línea (cloud gaming), se deriva de un concepto más genérico como el cloud computing. Es decir, de manera remota los servidores realizan todos los cálculos y procedimientos en milisegundos, para luego enviar la información procesada directamente a nuestros dispositivos. La computación en la nube, en sí, se basa en que toda la fuerza de cálculo es ejecutada por un tercero, para que tú no debas tener equipos caros y dedicados para el procesamiento de datos.
Los costos asociados a este tipo de servicio es la propia suscripción mensual a la plataforma, y por supuesto, la latencia que se experimenta por la lejanía y demanda de recursos del servidor. La lejanía de los servidores genera una alta latencia en el tiempo de respuesta entre el mando, y la respuesta del juego en tu pantalla.
Esta fue una de las razones por la cual GeForce no abrió su plataforma en Latam hasta disponer de una infraestructura adecuada para sortear estos problemas. El proceso de acercar los servidores a la zona donde quieres prestar el servicio, técnicamente, se conoce como edge computing, que es un derivado del cloud computing.
De hecho, hasta hace algunos meses, aún había colas o filas de espera para poder acreditarse en la plataforma de NVIDIA, que de manera local es administrada por ABYA.
Por tanto, volviendo a la idea central de la nota, si una gráfica normal requiere bastante poder de cálculo, lo necesario para resolver la realidad virtual, será mucho más grande.
Alta velocidad por fibra óptica y redes 5G
Una vez resuelto el problema de la potencia de cálculo, es necesario sortear los canales de comunicación para poder procesar estas grandes cantidades de información. Para esto ya sabes que la fibra óptica será nuestro principal aliado, sin embargo, los despliegues de fibra óptica requieren su tiempo. En segundo lugar, la tecnología de comunicación inalámbrica de quinta generación (5G), cuando esté completamente desplegada, ayudará a cubrir las zonas en las que no llega la fibra óptica por temas logísticos o geográficos.
Una red de alta velocidad resuelve, en gran parte, el tiempo de respuesta entre un punto y otro (latencia), permitiendo que las interacciones sean casi instantáneas.
No obstante, tenemos una limitante, por mucha fibra óptica que dispongamos, la luz tiene un límite físico respecto de su velocidad (299.792 km/s en el vacío), con mayor razón si viaja por un medio.
Si a esta ecuación agregamos los diferentes nodos por los que debe pasar y resolver los paquetes datos, nos encontramos que esto limita aún más el tiempo de respuesta. Esta particularidad es propia de la fibra óptica y el 5G.
Tal como lo planteamos en el título anterior, la única manera de salvar este problema es crear centros de cómputos (o servidores) cercanos a la zona donde se busca prestar el servicio (ABYA con NVIDIA), o bien el propio centro de datos de Google ubicado en Chile.
Zonas de Mini Centros de Datos (Edge computing)
Si analizamos un poco más el punto anterior, también nos podremos dar cuenta que por mucho que el procesamiento de datos se acerque de manera geográfica, puede que la demanda y la cercanía no sean suficientes para lograr una experiencia completamente inmersiva y con el tiempo de respuesta requerido para los juegos o la realidad virtual (RV).
Desde aquí se gesta una idea de estos mini centros de datos ubicados en locales o bodegas, que acercarían el procesamiento y ayudarían a descongestionar el servidor primario. En este punto, hay una idea de negocio futuro, muy interesante, que puede ser una alternativa para alguien que tiene un apropiado para una instalación de este tipo.
Sin embargo, hay condiciones como el costo eléctrico mensual, climatización, empalme eléctrico especial, podrían ser impedimentos para levantar esta nueva idea de negocios de procesamiento de datos local, para juegos, realidad virtual, o alguna otra futura modalidad.
La siguiente figura plantea una modalidad de mini o microcentros de datos ubicados en la radio bases donde operan las antenas. Además, muestra esquemáticamente la diferencia entre la operación del 4G y el 5G.
La realidad extendida (XR)
Hace referencia a un concepto que engloba todo el espacio virtual que está más allá del espacio descrito por los fenómenos físicos.
En términos generales, abarca:
- Realidad mixta
- Realidad aumentada
- Realidad virtual (RV)
- Realidad fusionada
Es decir, son todas las versiones posibles de esta tecnología que nos permite cambiar «nuestra experiencia de lo que consideramos real».
La prueba de concepto de realidad virtual (RV) usando 5G
El estudio presentado por Ericsson titulado: «El futuro del entretenimiento con 5G, un enfoque cooperativo para experiencias de realidad virtual inmersiva usando tecnología 5G». Desglosa el análisis planteando los retos de cómputo de la realidad extendida, plantea una solución al problema y cierra con los resultados.
Antecedentes
Ericsson plantea que, en encuestas de hace algunos años, muchos usuarios se visualizaban utilizando lente de realidad aumentada para el 2025. En otro estudio, se confirma que el 55% de los encuestados les gustaría visitar museos de otros países, simulando como si estuvieras allí.
Por otra parte, en otro estudio de ADL y Ericsson, desarrollado en 2019, se detectó que el potencial de negocios entre empresas (B2B) empleando tecnología de realidad virtual (RV), sería alrededor de, 12.000 millones de dólares para el año 2026. Las posibles áreas beneficiadas: sanitario, manufactura y público.
El reto o problemática por solucionar
Tal como ya hemos descrito más arriba y en otras notas, una de las dificultades de la RV es la potencia de cómputo necesaria para su correcta y fluida operatividad.
Por otra parte, usar gafas de realidad virtual (RV) como los HTC Vive, recordarás que era todo un problema de logística, tras el casco ibas con un montón de cables, que actúan como un cordón umbilical conectado a un PC que realizaba todas las operaciones de cálculo. Aquí se presenta un segundo problema, la movilidad.
Una de las primeras soluciones que se le dio al problema de los cables y a la dependencia del computador, es la creación de un casco con el hardware necesario para poder procesar directamente la información; sin embargo, el espacio dentro del conjunto es la mayor limitante.
Un segundo enfoque, es el uso de una típica mochila en la que se instala todo el hardware necesario para procesar la información de la realidad virtual. Pero, en este caso, el problema radica en que el bolso pesa, en promedio, unos 4kg, se puede calentar, el hardware de procesamiento no tiene la ventilación adecuada y se suma una baja duración de batería. Al final termina desencadenando la misma problemática de falta de movilidad.
Por lo anterior, la opción de disponer del hardware cercano en el PC y unas gafas WiFi con altas velocidades se presenta como una opción muy tentadora, ideal para situaciones en el hogar; sin embargo, tal como lo plantea Ericsson:
El enfoque inalámbrico mediante WiFi es una de las más comunes. Sin embargo, una de las principales limitaciones, en un entorno multiusuarios, es que, al ser una banda del espectro sin licencia, es propensa a sufrir interferencias.
Con todas las situaciones expuestas, se explotó una oportunidad de sondear la experiencia multiusuario usando redes 5G y edge computing. La idea consistía en crear una experiencia inmersiva en el mundo de Harry Potter, llamada Chaos of Hogwarts.
Veamos la solución propuesta
En el desarrollo del concepto de Chaos of Hogwarts hay dos equipos diferentes. El primero de ellos son los desarrolladores del entorno gráfico de este mundo de Harry Potter, compuesto por Wevr y Dreamscape Immersive. Ellos ya habían desarrollado la idea de la realidad virtual (RV), utilizando mochilas y cables.
Dreamscape es el encargado de proporcionar los dispositivos hápticos ubicados en manos y la frente. Estos sensores son los encargados de medir la fuerza con la que actúa la persona que estará tras los lentes de RV, es decir, son los que permiten medir el tacto para traducirlo al mundo digital.
Luego, tenemos el segundo equipo, que es el encargado del despliegue de la tecnología tras el concepto:
- Ericsson – Proveedor de la infraestructura de red privada 5G en banda milimétrica.
- AT&T – Uso de su banda milimétrica para transmisión de datos.
- Qualcomm – Proveedor de los dispositivos de realidad virtual inalámbricos XR2.
- NVIDIA – El músculo tras el proceso de cálculo de la gráfica.
La idea del concepto es cambiar las mochilas y cables de los usuarios, de modo que la inmersión de la realidad virtual se sienta más real, sin cables molestando y un peso extra en la espalda con la mochila, usando redes 5G como medio de comunicación.
La comunicación Ericsson y AT&T
Para los que han probado las redes 5G actuales, sabemos que cumplen en la medida que pueden, y otras redes aún están al debe. Con las redes actuales de 5G NSA (Non stand alone), no sería suficiente la velocidad y ancho de banda para mover todos los datos que requiere la realidad virtual (RV) en alta resolución. En esta dinámica la única opción viable es usar 5G sobre las bandas milimétricas (mmWave):
… en términos sencillos, es un espectro que agrupa las frecuencias entre los 24 y 100 GHz (otros indican 300 GHz), pudiendo otorgar velocidades superiores a los 10 Gbps, a diferencia de su espectro antecesor Sub-6GHz que solo nos otorga velocidades entre 300 Mbps y 1 Gbps.
El gigante de telecomunicaciones de Estados Unidos tiene tres modos diferentes por las que unen a la gente mediante el 5G. En cada modo hace referencia a diferentes bandas de uso, banda baja, media y alta. La primera se conoce como AT&T 5G que une a 277 millones de personas y está presente en 18.000 ciudades de USA. Por otra parte, también existe AT&T 5G+ que se divide en el empleo de las bandas medias como la banda C (4 a 8GHz); y la banda milimétrica, que es la que permite altas velocidades y gran ancho de banda, esta última se encuentra disponible de manera local en 40 ciudades y 40 estadios y centros recreativos.
Para trabajar en redes 5G en banda milimétricas, AT&T y Ericsson se unieron para proporcionar la infraestructura de comunicación. AT&T permitió el acceso a las bandas de milimétricas dentro de su red de 5G+ y Ericsson proporcionó la infraestructura de comunicación privada de 5G. El equipamiento de red fue optimizado por el equipo de Ericsson ubicado en Santa Clara, California, conocido como D-15.
Supongo que estarán pensando, mejor un cable de red y fibra óptica y se acabó el problema, claramente esta es la situación ideal, pero no siempre es factible llegar con el cable de red y la fibra óptica a todos. Es por esto que este concepto es extremo en cuanto a las capacidades del 5G.
¿Por qué es necesario el trabajo conjunto de Ericsson y AT&T?
- Se requieren mucho menos de 50ms de latencia para experiencia inmersiva con equipos de realidad virtual.
- LTE no es capaz de proveer el ancho de banda necesario para el funcionamiento.
- En la combinación WiFi y fibra óptica, en esta cadena podría fallar el WiFi. Su explosivo aumento este último tiempo, redes saturadas en bandas 2.4 y 5.0GHz, podría congestionarse y caerse la conexión.
Ya conocemos cómo se ha enviar la información, ahora ¿cómo la procesamos?
El procesamiento gráfico de NVIDIA
Tal como hemos descrito más arriba, todo el músculo de procesamiento de gráfico es necesario hacerlo en algún sitio. Obviamente, podríamos disponer de estaciones locales con el hardware necesario para resolver el trabajo con las gráficas. Sin embargo, habrá situaciones en que estar cambiando constantemente el hardware y depender de técnicos especializados para su mantenimiento, puede volverse de una tarea cualquiera a una carga innecesaria para una empresa.
Ante esta situación, NVIDIA mediante su proyecto Aurora entrega de manera remota una plataforma de software y hardware que permite implementar de manera remota soluciones empresariales que requieran de realidad virtual (RV) y sus variantes (XR).
¿Dónde se ha usado?
- Situaciones médicas para operaciones a distancia.
- Entornos de trabajo colaborativo 3D para diseño e ingeniería de inmuebles, dispositivos, etc.
- En situaciones peligrosas, permite crear simulación de entornos para manejo, operación y seguridad de maquinarias.
El Proyecto Aurora consta de Cloud XR y la Estaciones de trabajo virtuales RTX (vWS), que forman parte de la arquitectura encargada de transmitir contenidos de realidad virtual (y sus derivados) mediante cualquier sistema de transmisión de datos (cables de red, WiFi, 5G, fibra óptica, etc.).
En este punto ya sabemos cómo vamos a enviar la información y cómo la vamos a procesar. Pero nos queda otro elemento importante: ¿cómo recogemos los desplazamientos y las sensaciones de las personas que participarán de Chaos of Hogwarts de Harry Potter?
Cascos de realidad virtual (RV) con chip XR2 de Qualcomm
El conjunto típico de realidad virtual está compuesto por el casco que contiene las gafas, encargado de transportarnos al mundo de digital, también incluye los audífonos con tecnología surround para dar sensación de espacio y ambiente; y por último los dispositivos hápticos de manos y cabeza proporcionados por Dreamscape.
La plataforma XR2 de Qualcomm es la primera plataforma encargada de conectar el 5G con la realidad virtual, la que fue lanzada a finales de 2019. Gracias a su tecnología, el chipset del casco permite transmitir directamente la información a la estación de red privada de 5G de Ericsson.
XR2 permite el uso simultáneo de 7 cámaras para una ubicación espacial de precisión, permite una combinación de entornos digitales con reales, y aumenta la inmersión en situación de servicios de realidad mixta (virtual + aumentada). XR2 puede operar con videos de resolución 8K de 360º con una velocidad de renderización de 60fps, y todo se puede transmitir inalámbricamente vía redes 5G. Esta tecnología, hoy en día, se encuentra presente en los Oculus Quest 2 de Meta (Facebook).
En resumen…
Ya tenemos resuelta que tecnología que se ocupa en cada etapa del proceso, pero ahora veamos cómo funciona el conjunto completo.
- El usuario realiza algún desplazamiento o movimiento con manos, los dispositivos hápticos de Dreamscape y las cámaras que puede controlar XR2 de Qualcomm detectan y procesan el video de lo que ve el usuario.
- El XR2 se conecta a la red privada 5G de Ericsson y AT&T para enviar los datos de videos, audio, retroalimentación de fuerza aplicada, etc.
- La infraestructura de red envía los datos a los servidores de NVIDIA Cloud XR para procesar la información.
- La información es retornada a la infraestructura local de red.
- Conexión con los cascos de RV y envío de datos procesados a los lentes para visualizar el render final, el audio espacial a los audífonos, etc.
- Todo el proceso entre ida y vuelta dura 35ms
Resultados del Concepto
La experiencia multiusuario de realidad virtual (RV) sobre redes 5G, logro una inmersión más completa sin uso de cables. La ausencia de estos permite que las personas puedan desplazarse con fluidez.
El concepto en sí validó el empleo de la tecnología de realidad virtual de alta resolución mediante redes inalámbricas de 5G en bandas milimétricas, en donde los usuarios solo experimentaban latencias de 35ms. Latencias mayores o cercanas a los 50ms pueden provocar náuseas en los usuarios, debido a la desincronización por el retraso.
¿En qué otras situaciones se valida el concepto?
Al no tener dispositivos locales para realizar el procesado de los datos de la realidad virtual, esto permite que muchas empresas puedan desarrollar ideas con la realidad virtual (RV), sin la necesidad de invertir en equipos caros, accediendo al servicio en línea.
También permite crear una idea de derivar procesamiento de cálculo hacia servidores, sin necesidad de disponer de equipos potentes de manera local.
De acuerdo con los cálculos presentados, desde el punto de vista de la industria de entretenimiento, se estima que los costos operacionales se reducirían en un 11%, al retirar las mochilas con el equipo de RV, y consecuentemente, aumentará el espacio disponible de operación para más usuarios; además, podrán pasar más horas inmersos, que los tan solo 15 a 20 minutos que permitía la mochila con baterías. Uniendo las dos situaciones se estima que los ingresos aumentarían en un 20%.
El 5G y la realidad extendida (5G XR) serán la puerta de entrada al metaverso, a un nuevo internet que permite mayores interacciones transformando, la manera en que percibimos el mundo digital y/o virtual.
Con las bandas milimétricas del 5G en plena operación, la latencia será imperceptible, permitirá desarrollar el concepto de edge computing en toda su capacidad, facilitando que todas las personas puedan acceder a este mundo virtual, sin necesidad de disponer de hardware de última generación en casa.
Hoy en día nos desplazamos por internet en un formato plano por páginas webs, con diferentes plataformas de video y/o audio. Sin una total integración de un entorno inmersivo, más allá de la manipulación de los elementos mediante el mouse y teclado.
Es por esto que el metaverso permitirá abrir nuevos horizontes a creadores, más contenido y nuevas experiencias. Educadores y profesionales, creando un formato 3D más inmersivo del internet, de modo que los jugadores, las clases y otros puedan interactuar en el entorno en el que estén participando.
El metaverso requiere de la realidad extendida (XR)
La realidad extendida del internet de alta velocidad.
Internet de alta velocidad requiere de la fibra óptica y redes 5G sobre banda milimétricas
¿Se han preguntado cuánto demora la NASA en dar una pequeña instrucción a los Rovers en Marte? ¿Qué te parecen las futuras aplicaciones de la red 5G?
