Oracle despliega GPUs NVIDIA Blackwell en OCI para impulsar modelos de IA con razonamiento

NVIDIA informó que uno de los primeros racks NVIDIA GB200 NVL72 con refrigeración líquida ya comenzó a operar en los centros de datos de Oracle, habilitando el uso de miles de GPUs Blackwell dentro de su infraestructura de nube.

El gigante de las GPU destaca que estas unidades ya están disponibles mediante NVIDIA DGX Cloud y Oracle Cloud Infrastructure (OCI), diseñadas para usar modelos de razonamiento de nueva generación y agentes de inteligencia artificial.

¿Qué permite esta nueva infraestructura de Oracle con GPUs NVIDIA Blackwell?

La escalabilidad es el secreto mejor guardado tras la infraestructura montada, ya que lo permite hacer realizar con baja latencia bajo dos tecnologías claves de NVIDIA:

• Quantum-2 InfiniBand
• Spectrum-X Ethernet

Sobre la primera, NVIDIA explica:

«[…] Es la séptima generación de nuestra arquitectura InfiniBand líder en la industria, permite un rendimiento de 400 Gb/s, cómputo en red y un control de congestión avanzado para mejorar el rendimiento y la eficiencia en cargas de trabajo de inteligencia artificial y computación de alto rendimiento».

NVIDIA

En cuanto a la segunda, tiene la capacidad de realizar operaciones directamente dentro de la red para reducir la latencia, con esto puede:

• Control de congestión de datos
• Conectividad de alto ancho de banda

Ambos, dos puntos claves para el procesamiento de altos volúmenes de datos, y por supuesto, clave para el tratamiento de cargas intensivas de trabajo intensivas de GenAI.

«[…] Es la primera plataforma Ethernet construida específicamente para inteligencia artificial, ofreciendo un rendimiento 1,6 veces superior y una escalabilidad masiva gracias al enrutamiento adaptativo, RDMA y la aceleración de comunicación entre GPUs».

NVIDIA

Gracias a la segunda tecnología que combina los switches Spectrum-4 con las SuperNIC BlueField-3, logra que la conexión entre las diferentes GPUS del rack alcancen velocidades de 400Gb/s con una gestión de tráfico de data de manera eficiente del tráfico:

Esta particularidad del ecosistema de NVIDIA es clave, ya que optimiza los procesos de razonamiento y entrenamiento de los modelos a gran escala.

Principales características técnicas de la infraestructura NVIDIA GB200 en OCI

Con esta infraestructura, Oracle tiene la capacidad de escalar su centro de datos de IA de manera ordenada, y de acuerdo a la demanda de inferencia, con alto rendimiento, eficiencia energética y opciones de despliegue flexibles.

Puntos claves:

• Implementación temprana:
  Oracle es uno de los primeros en integrar los racks NVIDIA GB200 NVL72 en su infraestructura destinada a IA.
• Escalabilidad a gran escala:
  Oracle busca superar las 100.000 GPUs Blackwell, apuntando a convertirse en uno de los más grandes del mundo.
• Enfocado en inferencia (procesos de razonamiento):
  Responde a la creciente necesidad de ejecutar modelos de IA ya entrenados para generar resultados en tiempo real.
• Arquitectura de alto rendimiento:
  Cada sistema combina 36 CPUs Grace con 72 GPUs Blackwell, permitiendo un uso eficiente de la energía, así como cómputo en paralelo.
• Casos de uso diversos:
  Aplicaciones confirmadas incluyen modelos de razonamiento, vehículos autónomos, diseño de chips y herramientas de IA.

Oracle Cloud Infrastructure (OCI) en un movimiento sin precedentes busca ser el primer actor del mercado en implementar estos sistemas, con una hoja de ruta que apunta a escalar su clúster de GPUs Blackwell a más de 100.000 unidades.