High Bandwidth Compute, o HBC, distribuye parte del trabajo de inferencia entre el acelerador principal y una unidad de cálculo situada dentro o junto al paquete de memoria. Qualcomm plantea esta organización para reducir el tiempo, la energía y el costo asociados con el traslado repetido de parámetros y contexto durante la ejecución de modelos generativos.
El muro de memoria limita el uso real de los aceleradores de IA
La generación de cada token exige leer desde memoria grandes volúmenes de parámetros del modelo y del contexto acumulado, mientras las operaciones aritméticas requieren menos recursos que ese flujo de información. Cuando el ancho de banda no entrega los operandos al ritmo del acelerador, una parte de sus unidades permanece inactiva aunque la capacidad teórica de cálculo continúe aumentando.
En términos simples, el acelerador puede procesar más rápido de lo que la memoria consigue suministrarle información, por lo que debe esperar aunque todavía disponga de capacidad de cálculo. El problema no está únicamente en cuántas operaciones puede ejecutar, sino en la rapidez con que recibe los datos necesarios.
El artículo de Qualcomm detalla una estimación según la cual el tamaño de los modelos basados en transformers habría aumentado 240 veces cada dos años durante la última década, mientras la memoria disponible en hardware de IA habría crecido dos veces. La firam utiliza esta diferencia para describir el denominado muro de memoria, una separación creciente entre la velocidad de procesamiento y la capacidad del sistema para alimentar al procesador con datos.
Las soluciones convencionales intentan reducir el muro de memoria mediante interfaces más anchas o una mayor integración de memoria, pero cada alternativa introduce restricciones técnicas:
- La integración de grandes cantidades de SRAM dentro del procesador enfrenta límites de capacidad y costo.
- Las interfaces entre aceleradores XPU y memoria HBM requieren más conexiones físicas, señalización y encapsulados avanzados.
- El traslado de datos entre componentes separados aumenta el consumo energético y el tiempo de procesamiento.
HBC ejecuta las operaciones junto a los datos almacenados
Qualcomm HBC coloca una matriz de cálculo en proximidad inmediata a la memoria para ejecutar operaciones condicionadas por el movimiento de datos y no por su complejidad aritmética.
Dicho de otro modo, parte del trabajo se realiza donde están almacenados los datos, en vez de enviarlos constantemente hasta el acelerador principal. Esto acorta el recorrido de la información y reduce el tiempo durante el cual el procesador espera recibirla.
El sistema utiliza el ancho de banda interno de la memoria y envía al acelerador principal resultados más compactos, en lugar de trasladar de forma continua toda la información necesaria para cada operación.
HBC distribuye el trabajo según la complejidad de cada operación y su dependencia del acceso continuo a memoria:
- La matriz de cálculo puede incorporar funciones específicas o capacidades más amplias, según el tipo de carga asignada.
- El acelerador principal, como Qualcomm Dragonfly, conserva las tareas complejas, flexibles y relacionadas con la coordinación del sistema.
- El bloque cercano a la memoria ejecuta operaciones que requieren acceder repetidamente a grandes volúmenes de datos.
La integración 3D conecta la memoria DRAM con la lógica de cálculo
La propuesta depende de tecnologías de apilamiento tridimensional capaces de unir memoria DRAM directamente con lógica de cálculo dentro de un mismo conjunto físico. Según Qualcomm, estos procesos han avanzado hacia la fabricación de gran volumen y plantean una alternativa a las interfaces externas cada vez más anchas, complejas y costosas.
Al trabajar con tecnologías de memoria ya desarrolladas, HBC busca aumentar la capacidad sin exigir que todo el ancho de banda cruce el límite físico entre la memoria y el procesador. La publicación no identifica el tipo exacto de memoria, la configuración del encapsulado ni el método de unión previsto para las primeras generaciones de la arquitectura.
Capacidad, ancho de banda y cálculo pueden crecer en paralelo
En un diseño convencional, aumentar la capacidad puede afectar el ancho de banda disponible, mientras que elevar el ancho de banda suele incrementar el consumo, la complejidad física o el costo. HBC propone que capacidad, ancho de banda y cálculo aumenten en paralelo mediante la incorporación de recursos de memoria y procesamiento dentro de una organización cercana a los datos.
HBC distribuye el trabajo según la complejidad de cada operación y su dependencia del acceso continuo a memoria:
- La matriz de cálculo puede incorporar funciones específicas o capacidades más amplias, según el tipo de carga asignada.
- El acelerador principal, como Qualcomm Dragonfly, conserva las tareas complejas, flexibles y relacionadas con la coordinación del sistema.
- El bloque cercano a la memoria ejecuta operaciones que requieren acceder repetidamente a grandes volúmenes de datos.
Qualcomm HBC frente a una arquitectura tradicional con HBM
En esta comparación, una arquitectura tradicional corresponde a una configuración formada por un acelerador GPU o XPU y memoria HBM integrados en un mismo encapsulado mediante un interposador. Aunque HBM reduce la distancia física entre la memoria y el procesador, las operaciones siguen ejecutándose en el acelerador, mientras que Qualcomm HBC traslada parte del cálculo al entorno inmediato de la memoria.
Qualcomm proyecta aumentos de 18 y 54 veces en ancho de banda efectivo
Qualcomm presenta dos objetivos de ancho de banda efectivo dentro de la hoja de ruta de sus aceleradores para centros de datos:
- Dragonfly AI300 con HBC Gen 2: 54 veces el ancho de banda efectivo frente al mismo sistema de referencia.
- Dragonfly AI250 con HBC Gen 1: 18 veces el ancho de banda efectivo de Dragonfly AI200 con LPDDR5X.
Las cifras corresponden al ancho de banda efectivo previsto y no describen por sí solas la velocidad de generación de tokens, la latencia, el consumo eléctrico ni el costo total del sistema. El artículo tampoco publica pruebas comparativas, capacidad de memoria, nodo de fabricación, fechas de disponibilidad o detalles de software necesarios para analizar el comportamiento de HBC en cargas reales.