HBC considera operaciones cerca de la memoria para reducir el traslado de datos, el consumo energético y los costos durante la inferencia de modelos de IA.
Creada con IA
High Bandwidth Compute, o HBC, distribuye parte del trabajo de inferencia entre el acelerador principal y una unidad de cálculo situada dentro o junto al paquete de memoria. Qualcomm plantea esta organización para reducir el tiempo, la energía y el costo asociados con el traslado repetido de parámetros y contexto durante la ejecución de modelos generativos.
La generación de cada token exige leer desde memoria grandes volúmenes de parámetros del modelo y del contexto acumulado, mientras las operaciones aritméticas requieren menos recursos que ese flujo de información. Cuando el ancho de banda no entrega los operandos al ritmo del acelerador, una parte de sus unidades permanece inactiva aunque la capacidad teórica de cálculo continúe aumentando.
En términos simples, el acelerador puede procesar más rápido de lo que la memoria consigue suministrarle información, por lo que debe esperar aunque todavía disponga de capacidad de cálculo. El problema no está únicamente en cuántas operaciones puede ejecutar, sino en la rapidez con que recibe los datos necesarios.
El artículo de Qualcomm detalla una estimación según la cual el tamaño de los modelos basados en transformers habría aumentado 240 veces cada dos años durante la última década, mientras la memoria disponible en hardware de IA habría crecido dos veces. La firam utiliza esta diferencia para describir el denominado muro de memoria, una separación creciente entre la velocidad de procesamiento y la capacidad del sistema para alimentar al procesador con datos.
Las soluciones convencionales intentan reducir el muro de memoria mediante interfaces más anchas o una mayor integración de memoria, pero cada alternativa introduce restricciones técnicas:
Qualcomm HBC coloca una matriz de cálculo en proximidad inmediata a la memoria para ejecutar operaciones condicionadas por el movimiento de datos y no por su complejidad aritmética.
Dicho de otro modo, parte del trabajo se realiza donde están almacenados los datos, en vez de enviarlos constantemente hasta el acelerador principal. Esto acorta el recorrido de la información y reduce el tiempo durante el cual el procesador espera recibirla.
El sistema utiliza el ancho de banda interno de la memoria y envía al acelerador principal resultados más compactos, en lugar de trasladar de forma continua toda la información necesaria para cada operación.
HBC distribuye el trabajo según la complejidad de cada operación y su dependencia del acceso continuo a memoria:
La propuesta depende de tecnologías de apilamiento tridimensional capaces de unir memoria DRAM directamente con lógica de cálculo dentro de un mismo conjunto físico. Según Qualcomm, estos procesos han avanzado hacia la fabricación de gran volumen y plantean una alternativa a las interfaces externas cada vez más anchas, complejas y costosas.
Al trabajar con tecnologías de memoria ya desarrolladas, HBC busca aumentar la capacidad sin exigir que todo el ancho de banda cruce el límite físico entre la memoria y el procesador. La publicación no identifica el tipo exacto de memoria, la configuración del encapsulado ni el método de unión previsto para las primeras generaciones de la arquitectura.
En un diseño convencional, aumentar la capacidad puede afectar el ancho de banda disponible, mientras que elevar el ancho de banda suele incrementar el consumo, la complejidad física o el costo. HBC propone que capacidad, ancho de banda y cálculo aumenten en paralelo mediante la incorporación de recursos de memoria y procesamiento dentro de una organización cercana a los datos.
HBC distribuye el trabajo según la complejidad de cada operación y su dependencia del acceso continuo a memoria:
En esta comparación, una arquitectura tradicional corresponde a una configuración formada por un acelerador GPU o XPU y memoria HBM integrados en un mismo encapsulado mediante un interposador. Aunque HBM reduce la distancia física entre la memoria y el procesador, las operaciones siguen ejecutándose en el acelerador, mientras que Qualcomm HBC traslada parte del cálculo al entorno inmediato de la memoria.
Qualcomm presenta dos objetivos de ancho de banda efectivo dentro de la hoja de ruta de sus aceleradores para centros de datos:
Las cifras corresponden al ancho de banda efectivo previsto y no describen por sí solas la velocidad de generación de tokens, la latencia, el consumo eléctrico ni el costo total del sistema. El artículo tampoco publica pruebas comparativas, capacidad de memoria, nodo de fabricación, fechas de disponibilidad o detalles de software necesarios para analizar el comportamiento de HBC en cargas reales.
