Categorías: Noticias

AMD Instinct MI350P: la nueva GPU PCIe para inferencia de IA llega con 144 GB de memoria HBM3E

Compartir

AMD presentó la Instinct MI350P, una GPU PCIe de doble ranura diseñada para cargas de inferencia de IA. La tarjeta combina memoria HBM3E de alta capacidad, formatos de baja precisión y compatibilidad con sistemas refrigerados por aire.

La Instinct MI350P concentra memoria, precisión reducida y formato PCIe

La AMD Instinct MI350P cuenta con 144 GB de memoria HBM3E y alcanza un ancho de banda de hasta 4 TB/s. En materia de inferencia de IA, esta combinación permite trabajar con modelos que necesitan mantener grandes volúmenes de datos en la memoria HBM3E de la propia GPU, reduciendo el movimiento de información hacia la CPU o la memoria principal del sistema.

La GPU MI350P es una tarjeta PCIe de doble ranura para sistemas refrigerados por aire. AMD señala que puede configurarse en sistemas con hasta ocho aceleradoras, lo que refuerza su orientación a servidores capaces de sumar varias GPU sin cambiar a otro tipo de plataforma.

AMD Instinct MI350P en formato PCIe Gen 5 de doble ranura, con arquitectura CDNA 4, 128 unidades de cómputo, 144 GB de memoria HBM3E y ancho de banda de hasta 4,0 TB/s. | Créditos: AMD

Rendimiento MXFP4 y formatos de precisión para inferencia

La firma señala que la GPU puede llegar hasta 4600 TFLOPS pico estimados en MXFP4 y también menciona 2299 TFLOPS estimados en ese formato (MXFP4). La precisión de la lectura es importante, porque la propia compañía presenta esas cifras como resultados preliminares basados en proyecciones de ingeniería o mediciones tempranas.

La Instinct MI350P soporta de manera nativa MXFP6 y MXFP4, además de aceleración mediante sparsity para la mayoría de las precisiones habituales de 8 y 16 bits. También soporta FP8, MXFP8, INT8 y BF16 dentro del espectro de formatos de precisión que AMD asocia a sus cargas de IA empresariales.

MXFP4 es un formato de 4 bits con microscaling que comparte una escala por bloques para ahorrar memoria y conservar mejor la precisión en IA; frente al FP4 clásico, ofrece más rango dinámico y menos error de cuantización, aunque añade complejidad por el escalado compartido.

Fuente: AMD
Ivan

Editor especializado en ciencia y tecnología, con foco en innovación, inteligencia artificial, telecomunicaciones y centros de datos. Trabajo con un enfoque riguroso y técnico, desarrollando contenidos sobre semiconductores, energía, ciberseguridad e infraestructura tecnológica.

Los comentarios de Disqus están cargando....
Publicado por
Ivan