Se proyecta que Intel Gaudi 3 ofrecerá un tiempo de entrenamiento 50% más rápido en promedio su rival directo, el NVIDIA H100.
En el marco de su evento Intel Vision 2024, el gigante informático presentó su nuevo acelerador de inteligencia artificial para servidores. Hablamos del nuevo Gaudi 3, un chip que permitirá entregar un mejor desempeño, apertura y opciones a la IA generativa empresarial (GenAI) a los servidores de Intel.
Con el creciente auge de la inteligencia artificial generativa, las empresas están buscando escalar esta tecnología desde las pruebas hasta la producción. Para hacerlo, necesitan soluciones fácilmente accesibles, basadas en procesadores eficientes en cuanto a costo y energía, como Intel Gaudi 3 AI Accelerator. Este chip también permite abordar los requisitos de complejidad, fragmentación, seguridad de los datos y cumplimiento en esta área.
El acelerador Intel Gaudi 3 alimentará sistemas con decenas de miles de aceleradores conectados a través del estándar común de Ethernet. Intel Gaudi 3 promete 4 veces más computación de IA para BF16 y un aumento de 1,5 veces en el ancho de banda de memoria con respecto a su predecesor. El acelerador ofrecerá un salto significativo en el entrenamiento y la inferencia de IA para las empresas globales que buscan implementar GenAI a escala.
En comparación con su rival directo, el NVIDIA H100, se proyecta que Intel Gaudi 3 ofrecerá un tiempo de entrenamiento 50% más rápido en promedio en todos los modelos Llama2-7B, Llama2-13B, y el modelo de parámetros GPT-3-175B. Además, se proyecta que el rendimiento de inferencia del acelerador Intel Gaudi 3 superará al H100 en un 50% en velocidad y en un 40% en eficiencia energética en los modelos de parámetros Llama-7B y 70B, y Falcon-180B.
Intel Gaudi 3 ofrece software abierto y basado en la comunidad y redes Ethernet estándar de la industria. Además, permite a las empresas escalar de manera flexible desde un solo nodo a clústeres, superclústeres y megaclústeres con miles de nodos, lo que admite la inferencia, el ajuste y la capacitación a la mayor escala.
Intel Gaudi 3 estará disponible para los fabricantes de equipos, incluidos Dell Technologies, HPE, Lenovo y Supermicro, en el segundo trimestre de 2024. Al igual que estará disponible en diferentes formatos como tarjetas PCI Express, tarjetas Mezzanine, o tarjetas de base universal de 8 unidades.
La tarjeta junto al chip también tendrá diferentes opciones de refrigeración. Ya sea por aire a partir del tercer trimestre del 2024, o bien, refrigeración líquida a partir del cuarto trimestre del 2024. De momento no hay precios del nuevo acelerador IA de Intel.
¿Qué te parece el nuevo acelerador para servidores presentado por Intel?
