El acelerador de IA Intel Gaudi 3 ofrece a las empresas de todo el mundo opciones de Inteligencia Artificial generativa basadas en el rendimiento y la escalabilidad de su predecesor Gaudi 2. Esto supone un salto significativo en el rendimiento y la productividad para la formación y la inferencia de IA en los populares modelos de grandes lenguajes (LLM) y modelos multimodales. Basándose en el rendimiento y la eficiencia demostrados del acelerador Intel Gaudi 2 AI, Intel ofrece a los clientes la posibilidad de elegir entre un software abierto basado en la comunidad y una red Ethernet estándar del sector para escalar sus sistemas de forma más flexible.
En la actualidad, las empresas de sectores relevantes como el financiero, el manufacturero y el sanitario están tratando de ampliar rápidamente la accesibilidad a la IA y la transición de los proyectos de IA generativa (GenAI) de las fases experimentales a la implementación a gran escala. Para gestionar esta transición, impulsar la innovación y alcanzar los objetivos de crecimiento de ingresos, las empresas necesitan soluciones y productos abiertos, rentables y más eficientes energéticamente que satisfagan las necesidades de retorno de la inversión (ROI) y eficiencia operativa.
El acelerador Intel Gaudi 3, diseñado para la computación eficiente de IA a gran escala, se fabrica en un proceso de 5 nanómetros (nm) y ofrece avances significativos con respecto a su predecesor. Está diseñado para permitir la activación de todos los motores en paralelo -con el motor de multiplicación de matrices (MME), los núcleos procesadores de tensor (TPC) y las tarjetas de interfaz de red (NIC)-, lo que permite la aceleración necesaria para una computación de aprendizaje profundo rápida, eficiente y a escala.
Detalles de Intel Gaudi 3
● Motor de cómputo dedicado a la IA: El acelerador Intel Gaudi 3 fue diseñado especialmente para cómputo GenAI de alto desempeño y alta eficiencia. Cada acelerador cuenta con un motor informático heterogéneo compuesto por 64 TPC personalizadas y programables para IA y ocho MME. Cada MME de Intel Gaudi 3 es capaz de realizar la impresionante cantidad de 64.000 operaciones paralelas, lo que permite un alto grado de eficiencia computacional, haciéndolos expertos en el manejo de operaciones matriciales complejas, un tipo de computación que es fundamental para los algoritmos de aprendizaje profundo. Este diseño único acelera la velocidad y la eficiencia de las operaciones paralelas de IA y admite múltiples tipos de datos, incluidos FP8 y BF16.
● Aumento de la memoria para los requisitos de capacidad de LLM: 128 gigabytes (GB) de capacidad de memoria HBMe2, 3,7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria estática de acceso aleatorio (SRAM) incorporada proporcionan memoria de sobra para procesar grandes conjuntos de datos GenAI en menos Intel Gaudi 3, especialmente útil para servir grandes modelos lingüísticos y multimodales, lo que se traduce en un mayor rendimiento de la carga de trabajo y una mayor eficiencia de costes del centro de datos.
● Escalado eficiente del sistema para GenAI empresarial: Cada acelerador Intel Gaudi 3 integra 24 puertos Ethernet de 200 gigabits (Gb), lo que proporciona una red flexible y de estándar abierto. Permiten un escalado eficiente para admitir grandes clústeres informáticos y eliminan la dependencia de proveedores de tejidos de red propietarios. El acelerador Intel Gaudi 3 está diseñado para escalarse y reducirse eficientemente desde un solo nodo hasta miles para satisfacer los requisitos expansivos de los modelos GenAI.
● Software abierto del sector para la productividad de los desarrolladores: El software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, el marco de IA más común para los desarrolladores de GenAI en la actualidad. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción para facilitar el uso y la productividad, así como la portabilidad de modelos entre distintos tipos de hardware.
● Gaudi 3 PCIe: la tarjeta complementaria Gaudi 3 Peripheral Component Interconnect express (PCIe) es una novedad en la línea de productos. Diseñada para ofrecer alta eficiencia con menor consumo, este nuevo factor de forma es ideal para cargas de trabajo como el ajuste fino, la inferencia y la generación aumentada por recuperación (RAG). Está equipada como factor de forma de altura completa a 600 vatios, con una capacidad de memoria de 128 GB y un ancho de banda de 3,7 TB por segundo.
El acelerador Intel Gaudi 3 ofrecerá importantes mejoras de rendimiento para tareas de formación e inferencia en los principales modelos de GenAI. En concreto, se prevé que el acelerador Gaudi 3 ofrezca un rendimiento medio superior al de Nvidia H100:
● Tiempo de entrenamiento un 50% más rápido en los modelos de parámetros Llama 2 7B y 13B, y GPT-3 175B.
● Rendimiento de inferencia del 50% y eficiencia energética de inferencia del 40% en los modelos de parámetros Llama 7B y 70B, y Falcon 180B. Una ventaja de rendimiento de inferencia aún mayor en secuencias de entrada y salida más largas.
● Inferencia un 30% más rápida en los modelos de parámetros Llama 7B y 70B, y Falcon 180B frente a Nvidia H200.
