NEWS

Intel lanza Xeon 6 y Gaudi 3 para cargas de HPC e inteligencia artificial



Dirección copiada

Los nuevos aceleradores de IA Gaudi 3 ofrecen hasta un 20% más de rendimiento y una relación precio/rendimiento dos veces superior a H100 para la inferencia de LLaMa 2 70B1

Publicado el 26 sept 2024



Intel lanza Xeon 6 y Gaudi 3 para cargas de HPC e inteligencia artificial
Intel lanza Xeon 6 y Gaudi 3 para cargas de HPC e inteligencia artificial

A medida que la IA continúa revolucionando las industrias, las empresas necesitan cada vez más una infraestructura que sea rentable y esté disponible para un desarrollo y despliegue rápidos. Para satisfacer esta demanda, Intel ha lanzado Xeon 6 con núcleos de rendimiento (P-cores) y aceleradores de IA Gaudi 3, reforzando el compromiso de la compañía de ofrecer sistemas de IA con un rendimiento óptimo por vatio y un menor coste total de propiedad (TCO). 

Los últimos avances de Intel en infraestructura de IA incluyen dos importantes actualizaciones en su oferta para centros de datos:

●           Intel Xeon 6 con núcleos P: Diseñado para manejar cargas de trabajo de cómputo intensivo con eficiencia excepcional, Xeon 6 ofrece el doble de desempeño que su predecesor. Cuenta con un mayor número de núcleos, el doble de ancho de banda de memoria y capacidades de aceleración de IA integradas en cada núcleo. Este procesador está diseñado para satisfacer las demandas de rendimiento de la IA desde los entornos periféricos hasta los centros de datos y la nube. 

●           Acelerador Intel Gaudi 3 para IA: Optimizado específicamente para la IA generativa a gran escala, Gaudi 3 cuenta con 64 núcleos de procesador tensorial (TPC) y ocho motores de multiplicación de matrices (MME) para acelerar los cálculos de redes neuronales profundas. Incluye 128 gigabytes (GB) de memoria HBM2e para entrenamiento e inferencia, y 24 puertos Ethernet de 200 Gigabit (Gb) para redes escalables. Gaudí 3 también ofrece compatibilidad sin fisuras con el marco PyTorch y modelos avanzados de transformadores y difusores Hugging Face. IBM e Intel están colaborando para proporcionar una capacidad de servicio de Gaudi 3 para apoyar a los clientes que aprovechan la IA. A través de esta colaboración, Intel e IBM pretenden reducir el coste total de propiedad para aprovechar y escalar la IA, al tiempo que mejoran el rendimiento.

Mejora de los sistemas de IA con ventajas en el coste total de propiedad

 La implementación de IA a escala implica consideraciones como opciones de despliegue flexibles, relaciones precio-rendimiento competitivas y tecnologías de IA accesibles. La sólida infraestructura x86 de Intel y su amplio ecosistema abierto le permiten ayudar a las empresas a crear sistemas de IA de alto valor con un coste total de propiedad y un rendimiento por vatio óptimos. En concreto, el 73% de los servidores acelerados por GPU utilizan Intel Xeon como CPU host.

Asimismo, Intel colabora con los principales fabricantes de equipos originales, entre ellos Dell Technologies y Supermicro para desarrollar sistemas de ingeniería conjunta adaptados a las necesidades específicas de los clientes para implantaciones eficaces de IA. Actualmente, Dell Technologies está co-diseñando soluciones basadas en RAG que aprovechan Gaudí 3 y Xeon 6.  

Acortando la distancia entre los prototipos y la producción mediante co-ingeniería

La transición de las soluciones de IA generativa (Gen AI) de prototipos a sistemas listos para la producción presenta desafíos en la supervisión en tiempo real, la gestión de errores, el registro, la seguridad y la escalabilidad. Intel aborda estos retos mediante esfuerzos de ingeniería conjunta con fabricantes de equipos originales y socios para ofrecer soluciones de generación aumentada por recuperación (RAG) listas para la producción.

Estas soluciones, construidas sobre la plataforma Open Platform Enterprise AI (OPEA), integran microservicios basados en OPEA en un sistema RAG escalable, optimizado para sistemas Xeon y Gaudi AI, diseñado para permitir a los clientes integrar fácilmente aplicaciones desde Kubernetes, Red Hat OpenShift AI y Red Hat Enterprise Linux AI.

Artículos relacionados

Artículo 1 de 5