Pure Storage ha presentado FlashBlade//EXA, la plataforma de almacenamiento de datos de mayor rendimiento de la industria, diseñada para satisfacer los requisitos más exigentes de la inteligencia artificial y la computación de alto rendimiento (HPC). Si bien los enfoques legacy de almacenamiento de datos han frenado el potencial de la IA, FlashBlade//EXA soluciona el cuello de botella de los metadatos con una arquitectura probada basada en FlashBlade, diseñada para una alta concurrencia y las cantidades masivas de operaciones de metadatos típicas de las cargas de trabajo de IA y HPC a gran escala. En las pruebas preliminares, se proyecta que FlashBlade//EXA ofrecerá un rendimiento de lectura de más de 10 terabytes por segundo en un único namespace, lo que establece un nuevo estándar como la solución de almacenamiento de mayor rendimiento del sector.
La arquitectura FlashBlade//EXA escala datos y metadatos de forma independiente; proporciona una escala casi ilimitada, con nodos de datos de terceros comercialmente disponibles OTS, que permiten un rendimiento multidimensional altamente escalable; y reduce la complejidad en la implementación, gestión y escalado mediante el uso de protocolos y redes estándar.
Índice de temas
Impulsando un cambio de paradigma en el almacenamiento
Las GPU más potentes han aumentado el ritmo y la escala a la que se pueden entrenar los modelos fundacionales de IA. El crecimiento explosivo del tamaño y la sofisticación de los modelos está impulsando un cambio de paradigma en los requisitos de almacenamiento, en el que las soluciones deben mantenerse a la altura de la intensidad y el volumen computacionales, y la variedad de las demandas de datos de la IA y la HPC.
Los sistemas de almacenamiento legacy no se diseñaron para satisfacer los requisitos modernos de la IA. Cuando se aplican a IA y HPC a gran escala, se enfrentan a limitaciones críticas con lecturas y escrituras paralelas y simultáneas, rendimiento de metadatos, latencia ultrabaja, puntos de control asíncronos y tasa de transferencia alta y predecible.
Una solución de almacenamiento moderna debe proporcionar una arquitectura masivamente paralela y desagregada para ofrecer flexibilidad a escala, garantizando que el almacenamiento ayude a acelerar el ritmo de la IA.
Una arquitectura de almacenamiento moderna para cargas de trabajo de IA y HPC
Las arquitecturas de almacenamiento de alto rendimiento legacy se optimizaron para entornos de HPC tradicionales, con cargas de trabajo más predecibles y regulares y un enfoque en el escalado del rendimiento bruto. Las cargas de trabajo de inteligencia artificial actuales son complejas y multimodales (incluyen texto, imágenes y vídeos) y son procesadas simultáneamente por decenas de miles de GPU. Este cambio drástico exige una optimización avanzada de los metadatos junto con un escalado masivo del rendimiento para gestionar con eficacia diversos tipos de datos y una alta simultaneidad.
FlashBlade//EXA está especialmente diseñado para afrontar los retos de las cargas de trabajo de IA con un rendimiento y una gestión de metadatos inigualables. Su arquitectura desagregada y masivamente paralela permite una flexibilidad de almacenamiento a gran escala. Las empresas pueden adaptarse a la evolución de los modelos multimodales, optimizar la fiabilidad y eliminar los tiempos muertos para acelerar el entrenamiento y la inferencia de los modelos de IA al tiempo que mejoran la utilización de las GPU. Además, la combinación del motor de metadatos de Pure Storage y el sistema operativo Purity con una alta eficiencia de costes en los nodos de datos off-the-shelf, permite a las empresas lograr una relación precio-rendimiento sin precedentes.
Características de la nueva plataforma
FlashBlade//EXA se basa en una década de innovación de Pure Storage para proporcionar un almacenamiento transformador para entornos de IA y HPC. FlashBlade//EXA permitirá:
● Ofrecer un alto rendimiento, aprovechando las capacidades de metadatos probadas de Pure Storage para maximizar la eficiencia de los canales de IA y minimizar los retrasos durante los flujos de trabajo de formación e inferencia.
○ Permitir un rendimiento multidimensional con procesamiento paralelo masivo e IOPS de metadatos escalables para satisfacer los requisitos de IA de alto rendimiento. Proporcionar más de 10 terabytes por segundo en un único namespace, lo que supone el mejor rendimiento del sector.
● Reducir la complejidad de la gestión eliminando los cuellos de botella de los metadatos
○ Proporcionar un alto rendimiento, disponibilidad y resiliencia de los metadatos para gestionar conjuntos de datos de IA masivos sin ajustes manuales ni configuraciones adicionales.
● Acelerar la innovación en IA con una arquitectura altamente configurable y desagregada
○ Impulsar el cambiante panorama de la IA y la HPC con protocolos estándar de la industria.
○ Incorporar NIC NVIDIA ConnectX de alta velocidad, conmutadores Spectrum, cables LinkX y librerías de comunicaciones aceleradas.
