Hablamos con Jeff Whitaker, vicepresidente de marketing de productos del fabricante de NAS de escalamiento horizontal Panasas, sobre por qué el almacenamiento es el cuello de botella clave en el procesamiento de inteligencia artificial (IA).
En este podcast, analizamos los requisitos clave del procesamiento de IA y cómo prestar atención al almacenamiento que requiere puede traer beneficios.
Whitaker habla sobre la necesidad de obtener una gran cantidad de datos en los recursos informáticos de IA rápidamente y cómo algunos se sienten tentados a arrojar computación al problema. En su lugar, argumenta que se debe prestar atención al almacenamiento que tiene los perfiles de rendimiento de rendimiento y latencia correctos para manejar muchos archivos pequeños, como se encuentra en la IA.
Antony Adshead: ¿Cuáles son los desafíos que enfrentan las organizaciones cuando se trata de almacenamiento para aplicaciones de alto rendimiento?
Jeff Whitaker: Cuando se trata de aplicaciones de alto rendimiento… la aplicación intenta obtener resultados rápidamente. Está tratando de llegar a una decisión, tratando de recuperar información para el entorno que está usando la aplicación.
A menudo hay una gran dependencia en el lado informático de esto y, a veces, una dependencia excesiva. Muchas veces eso se puede descifrar, eso se puede resolver [asking]qué [does] ¿Cómo se ve un entorno de aplicación típico? Es computación, es red y es almacenamiento.
Y digo almacenamiento en tercer lugar porque, a menudo, el almacenamiento es lo último en lo que se piensa al tratar de obtener rendimiento de un entorno de aplicación.
Una de las cosas que nos gusta observar es, cuando se trata de una aplicación, ¿cuáles son las necesidades de datos? ¿Qué tipo de rendimiento se requiere, qué tipo de latencias se requieren, qué se necesitará para que esa aplicación se ejecute de la manera más eficiente posible?
Y, a menudo, los clientes y socios han buscado resolver el desafío lanzando más cómputo para hacer que las aplicaciones sean más rápidas, pero en realidad el cuello de botella está relacionado con el almacenamiento.
Es importante que las personas entiendan que, cuando se trata de su entorno, deben analizar las necesidades de datos antes de ir e intentar resolver el problema con solo computación.
Por lo tanto, se trata realmente de intentar crear un entorno eficiente para obtener los resultados que necesitan. Necesitan ver qué tipo de entorno de almacenamiento puede resolver los desafíos de su aplicación.
Adshead: ¿Cuáles son las tendencias clave que observa, en particular en torno a la convergencia de la informática de alto rendimiento (HPC) con el almacenamiento empresarial de alta gama, la inteligencia artificial y el aprendizaje automático?
Whitaker: HPC ha sido tradicionalmente un entorno de aplicación que necesita una gran cantidad de datos. Y muchas veces, el entorno de almacenamiento debe ser algo especial que pueda escalar y abordar el rendimiento para que la computación no se quede inactiva. Necesita una gran cantidad de datos que entran allí.
Lo que hemos comenzado a ver con el mundo de la IA y yendo más allá del desarrollo y generando ideas, son esencialmente aplicaciones. Un entorno de IA está tratando de procesar una gran cantidad de datos y obtener un resultado, especialmente durante el proceso de capacitación, hay toneladas de datos que se bombean a la computación. Entonces, en este caso, a menudo son GPU [graphics processing units] que se usan y son caros y nadie quiere sentarse allí y tenerlos inactivos.
Por lo tanto, la rapidez con la que puede bombear los datos a un entorno de IA es fundamental para la rapidez con la que se puede ejecutar la aplicación o el entrenamiento de IA. Si lo observa, está casi a la par con el aspecto típico de un entorno de HPC en el que ingiere una tonelada de datos tratando de obtener un resultado, por lo que realmente necesita ver cuáles son esos datos necesarios para ese proceso de capacitación. o para los diferentes tipos de cargas de trabajo de HPC e intentar resolver el desafío desde allí.
La única diferencia que vemos aquí es a menudo en un mundo de HPC, vemos archivos muy grandes que se bombean a la computadora. Mientras que en el lado de la IA, vemos que se envían toneladas de archivos más pequeños a la computadora.
Y realmente el cuello de botella se convierte en qué tan rápido puede obtener esos datos en el cómputo para que pueda obtener un resultado.
Y realmente salir y decir ¿puede un entorno de almacenamiento empresarial tradicional resolver esa necesidad para usted?
Es latencia, es rendimiento. Los entornos tradicionales tienen la capacidad de tener una latencia pequeña, pero tratar de obtener un rendimiento muy escalable es un gran desafío y ahí es cuando comenzamos a buscar diferentes tipos de arquitectura, como soluciones paralelas que pueden escalar de manera consistente, según la cantidad de rendimiento que necesita, realmente resolviendo ese desafío de ingerir toneladas de datos en esos entornos informáticos.
