Weka ha llevado su sistema de archivos paralelo multinube, con la versión 4 de nube extendida que funciona desde AWS a Microsoft Azure, Google Cloud Platform y Oracle Cloud Infrastructure. Weka funciona en el centro de datos y la nube pública para proporcionar almacenamiento de acceso a archivos y, a menudo, está dirigido a cargas de trabajo de análisis e inteligencia artificial/aprendizaje automático.
“La principal ventaja de poder pasar de una nube a otra es poder almacenar sus datos con el proveedor que sea más ventajoso para usted”, dijo Nilesh Patel, director de productos de Weka, en una entrevista con ComputerWeekly.com’s Publicación hermana francesa LeMagIT.
“Sin Weka, puede sufrir ‘efectos de costura’ que pueden variar desde la dificultad de convertir datos entre nubes hasta costos elevados como resultado de la extracción de datos de un servicio en la nube”, agregó Patel.
Por lo tanto, Weka puede presentar el mismo NAS a los usuarios y aplicaciones, mientras que los archivos pueden estar en un almacenamiento de objetos económico o en un almacenamiento de bloques de alto rendimiento.
El sistema de Weka, inicialmente llamado Matrix, ahora conocido como Plataforma de datos, pero generalmente denominado por la mayoría solo como Weka, puede reconocer medios y datos de nivel entre almacenamiento, incluido SSD NVMe muy rápido, flash QLC más económico y conectado a través de redes de 100 Gbps.
La fortaleza clave de Weka radica en tener múltiples métodos de conexión a su almacenamiento para optimizar las lecturas y escrituras de archivos. Hace interfaz con GPUDirect de Nvidia en clústeres de procesamiento equipados con GPU y con clústeres de contenedores de Kubernetes a través de un controlador CSI, por ejemplo. Para los métodos de acceso al almacenamiento “clásicos”, Weka puede compartir a través de NFS (hasta v4.1), en SMB pero con la variante SMB-W que acelera el acceso a archivos pequeños y a través de S3.
“En la versión 4 de Weka, hemos agregado un nuevo proceso de reducción de datos que permite el movimiento rápido de información de un medio a otro y puede reducir drásticamente la capacidad de almacenamiento consumida”, dijo Patel. “Eso es con archivos, sus metadatos e incluso instantáneas que corresponden a imágenes de unidades en un momento dado. Como ejemplo, es posible extraer datos archivados de S3 Glacier en apenas milisegundos”.
S3 Glacier es el más barato de todos los servicios de almacenamiento de AWS, pero también el que tiene los tiempos de acceso más largos. Entonces, acceder a los datos en milisegundos requiere un truco. Patel dijo que Weka recupera datos archivados de fragmentos que no están todos en S3 Glacier. De hecho, mientras el usuario ve un conjunto de directorios, Weka hace uso de otros en segundo plano para organizar los datos de la mejor manera posible.
WekaIO desarrolló un sistema de archivos que permite un acceso rápido, a través de almacenamiento flash en particular, a conjuntos muy grandes de datos no estructurados.
Afirma haber superado los límites del sistema de archivos de red (NFS), desarrollado en la década de 1980, y que supera el rendimiento de rivales como NetApp y el NAS de escalamiento horizontal Isilon de Dell EMC.
Los ejecutivos de Weka han señalado que NFS se estandarizó en 1984 y afirman que es “muy hablador” y que funciona “de una manera muy serializada” y que, por lo tanto, no escala bien.
Weka dice que ha paralelizado el acceso a directorios y metadatos al dividir las cosas en muchos fragmentos más pequeños para que sea más rápido que un sistema de archivos local.
WekaIO apunta a cargas de trabajo que necesitan acceso a grandes cantidades de datos no estructurados, incluidos inteligencia artificial/aprendizaje automático, análisis financiero, ciencias de la vida y diseño de ingeniería. Está dirigido a clientes que actualmente usan NAS escalables con sistemas de archivos como GPFS/Spectrum Scale de IBM y Lustre de código abierto.
No se habló de los costos del producto durante la entrevista de LeMagIT. Los clientes pagan por Weka en formato de suscripción.
Hitachi Vantara utiliza Weka en sus puertas de enlace de la plataforma HNAS, donde los datos se pueden compartir desde sus matrices de discos VSP, así como ampliar la capacidad a la nube pública.
