Kioxia publie la technologie AISAQ comme logiciel open source pour réduire les exigences DRAM pour les systèmes d'IA génératifs

Kioxia Corporation, un fournisseur de solutions de mémoire de pointe, a annoncé aujourd'hui la version open source de sa nouvelle technologie de quantification du produit ANNs entièrement des ann (AISAQ) (1).Le logiciel Kioxia AISAQ ™ présente un nouvel algorithme de recherche de voisin (ANN) approximatif optimisé pour les lecteurs à l'état solide (SSD), offrant des performances évolutives pour la génération (RAG) de la récupération (RAG) tout en éliminant la nécessité de stocker des données indexes dans DRAM - à l'origine,Les recherches sont effectuées directement sur SSDS.

Les systèmes d'IA génératifs nécessitent des ressources de calcul, de mémoire et de stockage importantes.Alors que l'IA a le potentiel de provoquer des percées transformatrices dans toutes les industries, son déploiement comporte souvent des coûts élevés.Le RAG est une étape cruciale dans le développement de l'IA, affinant les modèles de grande langue (LLM) en tirant parti des données spécifiques à l'application ou à l'entreprise.

Au cœur de RAG se trouve une base de données vectorielle, qui accumule et convertit les données spécifiques au domaine en vecteurs de caractéristiques.Le RAG s'appuie également sur les algorithmes ANNS pour identifier les vecteurs qui améliorent le modèle en évaluant la similitude entre les vecteurs accumulés et cibles.Pour être efficace, RAG doit récupérer rapidement les informations les plus pertinentes.Traditionnellement, des algorithmes ANNS ont été déployés dans DRAM pour atteindre les performances à grande vitesse requises.

La technologie Koxia AISAQ offre une solution ANNS évolutive et efficace capable de gérer des ensembles de données à l'échelle des milliards avec une utilisation minimale de mémoire et des capacités de commutation d'index rapide.