La puce US AI "cheval noir" à tuer, la plus grosse puce de l'histoire

Selon un certain nombre de reportages de médias étrangers, récemment, CerebrasSystems, la start-up américaine spécialisée dans les puces électroniques, a lancé la plus grande puce de tous les temps, la puce appelée "TheCerebrasWaferScaleEngine". (ci-après dénommé WSE) a 1,2 billion de transistors.

Dans l’histoire de la puce, en 1971, le premier processeur 4004 d’Intel ne comptait que 2 300 transistors et le dernier processeur à micro-périphérique avancé n’avait que 32 milliards de transistors. Samsung a également construit une puce de mémoire flash (puce eUFS) avec 2 trillions de transistors, mais elle ne convient pas à l'informatique artificielle.

WSE, la plus grosse puce qui bat un record, est née pour l'informatique artificielle.

Les données montrent que la puce de 42 225 mm 2 comporte 400 000 cœurs connectés entre eux par un réseau de communication réseau intra-maillage à grain fin, entièrement matériel, qui fournit 100 PB de bande passante totale par seconde. Plus de cœurs, plus de mémoire locale et une architecture à faible bande passante et à faible temps de latence créent la meilleure architecture pour accélérer le travail de l'intelligence artificielle. WSE est 56,7 fois plus grand que le plus grand GPU et possède 18 Go de chipsram.

En fait, la plupart des puces actuelles sont des intégrations multi-puces basées sur du silicium de 12 pouces. Mais la puce de CerebrasSystems est une puce séparée dans laquelle les transistors sont interconnectés sur une tranche de silicium monocristallin. La conception interconnectée permet à tous les transistors de fonctionner à grande vitesse dans son ensemble.

Explicitement expliqué, ce produit est complètement informatisé, bien plus que la puissance de calcul et la bande passante de stockage, désolé, le niveau de personnes ou le nouveau vocabulaire - octets de temps (Petaoctets, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bits), la vitesse est environ 3000 fois celui du plus grand processeur graphique de NVIDIA (GPU, puissance de calcul à virgule flottante, couramment utilisé dans la recherche liée à l'IA) et la bande passante de stockage est 1000 fois supérieure.

Une capacité si puissante vient de ses 1,2 trillions de transistors sur la puce. On sait que le processeur 4004 d'Intel avait 2 300 transistors en 1971. Selon la loi de Moore, «tous les 18 mois, le nombre de transistors sur la puce double», cette année, il devrait y avoir exactement 1 billion de transistors et un transistor supplémentaire, et la puissance de calcul réalisable est augmentée d'un point. Deuxièmement, la conception de son architecture de puces, ainsi que son schéma d’interconnexion et de communication de puces, sont également très avancés, rendant la synergie entre 1,2 billion de transistors très synchrone, retardant ainsi le niveau de la nanoseconde. Au moment de l'exécution, ces 1 200 milliards de transistors sont comme si un transistor était synchronisé.

Dans le domaine de l'intelligence artificielle, la taille de la puce est très importante. Étant donné que les puces de grande taille traitent les informations plus rapidement, le temps nécessaire pour générer des réponses est plus court. Réduire le temps d'observation, ou "temps de formation", permet aux chercheurs de tester plus d'idées, d'utiliser plus de données et de résoudre de nouveaux problèmes. Google, Facebook, OpenAI, Tencent, Baidu et bien d'autres pensent que la limitation fondamentale du développement de l'intelligence artificielle aujourd'hui est qu'il est trop long de former le modèle. Par conséquent, la réduction du temps de formation éliminera un goulot d'étranglement majeur dans les progrès de l'industrie.

Bien sûr, les fabricants de puces ne produisent généralement pas de gros jetons pour une raison. Sur une seule plaquette, certaines impuretés apparaissent généralement au cours du processus de fabrication. Un peu d'impureté peut provoquer une défaillance de la puce, voire même la décomposer gravement. Si une seule puce est fabriquée sur une seule plaquette, la probabilité que celle-ci contienne des impuretés est de 100% et les impuretés feront certainement échouer la puce. Mais la conception de la puce de CerebrasSystems est marginale, garantissant qu’une seule ou une petite quantité d’impuretés n’annule pas la totalité de la puce.

Le PDG de Cerebras Systems, Freldman, a déclaré dans un communiqué: "La puce WSE de la société est conçue pour l'intelligence artificielle et contient des innovations de base qui résolvent les problèmes techniques qui limitent la taille de la puce pendant des décennies, telles que la connexion croisée *, le rendement et la puissance. Et l'emballage. Chaque décision architecturale consiste à optimiser les performances du travail en intelligence artificielle. En conséquence, la puce WSE fournit des centaines, voire des milliers de fois de solutions existantes en fonction de la charge de travail, avec peu de puissance et d'espace. performance. & quot;

Ces améliorations de performances sont obtenues en accélérant tous les éléments de la formation au réseau de neurones. Le réseau de neurones est une boucle de rétroaction informatique à plusieurs niveaux. Plus l'entrée passe rapidement dans la boucle, plus la boucle apprend ou "s'entraîne" rapidement. Pour accélérer la saisie dans la boucle, vous devez accélérer le calcul et la communication au sein de la boucle.

Dans l'architecture de communication, l'architecture de communication par cluster dépasse la bande passante et les retards causés par une partie de la consommation d'énergie de la technologie de communication traditionnelle en raison de l'utilisation du processeur relais sur la WSE. En utilisant une structure matricielle bidimensionnelle pour connecter 400 000 processeurs WSE, l’architecture de cluster permet une latence faible et une bande passante élevée, avec une bande passante globale allant jusqu’à 100 battements par seconde (1017 octets par seconde). . Même si aucun logiciel supplémentaire n'est installé, une telle structure de cluster peut prendre en charge le traitement global des informations, et les informations reçues sont traitées par le processeur correspondant.

Pour ce produit, la production en série et la dissipation thermique peuvent être les principaux défis. Cependant, l'avènement de WSE, ses propres points forts sont suffisants.

Linley Gwennap, analyste principale du groupe Linley, a déclaré dans un communiqué: "CerebrasSystems a fait de grands progrès en matière de technologie de conditionnement à l'échelle de la tranche, et les performances de traitement sur une puce de silicium dépassent de loin l'imagination de quiconque. Réalisant cet exploit, la société a résolu une série de problèmes d'ingénierie qui ont affecté l'industrie pendant des décennies, notamment en permettant une communication rapide du mode au mode, en résolvant des défauts de fabrication, en emballant des puces de cette taille, en fournissant des alimentations haute densité et en refroidissant systèmes. CerebrasSystems Rassembler les meilleurs ingénieurs de différentes disciplines, créer de nouvelles technologies et proposer un produit en quelques années seulement est une réalisation impressionnante. "

Jim McGregor, analyste principal et fondateur de TiriasResearch, a déclaré dans un communiqué: "Jusqu'à présent, le processeur graphique reconfiguré a répondu à l'énorme demande d'intelligence artificielle pour la puissance de calcul. La solution actuelle aura des centaines de ces graphiques reconfigurés. Les processeurs sont connectés entre eux et prennent plusieurs mois à installer, à utiliser des centaines de kilowatts d'énergie et à modifier en profondeur le logiciel d'intelligence artificielle, voire des mois pour atteindre ses fonctionnalités. En revanche, WSE à puce unique La taille absolue de la puce permet plus de calculs, une mémoire plus performante et une bande passante plus grande. Les puces WSA évitent les connexions lâches, la mémoire lente, la mise en cache et l'intégration par le biais de techniques d'intégration de paquets à l'échelle. Les limitations de performances traditionnelles inhérentes aux puces de processeur centrées sur les graphiques.

Fondé en 2016, CerebrasSystems est un mystérieux et discret dans le secteur depuis sa création, en se concentrant sur la fourniture de produits de données pour la formation en centre de données. Il a été nommé "les 100 sociétés de puces les plus attendues au monde". par CBInsights. Selon les données, la société a finalisé un financement de série A de 25 millions de dollars en 2016. L'investisseur était un indice de référence du secteur du capital-risque, qui a par la suite bénéficié de multiples tours de financement. En septembre 2017, il avait reçu un financement total de 112 millions de dollars, évalué à 860 millions de dollars.

L'équipe fondatrice de la société est également très solide. Le cofondateur et PDG Andrew Feldman, fondateur de la société de puces SeaMicro, a été acquis par AMD en 2012 pour 334 millions de dollars. Après l’acquisition de SeaMicro par AMD, les camarades de classe d’origine sont pour la plupart entrés dans AMD pour continuer leur travail. Ainsi, quand Andrew Feldman a pris la direction de la poursuite de ses activités, de nombreux anciens collègues ont choisi de suivre et la plupart des autres membres importants de l’équipe étaient pour la plupart avec le fondateur. Andrew Feldman.

Gary Lauterbach est une des choses qui mérite d'être mentionnée. Dans les années 1990, lorsque Sun était au milieu de la journée, Gary Lauterbach était le principal concepteur de puces de la société. Plus tard, chez SeaMicro, il était principalement engagé dans la conception de serveurs à faible consommation. On peut dire que la société a accumulé un grand nombre de faibles consommations d'énergie au début de la création. Le vétéran de la conception de la puce, c'est sans aucun doute une victoire pour le démarrage moyen.

Puis, en 2018, un autre poids lourd a rejoint Celebras Systems. L'ancien vice-président de l'architecture et des centres de données, DTOI Dhiraj Mallick, était officiellement vice-président de l'ingénierie et des affaires. Durant son mandat chez Intel, le chiffre d'affaires du deuxième trimestre de 2018 a augmenté de 1 milliard de dollars par rapport à l'année précédente. Au premier semestre de 2018, les revenus du centre de données de la société ont été portés à 10 milliards de dollars. C'est une technologie reconnue et un génie des affaires. Il est également un ancien collègue de AndrewFeldman chez SeaMicro et AMD. La société compte maintenant 194 employés.

CerebrasSystems a encore beaucoup de chemin à faire, mais il n’est pas difficile d’imaginer que l’IA apporte une vague d’architecture informatique et de technologie de conditionnement des puces. Nous pouvons nous attendre à assister à des puces d’IA plus intéressantes et même inattendues.