Intel a présenté la deuxième génération de puces neuromorphiques : Loihi II. Conceptuellement et architecturalement, la nouvelle puce, dans son ensemble, reprend la première génération, annoncée il y a quatre ans, mais comporte un certain nombre d'améliorations techniques et logicielles. Mais plus intéressant encore, avec la sortie de Loihi II, qui est toujours considérée comme un développement de recherche, la société est prête à faire les premiers pas vers une commercialisation limitée de cette solution.
Dans le cadre de l'approche neuromophorique, les chercheurs tentent de recréer matériellement, avec plus ou moins de précision, les mécanismes sous-jacents au cerveau, qui à première vue sont assez simples : les signaux se propagent de manière asynchrone et en parallèle le long d'un réseau dense et changeant dans le temps. réseau de neurones en réponse à des événements externes.
Les tentatives pour répéter cela dans le cadre du « matériel » conventionnel peuvent être considérées comme assez réussies, car vous ne surprendrez désormais personne avec les réseaux de neurones. Cependant, de tels réseaux nécessitent une formation préliminaire coûteuse sur des données pré-étiquetées, tandis que le cerveau apprend à la volée. Et avec la croissance de la complexité des modèles, se pose la question de l'efficacité énergétique, et pas seulement de la formation, mais aussi de l'exécution.
Cerebras WSE-2 peut être considéré aujourd'hui comme le « summum de l'évolution » des accélérateurs d'IA classiques : une puce de la taille d'une plaquette de silicium contient 850 000 cœurs et consomme 15 kW. Mais cela ne suffit pas - selon les développeurs eux-mêmes, seul un groupe de telles puces est capable de fonctionner avec des modèles d'IA comparables en échelle au cerveau humain. Et toutes ces limitations visent à éliminer précisément les systèmes neuromorphiques.
Loihi II est fabriqué à l'aide de la technologie de processus EUV 4 d'Intel, qui est encore en cours de développement. La puce a une surface de 31 mm2 et contient 2,3 milliards de transistors, et la surface d'un noyau est de 0,21 mm2, c'est-à-dire que la densité a presque doublé par rapport à la première génération. La puce contient toujours 128 cœurs de neurones, mais le nombre de neurones disponibles est passé de 128 000 à 1 million. La quantité de mémoire par cœur a légèrement diminué, passant de 208 à 192 Ko, mais les banques de mémoire peuvent désormais être réparties de manière plus flexible entre les neurones. et synapses, et la compression vous permet d'utiliser le volume disponible encore plus efficacement.
Les noyaux eux-mêmes ont également changé. Dans la première génération, ils ont été optimisés pour des réseaux de neurones à impulsions spécifiques, et maintenant chaque cœur a son propre pipeline programmable, et les modèles eux-mêmes au niveau de la puce sont définis par microcode. De plus, jusqu'à 4096 octets peuvent être utilisés pour l'état du neurone, en fonction des tâches (auparavant, il n'y avait que 24 octets). Le nombre de synapses par puce est passé de 128 à 12 millions, mais elles ont reçu une mise à niveau significative - une valeur INT32 est utilisée pour coder le signal, plutôt qu'un binaire (oui / non).
Ensemble, cela vous permet d'utiliser l'apprentissage (y compris à la volée) avec un troisième facteur. Cependant, le jeu d'instructions des noyaux neuromorphiques est encore simple. Il comprend les opérations arithmétiques de base, les décalages, les branchements, la mémoire/le registre et la gestion des impulsions. Les cœurs eux-mêmes sont connectés par un réseau maillé rapide 8 × 16, et six autres cœurs dédiés (auparavant, il n'y en avait que trois) avec accélération matérielle des tâches correspondantes sont responsables de la configuration du réseau, du (dé)codage des données et du contrôle de la transmission des impulsions .
L'effet total de toutes les innovations est tel que le Loihi II est plus rapide que la première génération de Loihi d'environ un ordre de grandeur. De plus, il a reçu une évolutivité améliorée : jusqu'à 1000 cœurs sur la puce elle-même, et vous pouvez également former un réseau maillé de puces en trois dimensions grâce à six contrôleurs d'E/S dédiés sur chacun d'eux et des lignes quatre fois plus rapides. Et pour la communication avec l'extérieur, des interfaces standards SPI/AER, GPIO et 1/2,5/10GbE sont désormais disponibles.
Le premier appareil basé sur Loihi II était la carte à puce unique Oheo Gulch pour le développement et le débogage de logiciels. Il n'est actuellement disponible que pour certains partenaires Intel dans le Neuromorphic Research Cloud. Le prochain appareil sera la carte compacte (4 "× 4") Kapoho Point, qui porte déjà huit puces Loihi II et fournit Ethernet et GPIO, ainsi que diverses interfaces pour capteurs et actionneurs. Les cartes peuvent être directement connectées les unes aux autres pour une extension facile de la puissance de calcul. À l'avenir, il est possible d'intégrer des puces dans des SoC hybrides pour diverses tâches, ainsi que l'émergence de solutions pour les centres de données.
En général, les domaines d'application et les tâches des nouveaux produits coïncident avec ceux qui sont maintenant desservis par les réseaux de neurones "classiques" (ajustés pour l'efficacité énergétique). Cependant, un seul "matériel" pour la distribution n'est pas suffisant, Intel a donc préparé un framework open source universel LAVA, qui unifiera le développement et la préparation de modèles pour presque toutes les solutions matérielles (pas seulement neuromorphiques), en tenant compte des spécificités de architecturales.
2021-09-30 16:20:44
Auteur: Vitalii Babkin