Intel hat die zweite Generation neuromorpher Chips vorgestellt: Loihi II. Konzeptionell und architektonisch wiederholt der neue Chip insgesamt die vor vier Jahren angekündigte erste Generation, weist jedoch eine Reihe von technischen und Software-Verbesserungen auf. Interessanter ist jedoch, dass das Unternehmen mit der Veröffentlichung von Loihi II, das immer noch als Forschungsentwicklung gilt, bereit ist, die ersten Schritte in Richtung einer begrenzten Kommerzialisierung dieser Lösung zu unternehmen.
Im Rahmen des neuromophorischen Ansatzes versuchen Forscher, die auf den ersten Blick recht einfachen Mechanismen des Gehirns mit unterschiedlicher Genauigkeit in Hardware nachzubilden: Signale breiten sich asynchron und parallel entlang eines dicht geknüpften und zeitveränderlichen Netzwerk von Neuronen als Reaktion auf äußere Ereignisse.
Versuche, dies im Rahmen konventioneller "Hardware" zu wiederholen, können als durchaus erfolgreich angesehen werden, denn jetzt werden Sie niemanden mit neuronalen Netzen überraschen. Solche Netzwerke erfordern jedoch ein teures Vortraining mit vorbeschrifteten Daten, während das Gehirn im laufenden Betrieb lernt. Und mit der zunehmenden Komplexität der Modelle stellt sich das Thema Energieeffizienz und nicht nur die Schulung, sondern auch die Ausführung.
Cerebras WSE-2 kann heute als "Evolutionsgipfel" klassischer KI-Beschleuniger gelten: Ein Chip von der Größe eines Siliziumwafers enthält 850.000 Kerne und verbraucht 15 kW. Doch damit nicht genug – laut den Entwicklern selbst ist nur ein Cluster solcher Chips in der Lage, mit KI-Modellen vergleichbarer Größe wie das menschliche Gehirn zu arbeiten. Und all diese Einschränkungen sollen genau neuromorphe Systeme eliminieren.
Loihi II wird mit Intels EUV-4-Prozesstechnologie hergestellt, die sich noch in der Entwicklung befindet. Der Chip hat eine Fläche von 31 mm2 und enthält 2,3 Milliarden Transistoren, und die Fläche eines Kerns beträgt 0,21 mm2, dh die Dichte hat sich im Vergleich zur ersten Generation fast verdoppelt. Der Chip enthält immer noch 128 neuronale Kerne, aber die Anzahl der verfügbaren Neuronen ist von 128 Tausend auf 1 Million gestiegen. Die Speichermenge pro Kern hat sich leicht verringert, von 208 auf 192 KB, aber jetzt können Speicherbänke flexibler zwischen Neuronen verteilt werden und Synapsen, und die Komprimierung ermöglicht es Ihnen, das verfügbare Volumen noch effizienter zu nutzen.
Auch die Kerne selbst haben sich verändert. In der ersten Generation wurden sie für spezifische Impuls-Neural-Netze optimiert, jetzt hat jeder Kern seine eigene programmierbare Pipeline, und die Modelle selbst auf Chip-Ebene werden durch Mikrocode gesetzt. Außerdem können je nach Aufgabenstellung bis zu 4096 Byte für den Zustand des Neurons verwendet werden (vorher waren es nur 24 Byte). Die Anzahl der Synapsen pro Chip ist von 128 auf 12 Millionen gesunken, aber sie haben ein signifikantes Upgrade erhalten - ein INT32-Wert wird verwendet, um das Signal zu kodieren, und nicht ein Binärwert (ja / nein).
Zusammen ermöglicht dies das Lernen (auch im laufenden Betrieb) mit einem dritten Faktor. Der Befehlssatz neuromorpher Kerne ist jedoch immer noch einfach. Es umfasst grundlegende arithmetische Operationen, Verschiebungen, Verzweigungen, Speicher/Register und Pulsbehandlung. Die Cores selbst sind durch ein schnelles 8×16 Mesh-Netzwerk verbunden, sechs weitere dedizierte Cores (vorher waren es nur drei) mit Hardwarebeschleunigung der entsprechenden Aufgaben sind für die Netzwerkkonfiguration, (De-)Datenkodierung und Pulsübertragungssteuerung zuständig .
Die Gesamtwirkung aller Innovationen ist so, dass der Loihi II um etwa eine Größenordnung schneller ist als der Loihi der ersten Generation. Darüber hinaus erhielt es eine verbesserte Skalierbarkeit: bis zu 1000 Kerne auf dem Chip selbst, und Sie können dank sechs dedizierter I / O-Controller auf jedem von ihnen und viermal schnelleren Leitungen auch ein dreidimensionales Mesh-Netzwerk von Chips bilden. Und für die Kommunikation mit der Außenwelt stehen jetzt Standard-SPI/AER-, GPIO- und 1/2.5/10GbE-Schnittstellen zur Verfügung.
Das erste auf Loihi II basierende Gerät war die Oheo Gulch Single-Chip-Karte für Softwareentwicklung und Debugging. Es steht derzeit nur ausgewählten Intel-Partnern in der Neuromorphic Research Cloud zur Verfügung. Das nächste Gerät wird das kompakte (4"×4") Kapoho Point Board sein, das bereits acht Loihi-II-Chips trägt und Ethernet und GPIO sowie diverse Schnittstellen für Sensoren und Aktoren bereitstellt. Zur einfachen Erweiterung der Rechenleistung können die Boards direkt miteinander verbunden werden. Zukünftig ist es möglich, Chips in hybride SoCs für verschiedene Aufgaben zu integrieren, sowie auch Lösungen für Rechenzentren.
Generell decken sich die Einsatzgebiete und Aufgaben der neuen Produkte mit denen, die heute von „klassischen“ neuronalen Netzen (angepasst an Energieeffizienz) bedient werden. Eine "Hardware" für die Verteilung reicht jedoch nicht aus, daher hat Intel ein universelles Open-Source-Framework LAVA vorbereitet, das die Entwicklung und Erstellung von Modellen für fast alle Hardwarelösungen (nicht nur neuromorph) unter Berücksichtigung der Besonderheiten spezifischer Architekturen.
2021-09-30 16:20:44
Autor: Vitalii Babkin