Die Entwicklung spezialisierter Beschleuniger für maschinelle Lernaufgaben und Algorithmen war in den letzten Jahren sehr beliebt. Bereits im Jahr 2020 kündigte das britische Unternehmen Graphcore die Schaffung einer neuen Klasse von Beschleunigern an, die es IPU: Intelligence Processing Unit nannte. Ihre Architektur ist sehr interessant.
Die Haupteinheit der IPU ist nicht der Kern, sondern die "Kachel" - ein Bereich des Kristalls, der sowohl Rechenlogik als auch etwas schnellen Speicher mit einer Bandbreite von etwa 45 TB / s (7,8 TB / s) enthält zwischen Fliesen). In der ersten Iteration erhielt der Graphcore-Chip 1216 solcher Tiles mit 300 MByte Speicher, nun hat das Unternehmen die nächste Generation seiner IPUs angekündigt.
Der neue Chip namens BOW kann bedingt als „Generation 2.5“ bezeichnet werden. Es verwendet einen Colossus Mk2-Chip der zweiten Generation: 892 MB SRAM in 1472 Kacheln, die 8832 Threads gleichzeitig ausführen können. Dieser Die wird immer noch mit dem 7-nm-Prozess von TSMC hergestellt, aber Graphcore ist jetzt zu einem fortschrittlicheren 3D-Wafer-on-Wafer (3D WoW)-Packaging übergegangen.
Die neue IPU ist der branchenweit erste Chip mit hoher Komplexität, der eine neue Art von Gehäuse verwendet, und die 3D-WoW-Technologie wurde gemeinsam von Graphcore und TSMC entwickelt, um Energiesubsysteme zu optimieren. Prozessoren dieser Komplexität sind extrem gefräßig und es ist nicht einfach, sie zu „füttern“. Infolgedessen ermöglicht eine gewöhnliche Verpackung keine maximale Leistung eines Colossus Mk2-Chips - Verluste und parasitäre Erwärmung sind zu hoch.
3D WoW ist in vielerlei Hinsicht ähnlich der Technologie implementiert, die AMD in den Milan-X-Serverchips verwendet. Einfach ausgedrückt, Kupferstabstrukturen durchdringen den Kristall und ermöglichen es Ihnen, ihn direkt mit einem anderen Kristall zu verbinden, und sie „kleben“ aneinander. Im Fall von BOW wird die Rolle des unteren Quarzes dem Stromverteiler mit einem System von stabilisierenden Kondensatoren zugewiesen, der den oberen Quarz des Colossus Mk2 speist. Durch den Übergang von flachen zu volumetrischen Strukturen ist es möglich, sowohl den Eingangsstrom zu erhöhen als auch dessen Fließweg zu verkürzen.
Dadurch gelang es dem Unternehmen, die Frequenz und Leistung von BOW weiter zu steigern, ohne den Hauptprozessor zu überarbeiten oder auf eine dünnere und teurere Prozesstechnologie zu übertragen. Hatte die ursprüngliche IPU der zweiten Generation eine Maximalleistung von 250 Tflops, so reden wir jetzt von 350 Tflops - für ein BOW-2000-System mit vier Chips werden 1,4 Pflops Gesamtleistung deklariert. Und dies ist ein guter Gewinn, der ohne kritische Kosten erzielt wird.
Die IPU kommuniziert weiterhin über 10 IPU-Link-Kanäle (320 GB/s) mit der Außenwelt. Der interne Speicher in einem solchen System beträgt bereits fast 4 GB, und es läuft mit einer Geschwindigkeit von 260 TB / s - ein kritischer Parameter für einige Aufgaben des maschinellen Lernens, die immer größere Datensätze erfordern. Die Kapazität des Onboard-Speichers ist weit entfernt von der von NVIDIA und AMD, aber der Geschwindigkeitsgewinn verschafft der Idee von Graphcore einen ernsthaften Vorteil.
BOW-2000-Knoten sind mit Knoten früherer Versionen kompatibel. Vier solcher Nodes (BOW POD16) mit einem Management-Server – alle in einem 5U-Chassis – haben eine Leistung von bis zu 5,6 PFlops. Und ein volles Rack mit 16 BOW-2000-Knoten (BOW POD64) ergibt bereits 22,4 Pflops. Nach Angaben des Unternehmens hat sich die Leistung der neuen Version um 30-40 % erhöht, und die Steigerung der Energieeffizienz beträgt von 10 % auf 16 %.
Graphcore behauptet, dass BOW POD16 NVIDIA DGX-A100 bei den Gesamtbetriebskosten (TCO) zehnmal übertrifft. BOW POD16 ist halb so teuer wie DGX-A100. Leider ist es noch zu früh, um über die Eroberung des Graphcore-Marktes für maschinelles Lernen zu sprechen: Das Unternehmen hat bereits einige Kunden, aber darunter sind keine Giganten wie Google oder Baidu. Langfristig ist die Situation für Graphcore noch lange nicht wolkenlos, aber das Unternehmen bereitet bereits die dritte Generation von IPUs auf Basis der 3-nm-Prozesstechnologie vor.
2022-03-05 03:38:48
Autor: Vitalii Babkin