Das französische Startup LightOn hat erfolgreich eine seiner Optical Processing Unit (OPU) in den leistungsstärksten akademischen Supercomputer des Landes, Jean Zay, integriert. Diese Arbeiten wurden im Rahmen eines Pilotprogramms der National Agency for High Performance Computing (GENCI) in Kooperation mit dem Institute for Intensive Scientific Computing Development and Resources (IDRIS) durchgeführt.
In Kombination mit Standard-Server-CPUs und NVIDIA A100-Beschleunigern sollte der optische Coprozessor die Ausführungsgeschwindigkeit drastisch erhöhen und den Stromverbrauch von ressourcenintensiven maschinellen Lern- (ML) und KI-Aufgaben reduzieren. Ausgewählte Jean Zay-Benutzer können OPU in den kommenden Monaten testen.
Laut den Entwicklern liegen die Vorteile von OPU in der Verwendung von Photonik, um die Ausführung probabilistischer Algorithmen bei ultragroßen Aufgaben zu beschleunigen. Dieser Ansatz ist unerlässlich, wenn genaue Berechnungen äußerst komplex und kostspielig sind. Das Trainieren des GPT-3-Modells erfordert beispielsweise etwa 3 Millionen GPU-Stunden auf NVIDIA V100-Beschleunigern. Probabilistische Verfahren (RandNLA) erlauben es, durch verschiedene Matrixtransformationen in kürzerer Zeit ungefähre, aber für die praktische Anwendung ausreichende Ergebnisse zu erhalten.
Die Arbeit mit Arrays mit großen Abmessungen, die genau das, was moderne KI-Modelle brauchen, erfordert jedoch bei "klassischen" CPUs oder GPUs erhebliche Rechenressourcen sowie riesige Speicherarrays. LightOn-Geräte umgehen diesen Engpass, indem sie räumliche Lichtmodulatoren und CCDs verwenden. Sie können bereits mit Arrays von einer Billion Elementen arbeiten.
Bei Matrix-Bildwiederholraten in der Größenordnung von Kilohertz erreicht die äquivalente Leistung das Niveau von 1,5 Billiarden Operationen pro Sekunde (1,5 Petaops), während die Leistungsaufnahme nur 30 Watt beträgt. OPU führt aufgrund der physikalischen Eigenschaften des Geräts selbst die notwendigen Transformationen im passiven Modus durch, entlastet dadurch die Hauptressourcen des Supercomputers (die Vor- und Nachverarbeitung der Daten wird weiterhin von der CPU / GPU durchgeführt) und erhöht die Gesamtenergie Effizienz des Systems.
Das Unternehmen wird ab diesem Frühjahr die erste kommerziell erhältliche OPU Aurora2 in einem 2U-Chassis leasen. Jean Zay wird die erste TOP500-Maschine sein, auf der diese Coprozessoren installiert sind. Das Unternehmen erwartet eine Steigerung der KI-Leistung des Systems um das 8-40-fache im Vergleich zu Berechnungen nur auf der GPU. Laut Igor Carron, CEO von LightOn, wird diese Integration von KI-Beschleunigern in HPC-Systeme das Vertrauen der Forscher stärken, dass Hybridlösungen nach Exascale-Supercomputern der nächste Meilenstein in der digitalen Evolution sein werden.
2021-12-24 22:14:05
Autor: Vitalii Babkin