AWS, der Cloud-Arm von Amazon, hat EC2 C7g-Instances mit Graviton3, seinen ARM-Prozessoren der dritten Generation, und Trn1-Instances mit Trainium AI-Beschleunigern angekündigt, die AWS speziell für maschinelles Lernen entwickelt hat.
Beide Ankündigungen sind jedoch vorläufig. Für Graviton3 werden also weder die Generation der Arm-Architektur, noch die Anzahl der Kerne noch die Frequenz angegeben. Es wird aber argumentiert, dass die neuen Items im Vergleich zu Instanzen auf Basis von Graviton2 eine um ein Viertel höhere Performance und doppelte Geschwindigkeit bei Gleitkommaberechnungen und beim Arbeiten mit Kryptographie aufweisen. Gleichzeitig verbrauchen sie 60 % weniger Energie.
Einige architektonische Änderungen werden ebenfalls erwähnt. Die Unterstützung von bfloat16 ermöglicht es also, die Ausführung von KI-Aufgaben dreimal zu beschleunigen (wir sprechen wahrscheinlich von Inferenz), und der Übergang zu DDR5 wird die Speicherbandbreite um 50% erhöhen. Jede vCPU verfügt über einen dedizierten Cache und zusätzliche Sicherheit bietet der Hardware-Stack-Schutz. Darüber hinaus verwenden neue Instanzen standardmäßig erzwungene Speicherverschlüsselung, Unterstützung für verschlüsselte EBS-Volumes und EFA-Verbindungsgeschwindigkeiten von bis zu 30 Gbit/s.
EC2 C7g ist laut AWS geeignet für HPC, EDA, Analytics, Spiele- und Werbeplattformen, Mediencodierung und mehr. Für sie stehen Distributionen von Amazon Linux 2, RHEL, SUSE und Ubuntu sowie eine Reihe bereits angepasster Software zur Verfügung. Bisher ist C7g durch geschlossene Tests auf Anfrage erhältlich, aber Epic Games, Formula 1 Management, Honeycomb.io und Twitter haben sie bereits evaluiert.
Die Graviton3-Prozessoren selbst werden, wie ihre Vorgänger, wahrscheinlich nicht "draußen" verkauft werden und außerhalb der AWS-Kerninfrastruktur nur in Outposts landen. Für Amazon selbst ist dies jedoch – zusammen mit der Einführung von Nitro – ein wichtiger Schritt in Richtung Unabhängigkeit von Drittanbietern und Verbesserung der Leistungsfähigkeit der eigenen Dienste. Derzeit werden nur 12 Arten von Instanzen basierend auf Graviton2 angeboten, aber AWS ist recht aktiv und erfolgreich bei der Migration aller anderen Dienste und Dienste auf seine eigenen CPUs.
EC2 Trn1-Instances zielen im Allgemeinen darauf ab, dieselben Ziele zu erreichen. Sie basieren auf Trainium-Beschleunigern, dem zweiten proprietären Chip von Amazon, der speziell für maschinelle Lernaufgaben entwickelt wurde. Der Chip ist mit 32 GB HBM2e bestückt und seine Leistung beträgt bis zu 210 Tops. Trn1-Instanzen kombinieren bis zu 16 dieser Beschleuniger, verbunden durch die NeuronLink-Verbindung (768 GB/s), verfügen über EFA-Verbindungen mit Geschwindigkeiten von bis zu 800 Gb/s (doppelte Geschwindigkeit aktueller GPU-Instanzen) und bieten bis zu 8 TB NVMe SSD .
AWS ermöglicht es Ihnen, Cluster von Zehntausenden von Trainiums zu bilden, die über ein Petabit-Klassen-Netzwerk verbunden und über Amazon FSx mit einem Petabyte-Luster-Speicher verbunden sind. All dies ermöglicht es Ihnen, riesige Modelle schnell zu trainieren. Für die Arbeit wird ein proprietäres Set von Neuron SDK-Tools angeboten (das gleiche wie für AWS Inferentia), aber es gibt auch Unterstützung für gängige Frameworks wie Tensorflow oder PyTorch. Trn1 befindet sich derzeit auf Anfrage im vorläufigen Zugriff.
2021-12-01 18:49:47
Autor: Vitalii Babkin