AmazonのクラウドアームであるAWSは、第3世代のArmプロセッサであるGraviton3を搭載したEC2 C7gインスタンスと、AWSが機械学習用に特別に構築したTrainiumAIアクセラレータを使用したTrn1インスタンスを発表しました。
ただし、どちらの発表も暫定的なものです。したがって、Graviton3の場合、Armアーキテクチャの生成、コアの数、周波数のいずれも指定されていません。ただし、Graviton2に基づくインスタンスと比較して、新しいアイテムのパフォーマンスは4分の1高く、浮動小数点計算および暗号化を使用する場合は2倍高速であると主張されています。同時に、それらは60％少ないエネルギーを消費します。
いくつかのアーキテクチャの変更についても説明します。したがって、bfloat16のサポートにより、AIタスクの実行を3倍高速化でき（おそらく推論について話している）、DDR5への移行によりメモリ帯域幅が50％増加します。各vCPUには専用のキャッシュがあり、ハードウェアスタック保護によって追加のセキュリティが提供されます。さらに、新しいインスタンスはデフォルトで強制メモリ暗号化を使用し、暗号化されたEBSボリュームをサポートし、EFA接続速度は最大30Gbpsです。
AWSによると、EC2 C7gは、HPC、EDA、分析、ゲームおよび広告プラットフォーム、メディアコーディングなどに適しています。 Amazon Linux 2、RHEL、SUSE、Ubuntuのディストリビューション、およびすでに適応されている多数のソフトウェアが利用可能です。これまでのところ、C7gはリクエストに応じてクローズドテストで利用できますが、Epic Games、F1 Management、Honeycomb.io、Twitterはすでにそれらを評価しています。
Graviton3プロセッサ自体は、その前身と同様に「外部」で販売される可能性は低く、コアAWSインフラストラクチャの外部では前哨基地にのみ入ります。ただし、Amazon自体にとって、これは、Nitroの実装とともに、サードパーティベンダーからの独立と自社サービスのパフォーマンスの向上に向けた重要なステップです。現在、Graviton2に基づいて提供されているインスタンスは12種類のみですが、AWSは非常にアクティブであり、他のすべてのサービスとサービスを独自のCPUに移行することに成功しています。
EC2 Trn1インスタンスは、一般に、同じ目標を達成することを目的としています。これらは、機械学習タスク用に特別に設計されたAmazonの2番目の独自チップであるTrainiumアクセラレータに基づいています。チップには32GBのHBM2eが搭載されており、そのパフォーマンスは最大210トップです。 Trn1インスタンスは、NeuronLink相互接続（768 GB / s）によってリンクされたこれらのアクセラレータの最大16を組み合わせ、最大800 Gb / s（現在のGPUインスタンスの2倍の速度）の速度でEFA接続を持ち、最大8 TB NVMeSSDを提供します。
AWSでは、ペタビットクラスネットワークで接続され、AmazonFSxを介してペタバイトのLustreストレージに接続された数万のTrainiumのクラスターを形成できます。これらすべてにより、巨大なモデルをすばやくトレーニングできます。仕事のために、独自のNeuron SDKツールのセットが提供されています（AWS Inferentiaの場合と同じ）が、TensorflowやPyTorchなどの一般的なフレームワークもサポートされています。 Trn1は現在、リクエストに応じて予備アクセス中です。
2021-12-01 18:49:47
著者: Vitalii Babkin