AWS, la branche cloud d'Amazon, a annoncé des instances EC2 C7g optimisées par Graviton3, ses processeurs Arm de troisième génération et des instances Trn1 utilisant des accélérateurs Trainium AI, qu'AWS a spécialement conçus pour l'apprentissage automatique.
Cependant, les deux annonces sont préliminaires. Ainsi, pour Graviton3, ni la génération de l'architecture Arm, ni le nombre de cœurs, ni la fréquence ne sont précisés. Mais il est avancé que les nouveaux éléments par rapport aux instances basées sur Graviton2 ont des performances un quart plus élevées et deux fois plus rapides dans les calculs en virgule flottante et en travaillant avec la cryptographie. En même temps, ils consomment 60 % d'énergie en moins.
Certains changements architecturaux sont également mentionnés. Ainsi, le support de bfloat16 permet d'accélérer par trois fois l'exécution des tâches d'IA (on parle probablement d'inférence), et le passage à la DDR5 augmentera la bande passante mémoire de 50%. Chaque vCPU dispose d'un cache dédié et une sécurité supplémentaire est fournie par la protection de la pile matérielle. De plus, les nouvelles instances utilisent le chiffrement de mémoire forcé par défaut, la prise en charge des volumes EBS chiffrés et des vitesses de connexion EFA jusqu'à 30 Gbit/s.
EC2 C7g est, selon AWS, adapté au HPC, à l'EDA, à l'analyse, aux plateformes de jeux et de publicité, au codage multimédia, etc. Des distributions d'Amazon Linux 2, RHEL, SUSE et Ubuntu sont disponibles pour eux, ainsi qu'un certain nombre de logiciels déjà adaptés. Jusqu'à présent, C7g est disponible via des tests fermés sur demande, mais Epic Games, Formula 1 Management, Honeycomb.io et Twitter les ont déjà évalués.
Les processeurs Graviton3 eux-mêmes, comme ses prédécesseurs, sont peu susceptibles d'être vendus "à l'extérieur" et en dehors de l'infrastructure AWS de base, ils n'entreront que dans les avant-postes. Cependant, pour Amazon lui-même, ceci - avec la mise en œuvre de Nitro - est une étape importante vers l'indépendance vis-à-vis des fournisseurs tiers et l'amélioration des performances de ses propres services. Actuellement, seuls 12 types d'instances sont proposés sur la base de Graviton2, mais AWS est assez actif et réussit à migrer tous les autres services et services vers ses propres processeurs.
Les instances EC2 Trn1 visent en général à atteindre les mêmes objectifs. Ils sont basés sur les accélérateurs Trainium, la deuxième puce propriétaire d'Amazon conçue spécifiquement pour les tâches d'apprentissage automatique. La puce est équipée de 32 Go HBM2e et ses performances vont jusqu'à 210 Tops. Les instances Trn1 combinent jusqu'à 16 de ces accélérateurs, reliés par l'interconnexion NeuronLink (768 Go/s), ont des connexions EFA à des vitesses allant jusqu'à 800 Gb/s (le double de la vitesse des instances GPU actuelles) et offrent jusqu'à 8 To de SSD NVMe .
AWS vous permet de former des clusters de dizaines de milliers de Trainiums, connectés par un réseau de classe pétabit et connectés via Amazon FSx à un stockage Lustre pétaoctet. Tout cela vous permet de former rapidement des modèles géants. Pour le travail, un ensemble propriétaire d'outils SDK Neuron est proposé (le même que pour AWS Inferentia), mais il existe également une prise en charge de frameworks populaires comme Tensorflow ou PyTorch. Trn1 est actuellement en accès préliminaire sur demande.
2021-12-01 18:49:47
Auteur: Vitalii Babkin