Amazon의 클라우드 부문인 AWS는 3세대 Arm 프로세서인 Graviton3로 구동되는 EC2 C7g 인스턴스와 AWS가 기계 학습을 위해 특별히 구축한 Trainium AI 가속기를 사용하는 Trn1 인스턴스를 발표했습니다.
그러나 두 가지 발표는 모두 잠정적입니다. 따라서 Graviton3의 경우 Arm 아키텍처의 생성도, 코어 수도, 주파수도 지정되지 않습니다. 그러나 새 항목은 Graviton2 기반 인스턴스와 비교하여 부동 소수점 계산 및 암호화 작업 시 성능이 1/4, 속도가 2배 빠르다는 주장이 있습니다. 동시에 그들은 에너지를 60% 덜 소비합니다.
일부 아키텍처 변경 사항도 언급됩니다. 따라서 bfloat16을 지원하면 AI 작업 실행 속도를 3배 높일 수 있으며(아마도 추론에 대해 이야기하고 있음) DDR5로 전환하면 메모리 대역폭이 50% 증가합니다. 각 vCPU에는 전용 캐시가 있으며 하드웨어 스택 보호를 통해 추가 보안이 제공됩니다. 또한 새 인스턴스는 기본적으로 강제 메모리 암호화, 암호화된 EBS 볼륨 지원 및 최대 30Gbps의 EFA 연결 속도를 사용합니다.
AWS에 따르면 EC2 C7g는 HPC, EDA, 분석, 게임 및 광고 플랫폼, 미디어 코딩 등에 적합합니다. Amazon Linux 2, RHEL, SUSE 및 Ubuntu의 배포판과 이미 적용된 여러 소프트웨어를 사용할 수 있습니다. 지금까지 C7g는 요청에 따라 비공개 테스트를 통해 제공되지만 Epic Games, Formula 1 Management, Honeycomb.io 및 Twitter에서 이미 평가했습니다.
Graviton3 프로세서 자체는 이전 제품과 마찬가지로 "외부"로 판매되지 않을 것이며 핵심 AWS 인프라 외부에서는 Outposts에만 들어갈 것입니다. 그러나 Amazon 자체의 경우 Nitro 구현과 함께 이는 타사 공급업체로부터 독립하고 자체 서비스의 성능을 개선하기 위한 중요한 단계입니다. 현재 Graviton2를 기반으로 12가지 유형의 인스턴스만 제공되지만 AWS는 다른 모든 서비스와 서비스를 자체 CPU로 마이그레이션하는 데 매우 적극적이고 성공적입니다.
EC2 Trn1 인스턴스는 일반적으로 동일한 목표를 달성하는 것을 목표로 합니다. 기계 학습 작업을 위해 특별히 설계된 Amazon의 두 번째 독점 칩인 Trainium 가속기를 기반으로 합니다. 칩에는 32GB HBM2e가 장착되어 있으며 성능은 최대 210탑입니다. Trn1 인스턴스는 NeuronLink 상호 연결(768GB/s)로 연결된 이러한 가속기 중 최대 16개를 결합하고 최대 800Gb/s(현재 GPU 인스턴스 속도의 두 배) 속도로 EFA 연결을 제공하며 최대 8TB NVMe SSD를 제공합니다. .
AWS를 사용하면 페타비트급 네트워크로 연결되고 Amazon FSx를 통해 페타바이트급 Lustre 스토리지에 연결된 수만 개의 Trainium 클러스터를 형성할 수 있습니다. 이 모든 것을 통해 거대한 모델을 빠르게 훈련할 수 있습니다. 작업을 위해 독점적인 Neuron SDK 도구 세트가 제공되지만(AWS Inferentia와 동일) Tensorflow 또는 PyTorch와 같은 인기 있는 프레임워크에 대한 지원도 있습니다. Trn1은 현재 요청 시 예비 액세스 상태입니다.
2021-12-01 18:49:47
작가: Vitalii Babkin