AWS, il braccio cloud di Amazon, ha annunciato le istanze EC2 C7g basate su Graviton3, i suoi processori Arm di terza generazione e le istanze Trn1 che utilizzano gli acceleratori Trainium AI, che AWS ha creato appositamente per l'apprendimento automatico.
Tuttavia, entrambi gli annunci sono preliminari. Quindi, per Graviton3, non sono specificati né la generazione dell'architettura Arm, né il numero di core, né la frequenza. Ma si sostiene che i nuovi elementi rispetto alle istanze basate su Graviton2 abbiano prestazioni un quarto superiori e due volte più veloci nei calcoli in virgola mobile e quando si lavora con la crittografia. Allo stesso tempo, consumano il 60% in meno di energia.
Si ricordano anche alcune modifiche architettoniche. Quindi, il supporto per bfloat16 consente tre volte di accelerare l'esecuzione dei task AI (probabilmente stiamo parlando di inferenza), e il passaggio a DDR5 aumenterà la larghezza di banda della memoria del 50%. Ogni vCPU ha una cache dedicata e la protezione dello stack hardware fornisce ulteriore sicurezza. Inoltre, le nuove istanze utilizzano la crittografia della memoria forzata per impostazione predefinita, il supporto per i volumi EBS crittografati e velocità di connessione EFA fino a 30 Gbps.
EC2 C7g è, secondo AWS, adatto per HPC, EDA, analisi, piattaforme pubblicitarie e di gioco, codifica dei media e altro ancora. Per loro sono disponibili distribuzioni di Amazon Linux 2, RHEL, SUSE e Ubuntu, oltre a una serie di software già adattati. Finora, C7g è disponibile tramite test chiusi su richiesta, ma Epic Games, Formula 1 Management, Honeycomb.io e Twitter li hanno già valutati.
È improbabile che gli stessi processori Graviton3, come i suoi predecessori, vengano venduti "fuori" e al di fuori dell'infrastruttura AWS principale entreranno solo negli avamposti. Tuttavia, per Amazon stesso, questo, insieme all'implementazione di Nitro, è un passo importante verso l'indipendenza dai fornitori di terze parti e il miglioramento delle prestazioni dei propri servizi. Attualmente, sono offerti solo 12 tipi di istanze basate su Graviton2, ma AWS è abbastanza attivo e riesce a migrare tutti gli altri servizi e servizi alle proprie CPU.
Le istanze EC2 Trn1, in generale, mirano a raggiungere gli stessi obiettivi. Si basano sugli acceleratori Trainium, il secondo chip proprietario di Amazon progettato specificamente per le attività di apprendimento automatico. Il chip è dotato di 32 GB HBM2e e le sue prestazioni sono fino a 210 Top. Le istanze Trn1 combinano fino a 16 di questi acceleratori, collegati dall'interconnessione NeuronLink (768 GB/s), hanno connessioni EFA a velocità fino a 800 Gb/s (il doppio della velocità delle attuali istanze GPU) e offrono SSD NVMe fino a 8 TB .
AWS ti consente di formare cluster di decine di migliaia di Trainium, connessi da una rete di classe petabit e connessi tramite Amazon FSx a uno storage Lustre da petabyte. Tutto ciò ti consente di addestrare rapidamente modelli giganti. Per lavoro, viene offerto un set proprietario di strumenti Neuron SDK (lo stesso di AWS Inferentia), ma c'è anche il supporto per framework popolari come Tensorflow o PyTorch. Trn1 è attualmente in accesso preliminare su richiesta.
2021-12-01 18:49:47
Autore: Vitalii Babkin