Sistemi di raccomandazione utilizzati attivamente da social network, piattaforme pubblicitarie, ecc. hanno caratteristiche specifiche. Devono avere un'elevata reattività, ma allo stesso tempo i loro modelli AI sono piuttosto voluminosi, dell'ordine di 100 GB o più. E per il loro lavoro efficiente, hai anche bisogno di una cache abbastanza grande. Per l'inferenza, vengono spesso utilizzate CPU (molta memoria, ma velocità relativamente bassa) o GPU (alta velocità, ma poca memoria), ma non sono molto efficienti per questo compito.
Allo stesso tempo, ci sono anche limitazioni fisiche da parte degli hyperscaler: non ci sono molti slot PCIe a tutti gli effetti e spazio libero nel server + ci sono rigide restrizioni sul consumo di energia e sul raffreddamento (il più delle volte aria). Tutto questo è stato preso in considerazione da Esperanto, la cui specializzazione è lo sviluppo di chip basati sull'architettura RISC-V. L'altro giorno ha ricevuto i primi campioni dell'acceleratore AI ET-SoC-1, che lei stessa chiama Supercomputer-on-Chip.
La novità è destinata all'inferenza dei sistemi di raccomandazione, anche alla periferia, dove l'efficienza viene in primo piano. L'azienda si è prefissa un compito difficile: l'intera gamma di acceleratori con memoria e tubazioni di servizio non dovrebbe consumare più di 120 watt. Per risolvere questo problema, è stato necessario applicare molti trucchi. Il primo e più ovvio è la creazione di un chip relativamente piccolo ma universale che potrebbe essere combinato con altri chip simili con una crescita lineare delle prestazioni.
Per ottenere un alto grado di parallelismo, un tale chip deve essere basato su core piccoli ma efficienti dal punto di vista energetico. Ecco perché la scelta è caduta sui core RISC-V a 64 bit, poiché sono "semplici" non solo dal punto di vista ISA, ma anche in termini di budget dei transistor. Il chip ET-SoC-1 combina due tipi di core RISC-V: i classici core "grandi" (ET-Maxion) con esecuzione fuori ordine, ne ha solo 4, ma i core "piccoli" (ET-Minion) con supporto per calcoli tensoriali e vettoriali - fino a 1088.
Le attività di uso generale sono assegnate ai core ET-Maxion e non partecipa direttamente all'intelligenza artificiale, ma consente a ET-SoC-1 di essere completamente autonomo, poiché è possibile eseguire Linux direttamente su di essi. Un altro processore RISC-V per periferiche lo aiuta in questo. Ma i kernel ET-Minion sono abbastanza semplici: non hanno l'esecuzione fuori ordine delle istruzioni, ma hanno il supporto per SMT2 e un intero set di nuove istruzioni per operazioni INT e FP con vettori e tensori.
Per ogni ciclo di clock, il core ET-Minion è in grado di eseguire 128 operazioni INT8 mentre memorizza il risultato INT32, 16 operazioni FP32 o 32 - FP16. Le operazioni del tensore "lungo" possono essere eseguite continuamente per 512 cicli (fino a 64 mila operazioni), mentre i blocchi interi vengono disattivati durante questo periodo per risparmiare energia. Il sistema di cache è organizzato in un modo un po' insolito. Ci sono 4 banchi di memoria per core, che possono essere usati come cache L1 per i dati e come memoria universale veloce (scratchpad).
Otto core ET-Minion formano un "quarto" attorno alla loro cache di istruzioni comune, poiché è probabile che tali attività abbiano le stesse istruzioni per tutti i core. Inoltre, è più efficiente dal punto di vista energetico rispetto a otto singole cache e consente di inviare e ricevere dati in blocchi di grandi dimensioni, riducendo il carico sulla cache L2. Otto "blocchi" formano un "quartiere" con uno switch e quattro banchi SRAM da 1 MB che possono essere utilizzati come cache L2 privata, come parte di una cache L3 condivisa o come scratchpad.
Attraverso la rete mesh, i microdistretti comunicano tra loro e con altre unità: ET-Maxion, otto controller di memoria dual-channel, due complessi root PCIe 4.0 x8, RoT hardware. In totale, il chip rappresenta circa 160 MB di SRAM. I controller RAM supportano i moduli ECC LPDDR4x-4267 (256 bit, fino a 137 GB/s). La velocità di clock dell'ET-Minion varia da 500 MHz a 1,5 GHz, mentre l'ET-Maxion varia da 500 MHz a 2 GHz.
Come parte del blocco OCP Glacier Point V2, l'azienda ha combinato sei ET-SoC-1 (6558 core RISC-V in totale) su una scheda, fornendo loro 192 GB di memoria (822 GB/s) - questo è più di la NVIDIA A100 (80 GB). Un tale pacchetto sviluppa più di 800 cime, richiedendo solo 120 watt. In media, è 100 - 200 Top per chip con un consumo inferiore a 20 watt. Ciò consente di creare un modulo M.2 compatto o, al contrario, di ridimensionare ulteriormente il sistema. Lo chassis Yosemite v2 può ospitare 64 chip e il rack ha già 384 chip.
Nel test MLPerf per i sistemi di raccomandazione, le prestazioni del suddetto pacchetto di sei chip per watt si sono rivelate 123 volte superiori a quelle dell'Intel Xeon Platinum 8380H (250 W) e da due a tre volte superiori a quelle di NVIDIA A10 (150 W) e T4 (70 W). Nel test ResNet-50 "scomodo" per il chip, la differenza con la CPU e l'acceleratore Habana Goya non è così grande, ma con le soluzioni NVIDIA, al contrario, è più evidente.
Allo stesso tempo, gli sviluppatori hanno pensato anche al supporto software: i chip Esperanto possono funzionare con i framework diffusi PyTorch, TensorFlow, MXNet e Caffe2, oltre ad accettare modelli ONNX già pronti. C'è anche un SDK per C++, oltre a driver per host x86.
I prototipi sono realizzati presso TSMC utilizzando una tecnologia di processo a 7 nm. Il cristallo con un'area di 570 mm2 contiene 24 miliardi di transistor. Il chip ha un pacchetto BGA2494 con dimensioni di 45 × 45 mm2. Il consumo energetico (e con esso le prestazioni) è regolabile nell'intervallo da 10 a 60+ watt. I chip di prova saranno disponibili per i potenziali clienti entro la fine dell'anno. L'azienda è pronta anche ad adattare ET-SoC-1 per altri flussi di lavoro e fabbriche, ma la demo basata sulla piattaforma OCP e il confronto con Cooper Lake è un chiaro indizio per Facebook che Esperanto sarà lieto di vederlo tra i primi clienti .
2021-08-26 07:49:09
Autore: Vitalii Babkin