Systèmes de recommandation activement utilisés par les réseaux sociaux, les plateformes publicitaires, etc. ont des caractéristiques spécifiques. Ils doivent avoir une grande réactivité, mais en même temps leurs modèles d'IA sont assez volumineux, de l'ordre de 100 Go ou plus. Et pour leur travail efficace, vous avez également besoin d'un cache assez grand. Pour l'inférence, soit le CPU (beaucoup de mémoire, mais vitesse relativement faible) soit le GPU (vitesse élevée, mais peu de mémoire) sont le plus souvent utilisés, mais ils ne sont pas très efficaces pour cette tâche.
Dans le même temps, il existe également des limitations physiques de la part des hyperscalers : il n'y a pas beaucoup d'emplacements PCIe à part entière et d'espace libre sur le serveur + il existe des restrictions strictes sur la consommation d'énergie et le refroidissement (le plus souvent par air). Tout cela a été pris en compte par l'espéranto, dont la spécialisation est le développement de puces basées sur l'architecture RISC-V. L'autre jour, elle a reçu les premiers échantillons de l'accélérateur ET-SoC-1 AI, qu'elle appelle elle-même un supercalculateur sur puce.
La nouveauté est destinée à l'inférence de systèmes de recommandation, y compris à la périphérie, où l'efficacité vient au premier plan. L'entreprise s'est fixé une tâche difficile - l'ensemble de la gamme d'accélérateurs avec mémoire et tuyauterie de service ne devrait pas consommer plus de 120 watts. Pour résoudre ce problème, de nombreuses astuces ont dû être appliquées. La toute première et la plus évidente est la création d'une puce relativement petite mais universelle qui pourrait être combinée avec d'autres puces similaires avec une croissance linéaire des performances.
Pour atteindre un haut degré de parallélisme, une telle puce doit être basée sur des cœurs petits mais économes en énergie. C'est pourquoi le choix s'est porté sur les cœurs RISC-V 64 bits, car ils sont "simples" non seulement du point de vue ISA, mais également en termes de budget transistor. La puce ET-SoC-1 combine deux types de cœurs RISC-V : des cœurs classiques « gros » (ET-Maxion) avec une exécution dans le désordre, elle n'a que 4, mais des cœurs « petits » (ET-Minion) avec prise en charge des calculs tensoriels et vectoriels - jusqu'à 1088.
Des tâches à usage général sont attribuées aux cœurs ET-Maxion et il ne participe pas directement au calcul de l'IA, mais il permet à ET-SoC-1 d'être complètement autonome, puisque vous pouvez exécuter Linux directement sur eux. Un autre processeur RISC-V pour périphériques l'aide à cela. Mais les noyaux ET-Minion sont assez simples : ils n'ont pas d'exécution d'instructions dans le désordre, mais ils prennent en charge SMT2 et tout un ensemble de nouvelles instructions pour les opérations INT et FP avec des vecteurs et des tenseurs.
Pour chaque cycle d'horloge, le noyau ET-Minion est capable d'effectuer 128 opérations INT8 tout en stockant le résultat INT32, 16 opérations FP32 ou 32 - FP16. Les opérations "longues" du tenseur peuvent être exécutées en continu pendant 512 cycles (jusqu'à 64 000 opérations), tandis que les blocs entiers sont désactivés pendant ce temps pour économiser de l'énergie. Le système de cache est organisé d'une manière quelque peu inhabituelle. Il y a 4 banques de mémoire par cœur, qui peuvent être utilisées comme cache L1 pour les données et comme mémoire universelle rapide (scratchpad).
Huit cœurs ET-Minion forment un "quart" autour de leur cache d'instructions commun, car de telles tâches sont susceptibles d'avoir les mêmes instructions pour tous les cœurs. De plus, il est plus économe en énergie que huit caches individuels et vous permet d'envoyer et de recevoir des données en gros morceaux, réduisant ainsi la charge sur le cache L2. Huit « blocs » forment un « quartier » avec un commutateur et quatre banques SRAM de 1 Mo pouvant être utilisées comme cache L2 privé, dans le cadre d’un cache L3 partagé ou comme bloc-notes.
Grâce au réseau maillé, les microdistricts communiquent entre eux et avec d'autres unités : ET-Maxion, huit contrôleurs de mémoire double canal, deux complexes racine PCIe 4.0 x8, RoT matériel. Au total, la puce représente environ 160 Mo de SRAM. Les contrôleurs RAM prennent en charge les modules LPDDR4x-4267 ECC (256 bits, jusqu'à 137 Go/s). La vitesse d'horloge de l'ET-Minion va de 500 MHz à 1,5 GHz, tandis que celle de l'ET-Maxion va de 500 MHz à 2 GHz.
Dans le cadre du bloc OCP Glacier Point V2, la société a combiné six ET-SoC-1 (6558 cœurs RISC-V au total) sur une seule carte, leur fournissant 192 Go de mémoire (822 Go / s) - c'est plus que le NVIDIA A100 (80 Go ). Un tel bundle développe plus de 800 sommets, ne nécessitant que 120 watts. En moyenne, il est de 100 à 200 Tops par puce avec une consommation inférieure à 20 watts. Cela vous permet de créer un module M.2 compact ou, au contraire, de faire évoluer le système davantage. Le châssis Yosemite v2 peut accueillir 64 puces, et le rack en compte déjà 384.
Dans le test MLPerf pour les systèmes de recommandation, les performances de l'ensemble susmentionné de six puces par watt se sont avérées 123 fois supérieures à celles de l'Intel Xeon Platinum 8380H (250 W), et deux à trois fois supérieures à celles de NVIDIA. A10 (150W) et T4 (70W). Dans le test ResNet-50 "gênant" pour la puce, la différence avec le CPU et l'accélérateur Habana Goya n'est pas si grande, mais avec les solutions NVIDIA, au contraire, elle est plus perceptible.
Dans le même temps, les développeurs ont également pensé au support logiciel : les puces d'espéranto peuvent fonctionner avec les frameworks répandus PyTorch, TensorFlow, MXNet et Caffe2, ainsi qu'accepter des modèles ONNX prêts à l'emploi. Il existe également un SDK pour C++, ainsi que des pilotes pour les hôtes x86.
Les prototypes sont fabriqués à TSMC en utilisant une technologie de processus de 7 nm. Le cristal d'une superficie de 570 mm2 contient 24 milliards de transistors. La puce a un boîtier BGA2494 avec des dimensions de 45 × 45 mm2. La consommation électrique (et avec elle les performances) est réglable dans la plage de 10 à 60+ watts. Les puces de test seront disponibles pour les clients potentiels d'ici la fin de l'année. La société est également prête à adapter ET-SoC-1 pour d'autres workflows et usines, mais la démo basée sur la plate-forme OCP et la comparaison avec Cooper Lake est un indice sans ambiguïté pour Facebook que l'espéranto sera heureux de le voir parmi les premiers clients .
2021-08-26 07:49:09
Auteur: Vitalii Babkin