La startup française LightOn a intégré avec succès l'une de ses unités de traitement optique (OPU) dans le supercalculateur universitaire le plus performant du pays, Jean Zay. Ce travail a été réalisé dans le cadre d'un programme pilote de l'Agence Nationale de Calcul Haute Performance (GENCI) en coopération avec l'Institut de Développement et de Ressources du Calcul Scientifique Intensif (IDRIS).
Travaillant en tandem avec les processeurs de serveur standard et les accélérateurs NVIDIA A100, le coprocesseur optique devrait augmenter considérablement la vitesse d'exécution et réduire la consommation d'énergie des tâches d'apprentissage machine (ML) et d'IA gourmandes en ressources. Certains utilisateurs de Jean Zay pourront tester OPU dans les prochains mois.
Selon les développeurs, les avantages de l'OPU sont dus à l'utilisation de la photonique pour accélérer l'exécution d'algorithmes probabilistes sur des tâches à très grande échelle. Cette approche est essentielle lorsque des calculs précis sont extrêmement complexes et coûteux. Par exemple, la formation du modèle GPT-3 nécessite environ 3 millions d'heures GPU sur les accélérateurs NVIDIA V100. Les méthodes probabilistes (RandNLA) permettent d'obtenir des résultats approximatifs mais suffisants pour une application pratique en moins de temps au moyen de diverses transformations matricielles.
Cependant, travailler avec des matrices de grandes dimensions, qui sont exactement ce dont les modèles d'IA modernes ont besoin, nécessite des ressources de calcul importantes dans le cas des CPU ou GPU "classiques", ainsi que d'énormes matrices mémoire. Les appareils LightOn contournent ce goulot d'étranglement en utilisant des modulateurs de lumière spatiaux et des CCD. Ils peuvent déjà fonctionner avec des tableaux d'un billion d'éléments.
À des taux de rafraîchissement matriciels de l'ordre du kilohertz, les performances équivalentes atteignent le niveau de 1,5 quadrillion d'opérations par seconde (1,5 pétaops), alors que la consommation électrique n'est que de 30 watts. L'OPU effectue les transformations nécessaires en mode passif en raison des caractéristiques physiques de l'appareil lui-même, déchargeant ainsi les principales ressources du supercalculateur (le pré- et post-traitement des données est toujours effectué par le CPU / GPU) et augmentant l'énergie globale efficacité du système.
La société louera le premier OPU Aurora2 disponible dans le commerce dans un châssis 2U à partir de ce printemps. Jean Zay sera la première machine TOP500 à avoir ces coprocesseurs installés. La société s'attend à une augmentation des performances AI du système de 8 à 40 fois par rapport aux calculs uniquement sur le GPU. Selon le PDG de LightOn, Igor Carron, cette intégration d'accélérateurs d'IA dans les systèmes HPC renforcera la confiance des chercheurs dans le fait que les solutions hybrides seront la prochaine étape de l'évolution numérique après les supercalculateurs exascale.
2021-12-24 22:14:05
Auteur: Vitalii Babkin