A startup francesa LightOn integrou com sucesso uma de suas Optical Processing Unit (OPU) ao supercomputador acadêmico de desempenho mais rápido do país, Jean Zay. Este trabalho foi realizado como parte de um programa piloto da Agência Nacional de Computação de Alto Desempenho (GENCI) em cooperação com o Instituto de Desenvolvimento e Recursos de Computação Científica Intensiva (IDRIS).
Trabalhando em conjunto com CPUs de servidor padrão e aceleradores NVIDIA A100, o coprocessador óptico deve aumentar drasticamente a velocidade de execução e reduzir o consumo de energia do aprendizado de máquina (ML) com uso intensivo de recursos e tarefas de IA. Os usuários selecionados de Jean Zay poderão testar a OPU nos próximos meses.
De acordo com os desenvolvedores, os benefícios da OPU se devem ao uso da fotônica para agilizar a execução de algoritmos probabilísticos em tarefas de ultra grande escala. Essa abordagem é essencial quando cálculos precisos são extremamente complexos e caros. Por exemplo, treinar o modelo GPT-3 requer cerca de 3 milhões de horas de GPU em aceleradores NVIDIA V100. Os métodos probabilísticos (RandNLA) permitem obter resultados aproximados, mas suficientes para a aplicação prática em menos tempo por meio de várias transformações de matriz.
No entanto, trabalhar com matrizes de grandes dimensões, que são exatamente o que os modernos modelos de IA precisam, requer recursos computacionais significativos no caso de CPUs ou GPUs "clássicas", bem como enormes matrizes de memória. Os dispositivos LightOn contornam esse gargalo usando moduladores de luz espaciais e CCDs. Eles já podem trabalhar com matrizes de um trilhão de elementos.
Com taxas de atualização de matriz da ordem de quilohertz, o desempenho equivalente atinge o nível de 1,5 quatrilhão de operações por segundo (1,5 Petaops), enquanto o consumo de energia é de apenas 30 watts. A OPU realiza as transformações necessárias em modo passivo devido às características físicas do próprio dispositivo, descarregando assim os principais recursos do supercomputador (o pré e pós-processamento dos dados ainda é realizado pela CPU / GPU) e aumentando a energia geral eficiência do sistema.
A empresa vai arrendar o primeiro OPU Aurora2 disponível comercialmente em um chassi 2U a partir desta primavera. Jean Zay será a primeira máquina TOP500 a ter esses coprocessadores instalados. A empresa espera um aumento no desempenho de IA do sistema em 8-40 vezes em comparação com os cálculos apenas na GPU. De acordo com o CEO da LightOn, Igor Carron, esta integração de aceleradores de IA em sistemas HPC fortalecerá a confiança dos pesquisadores de que as soluções híbridas serão o próximo marco na evolução digital após os supercomputadores exascale.
2021-12-24 22:14:05
Autor: Vitalii Babkin