Google a annoncé la sortie du modèle de langage expérimental DiffusionGemma, qui utilise une approche inhabituelle de la génération de texte et peut fonctionner jusquà quatre fois plus vite que les modèles dIA traditionnels de cette classe. Le projet est distribué sous licence open source Apache 2.0 et sadresse aux chercheurs et aux développeurs.
La plupart des IA modernes, y compris ChatGPT et dautres modèles similaires, créent du texte de manière séquentielle, mot par mot. Avec DiffusionGemma, Google a emprunté une voie différente. Le modèle ne génère pas des mots, mais des blocs de texte à laide dun ensemble de jetons aléatoires. Ensuite, le modèle peaufine en plusieurs passages le texte illisible obtenu jusquà lui donner un état normal. Le principe rappelle un peu le fonctionnement des générateurs dimages, qui créent dabord une toile bruitée puis laméliorent progressivement.
La valeur pratique de DiffusionGemma réside dans sa vitesse de travail nettement plus élevée. Selon les données de Google, le modèle est capable de générer plus de 1000 jetons par seconde sur les accélérateurs serveur NVIDIA H100 et plus de 700 jetons par seconde sur les cartes vidéo de type GeForce RTX 5090. Le modèle manipule 26 milliards de paramètres, mais grâce à larchitecture Mixture of Experts (MoE), seuls 3,8 milliards sont réellement utilisés simultanément. Le fonctionnement du réseau neuronal nécessite au moins 18 Go de mémoire vidéo.
Google souligne que pour la qualité des réponses, DiffusionGemma est encore inférieur au modèle de texte classique Gemma 4, mais sa vitesse dinférence est bien plus élevée. Cest précisément en raison de cette précision encore insuffisante que DiffusionGemma est actuellement en phase expérimentale.
Lobjectif principal du projet est de montrer le potentiel de lapproche de diffusion pour les futurs modèles dIA. Google estime quà lavenir, la vitesse dinférence deviendra un paramètre aussi important que la qualité de la génération.
2026-06-11 19:29:41
Auteur: Vitalii Babkin
URL source