Google hat die Veröffentlichung des experimentellen Sprachmodells DiffusionGemma angekündigt, das einen ungewöhnlichen Ansatz zur Textgenerierung nutzt und bis zu viermal schneller arbeiten kann als herkömmliche KI-Modelle dieser Klasse. Das Projekt wird unter der Open-Source-Lizenz Apache 2.0 vertrieben und richtet sich an Forscher und Entwickler.
Die meisten modernen KIs, darunter ChatGPT und ähnliche, erstellen Texte sequenziell, Wort für Wort. Bei DiffusionGemma ist Google einen anderen Weg gegangen. Das Modell generiert keine Wörter, sondern Textblöcke mithilfe eines Satzes zufälliger Token. Anschließend verfeinert das Modell den entstandenen unlesbaren Text in mehreren Durchläufen bis zu einem normalen Zustand. Das Prinzip erinnert ein wenig an die Arbeitsweise von Bildgeneratoren, die zunächst eine verrauschte Leinwand erstellen und diese dann schrittweise verbessern.
Der praktische Nutzen von DiffusionGemma liegt in der deutlich höheren Arbeitsgeschwindigkeit. Nach Angaben von Google kann das Modell auf Server-Beschleunigern NVIDIA H100 über 1000 Token pro Sekunde und auf Grafikkarten der Klasse GeForce RTX 5090 über 700 Token pro Sekunde ausgeben. Das Modell operiert mit 26 Milliarden Parametern, aber aufgrund der Mixture-of-Experts-Architektur (MoE) werden gleichzeitig tatsächlich nur 3,8 Milliarden genutzt. Für den Betrieb des neuronalen Netzes sind mindestens 18 GB Videospeicher erforderlich.
Google merkt an, dass DiffusionGemma hinsichtlich der Antwortqualität dem herkömmlichen Textmodell Gemma 4 noch unterlegen ist, die Inferenzgeschwindigkeit jedoch wesentlich höher liegt. Gerade wegen der noch nicht allzu hohen Genauigkeit befindet sich DiffusionGemma derzeit in einem experimentellen Stadium.
Das Hauptziel des Projekts ist es, die Zukunftsfähigkeit des diffusiven Ansatzes für künftige KI-Modelle aufzuzeigen. Google ist der Ansicht, dass die Inferenzgeschwindigkeit in Zukunft ein ebenso wichtiger Parameter sein wird wie die Generierungsqualität.
2026-06-11 19:29:41
Autor: Vitalii Babkin
Quell-URL