Google DeepMind hat einen neuen Weg gefunden, um Text-Diffusionsmodelle zu bauen, ohne sie komplett von vorne zu trainieren. Das Unternehmen hat die fertige Gemma 4 in ein Diffusionsmodell umgewandelt – mit weniger als 10 Prozent des ursprünglichen Trainings-Budgets. Das Modell heißt DiffusionGemma und wurde im Juni 2026 veröffentlicht, jetzt folgte der technische Report.
Kurz & knapp
- DiffusionGemma generiert 256 Token parallel statt sequenziell, erreicht etwa 1.500 Token pro Sekunde auf einer Nvidia H100
- Umwandlung von bestehenden Modellen braucht nur <10% des Original-Trainings-Budgets
- Bidirektionales Denken: Das Modell kann Fehler während der Generierung korrigieren, nicht erst hinterher
- Qualität bleibt hinter dem Original zurück, besonders bei Reasoning-Aufgaben – dafür ist die Geschwindigkeit mehrfach höher
Wie funktioniert die Umwandlung?
Statt ein neues Modell zu trainieren, nutzt Google zwei Trainings-Phasen. Im ersten Schritt lernt das Modell, verrauschte Text-Blöcke aus Beispieldaten zu rekonstruieren – ähnlich wie Bild-KI-Modelle ein Bild aus Rauschen erzeugen. Danach folgt eine kombinierte Phase aus Reinforcement Learning und Sampler Distillation, die Google SD·RL nennt. Reinforcement Learning verbessert die Antwortqualität, während Sampler Distillation das Modell mit weniger Rechenschritten auskommen lässt.
Diese kombinierte Methode hebt die Qualität bei Reasoning-Benchmarks um durchschnittlich 10 Punkte, während die Token pro Rechenschritt sich fast vervierfacht. Nebeneffekt: DiffusionGemmas Antworten sind etwa 50 Prozent kürzer – das beschleunigt die Generierung zusätzlich.
Selbstkorrektur statt lineares Denken
Autoregressive Modelle wie Gemma 4 müssen sich auf die erste Ziffer einer Antwort festlegen, bevor sie die Rechnung durchgearbeitet haben. Im Bericht zeigt Google ein Beispiel: Gemma 4 schreibt zuerst "-1", merkt während der Herleitung, dass "-25" richtig ist, und fügt eine Korrektur hinterher an.
DiffusionGemma entwickelt Antwort und Begründung parallel. Das Modell kann Fehler korrigieren, bevor die Ausgabe finalisiert wird. Bei Sudoku-Rätseln zeigt sich der Vorteil deutlich: Nach minimalem Fine-Tuning löst DiffusionGemma knapp 85 Prozent der Rätsel korrekt, während das Basis-Modell die Aufgabe komplett verfehlt. Strukturierte Outputs wie JSON oder Code-Reparaturen brauchen nur 2–3 Verfeinerungsschritte, weil die Eingabe bereits die meisten Token bestimmt.
| Aspekt | DiffusionGemma | Gemma 4 (autoregressive) |
|---|---|---|
| Durchsatz | ~1.500 Token/s | Deutlich langsamer |
| Qualität (Benchmarks) | Hinter Original zurück | Höher |
| Reasoning-Fähigkeit | Bidirektional, selbstkorrigierend | Linear, erst hinterher korrigierbar |
| Trainingsbudget | <10% des Originals | 100% |
Wo sind die Grenzen?
Die absolute Leistung fällt hinter das autoregressive Basis-Modell zurück – besonders bei anspruchsvollen Reasoning-Aufgaben. Google nennt mehrere Gründe: DiffusionGemma wurde nicht als Diffusionsmodell von Grund auf trainiert, sondern aus einem bestehenden Modell konvertiert. Das hat Konsequenzen für die Qualität. Auch Multi-User-Szenarien sind noch begrenzt.
Ein Vorteil bleibt: DiffusionGemma kann zwischen beiden Modi wechseln – Nutzer können je nach Aufgabe zwischen paralleler und sequenzieller Generierung wählen.
Was bedeutet das für deutsche Unternehmen?
Der Ansatz senkt die Einstiegsbarriere für Text-Diffusionsmodelle deutlich. Wer bereits ein Basis-Modell hat, kann es mit 90 Prozent weniger Rechenaufwand in ein schnelleres Modell umwandeln – das ist relevant für Unternehmen mit begrenzten GPU-Budgets. Für Anwendungen, die Geschwindigkeit über maximale Qualität priorisieren (Echtzeit-Systeme, Massenverarbeitung), könnte DiffusionGemma interessant werden. Allerdings bleibt offen, ob dieser Ansatz auch für spezialisierte deutsche Modelle funktioniert – das müssten Entwickler selbst testen.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
