[{"data":1,"prerenderedAt":29},["ShallowReactive",2],{"nr-de-google-diffusiongemma-training-budget":3},{"slug":4,"title":5,"dek":6,"date":7,"time":8,"publishedAt":9,"updated":10,"updatedAt":10,"dateFmt":11,"updatedFmt":10,"kind":12,"tier":13,"author":14,"authorName":15,"topics":16,"tracker":21,"trackerLabel":22,"headlineStat":23,"image":24,"ogImage":25,"imageAlt":5,"csv":10,"minutes":26,"words":27,"html":28},"google-diffusiongemma-training-budget","Google DeepMind: DiffusionGemma mit 90% weniger Trainingsbudget","Google hat Gemma 4 in ein Diffusionsmodell umgewandelt – nicht von Grund auf neu trainiert, sondern mit weniger als 10 Prozent des ursprünglichen Budgets. Das Ergebnis: 1.500 Token pro Sekunde statt einer nach der anderen.","2026-08-09","12:28","2026-08-09T12:28:00+02:00","","9. August 2026","news","standard","ideal-syka","Ideal Syka",[17,18,19,20],"Large Language Models","Diffusionsmodelle","Trainingseffizienz","Google DeepMind","\u002Fstand-der-ki","KI-Fortschritt","90% weniger Trainingsbudget","\u002Fnewsroom\u002Fimg\u002Fgoogle-diffusiongemma-training-budget.webp","\u002Fog-nr\u002Fgoogle-diffusiongemma-training-budget.de.png",3,542,"\u003Cp>Google DeepMind hat einen neuen Weg gefunden, um Text-Diffusionsmodelle zu bauen, ohne sie komplett von vorne zu trainieren. Das Unternehmen hat die fertige \u003Cstrong>Gemma 4\u003C\u002Fstrong> in ein Diffusionsmodell umgewandelt – mit weniger als 10 Prozent des ursprünglichen Trainings-Budgets. Das Modell heißt \u003Cstrong>DiffusionGemma\u003C\u002Fstrong> und wurde im Juni 2026 veröffentlicht, jetzt folgte der technische Report.\u003C\u002Fp>\n\u003Ch2>Kurz & knapp\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>\u003Cstrong>DiffusionGemma\u003C\u002Fstrong> generiert \u003Cstrong>256 Token parallel\u003C\u002Fstrong> statt sequenziell, erreicht etwa \u003Cstrong>1.500 Token pro Sekunde\u003C\u002Fstrong> auf einer Nvidia H100\u003C\u002Fli>\n\u003Cli>Umwandlung von bestehenden Modellen braucht nur \u003Cstrong><10% des Original-Trainings-Budgets\u003C\u002Fstrong>\u003C\u002Fli>\n\u003Cli>Bidirektionales Denken: Das Modell kann Fehler während der Generierung korrigieren, nicht erst hinterher\u003C\u002Fli>\n\u003Cli>Qualität bleibt hinter dem Original zurück, besonders bei Reasoning-Aufgaben – dafür ist die Geschwindigkeit mehrfach höher\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Wie funktioniert die Umwandlung?\u003C\u002Fh2>\n\u003Cp>Statt ein neues Modell zu trainieren, nutzt Google zwei Trainings-Phasen. Im ersten Schritt lernt das Modell, verrauschte Text-Blöcke aus Beispieldaten zu rekonstruieren – ähnlich wie Bild-KI-Modelle ein Bild aus Rauschen erzeugen. Danach folgt eine kombinierte Phase aus \u003Cstrong>Reinforcement Learning und Sampler Distillation\u003C\u002Fstrong>, die Google \u003Cstrong>SD·RL\u003C\u002Fstrong> nennt. Reinforcement Learning verbessert die Antwortqualität, während Sampler Distillation das Modell mit weniger Rechenschritten auskommen lässt.\u003C\u002Fp>\n\u003Cp>Diese kombinierte Methode hebt die Qualität bei Reasoning-Benchmarks um durchschnittlich \u003Cstrong>10 Punkte\u003C\u002Fstrong>, während die Token pro Rechenschritt sich \u003Cstrong>fast vervierfacht\u003C\u002Fstrong>. Nebeneffekt: DiffusionGemmas Antworten sind etwa 50 Prozent kürzer – das beschleunigt die Generierung zusätzlich.\u003C\u002Fp>\n\u003Ch2>Selbstkorrektur statt lineares Denken\u003C\u002Fh2>\n\u003Cp>Autoregressive Modelle wie Gemma 4 müssen sich auf die erste Ziffer einer Antwort festlegen, bevor sie die Rechnung durchgearbeitet haben. Im Bericht zeigt Google ein Beispiel: Gemma 4 schreibt zuerst "-1", merkt während der Herleitung, dass "-25" richtig ist, und fügt eine Korrektur hinterher an.\u003C\u002Fp>\n\u003Cp>\u003Cstrong>DiffusionGemma entwickelt Antwort und Begründung parallel.\u003C\u002Fstrong> Das Modell kann Fehler korrigieren, bevor die Ausgabe finalisiert wird. Bei Sudoku-Rätseln zeigt sich der Vorteil deutlich: Nach minimalem Fine-Tuning löst DiffusionGemma knapp \u003Cstrong>85 Prozent der Rätsel korrekt\u003C\u002Fstrong>, während das Basis-Modell die Aufgabe komplett verfehlt. Strukturierte Outputs wie JSON oder Code-Reparaturen brauchen nur \u003Cstrong>2–3 Verfeinerungsschritte\u003C\u002Fstrong>, weil die Eingabe bereits die meisten Token bestimmt.\u003C\u002Fp>\n\u003Cdiv class=\"tbl-scroll\">\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Aspekt\u003C\u002Fth>\n\u003Cth>DiffusionGemma\u003C\u002Fth>\n\u003Cth>Gemma 4 (autoregressive)\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>\u003Cstrong>Durchsatz\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd>~1.500 Token\u002Fs\u003C\u002Ftd>\n\u003Ctd>Deutlich langsamer\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>Qualität (Benchmarks)\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd>Hinter Original zurück\u003C\u002Ftd>\n\u003Ctd>Höher\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>Reasoning-Fähigkeit\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd>Bidirektional, selbstkorrigierend\u003C\u002Ftd>\n\u003Ctd>Linear, erst hinterher korrigierbar\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>Trainingsbudget\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd><10% des Originals\u003C\u002Ftd>\n\u003Ctd>100%\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2>Wo sind die Grenzen?\u003C\u002Fh2>\n\u003Cp>Die absolute Leistung fällt hinter das autoregressive Basis-Modell zurück – besonders bei anspruchsvollen Reasoning-Aufgaben. Google nennt mehrere Gründe: DiffusionGemma wurde nicht als Diffusionsmodell von Grund auf trainiert, sondern aus einem bestehenden Modell konvertiert. Das hat Konsequenzen für die Qualität. Auch Multi-User-Szenarien sind noch begrenzt.\u003C\u002Fp>\n\u003Cp>Ein Vorteil bleibt: DiffusionGemma kann zwischen beiden Modi wechseln – Nutzer können je nach Aufgabe zwischen paralleler und sequenzieller Generierung wählen.\u003C\u002Fp>\n\u003Ch2>Was bedeutet das für deutsche Unternehmen?\u003C\u002Fh2>\n\u003Cp>Der Ansatz senkt die Einstiegsbarriere für Text-Diffusionsmodelle deutlich. Wer bereits ein Basis-Modell hat, kann es mit 90 Prozent weniger Rechenaufwand in ein schnelleres Modell umwandeln – das ist relevant für Unternehmen mit begrenzten GPU-Budgets. Für Anwendungen, die Geschwindigkeit über maximale Qualität priorisieren (Echtzeit-Systeme, Massenverarbeitung), könnte DiffusionGemma interessant werden. Allerdings bleibt offen, ob dieser Ansatz auch für spezialisierte deutsche Modelle funktioniert – das müssten Entwickler selbst testen.\u003C\u002Fp>\n\u003Ch2>Quellen\u003C\u002Fh2>\n\u003Cul>\n\u003Cli>\u003Ca href=\"https:\u002F\u002Fthe-decoder.com\u002Fgoogles-diffusiongemma-proves-you-dont-need-to-train-from-scratch-to-build-a-text-diffusion-model\u002F\">The Decoder\u003C\u002Fa>\u003C\u002Fli>\n\u003Cli>\u003Ca href=\"https:\u002F\u002Fthe-decoder.de\u002Fgoogle-diffusiongemma-technischer-bericht-erklaert-das-schnelle-text-diffusionsmodell\u002F\">The Decoder (DE)\u003C\u002Fa>\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>\u003Cem>Redaktionell verantwortet von \u003Ca href=\"\u002Fautor\u002Fideal-syka\">Ideal Syka\u003C\u002Fa>. Quellen und Arbeitsweise: \u003Ca href=\"\u002Fredaktion\">Redaktion & Methode\u003C\u002Fa>. Hinweise und Korrekturen: \u003Ca href=\"mailto:ai@i6eal.de\">ai@i6eal.de\u003C\u002Fa>.\u003C\u002Fem>\u003C\u002Fp>\n",1786280106291]