DeepSeek hat am Donnerstag eine aktualisierte Version seines V4.1 Flash-Modells vorgestellt – und damit einen Weg aufgezeigt, wie leistungsstarke Sprachmodelle mit deutlich weniger Ressourcen betrieben werden können. Das neue Modell ist mit 763 Milliarden Parametern mehr als 2,5-mal größer als sein Vorgänger und übersteigt sogar die Größe der DeepSeek-Modelle V3 und R1, die das Unternehmen Anfang 2025 bekannt machte. Trotzdem ist der Speicherbedarf überraschend gering.
Kurz & knapp
- 763 Milliarden Parameter, aber Speicherbedarf sinkt statt zu steigen
- KV-Cache-Verbrauch um 75–87 % reduziert (auf 13–25 % des V4 Flash-Niveaus)
- 4–8-mal mehr gleichzeitige Nutzer im gleichen Speicher-Footprint möglich
- 196 Milliarden Parameter sind N-Gram-basierte "Conditional Memory Module"
Die Architektur-Revolution: Speicher entkoppelt von Rechenleistung
Das Kerngeheimnis liegt in zwei technologischen Verbesserungen. Erstens hat DeepSeek die Key-Value-Caches grundlegend überarbeitet – jene Datenstrukturen, die den Zustand eines Modells über mehrere Anfragen hinweg verfolgen. Bei chatbot-ähnlichen Anwendungen mit hohem Durchsatz können diese Caches zum Speicher-Engpass werden.
Durch Anpassungen an den Aufmerksamkeitsmechanismen und die Einführung eines neuen Causal Encoder-Decoder (CED) gelang es DeepSeeks Team, den KV-Cache-Verbrauch auf 13–25 % des V4 Flash-Niveaus zu senken. Das bedeutet konkret: Im gleichen Speicher-Footprint lassen sich jetzt 4–8-mal mehr Nutzer gleichzeitig bedienen.
N-Grams statt klassische Gewichte: Das "Conditional Memory Module"
Die zweite Innovation ist konzeptionell noch interessanter. Von den 763 Milliarden Parametern sind 196 Milliarden sogenannte N-Gram-Parameter, die ein "Conditional Memory Module" bilden. Die Idee: Indem DeepSeek Speicher von Rechenleistung entkoppelt, wird das Modell intelligenter, während gleichzeitig der Ressourcen-Overhead sinkt.
N-Grams sind im Grunde Gruppen von Tokens – ein 3-Gram sind drei aufeinanderfolgende Tokens, ein 2-Gram zwei, und so weiter. Das funktioniert ähnlich wie Wort- oder Phrase-Assoziationen. Dieser Ansatz ähnelt der Per-Layer Embedding (PLE)-Technologie, die Googles Gemma-Team ursprünglich entwickelt hat, um LLMs auf ressourcenbeschränkten Geräten wie Smartphones lauffähig zu machen. DeepSeek nutzt hier eine Variante mit N-Grams statt PLE-Embeddings.
Was das für die Branche bedeutet
| Aspekt | Alte Logik | DeepSeek V4.1 Flash |
|---|---|---|
| Größe = Ressourcen | Linear steigend | Entkoppelt |
| KV-Cache-Overhead | Proportional zur Größe | Drastisch reduziert |
| Gleichzeitige Nutzer | Speicher-limitiert | 4–8x höher |
Die technische Dokumentation von DeepSeek zeigt, dass dieser Ansatz nicht nur eine Optimierung ist, sondern ein Paradigmenwechsel: Intelligenz und Effizienz müssen nicht gegeneinander abgewogen werden.
Einordnung: Was das für deutsche Unternehmen bedeutet
Für den deutschen Mittelstand und europäische KI-Infrastruktur-Anbieter könnte diese Entwicklung erheblich sein. Wenn größere Modelle mit weniger GPU-Ressourcen laufen, sinken die Betriebskosten für KI-Services drastisch – und damit auch die Eintrittsbarriere für Unternehmen, die eigene KI-Systeme betreiben wollen. Das könnte den Druck auf teure Cloud-Lösungen reduzieren und Open-Source- oder lokale Deployments attraktiver machen. Gleichzeitig stellt sich die Frage, ob europäische Entwickler diesen Architektur-Ansatz schnell adaptieren können oder ob DeepSeek damit einen weiteren technologischen Vorsprung ausbaut.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
