Ein deutsches Forschungskonsortium hat das offene Sprachmodell Soofi S 30B-A3B veröffentlicht – trainiert komplett auf der Industrial AI Cloud der Deutschen Telekom in München. Das Projekt markiert einen strategischen Schritt zur KI-Souveränität im deutschsprachigen Raum und soll Unternehmen eine echte Alternative zu US-amerikanischen Modellen bieten.
Kurz & knapp
- 31,6 Milliarden Parameter, aber nur 3,2 Milliarden pro Token aktiv (Mixture-of-Experts-Architektur)
- Trainiert auf 27 Billionen Token mit bewusstem Fokus auf deutsche Sprachdaten
- Übertrifft in Benchmarks vollständig offene Konkurrenten wie Olmo 3 32B und Apertus 70B
- Behält Verarbeitungsgeschwindigkeit auch bei 256.000 Token Kontextlänge stabil
Sparsame Hybrid-Architektur für lange Texte
Soofi S nutzt eine Mamba-2-Transformer-Hybridkonstruktion – übernommen von Nvidias Nemotron 3 Nano. Der entscheidende Vorteil: Nur 6 der 52 Layer unterhalten einen KV-Cache, der bei klassischen Transformern linear mit der Kontextlänge wächst. Das macht Soofi S bei langen Eingaben deutlich effizienter.
In praktischen Tests zeigt sich der Unterschied deutlich: Bei einem Kontext von 40.000 Token und 32 parallel bearbeiteten Anfragen erzeugt Soofi S pro GPU rund achtmal mehr Token pro Sekunde als dichte Modelle mit 14–24 Milliarden Parametern. Während der Durchsatz bei klassischen Modellen mit wachsendem Kontext deutlich abfällt, bleibt er bei Soofi S von 4.000 bis 256.000 Token nahezu konstant.
| Aspekt | Soofi S | Klassische Modelle |
|---|---|---|
| Parameter gesamt | 31,6B | 30B–70B |
| Parameter aktiv pro Token | 3,2B | 100% |
| KV-Cache Layer | 6 von 52 | alle |
| Durchsatz bei 40K Tokens | stabil | deutlich abfallend |
Deutschsprachige Trainingsdaten im Fokus
Das vom KI Bundesverband koordinierte Konsortium verarbeitete insgesamt 27 Billionen Token in drei Trainingsphasen: Zunächst 20 Billionen Token aus breiter Mischung (Web, Code, Mathematik, Fachliteratur), dann 6 Billionen aus besonders hochwertigen Quellen zur Musterschärfung, schließlich eine kürzere Phase zur Kontextfenster-Erweiterung. Der bewusste Schwerpunkt auf deutsche Sprachdaten zahlt sich in den Benchmarks aus – Soofi S erreicht laut Pretraining-Report die höchsten Werte unter vollständig offenen Modellen für Deutsch, Englisch und Programmieren.
Was das für dich bedeutet
Für deutsche Unternehmen und Mittelständler könnte Soofi S interessant werden: Ein vollständig in Deutschland trainiertes, offenes Modell reduziert Abhängigkeiten von US-Anbietern und bietet Transparenz über Trainingsdaten und Architektur. Die hohe Effizienz bei langen Kontexten macht es attraktiv für Anwendungen wie Dokumentenanalyse oder Recherche-Systeme. Das Konsortium sucht derzeit gezielt nach Industriepartnern für den Praxiseinsatz – ob sich das Modell im produktiven Einsatz bewährt, wird sich in den nächsten Monaten zeigen. Offen bleibt auch, wie die Community es annimmt und weiterentwickelt.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
