Moonshot AI hat mit PerceptionBench einen Benchmark vorgestellt, der die visuelle Wahrnehmung multimodaler Sprachmodelle isoliert von logischem Denken testet – und das Ergebnis ist ernüchternd: Kein führendes KI-Modell knackt die 60-Prozent-Marke bei grundlegenden Sehaufgaben.
Kurz & knapp
- PerceptionBench zerlegt visuelle Wahrnehmung in zehn atomare Teilkompetenzen statt Wahrnehmung, Wissen und Schlussfolgern zu vermischen
- Beste Modelle erreichen maximal 59,7 Prozent Genauigkeit: GPT-5.6 Sol führt knapp vor Kimi K3 (58,5 %) und Claude Fable 5 (57,2 %)
- Die Fehleranalyse zeigt: Viele vermeintliche Logikfehler entstehen bereits beim Bildlesen, nicht beim Reasoning
- Aus über 17.000 verifizierten Fragen wurden 3.000 Aufgaben veröffentlicht, basierend auf realen Modellfehlern
Wie der Benchmark funktioniert
Das Team hinter dem chinesischen KI-Assistenten Kimi entwickelte PerceptionBench anders als gängige Tests: Statt Kategorien vorab festzulegen, analysierten die Autoren reale Modellfehlmuster aus 42 bestehenden Open-Source-Benchmarks. Diese überschneiden sich kaum – jeder deckt also nur eine andere Teilmenge visueller Schwächen ab.
Daraus entstanden zehn Fähigkeitenbereiche: Visual Relation, Counting, Attribute, Depth & 3D, Localization, Comparison, Fine-grained Recognition, Context Integration, OCR und Hallucination. Jede Frage soll allein durch Hinsehen beantwortbar sein – ohne externes Wissen oder Reasoning.
Die Aufgaben wirken auf den ersten Blick trivial: die Uhrzeit-Position eines Symbols auf einem Zifferblatt bestimmen, Blumen in einem roten Kasten zählen oder entscheiden, welche von zwei Stiftbechern eine Grau-Rosa-Kombination zeigt. Doch genau hier offenbaren sich die Grenzen.
Die Ergebnisse: Frontier-Modelle weit hinter 60 Prozent
| Modell | Genauigkeit |
|---|---|
| GPT-5.6 Sol | 59,7 % |
| Kimi K3 | 58,5 % |
| Claude Fable 5 | 57,2 % |
| Gemini 3.1 Pro | 56,2 % |
| GPT-5.5 | 55,8 % |
| Qwen3.5-397B-A17B | 47,5 % |
| GLM-4.6V | 32,5 % |
Zwischen den fünf besten Systemen liegen nur knapp vier Prozentpunkte – ein Hinweis darauf, dass das Sehen für alle Frontier-Modelle ein gemeinsames Schwachpunkt ist. Open-Source-Modelle fallen deutlich ab.
Was das bedeutet
Die Studie bestätigt, was Forschung der letzten Monate bereits andeutete: Selbst beste Modelle scheitern an grundlegenden Sehaufgaben. Das hat praktische Konsequenzen. Wenn ein Modell eine Tabelle falsch liest oder Objekte verwechselt, führt das nicht zu Reasoning-Fehlern – die Fehler entstehen bereits beim Bildlesen selbst.
Für deutsche Unternehmen, die multimodale KI in der Praxis einsetzen – etwa in Dokumentenverarbeitung, Qualitätskontrolle oder Medizinbildanalyse – bedeutet das: Verlasst euch nicht darauf, dass die Modelle das sehen, was ihr seht. Validiert visuelle Ergebnisse kritisch, besonders bei sicherheitskritischen Anwendungen. Die Genauigkeit bei "einfachen" visuellen Aufgaben ist deutlich niedriger als bei Sprachaufgaben – ein wichtiger Faktor bei der Auswahl und Kalibrierung von Systemen.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
