Anthropic hat mit Claude Opus 5 einen deutlichen Sprung bei der Lösung von neuartigen Logik-Aufgaben erreicht: Das Modell erzielte 30,2 Prozent auf dem ARC-AGI-3-Benchmark und übertrumpfte damit den bisherigen Bestwert von 7,8 Prozent (OpenAIs GPT-5.6 Sol) um das Vierfache. Laut den Machern des ARC Prize ist dieser Vorsprung nicht auf Overfitting zurückzuführen, sondern auf deutlich stärkeres logisches Denken.
Kurz & knapp
- Claude Opus 5 erreicht 30,2 % auf ARC-AGI-3, der bisherige Bestwert lag bei 7,8 % (GPT-5.6 Sol)
- Das Modell löste fünf zuvor ungeschlagene Umgebungen, vier davon auf oder über menschlichem Niveau
- Erstmals beobachtetes Verhalten: Opus 5 formulierte eigenständig Spiegelungsgleichungen und wandelte Aufgaben in algebraische Notation um
- Auf älteren Versionen (ARC-AGI-2 und -1) hält Opus 5 ebenfalls Bestwerte: 90,4 % bzw. 97,5 %
Was ARC-AGI-3 misst
Der ARC-AGI-3-Benchmark testet nicht auswendig gelerntes Wissen, sondern die Fähigkeit zu allgemeinem logischen Denken. Das Modell muss in einer interaktiven Umgebung Regeln selbst herausfinden, Aktionen planen und Schritt für Schritt ausführen – Aufgaben, die Menschen normalerweise einfach lösen können, die aber für KI-Systeme bislang extrem schwierig waren.
Wichtig: Der Benchmark berücksichtigt nur die reine Eigenleistung des Sprachmodells ohne externe Software-Hilfe. Die Begründung der Benchmark-Macher ist klar: Zukünftige AGI-Systeme sollten neue Aufgaben ohne externe Unterstützung lösen können. Das bedeutet auch, dass Opus 5 eingebettet in Claude Code vermutlich noch bessere Ergebnisse erzielen könnte – diese würden aber nicht in die offizielle Wertung einfließen.
Das neue Verhalten: Algebraische Abstraktion
Das bemerkenswerteste Ergebnis ist ein Verhalten, das die ARC-Prize-Analysten bislang bei keinem Modell beobachtet hatten: Opus 5 wandelte Aufgaben eigenständig in algebraische Notation um und formulierte erstmals Spiegelungsgleichungen. Das deutet darauf hin, dass das Modell nicht nur Muster erkennt, sondern diese auch abstrahiert und mathematisch strukturiert.
Die ARC-Prize-Macher führen diesen Durchbruch auf "eine eigenständigere Erkundung, Planung und Ausführung in unbekannten Umgebungen" zurück – also auf besseres Reasoning, nicht auf größere Trainingsmengen.
| Benchmark | Claude Opus 5 | Bisheriger Bestwert | Modell |
|---|---|---|---|
| ARC-AGI-3 | 30,2 % | 7,8 % | GPT-5.6 Sol |
| ARC-AGI-2 | 90,4 % | 90,4 % | (Bestwert gehalten) |
| ARC-AGI-1 | 97,5 % | 97,5 % | (Bestwert gehalten) |
Was das für deutsche Unternehmen bedeutet
Der Durchbruch zeigt, dass Frontier-Modelle bei der Lösung von neuartigen, strukturierten Problemen schnell an Fähigkeit gewinnen. Für Unternehmen im deutschsprachigen Raum könnte das relevant werden, wenn es um die Automatisierung von Aufgaben geht, die logisches Reasoning und Planung erfordern – etwa in der Prozessoptimierung, der Datenanalyse oder der Softwareentwicklung. Allerdings bleibt offen, wie gut diese Fähigkeiten auf reale Geschäftsprobleme übertragen lassen, die oft weniger strukturiert sind als Benchmark-Aufgaben. Die vollständigen Ergebnisse, Replays und der Benchmarking-Code sind öffentlich einsehbar.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
