Was Vals AI gemessen hat
Laut einer Auswertung von Vals AI, über die The Decoder (DE) berichtet, flucht das KI-Modell Inkling 2 Small von Thinking Machines in seinen internen Denkprozessen. Die Tester lasen die Denkprotokolle aus 2.655 Durchläufen in 13 Benchmarks. In 50 Durchläufen tauchte "fuck" oder eine Variante auf, insgesamt 316 Mal.
Zwei Ausreißer machen den Großteil aus
241 der 316 Nennungen stammen aus nur zwei Durchläufen, die außer Kontrolle gerieten. In einem sollte das Modell die Bahn eines Asteroiden berechnen. Es schrieb eine einzige Antwort mit mehr als 500.000 Zeichen und wiederholte darin dieselben Sätze mit 158 Flüchen. ProgramBench war mit 20 von 200 Durchläufen am stärksten betroffen.
Kein verlässliches Warnsignal
Die Flüche sind laut Vals AI typischerweise an eigene Fehler, vermeintliche Erkenntnisse oder das Aufgeben geknüpft. Trotzdem taugen sie nicht als Frühwarnung: 46 der 48 bewerteten Durchläufe mit Flüchen scheiterten, doch rund 75 Prozent aller bewerteten Durchläufe scheitern insgesamt, und 96 Prozent der gescheiterten enthielten keinen Fluch. Nutzer sehen diese Denkschritte in der Regel nicht oder nur mit Filter.
Einordnung
Für Unternehmen, die Modelle auf eigenen Daten anpassen oder Agenten einsetzen, ist das vor allem ein Hinweis, Denkprotokolle nicht als einfache Qualitätsanzeige zu lesen. Ob solche Auffälligkeiten im produktiven Einsatz relevant werden, lässt sich aus den vorliegenden Quellen nicht beurteilen.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
