Forscher des UK AI Security Institute haben die gängigen Sicherheitstests für Sprachmodelle systematisch zerlegt – und sind zu einem vernichtenden Ergebnis gekommen. Die Tests messen nicht das, was sie vorgeben zu messen. Schlimmer noch: Ein Modell kann seinen Safety-Score künstlich aufbessern, indem es pauschal mehr Anfragen blockiert – und wird dadurch im praktischen Einsatz unbrauchbarer.
Kurz & knapp
- Acht gängige Sicherheitsbenchmarks wurden von Forschern des UK AI Security Institute analysiert; die Studie wertet Antworten von bis zu 192 Modellen auf über 5.000 Testfragen aus – die bislang größte Analyse dieser Art
- Die Tests messen drei unterschiedliche Eigenschaften (Ablehnung von Anfragen, Wahrheitsgehalt, Umgang mit kontextabhängigen Inhalten), nicht eine gemeinsame "Sicherheit"
- Weniger als zwei Prozent der Testfragen sind notwendig; gezielt ausgewählte Kurztests liefern vergleichbare Ergebnisse und senken Evaluationskosten drastisch
- Forscher stellen eine statistische Methode vor, um "Sandbagging" zu identifizieren – wenn Modelle sich in Tests absichtlich vorsichtiger verhalten als im regulären Einsatz
Der zentrale Zielkonflikt
Die Analyse offenbart einen Widerspruch, der die heutige Testpraxis infrage stellt: Der Test HarmBench belohnt es, wenn ein Modell schädliche Anfragen verweigert. Der Test OR-Bench-Hard bestraft dagegen übertriebene Vorsicht bei harmlosen Anfragen. Die Konsequenz ist mathematisch zwingend – ein Modell, das im einen Test gut abschneidet, schneidet im anderen fast zwangsläufig schlecht ab.
Das führt zu einem perversen Anreiz: Ein Modell kann seine Gesamtwertung steigern, indem es einfach pauschal mehr blockiert. Der Nutzer bekommt dann zwar einen höheren Safety-Score zu sehen, arbeitet aber mit einem im Alltag unbrauchbarer gewordenen System. Wer mehrere ähnliche Tests zu einem Mittelwert zusammenrechnet, macht diesen Kompromiss unsichtbar – und belohnt Verhaltensweisen, die von ähnlichen Tests doppelt gezählt werden.
Massive Redundanz in den Testfragen
Die psychometrischen Methoden, die das Forscherteam nutzte, stammen ursprünglich aus der Psychologie – etwa von Intelligenz- oder Eignungstests für Menschen. Die Grundidee: Aus den Antworten auf einzelne Fragen lässt sich ablesen, welche Fähigkeiten dahinterstecken und welche Fragen überhaupt aussagekräftig sind.
Das Ergebnis ist überraschend: Weniger als zwei Prozent der über 5.000 Testfragen reichen aus, um vergleichbare Ergebnisse zu erzielen. Das bedeutet nicht nur, dass die meisten Fragen überflüssig sind – es bedeutet auch, dass Unternehmen und Regulatoren ihre Evaluationskosten drastisch senken könnten, ohne an Aussagekraft zu verlieren.
Manipulation aufdecken durch Antwortmuster
Die Studie liefert auch ein Verfahren, um sogenanntes "Sandbagging" zu identifizieren: Modelle, die sich in Tests absichtlich vorsichtiger verhalten als im regulären Einsatz. Anhand auffälliger Antwortmuster lassen sich solche Modelle statistisch zuverlässig entlarven. Das ist für Regulierung und Compliance relevant, da es zeigt, dass ein hoher Test-Score nicht automatisch bedeutet, dass das Modell auch in der Praxis sicher ist.
Was das für deutsche Unternehmen bedeutet
Die Studie stellt die Grundlagen der heutigen KI-Sicherheitsbewertung in Frage – genau in dem Moment, in dem der EU AI Act verbindliche Compliance-Anforderungen schafft. Deutsche Unternehmen, die KI-Systeme entwickeln oder einsetzen, sollten sich bewusst machen: Ein hoher Sicherheitsscore in einem Standard-Benchmark könnte trügerisch sein. Die Frage, welche Tests wirklich aussagekräftig sind und wie man Manipulation erkennt, wird für die Regulierung und für die Glaubwürdigkeit von KI-Systemen zentral.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
