Die Sicherheitsvorkehrungen, die in einige der weltweit meistgenutzten KI-Modelle eingebaut sind, lassen sich überraschend einfach entfernen. Das ist das zentrale Ergebnis einer internationalen Studie, die ein Forscherteam der University of Waterloo und der Non-Profit-Organisation FAR.AI veröffentlicht hat. Die Botschaft ist unbequem: Alle 21 führenden Open-Weight-Sprachmodelle, die die Wissenschaftler testeten, konnten trotz ihrer Schutzvorrichtungen manipuliert werden.
Kurz & knapp
- 21 von 21 getesteten Open-Source-LLMs ließen sich so manipulieren, dass ihre Sicherheitsbarrieren umgangen wurden
- Das Team entwickelte TamperBench, ein standardisiertes Test-Werkzeug, um verschiedene Angriffsvektoren zu simulieren
- Forscher warnen: Manipulierte Modelle könnten im großen Stil für Desinformationskampagnen, Phishing-Scams oder Anleitungen zu gefährlichen Chemikalien missbraucht werden
- Die Studie wurde von Wissenschaftlern aus Kanada, USA und der Schweiz durchgeführt, darunter Teams vom MIT und der ETH Zürich
Was die Forscher entdeckten
Die Sicherheitslücken sind grundsätzlich: Open-Weight-Modelle – also KI-Systeme, die öffentlich zum Download verfügbar sind – können von jedem heruntergeladen und angepasst werden. Das macht sie attraktiv für Forschung und Entwicklung, aber eben auch anfällig. Dr. Sirisha Rambhatla, Professorin für Management Science and Engineering an der Waterloo und Leiterin des Critical Machine Learning Lab, fasst das Problem so zusammen:
"When the safety guardrails are stripped out of a capable model, it can be used at scale for harm in ways a single person could never manage manually."
Das ist der Kern: Ein einzelner Mensch könnte niemals manuell Millionen von Phishing-Mails schreiben oder eine landesweite Desinformationskampagne fahren. Ein manipuliertes KI-Modell könnte es.
TamperBench: Das Test-Werkzeug
Um die Anfälligkeit systematisch zu prüfen, entwickelten die Forscher TamperBench, ein Open-Source-Werkzeug, das verschiedene Angriffsszenarien standardisiert simuliert. Saad Hossain, der Leiter der Studie, erklärt die Motivation:
"The defences available today don't yet appear strong enough to guarantee that a publicly released model will remain safe once it's in the hands of anyone who chooses to modify it."
Die Hoffnung der Forscher: Andere Wissenschaftler werden TamperBench jetzt weiterentwickeln und verbessern. Das Werkzeug soll helfen, robustere Schutzmaßnahmen zu entwickeln – bevor noch mehr Modelle in der freien Wildbahn landen.
Warum das auch Behörden betrifft
Die Warnung richtet sich nicht nur an Tech-Unternehmen. Hossain betont: Regierungen setzen KI zunehmend in Gesundheitswesen, Betrugserkennung, Bildung und anderen öffentlichen Diensten ein. Das macht eine rigorosere Bewertung und Beschaffung dieser Modelle notwendig – nicht einfach blind auf Open-Source-Lösungen zu vertrauen.
Rambhatla betont allerdings auch: Die Schwachstellen sind möglicherweise nicht auf Open-Weight-Modelle beschränkt. Und Open-Source-Modelle bleiben wichtig für Forschung und Transparenz. Die Lösung liegt also nicht darin, sie zu verbieten, sondern sie sicherer zu machen.
Was das für dich bedeutet
Für deutsche Unternehmen und Behörden ist das ein Weckruf: Wer Open-Source-KI-Modelle einsetzt – sei es für interne Prozesse, Kundenservice oder Sicherheitsanwendungen – sollte nicht davon ausgehen, dass die eingebauten Schutzvorrichtungen halten. Eine genaue Prüfung vor dem Einsatz ist notwendig. Gleichzeitig zeigt die Studie: Die Forschung an sicheren KI-Systemen ist noch lange nicht am Ziel. Wer jetzt investiert, kann später von besseren Lösungen profitieren.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.




