Gängige KI-Textdetektoren gelten als zuverlässig – solange die generierten Texte keinen Stil haben. Doch ein Test von Epoch AI zeigt ein systematisches Versagen: Wenn Sprachmodelle gezielt den Schreibstil eines bestimmten Autors imitieren, brechen die Erkennungsraten massiv ein. Das Problem trifft ausgerechnet dort am härtesten zu, wo Detektoren am häufigsten eingesetzt werden: in der Wissenschaft.
Kurz & knapp
- Epoch AI testete die drei führenden Detektoren Pangram, GPTZero und Originality.ai mit 495 menschlichen Textpassagen von 99 Autoren
- Bei einfach generierten KI-Texten funktionieren alle Detektoren nahezu fehlerfrei (max. 0,7 % Fehlerquote)
- Bei stilimitierten Texten steigt die Fehlerquote auf durchschnittlich 13 Prozent – Originality.ai übersieht sogar 18 Prozent
- Bei wissenschaftlichen Arbeiten versagen die Detektoren dramatisch: 24–29 Prozent der stilimitierten KI-Texte bleiben unerkannt; im Extremfall übersieht Pangram 48 Prozent der von Gemini generierten wissenschaftlichen Passagen
Das Testdesign: Realistische Bedingungen
Epoch AI wählte einen methodisch sauberen Ansatz: Der Korpus bestand ausschließlich aus Texten vor dem ChatGPT-Release im November 2022, um eine Kontamination durch Sprachmodelle auszuschließen. Das Team testete drei Frontier-Modelle – Claude Opus 4.8, GPT-5.5 und Gemini 3.1 Pro – und gab ihnen jeweils fünf echte Textpassagen eines Autors als Vorlage. Die Modelle sollten darauf basierend neue Texte im gleichen Stil verfassen.
Das Ergebnis: Von 297 so erzeugten Passagen blieben durchschnittlich 38 unerkannt.
Wo es besonders kritisch wird
Die Fehlerquoten unterscheiden sich stark nach Textgattung:
| Texttyp | Pangram | GPTZero | Originality.ai |
|---|---|---|---|
| Fiktion | 1–5 % | 1–5 % | 1–5 % |
| Wissenschaft | 25 % | 24 % | 29 % |
| Wissenschaft (Gemini) | 48 % | – | 39 % |
Bei menschlichen Texten zeigen sich auch andere Schwächen: Originality.ai markierte 19 von 495 menschlichen Passagen fälschlicherweise als KI-generiert – eine Falsch-Positiv-Rate von 3,8 Prozent, die für Autoren und Institutionen problematisch ist. Pangram und GPTZero produzierten dagegen keinen einzigen Fehlalarm.
Was das bedeutet
Die Ergebnisse deuten auf ein grundsätzliches Problem hin: Detektoren erkennen KI-Texte, nicht KI-Verhalten. Solange ein Modell in seinem typischen Stil schreibt, fällt es auf. Sobald es aber einen menschlichen Stil annimmt, wird es unsichtbar. Das ist besonders brisant in der Wissenschaft, wo Plagiatsprüfungen und KI-Detektoren zunehmend als Gatekeeper fungieren.
Die Forschung von Epoch AI zeigt auch: Es gibt keine universelle Lösung. Originality.ai ist bei stilimitierten Texten am fehleranfälligsten, produziert aber auch die meisten Fehlalarme bei echten Texten. Pangram und GPTZero sind ausgewogener, aber auch nicht zuverlässig genug für hochriskante Anwendungen.
Einordnung für deutsche Unternehmen und Institutionen
Diese Erkenntnisse sollten Universitäten, Verlage und Unternehmen aufhorchen lassen. Wer sich auf KI-Detektoren als alleiniges Kontrollmittel verlässt, sitzt auf einem Risiko. Besonders in der Wissenschaft – wo Integrität zentral ist – reichen diese Tools nicht aus. Gleichzeitig zeigt sich: Detektoren werden immer weniger ein Sicherheitsmerkmal und mehr ein Compliance-Theater. Die Frage ist nicht mehr, ob KI-generierte Texte erkannt werden können, sondern wie Organisationen mit der Realität umgehen, dass Stilimitation eine Detektoren-Umgehungstechnik ist, die funktioniert.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
