KI-Systeme in der Radiologie sind gefährlich selbstsicher – und das ist ein ernstes Problem für die klinische Praxis. Der RadLE 2.0 Benchmark, entwickelt vom CRASH Lab der Ashoka University in Indien, hat gerade demonstriert, dass führende AI-Modelle falsche Befunde mit voller Überzeugung abgeben, während sie gleichzeitig nicht wissen, wann sie schweigen sollten.
Kurz & knapp
- Menschliche Radiologen erreichten 988,7 von 2.000 Punkten, das beste AI-Modell nur 758 Punkte
- Claude Fable 5 (Anthropic) war zuverlässigster bei sicheren Antworten; Gemini 3 Pro (Google) hatte höchste Rohgenauigkeit
- Meta's Muse Spark 1.1 erkannte am besten, wann es einen Fall an Menschen abgeben sollte
- Das Benchmark-System belohnt Ehrlichkeit: Falsche Antworten mit hoher Konfidenz führen zu Punktabzug – genau wie in der echten Medizin
Das Kernproblem: Vertrauen statt Wissen
Der RadLE 2.0 Test misst drei Dimensionen: ob das Modell die Diagnose richtig stellt, wie sicher es sich dabei ist, und ob es zugeben kann, wenn es überfordert ist. Die AI muss ihre Antworten auf einer Konfidenzskala von 0 bis 4 bewerten – und darf explizit "Ich weiß nicht" sagen.
Das ist das Kernproblem: Viele Modelle tun das nicht. Sie raten lieber mit hoher Überzeugung, als zuzugeben, dass sie unsicher sind. In der Radiologie ist das keine akademische Frage – eine selbstbewusste Fehldiagnose kann für Patienten tödlich sein.
Das Scoring-System bestraft genau dieses Verhalten: Wer richtig antwortet und dabei sicher ist, bekommt volle Punkte. Wer falsch liegt, aber trotzdem selbstsicher war, verliert entsprechend viele Punkte. "Ich weiß nicht" zu sagen kostet null Punkte, schadet aber nicht.
Unterschiedliche Strategien, unterschiedliche Risiken
| Modell | Stärke | Problem |
|---|---|---|
| Claude Fable 5 | Zuverlässige, sichere Antworten | Insgesamt konservativer |
| Gemini 3 Pro | Höchste Rohgenauigkeit | Überconfidence bei Unsicherheit |
| Muse Spark 1.1 | Beste Handover-Erkennung | Weniger Halluzinationen durch häufigeres Ablehnen |
| Grok 4.5 | Mehr Wissen | Deutlich mehr Halluzinationen, weil überzeugter von falschen Antworten |
Ein besonders warnendes Beispiel: Grok 4.5 halluziniert deutlich häufiger als seine Vorgängerversion – nicht weil das Modell weniger weiß, sondern weil es sich seiner falschen Antworten mehr sicher ist.
Open-Source- und speziell für Medizin trainierte Modelle zeigen das Problem besonders deutlich. Sie versuchen, fast jeden Fall zu beantworten, liegen aber häufig daneben – meist mit mittlerer bis hoher Konfidenz. Laut Forschungsteam hätten mehrere dieser Modelle deutlich besser abgeschnitten, wenn sie öfter geschwiegen hätten.
Was das für die Praxis bedeutet
Die Studie adressiert ein fundamentales Problem, das kürzlich in einer vielzitierten Publikation aufgeworfen wurde: Solange Benchmarks nur Genauigkeit messen, werden AI-Modelle trainiert zu raten. In der Medizin ist das fatal.
Für deutsche Unternehmen und Kliniken bedeutet das: Bevor KI-Systeme in der Radiologie eigenständig diagnostizieren, müssen sie lernen, ihre Grenzen zu akzeptieren. Ein Modell, das in 90 Prozent der Fälle recht hat, aber in den restlichen 10 Prozent falsch liegt und dabei trotzdem selbstsicher ist, ist für den klinischen Einsatz nicht geeignet. Die Frage ist nicht nur "Wie genau ist die KI?", sondern "Weiß die KI, wann sie nicht genau ist?" Regulierung und Zertifizierung müssen diesen Punkt ernst nehmen – sonst werden KI-Systeme zum Risiko statt zur Hilfe.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
