Google Deepmind kündigt die erste doppelblinde Evaluierung eines proprietären Frontier-KI-Modells an – mit kryptografischer Absicherung. Das Verfahren soll ein Kernproblem der KI-Branche lösen: die sogenannte Benchmark-Kontamination, bei der Modelle Testfragen bereits während des Trainings gesehen haben und daher nicht aussagekräftig bewertet werden können.
Kurz & knapp
- Pilotprojekt: Google testet ein Gemini Flash Lite-Modell gegen vertrauliche Benchmarks mit dem Singapore AI Safety Institute
- Technologie: Confidential Space aus Google Clouds Confidential-Computing-Portfolio sichert Daten kryptografisch ab
- Kernvorteil: Weder Google sieht die Test-Prompts noch die Prüfer die Modellgewichte – erstmals technisch verifizierbar
- Ziel: Neuer Standard für sichere Modellaufsicht, besonders in sensiblen Bereichen wie Cybersicherheit
Das Dilemma der bisherigen Evaluierungen
Bislang zwangen hochsensible externe Tests die Branche in einen unbefriedigenden Kompromiss: Entweder gaben Prüfer ihre Test-Prompts heraus – dann konnte der Modellanbieter die Fragen vorab sehen und sein Modell gezielt optimieren. Oder der Anbieter übergab seine Modellgewichte – und riskierte damit sein geistiges Eigentum. Ein aktuelles Beispiel: Die verzögerten Evaluationen für den ARC-AGI-Benchmark von Anthropics Claude 3.5, da das KI-Unternehmen für seine stärksten Modelle eine 30-tägige Datenaufbewahrung erzwingt.
Bislang verließ sich die Branche auf Zero-Logging-Protokolle und vertragliche Schutzmaßnahmen. Das reichte vielen nicht aus.
Wie die kryptografische Lösung funktioniert
Google setzt Confidential Space ein – eine Technologie aus dem Confidential-Computing-Portfolio von Google Cloud. Sie ermöglicht es, dass externe Testdaten und das KI-Modell in einer kryptografisch gesicherten "Box" laufen. Der Prüfer sieht die Gemini-Gewichte nicht, Google sieht die Test-Prompts nicht. Kryptografische Verifikation stellt sicher, dass beide Seiten ihre sensiblen Daten schützen – und dass das Modell die Testfragen nicht vorab kennen kann.
Google bezeichnet diese Kombination aus technischen und kryptografischen Absicherungen als bedeutenden Fortschritt gegenüber bisherigen vertraglichen Lösungen.
Besonders relevant für sensible Bereiche
Besonders wichtig ist das Verfahren laut Google Deepmind bei hochsensiblen Evaluierungen – etwa im Bereich Cybersicherheit oder bei Tests durch staatliche Stellen. Unabhängige Organisationen könnten fortgeschrittene Modelle so rigoros prüfen, ohne Datensouveränität oder Sicherheit aufzugeben.
Google hofft, dass das Pilotprojekt einen neuen Standard für die Modellaufsicht setzt. Details zur Methodik und zu den Ergebnissen veröffentlicht das Unternehmen in einem technischen Bericht.
Was das für deutsche Unternehmen bedeutet
Das Verfahren könnte für deutsche KI-Entwickler und Regulatoren relevant werden – besonders im Kontext des EU AI Act, der unabhängige Evaluierungen von Hochrisiko-Systemen vorsieht. Wenn sich die doppelblinde Evaluierung als Standard durchsetzt, könnten deutsche Unternehmen ihre Modelle künftig zuverlässiger validieren, ohne Geschäftsgeheimnisse offenlegen zu müssen. Gleichzeitig könnten Behörden und unabhängige Institute rigoroser prüfen – ohne dabei Sicherheitsbedenken zu haben.
Quellen
Redaktionell verantwortet von Ideal Syka. Quellen und Arbeitsweise: Redaktion & Methode. Hinweise und Korrekturen: ai@i6eal.de.
