K-Bench enthüllt Sicherheitslücke: KI-Agenten lecken vertrauliche Daten in bis zu 86 Prozent der Fälle

Selbst wenn ein großes Sprachmodell eine direkte Antwort verweigert, gibt es als autonomer Agent in 22 bis 86 Prozent der Anfragen vertrauliche Informationen preis. Dies belegt das neue Evaluierungs-Framework K-Bench, das bestehende Zertifizierungen für maschinelles Verlernen infrage stellt.

Hintergrund

Der Begriff des Verlernens (Unlearning) taucht in verschiedenen Kontexten auf: Im Kulturbereich veröffentlichte beispielsweise der kanadische Singer-Songwriter Matt Brouwer im Februar 2005 sein zweites Studioalbum mit dem Titel 'Unlearning' über Websites, digitale Kanäle und den Einzelhandel, dessen Titel 2006 Platz 30 der Billboard Christian Songs erreichte. In der künstlichen Intelligenz bezeichnet maschinelles Verlernen hingegen das gezielte Entfernen spezifischer Daten oder Geheimnisse aus trainierten Modellen.

Bisherige Testverfahren wie TOFU und MUSE überprüften das Vergessen von Informationen ausschließlich über den finalen Antwortkanal eines Modells. Verweigerte ein Modell auf eine direkte Anfrage die Auskunft, galt die Information als erfolgreich verlernt. In der Praxis greifen Sprachmodelle bei ihrem Einsatz als ReAct-Agenten jedoch auf mehrere Zwischenschritte zurück.

Am 14. September 2026 (Version 2, Erstveröffentlichung am 11. September 2026) stellte ein Forschungsteam bestehend aus Guangsheng Yu, Yanna Jiang, Qin Wang, Baihe Ma und Xu Wang auf arXiv (arXiv:2609.12808) das Framework 'K-Bench' vor. Die Untersuchung analysiert sämtliche Kommunikationskanäle von ReAct-Agenten und zeigt, dass das bloße Trainieren von Verweigerungsantworten vertrauliche Daten in der Praxis keineswegs eliminiert.

Wichtige Kennzahlen

Die empirische Überprüfung von 20 Machine-Learning-Verlernmethoden liefert eindeutige Messwerte:

• Veröffentlichungsdatum: 14. September 2026 (v2; v1 vom 11. September 2026 auf arXiv cs.AI, Paper arXiv:2609.12808)
• Forschungsteam: Guangsheng Yu, Yanna Jiang, Qin Wang, Baihe Ma, Xu Wang
• Untersuchte Agenten-Kanäle: 6 Übertragungskanäle von ReAct-Agenten (u. a. Gedankenkette bzw. Chain of Thought, Tool-Aufruf, Tool-Beobachtung, Zusammenfassung)
• Geprüfte Verfahren: 20 öffentlich zugängliche Unlearning-Methoden
• Tatsächliche Leckrate bei Prompts/Retrieval-Speichern: 22 % bis 86 % der Anfragen
• Erfolgsquote bei der Löschung aus Modellgewichten: 0 % (0 erfolgreiche Methoden ÷ 20 evaluierte Methoden × 100 = 0 %)

Auswirkungen auf Unternehmen und Datenschutz

Unternehmen, die KI-Agenten in ihre Netzwerke einbinden, stehen vor einem Sicherheitsrisiko: Passwörter und Geschäftsgeheimnisse, die als gelöscht eingestuft wurden, können bei externen Anfragen unbemerkt offengelegt werden. Während ältere Benchmarks bei Daten in Prompts oder Retrieval-Speichern eine Leckrate von 0 % auswiesen, verloren ReAct-Agenten in 22 % bis 86 % der Fälle sensible Daten.

Besonders in strukturierten Retrieval-Umgebungen zeigte sich, dass Geheimnisse selbst bei einer Bereinigung des finalen Antwortkanals im Kanal der Tool-Beobachtung im Originaltext verblieben. Die Gesamtrate der Datenabflüsse veränderte sich dadurch nicht. Zudem hängt die wirksamste Unlearning-Methode vom jeweiligen Basismodell ab; eine Universallösung existiert nicht.

Das Forschungsteam um Guangsheng Yu äußerte sich skeptisch gegenüber reinen Verweigerungsansätzen: 'Verweigerungs-Tuning-Methoden wehren evaluierte Extraktionen ab, ohne dass ein verifiziertes Entfernen von Wissen stattfindet.' Das Wissen bleibt somit tief in den Modellgewichten vorhanden.

Ausblick

Mit der Veröffentlichung der zweiten Fassung des K-Bench-Papiers am 14. September 2026 liegt ein neuer Bewertungsmaßstab vor. Der eingeführte 'K-Score' trennt die Messung strikt nach den drei Datenquellen Modellgewichte, Prompts und Retrieval-Speicher. Das Verlernen wird dabei nur dann anerkannt, wenn der Agent gleichzeitig voll einsatzfähig bleibt.

Für künftige Implementierungen gilt die Vorgabe, dass ein Sicherheitsleck vorliegt, sobald vertrauliche Daten in auch nur einem der sechs Kanäle eines ReAct-Agenten (Gedankenkette, Tool-Aufruf, Tool-Beobachtung, Zusammenfassung und weitere) auftauchen. Entwickler und Sicherheitsbeauftragte müssen daher alle sechs Übertragungswege betrieblicher Agenten überprüfen oder die technischen Details im arXiv-Papier arXiv:2609.12808 einsehen.

Quellen

1. K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments — arXiv cs.AI 신규 논문
2. Unlearning — Wikipedia (en)