LLMの「忘却」は不完全？エージェント環境下で機密漏出率最大86%に達する実態

大規模言語モデル（LLM）が学習済みデータを忘れる「アンラーニング」技術を施し、モデルが回答を拒絶しても、AIエージェント環境に配置されると22%〜86%の確率で機密情報が漏出することが判明しました。2026年9月14日にarXivで公開された新評価フレームワーク「K-Bench」により、実環境における従来の忘却検証の不備が浮き彫りとなっています。

3行でわかる

• エージェント環境での漏出: 従来の検証で安全とされたモデルでも、ReActエージェント環境では22%〜86%の問い合わせで機密が漏出しました。
• 重み内消去の成功率は0%: 既存のアンラーニング手法20種を検証したところ、モデルの重み（Weights）から機密を実証的に消去できた手法は0件（0%）でした。
• 全6チャネルの監視が必要: 最終回答だけでなく、思考の連鎖やツールの観測など6つの伝送チャネル全体を評価する基準への刷新が求められています。

Q&A

Q1: アンラーニング（機械学習の忘却）とは何ですか？音楽のアルバム名などと関係がありますか？

A1: 文化面ではカナダのシンガーソングライターであるマット・ブラウワー（Matt Brouwer）が2005年2月に2ndアルバム『Unlearning』を発表し、2006年のビルボード・クリスチャン・ソングで30位に入った例がありますが、AI分野のアンラーニングは全く異なります[2]。AIのアンラーニングとは、モデルが一度学習した機密データや個人情報を後から削除する技術のことです。

Q2: 今回発表された「K-Bench」とは何ですか？

A2: ウィ・グアンシェン（Guangsheng Yu）、ジャン・ヤンナ（Yanna Jiang）らの研究陣が2026年9月14日（初版は9月11日）にarXiv cs.AIで公開した、エージェント環境向けLLMアンラーニング評価フレームワークです[1]。ReActエージェントの6つの伝送チャネル（思考の連鎖、ツール呼び出し、ツールの観測、要約など）を網羅的に検証し、重み・プロンプト・検索リポジトリ別に「K-Score」を算出します。

Q3: 従来のベンチマーク（TOFUやMUSE）はなぜ問題を見逃していたのですか？

A3: 従来のTOFUやMUSEは、モデルの最終回答チャネルのみを測定し、単に「回答を拒絶」するだけで忘却を認証していました。しかし、モデルが回答を拒絶しても、エージェントの思考プロセスやツールのやり取りの中で機密が漏出する実態を捉えられていませんでした。

Q4: 既存のアンラーニング手法はどの程度有効だったのですか？

A4: 公開されている20種類の機械学習アンラーニング手法を検証した結果、機密がモデルの重み（Weights）にある場合、実証可能に機密を除去できた手法は皆無でした。成功率は0%（成功0個 ÷ 評価20個 × 100）という結果になっています。

Q5: 単純な「回答拒絶の学習（拒絶チューニング）」では不十分なのですか？

A5: 不十分です。研究陣は「拒絶チューニング手法は、検証された知識の除去なしに評価対象の抽出を防いでいるにすぎない」と指摘しています。表面的な拒絶だけでは、モデル内部から情報が完全に消去されたとは証明されていません。

数字で見る

データ保存場所ごとの従来ベンチマークと実測値の差、および検証数値は以下の通りです。

• 検証されたアンラーニング手法数: 20種類
• 重み内機密除去の成功率: 0%（成功0個 ÷ 評価対象20個 × 100 = 0%）
• 調査対象チャネル数: ReActエージェントの6チャネル（思考の連鎖、ツール呼び出し、ツールの観測、要約など）
• プロンプト/検索リポジトリ時の実測漏出率: 22%〜86%

まとめ

今後は、モデルが単に回答を拒絶するだけでは安全とみなせなくなります。企業がAIエージェントを導入・配置する際は、最終回答だけでなく、思考の連鎖やツールの観測など6つの伝送チャネルのいずれか1つからでも機密が漏れ出していないかを点検する厳格な評価基準の適用が不可欠となります。

出典

1. K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments — arXiv cs.AI 신규 논문
2. Unlearning — Wikipedia (en)