K-Bench 공개, 에이전트 환경서 LLM 언러닝 누출률 86% 달해

대규모 언어모델(LLM)이 거절 응답을 내놓아도 에이전트로 배치되면 22%에서 86%의 질의에서 기밀 정보를 유출한다는 벤치마크 결과가 나왔다. 위광성과 장얀나 등 연구진은 2026년 9월 14일 arXiv를 통해 ReAct 에이전트의 6개 전송 채널을 전수 검증하는 'K-Bench' 평가 프레임워크를 공개했다. 기존 언러닝 인증 체계가 실전 환경에서 무력화되는 실태가 확인됐다.

K-Bench 발표 주요 사실

연구진은 실전 환경의 누출 실태를 분석했다.

기존 언러닝 검증은 왜 실전에서 빗나갔나

동음이의어로 문화계에서는 캐나다 싱어송라이터 맷 브라워가 2005년 2월 두 번째 정규 앨범 'Unlearning'을 발표했다. 앨범은 웹사이트와 디지털 유통, 매장으로 배포됐다. 수록곡은 2006년 빌보드 크리스천 송 30위에 들었다.

AI 분야의 언러닝은 전혀 다른 영역이다. TOFU와 MUSE 같은 기존 언러닝 벤치마크는 모델의 최종 답변 채널만을 읽어 망각을 인증했다. 모델이 응답을 거절하기만 해도 망각을 인증받았다.

실전 배치는 달랐다. ReAct 에이전트로 배치된 모델은 최종 답변 채널 외에도 사고 연쇄와 도구 호출 전반에서 기밀을 드러낸다.

이런 인증 공백이 에이전트 서비스 사용자에게 어떤 보안 위험을 초래하는지 따져봐야 한다.

기업 내부망과 내 개인정보에는 어떤 영향이 있나

기업이 AI 에이전트를 도입할 때 삭제했다고 믿은 비밀번호나 사내 기밀이 외부 질의 과정에서 그대로 드러날 수 있다. 기밀이 프롬프트나 검색 저장소에 있을 때 기존 TOFU와 MUSE는 누출이 없다고 보고했으나 에이전트는 22%에서 86%의 질의에서 기밀을 누출했다.

구조화된 검색 환경에서는 최종 답변 채널을 지워도 도구 관측 채널에 기밀이 원문 그대로 잔류했다. 전체 누출률은 변하지 않았다.

수치상으로 기존 방법론들이 보인 한계는 더 구체적으로 드러난다.

숫자로 본 언러닝 기법 20종의 검증 결과

연구진이 평가한 기존 20개 언러닝 기법 중 기밀이 가중치에 있을 때 이를 입증 가능하게 제거한 기법은 전무했다. 가중치 소거 성공률은 0%다(성공 기법 0개 ÷ 평가 기법 20개 × 100 = 0%). 입력 왜곡 개입 방식만이 평가된 관찰자 하에서 선별적 망각에 도달했다. 결과는 충격적이다.

최고 순위의 언러닝 방법은 베이스 모델에 따라 변경된다. 단일한 해법은 없다.

제거가 아닌 단순 거절 방식의 효용성에 대해 연구진은 명확한 실증 한계를 지적했다.

단순 거절 학습은 지식 제거로 볼 수 있는가

거절 튜닝 기법이 지식을 실제로 지운 것인지에 대해 연구진은 회의적인 평가를 내놓았다. 위광성 외 연구진은 "거절 튜닝 방법은 검증된 지식 제거 없이 평가 대상 추출을 방어한다"고 밝혔다. 겉포장만 바뀐 셈이다.

모델이 특정 추출을 막아내더라도 가중치 내부에서 정보가 완전히 소멸되었는지는 입증되지 않았다. 평가 체계의 재설계가 불가피하다.

에이전트 보안 평가 체계가 확립되기 위해 어떤 검증 일정과 기술적 변수가 남았는지 주목된다.

에이전트 배포 시 향후 고려해야 할 변수는

K-Bench 논문은 2026년 9월 11일 초판(v1) 제출 후 9월 14일 v2가 등록됐다. K-Score는 가중치, 프롬프트, 검색 저장소 3개 원천별로 분리 산출되며 에이전트의 사용성이 유지될 때만 망각을 인정한다.

향후 에이전트를 배치할 때는 ReAct 에이전트의 사고 연쇄, 도구 호출, 도구 관측, 요약 등 6개 채널 중 단 하나라도 기밀이 나오면 누출로 간주해야 한다. 개발진은 사내 에이전트의 6개 전송 채널을 점검하거나 arXiv 원문 논문을 직접 확인해야 한다.

출처

1. K-Bench: A Benchmark for LLM Unlearning in Agentic Deployments — arXiv cs.AI 신규 논문
2. Unlearning — Wikipedia (en)

이 기사는 AI 보조 도구로 초안을 작성하고 편집 책임자가 1차 출처와 대조해 사실을 확인한 뒤 수정·게재했습니다. 사실과 다른 내용이 있으면 정정 요청을 보내주세요.