AI 팀의 기억에 담긴 거짓말, 97% 가 확신으로 전파된다

2026년 9월 25일 arXiv 논문이 AI 에이전트 팀의 공유 메모리 오류를 분석했다. 출처 계보를 확인할 수 없을 때 AI 는 거의 모든 거짓 정보를 사실로 믿는다.

누가, 언제, 어디서 발표했나

다음으로 이 메모리가 왜 위험한지 살펴본다.

기억공유 왜 위험할까

2026년 9월 25일 Xiaoyang Li 연구팀이 공개했다. 여러 에이전트가 팀을 이루어 작업할 때 '공유 메모리'를 쓴다. 각자는 여기에 정보를 적고 다른 쪽에서 꺼내 쓴다. 단순 반복은 새로운 증거로 오인된다. 같은 문장을 여러 번 써도 AI 가 별도 사실로 여기는 문제다. 이는 원인 분석을 방해한다. 연구팀은 이 문제를 해결하기 위해 CPB 라는 벤치마크를 만들었다. 이후에 거짓이 퍼지는 경로가 구체적으로 드러났는지 궁금하다. 배경으로 '진단 (Diagnosis)'은 현상의 원인과 결과를 규명하는 과정이다. 시스템 엔지니어링에서는 증상, 완화책, 해결책을 찾아내는 데 쓰인다. 이 개념은 2025년까지만 해도 널리 알려지지 않았다.

거짓말 막는 법은?

AI 가 메모리에서 거짓 정보를 받아들일 경우:

1. 불필요한 작업: 소비자가 정확한 답 대신 잘못된 정보에 기반해 행동한다. 2. 오류 전파: 한 번 거짓이 들어오면 다음 에이전트들이 이를 인용하며 검증하지 않는다.

출처의 종류를 구분하는 정책이 오류를 줄인다. 하지만 이는 [AI 도구 최적화] 카테고리를 참고해야 할 복잡한 문제다. 계산 과정

허용된 거짓 수용률 감소 폭 = 0.47 - 0.06 = 0.41. 이는 약 41%p 의 개선이다. 이 필터링 정책이 내 개인 AI 의 비용 증가를 유발하는가?

숫자로 보니 거짓 수용률이 얼마나 될까

연구팀은 8가지 승인 정책을 비교했다. 출처의 유형을 확인 (Gating on declared source type) 한 정책과 다른 정책의 '허용된 거짓 주장 비율'이 다르다.

계산 설명

최대 대비 최소 감소 폭 = 0.47 - 0.06 = 0.41. 최소 대비 최대 비율 = 0.09 ÷ 0.22 ≈ 0.409(약 40.9%). 출처: 왜 어떤 정책은 복제된 내용까지 차단하지 못하는가?

정책별 한계는 무엇이 있나

1차 출처들의 입장

연구팀 (Xiaoyang Li 등):

"출처 계보 (source lineage) 에 접근하지 않는 승인 정책에는 한계가 있다."

복제본, 패러프레이즈, 권위를 선언한 패러프레이즈 모두에서 거짓을 일관되게 거부하는 비 오라클 정책은 존재하지 않았다.

논쟁 점

연구팀은 현재 기술로는 완벽한 필터링이 불가능하다고 본다. 하지만 이는 [대형 모델 평가] 분야에서 여전히 논쟁 중인 주제다.

앞으로 어떤 일이 벌어질까

논문 제출일로부터 1 주일이 지나면 공식 검토 과정이 시작될 예정이다. 연구팀은 향후 다른 에이전트 계열 (agent families) 에서도 이 벤치마크를 적용해 볼 계획이다.

확인된 일정: 2026년 9월 말까지 관련 코드와 데이터셋 공개 여부 확인. 출처: 관련 글: [AI 메모리 최적화 가이드] 읽기

출처

1. A Benchmark and Diagnostic Study of Epistemic Admission in Shared Agent Memory — arXiv cs.AI 신규 논문
2. Diagnosis — Wikipedia (en)

이 기사는 AI 보조 도구로 초안을 작성하고 편집 책임자가 1차 출처와 대조해 사실을 확인한 뒤 수정·게재했습니다. 사실과 다른 내용이 있으면 정정 요청을 보내주세요.