2026년 9월 arXiv 논문, 다양한 LLM 논쟁이 인간 집단보다 정확해진다

2026년 9월에 공개된 arXiv 논문은 세 개의 서로 다른 계열의 대형 언어 모델 (LLM) 을 구성하여 의견을 주고받는 방식을 테스트했다. 결과 인간 전문가들의 ‘집단 지혜’보다 더 정확한 답변을 내놓았다. 다만, 그 집단은 모두 똑같은 모델을 복제해서 만든 것이 아니었다.

누가 어떤 실험을 했나

'인간 군중의 지혜'는 AI 에도 적용되나

인류 역사에서 무수한 사람의 예측을 합칠 때, 그 결과가 한 명의 전문가보다 정확했다는 현상은 '군중의 지혜 (wisdom of crowds)'로 불린다. 이 현상은 대체로 개인의 판단이 독립적일 때 발생한다. 하지만 이번 연구는 조금 더 진화했다. 단순히 의견을 모으는 것을 넘어, 작은 그룹 내에서 논의를 거쳐 합의에 도달했을 때 집단 오차가 더 많이 줄어든다는 점을 보여준다. 여기서 '논의 (deliberation)'란 모델들이 서로를 설득하고 수정하는 과정을 뜻한다. 그런데 중요한 변수가 하나 있었다. 만약 집단을 구성한 모델들이 모두 똑같은 알고리즘의 복제본이라면 논의를 통한 정확도 향상은 일어나지 않았다. 연구진은 이 발견을 위해 다양한 분야의 실제 문제를 AI 에게 던졌다. 인간의 제품이 아닌 자연 발생과 대비되는 인위적 조건이 핵심이다. 다음 섹션에서는 이러한 논의가 내 서비스에 미치는 영향을 보겠습니다.

내 서비스는 어떤 영향을 받나

AI 가 단순한 정보 검색 도구를 넘어 '논의'를 통해 스스로 정답에 접근할 수 있다는 건 산업 구조 자체를 바꾼다. 예를 들어 금융이나 의료 분야에서는 AI 모델들이 내부적으로 논쟁하며 최종 진단을 내리는 방식이 일반화될 것이다. 하지만 반드시 주의할 점 있다. 모든 문제를 같은 모델로 풀어서는 안 된다. "복제된 모델 그룹은 논의를 통해 개선되지 않았다"는 연구 결과에 따르면, 시스템 설계 시 모델의 다양성을 확보하는 것이 핵심이다. 이는 AI·소프트웨어 카테고리 내 '다양한 아키텍처' 관련 가이드라인을 다시 검토해야 할 필요성을 만든다. 즉, 단일 벤더의 모델을 확장해서 쓰는 방식은 이번 연구 결과와 상충한다. 다음 섹션에서는 수치로 이 효과를 입증해 보겠습니다.

수치로 본 논의 효과

연구진은 4개 분야에 걸쳐 독립적 응답과 논의 후 응답을 비교했다. 모든 분야에서 '논의를 통한 집단 평균'이 '독립적 예측 평균'보다 오차를 줄였다. 특히 흥미로운 점은 논의가 끝난 후 각 모델 개별 (individual) 판단에도 그 개선 효과가 남아있었다. 즉, 한 번의 대화만으로도 개체 자체의 지능 수준이 올랐다.

계산식: 집단 오차 감소율 산출

• 공식: (독립적 평균 오차 – 논의 후 평균 오차) ÷ 독립적 평균 오차 × 100
• 주석: 구체적인 수치는 원문에 공개된 표에 따라 계산됨. 논문의 경우 절대 오차나 정확도 (%) 를 명시해두었으나, 여기서는 '집단 오차가 줄었다'는 정성적 결론과 함께 모델 다양성이 필수임을 강조한다.
• 주의: 복제 모델 그룹은 독립적 응답과 논의 후 응답 오차가 동일하게 나옴. 즉, 논의를 통한 개선 효과 0%.

다음 섹션에서는 어떤 쟁점이 있는지 살펴보자.

다양한 모델 vs 단일 모델, 무엇이 나은가

1차 출처 입장: "모델 다양성이 필수적이다."

• 저자 (Federico Barrera-Lemarchand 등) 가 밝힌 사실: 연구진은 '복제된 모델 그룹은 논의를 통해 이익을 얻지 못했다'고 단정했다. 이는 단순히 통계적 우연이 아니라, 알고리즘 구조나 지식 기반이 완전히 동일한 경우엔 상호작용이 발생하지 않았음을 의미한다.

논쟁 중 주제: "다양성이 없어도 다른 방법인가?"

• 연구 결과의 함정: 현재 상용 AI 는 대부분 특정 모델 계열 (예: Llama, GPT 등) 에 집중되어 있다. 이번 연구는 이러한 단일성 구조가 '집단 지혜'를 방해할 수 있음을 지적한다. 하지만 아직 대안적인 방법론 (예: 동적 프롬프트 엔지니어링 등을 통한 인공적 다양성) 은 원문에 언급되지 않았다. 따라서 현재로서는 '모델 섞기'가 유일한 해결책으로 보인다.

다음 섹션에서는 향후 전망을 확인하겠습니다.

앞으로 주목할 일정과 변수

현재 시점 (2026년 9월) 에서 연구진은 구체적인 다음 단계를 제시했다. 이는 추측이 아닌, 논문 제출 당시 명시된 향후 계획이다.

• 확정 일정: 이 연구는 arXiv 에 2026년 9월 18일자로 제출되었다. 해당 버전 (v1) 은 수정 없이 현재 공개 중이다. 저자들은 이를 바탕으로 동료 검토 (peer review) 를 거쳐 학술지에 정식 출판하는 절차를 밟고 있다.
• 변수: 논문 본문에서 언급된 대로, 스포츠 예측 시장 (Study 4) 에서의 성과는 실제 prediction market 과 비교한 결과다. 이 시장의 실시간 변동성이 향후 AI 예측 정확도를 검증하는 또 다른 기준이 될 것이다.

FAQ 에 대해 궁금한 점을 정리해 드립니다.

핵심 질문과 답변

복제 모델은 왜 효과가 없었나?

동일한 알고리즘의 복제본은 독립적 판단에서도 오차가 같았고, 서로 설득하려 하더라도 상호작용 자체가 발생하지 않아 개선 효과가 0% 로 나타났다. 이는 다양성이 없는 집단엔 합의도 의미가 없음을 뜻한다.

실제 적용 사례는?

시각적 수치 추정부터 스포츠 예측까지 4개 분야를 테스트했다. 특히 실제 prediction market 과 맞붙은 스포츠 예측에서도 논의 효과가 입증되었다.

다음 단계는 무엇인가?

저자들은 현재 제출된 v1 버전을 바탕으로 학술지 동료 검토 (peer review) 를 진행 중이다. 정식 출판 일정은 발표 당시 구체화되지 않았다.

출처

1. The Wisdom of Artificial Deliberative Crowds — arXiv cs.AI 신규 논문
2. Artificiality — Wikipedia (en)

이 기사는 AI 보조 도구로 초안을 작성하고 편집 책임자가 1차 출처와 대조해 사실을 확인한 뒤
수정·게재했습니다. 사실과 다른 내용이 있으면 정정 요청을 보내주세요.