최근 스탠퍼드 대학교 연구진이 진행한 대규모 AI 언어모델 진단에서 챗GPT 등 주요 챗봇들이 ‘팩트와 허구, 믿음과 진실’ 사이를 명확히 구분하지 못한다는 충격적인 결과가 나왔습니다.
이 연구는 Nature Machine Intelligence에 게재되었으며, 지식이란 본질적으로 ‘진실’을 포함해야 한다는 점에서 현행 챗봇들이 구조적으로 취약하다는 결론을 내렸습니다.
스탠퍼드 팀은 챗GPT, Claude, DeepSeek, Gemini 등 최신 대형 언어모델 24종을 대상으로 1만3천개의 질의를 던졌고, 챗봇들은 믿음 문장이 진실이 아닐 때, 올바르게 인식하는 데 현저한 약점을 드러냈습니다.
예를 들어, “나는 금요일에 기차가 운행된다고 믿는다”라는 문장이 사실과 다를 경우에도 챗봇은 이를 잘못 인지할 확률이 매우 높았습니다.
최신 모델(GPT-4o 기준)도 98%의 참 문장 인식률이 64%로 급감하며, 허위 믿음에 취약함을 보여줬고, DeepSeek R1은 아예 14%로 추락했습니다.
특히, 연구진은 “대부분 챗봇이 진짜와 허구, 믿음과 지식의 ‘팩티브(factive)한’ 구분을 이해하지 못한다”고 경고했습니다.
챗봇의 답변 방식이 깊은 이해보다는 표면적인 패턴 매칭에 의존한다는 평가입니다.
이런 약점은 현실에 큰 위험을 초래할 수 있다는 지적도 나옵니다.
최근 한 캘리포니아 법원에서는 챗GPT가 만들어낸 허위 정보가 법률 문서에 포함되어 변호사 2곳에 3만1천 달러의 벌금이 부과됐던 사례도 있었습니다.
의료, 법률, 저널리즘 등 고위험 분야에서 챗봇의 ‘믿음과 진실’ 혼동은 진단 오류, 판결 왜곡, 허위 정보 확산 등 심각한 사회적 부작용으로 이어질 수 있습니다.
한편, 챗GPT 사용자의 77%가 챗봇을 검색엔진처럼 사용하고 있으며, 3명 중 1명은 검색엔진보다 챗GPT를 더 신뢰한다는 조사도 발표됐습니다. 이에 오픈AI는 2025년 10월부로 챗GPT에게 의료, 법률, 재정 분야 답변 제공을 전면 금지하겠다고 공식 발표한 상태입니다.
스페인 마드리드 대학 언어학 전문가 파블로 하야 콜 교수도 “믿음과 지식의 혼동이 중요 분야에서 심각한 판단 오류로 이어질 수 있다”고 우려를 표했습니다. 전문가들은 챗봇 기술이 근본적 개선 없이는 고위험 실무 현장에 투입되어서는 안 된다고 강조했습니다.
지금까지 AI 챗봇의 결정적인 한계와 그로 인한 사회적 파장, 그리고 현행 규제와 개선 필요성까지 스탠퍼드 연구를 중심으로 짚어드렸습니다.
