사고력 10편: 확신 있는 말투와 맞는 답은 다르다

AI가 단정적으로 답하면 더 믿어도 될까요? 반대로 망설이는 말투라면 틀릴 가능성이 높다는 뜻일까요? 연구마다 대답이 갈려서, 말투 하나로 답이 맞는지를 가늠하기는 어렵습니다. AI 답의 말투는 그 답이 맞는지에 대해 무엇을 알려 주고, 무엇을 알려 주지 않을까요?

AI의 말투는 답의 내용과 함께 읽힙니다. “분명합니다”라는 말에는 확신이 실린 듯하고 “확실하지 않지만”이라는 말에는 한발 물러서는 기색이 있습니다. 그런데 말의 세기가 실제 정답률과 맞아떨어지는지는 따로 물어야 하는 문제입니다.

이 글에서 말하는 ’말투’는 두 가지입니다. 하나는 “정답일 가능성이 높습니다”처럼 말로 밝힌 확신 수치이고 다른 하나는 “분명히”, “아마도”, “확실하지 않지만” 같은 단정·망설임 표현입니다. 연구가 한쪽을 쟀다고 해서 다른 쪽까지 같은 결론을 내릴 수는 없습니다. 그래서 아래에서는 어느 쪽을 잰 연구인지 그때마다 적겠습니다.

먼저 밝혀 둘 것이 있습니다. 이 글 끝에서 제안하는 방법은 답이 기대는 근거가 놓인 자리를 확인하는 것인데, 그렇게 하면 정오 판단이 나아지는지를 직접 시험한 연구는 찾지 못했습니다. ACL Anthology, arXiv, PMLR, AAAI 논문 페이지에서 2026년 10월 19일까지 찾아본 범위입니다. 그래서 그 부분은 처방이 아니라 가설로 적었습니다. 이번 글에는 제가 직접 해 본 기록도 싣지 않았습니다.

말로 낸 확신이 잘 맞는 조건도 있습니다

2023년 Tian 외 연구진은 사람의 피드백으로 다듬은 모델인 ChatGPT, GPT-4, Claude를 TriviaQA, SciQ, TruthfulQA 세 벤치마크에서 비교했습니다. 모델이 글자로 적어 낸 확신 수치는 대체로 모델 내부의 조건부 확률보다 더 잘 보정돼 있었고 기대보정오차를 상대적으로 약 50% 줄이는 경우도 자주 있었다고 보고합니다(EMNLP 2023, 벤치마크 평가, 게재).[1] 비교한 것은 모델이 낸 확신 수치와 내부 확률입니다. 어느 쪽이 다른 쪽보다 더 잘 맞았다는 결과이지, 그 수치를 모든 질문에서 믿어도 된다는 판정은 아닙니다. “확실합니다” 같은 표현이 정확도를 알려 준다는 뜻도 아닙니다.

다른 벤치마크에서는 그림이 달랐습니다. Xiong 외 연구진은 상식·산술 추론 등 다섯 종류의 데이터셋과 GPT-4와 LLaMA 2 Chat을 포함한 다섯 모델에서 확신을 끌어내는 방법들을 비교했습니다. 말로 밝힌 확신은 과신하는 경향이 있었고 전문 지식이 필요한 어려운 과제에서는 조사한 방법이 모두 어려움을 겪었습니다(ICLR 2024, 벤치마크 평가, 게재).[2]

공개된 언어모델을 본 Zhou 외 연구진도 비슷한 쪽입니다. 모델들은 틀린 답을 낼 때도 불확실성을 잘 표현하지 않았습니다. 확신을 표현하도록 시키면 과신하는 경향이 있어서 확신을 표현한 답 가운데 평균 47%가 틀렸습니다(ACL 2024, 벤치마크 평가, 게재).[3] 이 수치는 그 연구가 잰 모델과 질문에서 나온 것입니다. 같은 논문의 사람 실험은 다음 절에서 따로 다룹니다.

대화모델의 말로 한 의심과 확신을 본 Mielke 외 연구진은 측정 대상이 다릅니다. 모델이 말로 낸 의심이나 확신이 틀릴 가능성이나 맞을 가능성과 맞는지를 보았는데, 당시의 대화모델은 잘 보정돼 있지 않았습니다. 같은 연구는 답이 맞을 가능성은 정확히 예측할 수 있다는 것도 보이고 그 예측을 모델에 반영하는 방법을 제안합니다(TACL 2022, 벤치마크 평가, 게재).[4] 독자가 화면에서 먼저 만나는 것은 내부 확률이 아니라 이런 문장입니다. 숫자를 묻는 연구의 결과로 자연어 말투를 보증하거나 반박하면 서로 다른 두 종류의 연구 사이를 건너뛰게 됩니다.

Jang 외 연구진은 말로 낸 확신의 보정이 과제 종류에 따라 갈린다고 보고합니다. 추론 중심 과제와 검색·복사 중심 과제에서 확신이 뜻하는 바가 서로 달라서 모든 과제에 통하는 하나의 보정 규칙은 실패한다는 것입니다(ICML 2026, 벤치마크 평가, 게재).[5] 이 결과들을 겹쳐 놓아도 “AI는 틀릴 때 더 단정한다”거나 “확신 수치를 말하게 하면 정확도를 알 수 있다”고 말할 근거는 없습니다. 말로 밝힌 확신 수치가 도움이 된 조건은 있었지만 그 신호가 무엇을 뜻하는지는 모델과 과제에 따라 달라졌습니다.

표시가 없어도 사람은 확신으로 받아들일 수 있습니다

Zhou 외 연구진의 사람 실험은 가상 게임에서 이루어졌습니다. 참가자는 게임 속 AI의 답을 따를지, 직접 찾아볼지를 골랐습니다. 통제 설정의 참가자 25명은 확신 표현이 붙은 답에 거의 90%가 기댔고 망설임 표현이 붙은 답에서는 약 90%가 직접 찾아봤습니다. 눈에 띄는 것은 “정답은 (A)입니다”처럼 표현이 전혀 없는 평문 답에도 거의 90%가 기댔다는 점입니다. 저자들은 사람이 아무 표지도 없는 답을 모델이 확신한다는 신호로 받아들인다고 해석합니다.[3] 특정 게임 설정에서 나온 결과이지, 모든 사람이 모든 AI 답을 그렇게 믿는다는 말은 아닙니다.

설명의 길이도 따로 볼 필요가 있습니다. Steyvers 외 연구진은 MMLU의 객관식 문항과 단답형 문항으로 사람 실험을 했습니다(실험 1·2의 참가자는 301명). 기본 설명이 붙은 AI 답을 읽은 사람들은 답의 정확도를 실제보다 높게 보았고 설명이 길어지면 늘어난 분량이 정확도를 높이지 않아도 사용자의 확신은 올라갔습니다(Nature Machine Intelligence 2025, 사람 실험, 게재).[6] 설득력 있게 들리는 것과 답을 뒷받침하는 것은 같은 일이 아닙니다.

그렇다고 불확실성 표현이 아무 소용이 없다고 결론 내릴 수도 없습니다. Kim 외 연구진은 의료 질문 8문항을 가상의 LLM 검색엔진에 묻는 상황에서, 참가자 404명을 네 조건에 무작위로 배정했습니다. 불확실성 표현이 없는 기본 조건과 비교하면, “확실하지 않지만”처럼 1인칭으로 불확실성을 말한 조건에서 동의율은 80.9%에서 74.8%로 낮아졌고 정답률은 63.9%에서 72.8%로 높아졌습니다. “분명하지 않지만”처럼 일반적인 시점으로 말한 조건에서는 같은 방향의 변화가 있었지만 통계적으로 유의하지 않았습니다(FAccT 2024, 무작위 배정 실험, 게재).[7] 이 결과는 특정한 의료 질문과 실험 설정에서 나왔고 실험에 쓴 AI의 전체 정확도가 50.0%로 낮았다는 단서가 원문에 붙어 있습니다. 불확실한 말투만 붙이면 다른 과제에서도 정답률이 오른다는 뜻이 아닙니다.

말투와 구별할 결과가 하나 더 있습니다. Fregosi 외 연구진은 참가자 184명이 논리 퍼즐을 푸는 실험에서, 수치로 표시한 확신 점수가 잘 보정되어 있을 때는 결정 정확도가 올랐지만 잘못 보정되어 있을 때는 거의 오르지 않았다고 보고합니다. 높은 확신이 표시되면 틀린 추천도 더 받아들였습니다(AAAI 2026, 사람 실험, 게재).[8] 이 연구가 다룬 것은 점수의 정확도와 사람의 수용 행동이지, 자연어의 단정 어조가 아닙니다.

이 결과들을 나란히 놓으면 질문이 둘로 갈라집니다. AI가 낸 확신 표현이 정답률과 맞는가, 그리고 사람이 그 표현을 보고 결정을 바꾸는가입니다. 앞의 질문에서 잘 맞는 표시가 발견돼도 뒤의 질문에서 사람이 언제나 알맞게 행동한다는 보장은 없습니다. 그래서 “망설이면 안전하다”는 새 규칙을 만드는 것도 성급합니다. “잘 모르겠습니다”가 정말로 모름을 드러낸 것인지 답할 수 있는 질문에서 괜히 물러선 것인지는 말투만으로 가릴 수 없습니다. 확신 점수를 잘 보정한 실험의 성과도 그 점수가 맞게 보정된 조건과 함께 읽어야 합니다.[8] 독자가 보는 한 문장에 그 조건이 붙어 있지 않다면, 말의 세기만으로 답을 맡길 근거는 얇습니다.

출처가 붙어 있어도 직접 열어 보는 일은 따로 봐야 합니다

설명을 길게 읽는 것보다 그 설명이 무엇에 기대고 있는지 살펴보면 어떨까요? 이 생각과 가까운 사람 실험이 있습니다. Kim 외 연구진은 객관적 정답이 있는 어려운 질문에서 설명과 클릭 가능한 출처의 유무를 바꿔 가며 참가자 308명의 반응을 비교했습니다. 설명이 붙으면 맞는 답도 틀린 답도 더 따르게 됐지만 출처가 있으면 틀린 답을 따르는 정도는 줄었습니다. 틀린 답에 동의한 비율은 설명도 출처도 없을 때 78.2%, 설명만 있을 때 82.8%, 출처만 있을 때 68.2%, 둘 다 있을 때 76.9%였습니다. 맞는 답에 동의한 비율은 설명도 출처도 없을 때 67.2%에서 출처만 있을 때 73.4%로 높아졌습니다(CHI 2025, 사전 등록 실험, 게재).[9] 출처가 붙은 응답에서 틀린 답을 덜 따랐다는 한 실험이 있다는 정도로 읽으면 됩니다.

다만 출처가 붙는 일과 출처를 읽는 일은 다른 행동입니다. 참가자가 그 출처를 실제로 열어 원문의 어느 문장과 대조했는지, 그런 습관을 가르치면 판단이 나아지는지는 재지 않았습니다.[9] 출처 링크가 있다고 해서 그 링크가 답의 모든 문장을 받쳐 준다고 할 수도 없습니다. 그래서 “근거가 놓인 자리를 확인하면 정오 판단이 나아진다”는 말은 여기서 가설로만 세웁니다.

저는 이렇게 가정합니다. 답이 인용한 자료가 실제로 있는지, 그 자료가 바로 이 주장을 받치는지를 살펴보면 말투에 끌리는 정도가 줄어들 것이라고 봅니다. 출처를 열어 봐도 정답과 오답을 가려내는 능력이 나아지지 않는다면, 이 가설은 틀린 것입니다.

“모르면 모른다고 하라”는 한 줄로 해결될까

모르는 질문에는 답하지 않도록 이끄는 방법도 연구돼 왔습니다. Madhusudhan 외 연구진은 GPT-4와 Mixtral 등을 포함한 모델들에 엄격한 프롬프트, 말로 한 확신 임계값, 단계별 추론(CoT)을 각각 써 보며 기권하는 능력을 쟀습니다. 강한 모델도 기권에는 어려움을 겪었고 엄격한 프롬프트와 단계별 추론이 그 능력을 높일 수 있었습니다(COLING 2025, 벤치마크 평가, 게재).[10] 모르는 질문에는 답을 거절하고 아는 질문에는 답하도록 모델을 파인튜닝한 연구도 있습니다.[11] 다만 파인튜닝은 사용자가 질문 앞에 한 줄을 덧붙이는 것과 다른 방법입니다.

한 줄로 “모르면 모른다고 하라”고 지시하면 언제나 기권이 잘된다는 보편 효과는 제가 찾은 범위에서 확인되지 않았습니다. 과학 질문에 맥락을 바꿔 가며 네 데이터셋과 여섯 모델을 본 Wen 외 연구진은 기권이 모델과 문맥, 질문 형식에 따라 크게 달랐다고 보고합니다. 표준 질의응답 프롬프트로는 참·거짓 질문에서 기권하지 못하는 것처럼 보이는 모델이 많았습니다(Findings of EMNLP 2024, 벤치마크 평가, 게재).[12] Kirichenko 외 연구진은 스무 개 데이터셋과 스무 개 최신 모델을 시험해, 추론 능력을 높이는 파인튜닝이 오히려 기권을 떨어뜨렸다고 보고합니다. 잘 만든 시스템 프롬프트가 기권을 늘려도 모델이 불확실성을 따져 보지 못하는 근본 문제는 풀리지 않는다는 것이 저자들의 설명입니다(arXiv 공개본, 벤치마크 평가).[13]

기권이 많아진다고 나아지는 것도 아닙니다. Madhusudhan 외 연구진은 카르나틱 음악에 관한 질문으로 새 데이터셋(CQA)을 만들었습니다. 모델에게 낯선 영역을 보려는 것입니다. 이 데이터셋에서 CoT를 쓰자 기권은 크게 늘었지만 답할 수 있는 질문의 정확도는 자주 낮아졌습니다. 저자들은 질문이 모델에게 낯선 영역에서 나온 탓이라고 추정합니다.[10] 기권한 것, 맞힌 것, 틀린 것을 따로 세지 않으면 “모른다”는 답이 알맞은 판단이었는지 정답을 놓친 것인지 알 수 없습니다. 모델을 학습시키는 연구의 성과를 한 줄 지시의 성과로 옮겨 말할 수 없는 이유도 여기에 있습니다.

말투 대신 근거가 놓인 자리를 확인해 보기

여기서 제안하는 확인 방법은 검증된 처방이 아니라 직접 해 볼 수 있는 작은 비교입니다. 먼저 AI의 답에서 주장 하나를 고르고 답이 내세운 출처나 근거를 열어 봅니다. 출처가 실제로 있는지, 그 자료가 고른 주장을 받쳐 주는지를 살핍니다. 말투가 단정적인지 망설이는지는 잠시 제쳐 둡니다. 이어서 비슷한 난도의 질문을 몇 개 더 골라, 답이 맞았는지 틀렸는지, 기권했는지를 따로 적어 둡니다. 출처를 확인하기 전과 후에 정답과 오답을 가려내는 정도가 달라지는지도 비교해 볼 수 있습니다.

이 비교에서 출처를 확인한 뒤에도 정오 판단이 나아지지 않는다면, 근거가 놓인 자리를 보는 습관이 도움이 된다는 가설은 약해집니다. “모르면 모른다고 하라”는 지시를 붙인 뒤 기권만 늘고 맞힐 수 있던 질문을 더 많이 놓친다면, 그 지시가 쓸모를 높였다고 보기 어렵습니다. 한 사람이 몇 번 해 보는 비교로 일반적인 효과를 말할 수는 없습니다. 다만 단정적인 말투를 정답의 증거로 삼는 대신, 무엇이 그 답을 받치고 있는지 한 번 찾아볼 수는 있습니다.

이 글이 말하지 못하는 것

말투가 정오의 신호인지에 대해서는 일관된 결론이 없습니다. 어떤 연구는 일부 조건에서 말로 낸 확신이 잘 맞는다고 하고 다른 연구들은 과신과 과제 의존성을 보고합니다. 이 글은 어느 한쪽으로 결론을 내리지 않았습니다.

사람 실험은 각각 가상 게임, 의료 질문, 논리 퍼즐, 객관적 정답이 있는 질문이라는 한정된 과제에서 이루어졌습니다. 그 결과를 모든 일상의 질문으로 넓힐 수 없습니다. 벤치마크에 쓰인 모델도 연구 시점의 것이어서 지금 쓰는 모델에 같은 결과가 나온다고 말할 수 없습니다. 제가 열어 본 연구 가운데 한국어 사용자나 한국어 모델의 답을 대상으로 한 것은 없었습니다.

가장 큰 한계는 처음에 적은 그대로입니다. 근거가 놓인 자리를 확인하면 정오 판단이 나아진다는 말은 시험된 적이 없는 가설입니다. 가까운 연구는 출처가 붙은 응답과 붙지 않은 응답을 비교했을 뿐, 출처를 확인하는 습관을 시험하지 않았습니다.

각주

Tian 외(2023), EMNLP 2023. 벤치마크 평가입니다. 말로 낸 확신 수치와 모델 내부 조건부 확률의 보정을 비교했습니다. 약 50% 감소는 초록의 “often reducing”에 해당하는 결과입니다.
Xiong 외(2024), ICLR 2024(arXiv 코멘트 기준). 벤치마크 평가입니다. 다섯 종류 데이터셋과 다섯 모델에서 확신 추정 방법을 비교했습니다.
Zhou 외(2024), ACL 2024. 모델 평가와 사람 실험이 함께 있는 논문입니다. 평균 47%는 확신을 표현한 모델 답의 오류율로, 사람 실험의 결과가 아닙니다. 사람 실험은 가상 게임이고 통제 설정의 참가자는 25명이었으며, 약 90%는 평문 답에 기댄 비율입니다.
Mielke 외(2022), TACL 10. 벤치마크 평가입니다. 당시의 잡담형 대화모델을 대상으로 했고, 초록에 정량 수치는 없습니다.
Jang 외(2026), ICML 2026(PMLR 306). 벤치마크 평가입니다.
Steyvers 외(2025), Nature Machine Intelligence. 사람 실험입니다. 대조한 것은 arXiv v2 전문이며 저널 게재본의 수치와 다를 수 있습니다.
Kim 외(2024), FAccT 2024. 사전 등록한 무작위 배정 실험으로 참가자는 404명입니다. 동의율과 정답률은 본문 표의 평균이고, 실험에 쓴 AI의 전체 정확도는 50.0%입니다.
Fregosi 외(2026), AAAI 2026. 사람 실험입니다. 여기서 확신은 말투가 아니라 수치 점수입니다. 초록은 잘 보정된 점수에서 정확도 +20%, 잘못 보정된 점수에서 +2%의 개선을 보고합니다.
Kim 외(2025), CHI 2025. 사전 등록한 피험자 내 설계 실험입니다. 수치는 본문 표(연구 2)의 원자료 평균이고, 출처를 직접 열어 보는 습관을 시험한 결과는 아닙니다.
Madhusudhan 외(2025), COLING 2025. 벤치마크 평가입니다. 초록에는 정량 수치가 없고, CQA 결과는 본문 결과 절의 문장입니다. 한 줄 지시의 효과를 본 연구는 아닙니다.
Zhang 외(2024), NAACL 2024. 벤치마크 평가입니다. R-Tuning은 파인튜닝 방법입니다.
Wen 외(2024), Findings of EMNLP 2024. 벤치마크 평가입니다. 네 데이터셋과 여섯 모델입니다.
Kirichenko 외(2025), arXiv:2506.09038. 벤치마크 평가입니다. 초록은 추론 파인튜닝 뒤 기권이 평균 24% 떨어졌다고 적지만, 이 비율의 기준은 초록에 나와 있지 않습니다.

참고 자료

Tian et al. (2023). “Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback.” EMNLP 2023, 5433-5442. DOI
Xiong et al. (2024). “Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs.” ICLR 2024. 원문
Zhou et al. (2024). “Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty.” ACL 2024, 3623-3643. DOI
Mielke et al. (2022). “Reducing Conversational Agents’ Overconfidence Through Linguistic Calibration.” TACL, 10, 857-872. DOI
Jang et al. (2026). “Confidence is Not Universal: Task-Dependent Calibration and Emergent Behavior in LLMs.” ICML 2026, PMLR 306, 50548-50571. 원문
Steyvers et al. (2025). “What large language models know and what people think they know.” Nature Machine Intelligence. DOI
Kim et al. (2024). “‘I’m Not Sure, But…’: Examining the Impact of Large Language Models’ Uncertainty Expression on User Reliance and Trust.” FAccT 2024. 원문
Fregosi et al. (2026). “Too Sure for Our Own Good: A User Study on AI Confidence and Human Reliance.” AAAI 2026. 원문
Kim et al. (2025). “Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies.” CHI 2025. DOI
Madhusudhan et al. (2025). “Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models.” COLING 2025. 원문
Zhang et al. (2024). “R-Tuning: Instructing Large Language Models to Say ‘I Don’t Know’.” NAACL 2024. DOI
Wen et al. (2024). “Characterizing LLM Abstention Behavior in Science QA with Context Perturbations.” Findings of EMNLP 2024, 3437-3450. DOI
Kirichenko et al. (2025). “AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions.” arXiv:2506.09038. 원문