검토했다는 착각 — AI의 답에서 무엇을 볼지 먼저 정하는 법

검토를 안 해서 놓치는 것과, 검토를 하고도 놓치는 것은 다릅니다. 그런데 뒤엣것은 밖에서 봐도 잘 보이지 않습니다. 보이지 않는 것은 더 열심히 본다고 보이지 않습니다. 바꿀 것은 검토에 들이는 시간이 아니라 검토가 겨누는 곳입니다. 이 글은 AI의 답을 받을 때마다 어디를 볼지 미리 정해 두는 세 가지를 다룹니다. 대상은 코드를 쓰지 않는 실무자입니다. 인용한 자료는 본문에 1차 출처 주소를 그대로 답니다.

AI에게 시킨 일을 받아 들고 “괜찮네” 하고 넘어가는 순간이 있습니다. 그러고 한참 뒤에, 그 답에 들어 있던 숫자 하나가 어긋나 있었다는 걸 압니다. 이상한 건 그때 검토를 건너뛴 게 아니라는 점입니다. 분명히 읽었는데 못 본 것입니다.

그래서 질문을 이렇게 바꿔 봅니다. “검토했나?“가 아니라 “무엇을 봤나?“로.

AI를 쓸 때 먼저 무뎌지는 것은 생각하는 능력이 아닙니다. 내가 지금 생각하고 있는지 아닌지를 알아차리는 감각입니다. 능력은 그대로 있는데 그 능력을 켜야 할 자리를 놓칩니다.

검토했는지는 밖에서 봐도 잘 안 보인다

사람들이 AI와 실제로 어떻게 대화하는지 9,830건을 놓고 행동을 세어 본 자료가 있습니다. 거기 이런 대목이 있습니다. 산출물 — 문서나 코드처럼 결과물 모양으로 딱 떨어져 나오는 것 — 이 만들어진 대화에서는, 그렇지 않은 대화보다 사람이 빠진 맥락을 지적하거나, 사실을 확인하거나, 왜 그렇게 판단했는지 되묻는 행동이 덜 나타났습니다. 각각 5.2, 3.7, 3.1퍼센트포인트씩 낮았습니다. 여기서 퍼센트포인트란 두 비율의 차이를 그대로 뺀 값입니다 — 40%가 35%가 되면 5퍼센트포인트 낮아진 것입니다(출처: Anthropic, The AI Fluency Index, 2026-02-23. https://academy.claude.com/tutorials/the-ai-fluency-index ).

저는 이걸 “결과물이 그럴듯하니까 사람이 검토를 안 하게 된다”로 읽고 싶었습니다. 그런데 원문은 그렇게 쓰지 않았습니다. 자기들이 찾은 것은 상관(두 가지가 같이 움직였다는 뜻이지, 하나가 다른 하나를 일으켰다는 뜻은 아닙니다)이고 인과는 모른다고 적었습니다. 가능한 설명을 세 개 나란히 뒀습니다. 다듬어진 답이 질문을 덜 하게 만들었을 수도 있고, 그런 종류의 일이 애초에 사실 확인을 덜 요구했을 수도 있고, 사람들이 관측되지 않는 다른 경로에서 확인했을 수도 있다고요.

그런데 저에게는 이 단서가 수치보다 더 걸렸습니다. 대화 만 건 가까이를 밖에서 들여다봐도 “이 사람이 검토했는가”는 깔끔하게 안 보입니다. 남이 봐도 그렇다면, 제 머릿속에서는 더 안 보이겠지요. 검토가 있었나 없었나를 느낌으로 판정하는 건 처음부터 무리인 일이었습니다.

그래서 볼 것을 미리 정해 둡니다

느낌으로 판정할 수 없으면, 볼 자리를 손으로 정해 두는 수밖에 없습니다. 세 가지를 권합니다.

하나. 세 칸 채우기. 답을 받으면 세 칸만 채웁니다. ①이 답이 빠뜨린 조건은 무엇인가 ②확인할 수 있는 사실이 몇 개 들어 있고, 그중 내가 실제로 확인한 것은 몇 개인가 ③이 판단의 근거가 답 안에 적혀 있는가. 빈칸이 남으면 검토가 아직 안 끝난 겁니다. 세 칸을 이렇게 고른 건 제 취향이 아닙니다. 위 자료가 실제로 세어 본 행동이 정확히 이 세 가지였습니다. 남이 밖에서 관측한 항목을, 제가 안에서 쓰는 점검표로 돌려 쓰는 셈입니다.

둘. 딱 하나만 되짚기. Mike Caulfield가 2019년에 정리한 네 가지 수가 있습니다. 멈추기, 출처 조사하기, 더 나은 자료 찾기, 그리고 주장·인용·자료를 원래 맥락까지 되짚기입니다. 그는 이 넷을 관통하는 주제가 “디지털 콘텐츠를 제대로 읽는 데 필요한 맥락을 다시 세우는 일”이라고 적었습니다 — 영어 원문을 제가 옮긴 것입니다(출처: https://hapgood.us/2019/06/19/sift-the-four-moves/ ). 넷 중 마지막 하나만 써도 됩니다. 답 안에서 고유명사나 숫자를 딱 하나 골라 원래 자리까지 가 봅니다. 전부 하려 들면 결국 아무것도 안 하게 되니 하나만 합니다. 하나를 되짚어 보면 그 답이 전반적으로 얼마나 촘촘한지도 같이 짐작되기도 합니다. 물론 이건 어림짐작이지 규칙은 아닙니다.

셋. 어디서 무너지는지 말해 보기. “이 답이 틀렸다면 어디서부터 틀렸을까”를 한 문장으로 말해 봅니다. 말이 안 나오면 저는 그 답을 이해한 게 아니라 그냥 받아들인 겁니다. 이 자리가 왜 중요한지 짚어 주는 단서가 있습니다. 엔지니어 52명을 두 무리로 나눠 처음 보는 도구를 익히게 한 실험에서, 두 무리의 점수 차가 가장 크게 벌어진 곳이 디버깅 문항이었습니다. 코드가 언제, 왜 틀렸는지를 짚는 문제 말입니다(출처: Anthropic, 2026-01-29. https://www.anthropic.com/research/AI-assistance-coding-skills ). 잘 굴러갈 때를 아는 것과 무너질 때를 아는 것은 서로 다른 능력이고, 그 실험에서 벌어진 자리는 뒤엣것이었습니다.

실제로는 이렇게 돌아갑니다

가장 흔한 경우로 예를 들어 보겠습니다. 회의 자료 요약을 시켰고, 표 하나와 문장 몇 개가 돌아왔습니다. 그 안에 “전년 대비 몇 퍼센트”가 적혀 있습니다.

• 세 칸: 빠뜨린 조건 — 어느 기간인지가 안 적혀 있습니다. 확인할 수 있는 사실 — 세 개인데 내가 확인한 건 0개. 근거 — 그 퍼센트가 어느 표에서 나왔는지 답 안에 없습니다.
• 되짚기: 그 숫자 하나만 원본까지 갑니다. 원본에 있는 값이 맞습니다. 다만 분모가 제가 짐작한 것과 다릅니다.
• 무너지는 자리: “이게 틀렸다면 분모에서 틀렸겠다”가 나옵니다.

1분이 안 걸립니다. 답을 다시 시키지도, 처음부터 더 꼼꼼히 읽지도 않습니다. 볼 곳을 먼저 정해 놓고 그 자리만 봅니다. 검토에 드는 시간이 아니라 검토가 겨누는 곳을 바꾸는 겁니다.

정작 점검해야 하는 건 답이 아니라 내 확신입니다

설문 하나를 덧붙이겠습니다. 지식노동자 319명에게 자기 경험 936건을 받아 정리한 연구인데, AI에 대한 확신이 높을수록 비판적 사고는 적게, 자기 자신에 대한 확신이 높을수록 비판적 사고는 많게 연관됐습니다(출처: Lee 외, CHI 2025. https://www.microsoft.com/en-us/research/publication/the-impact-of-generative-ai-on-critical-thinking-self-reported-reductions-in-cognitive-effort-and-confidence-effects-from-a-survey-of-knowledge-workers/ ). 다만 이건 사람들이 스스로 그렇다고 답한 자기보고 설문이지 실제 행동을 잰 것이 아닙니다. 그 점을 빼고 읽으면 안 됩니다.

그래도 방향은 눈에 남습니다. 저는 이걸 “점검할 대상이 답이 아니라 내 확신”이라는 뜻으로 읽었습니다. 지금 이 확신이 답이 매끄러워서 생긴 것인지, 내가 이 분야를 알아서 생긴 것인지는 전혀 다른 이야기입니다. 앞쪽이면 세 칸을 채우고, 뒤쪽이면 좀 빨리 넘어가도 됩니다. 구별이 안 되는 상태가 제일 위험합니다.

남는 이야기

저는 AI를 덜 쓰자는 쪽이 아닙니다.

다만 “읽었다”와 “봤다” 사이는 생각보다 넓습니다. 답을 받는 자리마다 볼 것을 미리 적어 두면 달라집니다. 검토는 성실함의 문제가 아니라 조준의 문제입니다. 어디를 볼지 정하지 않으면 저는 매끄러운 문장을 읽고 검토했다고 느낍니다. 그리고 느낌은 남는데 확인은 안 남습니다.

오늘 AI에게 받은 답 중에 아직 손대지 않은 것이 하나쯤 있을 겁니다. 세 칸만 채워 보십시오. 빈칸이 어디에 생기는지가 답보다 더 많은 걸 알려 줍니다.