어디까지 뜯을 것인가 — AI가 틀렸을 때 되돌리는 순서

저는 AI에게 일을 맡기는 쪽에 서 있는 사람입니다. 맡기는 법은 여러 번 이야기했지만, 맡긴 일이 어긋난 뒤를 정리해 본 적은 없습니다. 이 글에서 그 자리를 다룹니다. 틀렸다는 것을 알아채는 신호, 되돌리는 순서, 같은 실수를 막는 장치 세 가지입니다. 전제를 하나 깔겠습니다. 틀린 결과는 드문 사고가 아니라 이 도구를 쓰는 내내 곁에 있는 상태입니다. 만드는 회사도 가장 앞선 모델조차 사실과 다른 문장을 만들 때가 있다고 문서에 적어 두었습니다(https://docs.claude.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations).

잘못 꿰맨 옷을 떠올리면 빠릅니다. 바늘땀이 어긋났다고 옷을 버리지는 않습니다. 어디서부터 어긋났는지 찾아 거기까지만 실을 뜯고 다시 꿰맵니다. AI도 같습니다. 문제는 어디까지 뜯어야 하는지를 배운 적이 없다는 데 있습니다.

1. 틀렸다는 것은 무엇으로 드러나는가

틀린 결과도 매끄럽게 읽힐 수 있습니다. 저는 말투보다 근거를 확인하겠습니다. 다음 세 가지는 오류를 확정하는 검사가 아니라 원문을 다시 볼 계기입니다.

첫째, 다시 물어도 근거를 대조할 수 없습니다. 한 이용자는 확인을 요청했더니 “신뢰할 만한 자료를 확인했지만 근거를 찾지 못했다”는 조사 경위까지 붙은 답을 받았다고 적었습니다(https://www.reddit.com/r/ChatGPT/comments/1nkiops/i_thought_gpt5_wasnt_supposed_to_hallucinate_as/). 이 사례에서는 재확인 요청만으로 정정되지 않았습니다.

• 해 보실 것: 결과를 받은 뒤 “이 내용에서 확신이 낮은 부분만 표시해 주세요“라고 한 줄 덧붙이세요.
• 기대하는 결과: AI가 표시한 항목을 확인 목록으로 씁니다. 표시가 없거나 답이 바뀌어도 정확성이 입증되지는 않으므로 중요한 주장은 원문과 대조합니다.

둘째, 인용을 열어 보면 안이 비어 있습니다. 근거로 붙은 자료의 제목과 요약은 그럴듯한데 막상 열면 그런 내용이 없습니다. 한 변호사는 상대측 서면의 인용이 전부 지어낸 것이었다고 적었습니다. 논리는 훌륭했지만 법이 가짜였다고요(https://www.reddit.com/r/ChatGPT/comments/1o7m7fy/update_opposing_counsel_just_filed_a_chatgpt/). 제 눈에 남은 대목은 따로 있습니다. 서명한 사람이 열어 보지 않고 서명했다는 부분입니다.

• 해 보실 것: 근거로 붙은 자료 중 가장 중요한 하나만 직접 열어 보세요. 전부가 아니라 하나입니다.
• 기대하는 결과: 열리지 않으면 출처를 미확인으로, 열려도 해당 내용이 없으면 그 주장을 근거 미확인으로 남깁니다. 다른 인용도 각각 확인합니다.

셋째, 답의 근거와 한계를 묻습니다. 만드는 회사는 모른다고 답할 여지를 주면 틀린 정보를 줄일 수 있다고 권합니다(위 문서). 다만 “모르겠다”는 말의 유무만으로 정확성을 판단하지는 않습니다.

• 해 보실 것: 부탁하는 문장 끝에 “모르는 것은 모른다고 답해 주세요“를 붙이세요.
• 기대하는 결과: 불확실한 부분이 표시될 수 있습니다. 표시된 곳은 확인 대상으로 삼고, 표시되지 않은 중요한 내용도 원문과 대조합니다.

2. 알아챈 다음 — 어디까지 뜯을 것인가

여기서부터가 순서입니다. 급할수록 더 필요합니다.

① 손을 멈춥니다. 곧바로 “고쳐 줘”라고 하기 전에 오류가 있는 결과의 사용·전달을 멈춥니다. 무엇이 잘못됐는지 원문과 함께 별도 메모에 남깁니다.

② 마지막으로 옳았던 지점을 찾습니다. 이전 저장본을 원자료와 대조합니다. 예를 들어 회의 안내 날짜가 틀렸다면 일정표와 날짜가 맞는 저장본을 고릅니다. 확인할 저장본이 없으면 되돌렸다고 여기지 말고 원자료에서 새 초안을 만듭니다.

③ 그 지점까지 되돌립니다. 요청마다 직전 파일 상태를 저장하는 도구도 있지만(https://docs.claude.com/en/docs/claude-code/checkpointing), 저는 확인한 저장본을 별도 사본으로 열어 다시 시작하겠습니다. 입력 예시는 “이 일정표를 근거로 안내 초안을 다시 써 주세요. 날짜를 임의로 보충하지 마세요”입니다. 결과의 날짜를 일정표와 다시 대조한 뒤 사용합니다.

④ 도구 밖으로 나간 것을 확인합니다. 앞의 되감기 기능은 도구의 파일 편집을 추적하며, 명령 실행으로 바뀐 파일은 추적하지 않습니다. 다른 경로의 편집도 보통 추적하지 않지만, 같은 파일을 고쳤다면 함께 되돌아갈 수 있습니다(같은 문서). 따라서 별도 보관을 대신하지 못합니다. 메일 수신처·공유 문서·전달 파일을 목록으로 적고, “앞서 보낸 날짜는 오류이며 올바른 날짜는 ○○입니다”라고 정정합니다. 도구 안의 되감기만으로 전달본이 회수됐다고 볼 수 없으니 각 수신처와 공유본의 정정 여부를 확인합니다.

⑤ 다음 답에 쓰일 잘못된 기억을 정정합니다. 기억 기능을 쓰는 경우, 오류가 기억에 남았는지 확인합니다. ChatGPT는 기억 요약의 특정 내용을 고칠 수 있습니다. 완전히 제거하려는 경우에는 해당 대화·파일·기억을 삭제하고 관련 앱 연결을 해제하는 별도 절차가 필요합니다(https://help.openai.com/en/articles/8590148-memory-faq). 오류 원인과 올바른 내용의 교정 기록은 별도로 보존합니다.

한 필자는 자기 실험에서 잘못을 잡아내고 기록한 뒤, 다시 시키고 다시 검증한 과정을 소개했습니다(https://natesnewsletter.substack.com/p/trust-ai-agents). 저는 이 사례의 기록과 재검증을 함께 가져오겠습니다. 수정본도 원자료와 맞는지 확인해야 수습을 마칠 수 있습니다.

3. 다음에 같은 실수를 막는 장치

되돌려 본 사람은 압니다. 힘든 쪽은 되돌리기가 아니라 되돌릴 지점이 없다는 걸 뒤늦게 아는 쪽입니다.

첫째, 되돌릴 지점을 미리 만들어 둡니다. 거창한 준비가 아닙니다. 긴 작업 전에 지금 상태를 한 번 복사해 두고 중간에 한 번 더 저장해 두면 됩니다. 도구가 해 주면 다행이고 안 해 주면 손으로 합니다. 이 습관의 값은 도구를 바꿔도 남는다는 데 있습니다.

둘째, 한 번에 맡기는 범위를 좁힙니다. 사고를 겪은 뒤 무엇을 바꿨느냐는 질문에, 한 필자는 AI를 그만 쓴 게 아니라 그 주위 구조를 바꿨다고 답했습니다. 자율성은 켜는 기능이 아니라 좁은 권한을 하나씩 내주며 얻는 것이라고요(https://medium.com/@andy.a.g/the-month-ai-agents-broke-our-trust-and-what-i-changed-because-of-it-080cb4bf95bd). 이 표현이 저는 마음에 들었습니다. 넓게 맡기면 틀렸을 때 넓게 뜯어야 합니다.

셋째, 교정을 기록으로 남깁니다. “오류: 안내 날짜 / 정정: 일정표의 날짜 / 다음 확인: 발송 전 일정표 대조”처럼 적어 다음 작업에 함께 줍니다. 사용자 교정을 기록하는 도구도 있습니다(https://docs.claude.com/en/docs/claude-code/memory). 다만 그 기록은 강제 설정이 아닌 참고 맥락이므로, 다음 결과에서 실제로 지켰는지 확인합니다.

넷째, 사람이 한 번 보는 자리를 정해 둡니다. 모든 결과를 검토할 수는 없습니다. 대신 남에게 보내거나 문서에 옮겨 붙이기 직전을 고정된 검토 지점으로 삼습니다. ④단계에서 회수가 가장 어려웠던 자리가 거기이기 때문입니다.

마무리

정리하면 세 덩어리입니다. 말투와 자기신고만 믿지 않고 근거를 확인합니다. 오류를 찾으면 사용을 멈추고, 원자료와 맞는 지점으로 돌아가 다시 검증하며, 전달된 사본과 잘못된 기억도 정정합니다. 다음에는 저장본과 교정 기록을 남겨 같은 오류를 확인할 자리를 만듭니다.

저는 틀리지 않게 부탁하는 법과 함께, 틀렸을 때 돌아올 준비를 챙기겠습니다. 바늘땀이 어긋나더라도 어긋난 자리를 확인하고 뜯어낼 수 있게 말입니다.