최종학 | Kyle Choi NotesFaith · AI · Learning
교육

떼는 데는 두 가지가 있다 — 판단과 포기를 구별하는 법

디딤 · 2026년 8월 31일

이른 아침 창가 책상에 어제 쓰던 도구가 그대로 놓여 있고 손이 그것을 집을지 말지 잠시 멈춰 있는 순간을 담은 차분한 수채화

배우고 나면 대개 잘 씁니다. 문제는 그다음입니다. 어떤 것은 손에 남고, 어떤 것은 조용히 사라집니다. 그리고 사라지는 쪽은 잘 보이지 않습니다. 떼는 데는 두 가지가 있습니다. 골라서 떼는 것과, 못 써서 떼는 것. 앞은 판단이고 뒤는 포기인데, 겉으로는 똑같아 보입니다. 이 글은 뒤쪽을 다룹니다 — 배운 것이 왜 남지 않는지, 그리고 남았는지를 어떻게 아는지. 대상은 코드를 쓰지 않는 실무자입니다.

교육을 마치고 두어 달이 지나면 대개 조용해집니다. 그때 잘 쓰던 사람도 원래 방식으로 돌아가 있고, 본인도 언제 그렇게 됐는지 잘 모릅니다.

이걸 “의지가 약해서”로 설명하는 이야기는 많습니다. 저는 그 설명이 틀렸다고 생각합니다. 다만 제 생각을 근거로 삼을 수는 없으니, 실제로 무엇이 관측됐는지부터 보겠습니다.

1. 가장 많이 인용되는 그 숫자는, 근거가 없습니다

교육 이야기를 하면 거의 반드시 나오는 문장이 있습니다. “교육받은 내용의 10%만 현장에 남는다.” 90%는 사라진다는 이야기죠.

이 숫자의 출처를 따라가면 1982년에 닿습니다. Georgenson이라는 사람이 업계지에 쓴 글인데, 거기서 그는 이렇게 물었습니다 — “훈련 담당자들이 ’교실에서 제시된 내용의 10%만 현장의 행동 변화로 이어진다고 본다’고 말하는 것을 몇 번이나 들어 보셨습니까?”

질문이었습니다. 데이터도, 인용도 없었습니다. 2001년에 Fitzpatrick이 이 계보를 추적해 정리했고, 해설자 Will Thalheimer는 이렇게 적었습니다.

“Georgenson은 그 10%라는 추정치에 어떤 증거나 전거도 인용할 필요가 없었고, 실제로 인용하지 않았다. 독자의 주의를 끌기 위한 수사적 장치를 쓴 것이 분명하다.”

그 뒤 40여 년 동안 이 수사적 질문은 인용에 인용을 거치며 확정된 통계로 굳어졌습니다.

그러니 이 글에서 그 숫자는 쓰지 않겠습니다. 다만 한 가지는 공평하게 덧붙여야겠습니다. Saks(2002)는 Fitzpatrick의 지적을 받아들이면서도, 실제 실증 연구가 보여 주는 전이율도 그리 높지 않으니 **“10%가 완전히 틀린 방향은 아니다”**라고 반박했습니다. 숫자의 출처는 가짜였지만 방향까지 가짜는 아니었다는 겁니다.

이 상충을 정리해서 한쪽만 전해 드리지 않는 이유는, 그렇게 하면 저도 같은 일을 하는 것이 되기 때문입니다.

2. 실제 곡선은 더 완만합니다 — 그래서 더 까다롭습니다

그럼 실측은 어떻게 나올까요.

Saks와 Belcourt가 150개 조직의 교육 담당자를 조사한 연구(2006)에서 나온 수치는 이렇습니다.

  • 교육 직후: 62%가 현장에 적용
  • 6개월 후: 44%
  • 1년 후: 34%

제가 이 글을 시작할 때 갖고 있던 그림은 “몇 주 만에 원래대로 돌아간다”였습니다. 실측은 그 그림과 달랐습니다. 감쇠는 몇 주가 아니라 몇 달에서 1년에 걸쳐 완만하게 일어납니다.

그런데 저는 이게 더 나은 소식이라고 생각하지 않습니다. 급격히 무너지면 알아차리기라도 합니다. 완만하게 내려가면 어느 지점에서 놓쳤는지 본인도 모르고, 문제로 인식되지도 않습니다. 34%까지 내려간 뒤에야 “그러고 보니 안 쓰네”가 됩니다.

여기서 이 수치의 한계를 세 가지 밝혀 두겠습니다.

하나. 이 조사는 교육 담당자에게 물은 설문이지, 직원의 실제 행동을 관찰한 것이 아닙니다.

둘. AI 교육이 아니라 직무훈련 일반에 대한 연구입니다. 방향을 참고할 수는 있어도 AI에 그대로 대입할 수는 없습니다.

셋. 이건 제 쪽의 한계입니다. 저는 이 논문의 원문 페이지에 접근하지 못했습니다(출판사 쪽 접근 차단). 서지 정보와 두 건의 독립적인 2차 확인으로 수치를 옮겼습니다. 위의 10% 이야기를 하고 나서 이 말씀을 안 드리면 앞뒤가 맞지 않으니 적어 둡니다.

3. 무엇이 갈랐나 — 배운 양이 아니라, 그다음 날 아침

정착한 쪽과 되돌아간 쪽을 가른 것은 무엇이었을까요.

전이 연구의 고전인 Baldwin & Ford(1988)는 1907년부터 1987년까지의 직무훈련 실증연구 70건을 종합해, 전이를 결정하는 축을 셋으로 정리했습니다. 학습자 특성, 교육 설계, 그리고 업무 환경입니다.

이 셋 중에서 반복해서 발목을 잡는 것은 세 번째였습니다. 그리고 이건 40년 전 이야기로 끝나지 않습니다.

2025년 MIT NANDA 팀이 기업의 생성형 AI 도입을 조사한 보고서는, 파일럿의 대다수가 손익에 잡히는 효과 없이 끝난다고 보고하면서 원인을 **“학습 격차(learning gap)”**로 지목했습니다. 도구의 성능 문제가 아니라, 조직이 그 도구를 자기 워크플로에 끼워 넣지 못하는 문제라는 것입니다.

여기서 이 보고서에 대해서는 조심스럽게 덧붙이겠습니다. 이 보고서의 “95%” 수치는 널리 인용되는 만큼 방법론 비판도 함께 있습니다(표본 규모와 ’실패’의 정의를 두고). 그래서 저는 이 숫자를 근거로 쓰지 않고, 원인 진단 쪽만 인용했습니다.

정리하면 이렇습니다. 배운 것이 남는지 아닌지를 가른 것은 얼마나 잘 배웠는가가 아니라 교육이 끝난 다음 날 아침에 무엇을 하게 되어 있었는가였습니다.

  • 그 일이 매주 돌아오는 업무에 박혀 있는가, 아니면 “생각나면 써 보는 것”인가
  • 옆자리와 상사가 실제로 쓰는가
  • 처음에 어설프게 해도 괜찮은가

여기서부터는 제 해석입니다. 이 조건들을 갖추지 못한 사람이 도구를 놓았을 때, 우리는 그걸 “안 배워서”라고 부르곤 합니다. 그런데 위 연구들이 가리키는 방향대로라면 그건 실력 문제가 아니라 자리 문제에 가깝습니다. 배치되지 않은 도구는 조용히 흘러 내려갑니다.

이게 제가 서두에서 말한 못 써서 떼는 것입니다. 판단해서 뗀 게 아니라, 놓일 자리가 없어서 미끄러진 겁니다.

4. 그런데 스스로는 알 수 없습니다

여기까지 읽고 “그럼 내 경우는 어느 쪽인지 보면 되겠네”라고 생각하셨다면, 그 부분이 가장 까다로운 대목입니다.

METR이 2025년 초에 수행한 무작위 대조 실험이 있습니다. 숙련 오픈소스 개발자 16명에게 실제 이슈 246건을 맡겼습니다. 참가자들은 그 프로젝트를 평균 5년 다뤄 온 사람들이었고, 과제마다 AI 사용 허용/금지가 무작위로 배정됐습니다.

그 실험의 결과는 이렇습니다.

  • 실측: AI를 쓴 쪽이 19% 더 오래 걸렸습니다.
  • 자기보고: 같은 개발자들은 작업을 끝낸 뒤에도 20% 빨라졌다고 답했습니다.

작업 전 기대치가 빗나간 게 아닙니다. 다 해 보고 나서도 반대로 느꼈습니다.

그 숫자는 그 뒤에 흔들렸습니다

여기서 중요한 것을 덧붙여야겠습니다. 이 19%를 지금도 유효한 결론처럼 읽으시면 안 됩니다.

METR은 2026년 2월에 후속 글을 올려 자기 실험의 설계를 바꾸고 있다고 밝혔습니다. 원래 결과를 철회한 것은 아닙니다. 다만 같은 팀이 이어서 관찰한 결과는 이랬습니다.

  • 원래 참가했던 개발자들에게서는 이번엔 더 빨라지는 쪽으로 나왔습니다.
  • 새로 모집한 개발자들에게서도 방향은 같았습니다. 다만 두 경우 모두 신뢰구간이 0을 걸쳐서, 방향을 단정할 수 없습니다.
  • 그리고 참가자의 **30~50%가 “AI 없이 해야 하는 과제는 일부 제출하지 않기로 했다”**고 답했습니다. 하기 싫은 과제를 빼 버렸다는 뜻이라, 남은 과제만으로 잰 값은 기울어집니다. METR은 이 때문에 자기 추정치가 실제보다 낮게 잡힌 하한선일 수 있다고 적었습니다.

METR이 그 글에 적은 문장을 그대로 옮깁니다.

우리는 이 값이 이 개발자들에게 AI 도구가 준 실제 생산성 영향의 나쁜 대리지표일 가능성이 높다고 본다.

재려고 만든 팀이, 자기가 만든 숫자를 두고 한 말입니다.

그리고 같은 시기에 Google이 사내에서 수행한 대조 실험은 21% 단축이라는 정반대 결과를 보고했습니다. 두 연구 모두 설계가 견고합니다. 결론이 반대인 이유는 과제 종류와 숙련도, 설정이 달랐기 때문으로 보입니다.

저는 이 상충을 어느 한쪽으로 정리하지 않겠습니다. 이것들이 함께 보여 주는 것은 “AI가 느리게 만든다”도 “빠르게 만든다”도 아니고, 하나의 숫자로 AI 효과를 요약할 수 없다는 것입니다. 그리고 그 사실은 서로 다른 두 팀을 비교해서가 아니라, 한 팀이 자기 실험을 이어 가는 과정에서 드러났습니다.

재려고 나선 사람들도 아직 재는 중입니다. 그러니 “내가 AI로 몇 퍼센트 나아졌는가”를 지금 확정된 숫자로 아는 방법은 없다고 보는 편이 정직합니다.

다만 그 안에서도 흔들리지 않은 것이 하나 있습니다. 체감은 근거가 아닙니다. 그 실험의 개발자들은 다 해 보고 나서도 자기 경험을 반대로 기억했습니다. 숫자가 어느 쪽으로 정리되든, 느낌만으로는 알 수 없다는 사실은 남습니다.

쉬워졌다는 느낌

학습 쪽에도 비슷한 관찰이 있습니다. Brcic와 Frljic가 2026년에 낸 논문 The Effortless Trap은 **학습의 착시(illusion of learning)**를 이렇게 설명합니다 — 도구를 끼고 하면 잘되는데 혼자 하면 무너지고, 그런데도 본인은 할 줄 안다고 느끼는 상태입니다.

이 논문이 제시한 한 줄 진단은 이렇습니다.

AI를 들여놓았더니 그 일이 힘들지 않게 느껴진다면, 잘못된 자리에 넣은 것이다.

같은 논문은 “허용이냐 금지냐”라는 물음 자체가 거짓 이분법이며, 진짜 질문은 배치라고 말합니다. 3절에서 본 업무 환경 이야기와 같은 축입니다.

★ 다만 여기서 경계를 분명히 하겠습니다. 이 논문의 인과 실험은 고등학생을 대상으로 한 것입니다. 그 실험의 효과 크기를 성인 실무자에게 옮겨 적는 것은 근거를 넘는 일이라, 이 글에서는 수치를 인용하지 않고 메커니즘과 진단 문장만 가져왔습니다.

같은 도구를 쓰고도 갈렸습니다

성인 대상으로도 비슷한 관찰이 있습니다. Shen과 Tamkin이 2026년 1월에 낸 무작위 실험은, 개발자들이 처음 보는 라이브러리를 익히는 과정을 AI 사용군과 대조군으로 나눠 봤습니다.

참가자를 먼저 보겠습니다. 초보가 아니었습니다. 프리랜서이거나 현업에 있는 개발자들이었고, 파이썬 경력 1년 이상에 최소 주 1회는 코드를 쓰는 사람들이었습니다. 다만 그 라이브러리는 전원이 처음이었습니다. 그러니 이건 “몰라서 그랬다”는 이야기가 아니라, 일할 줄 아는 사람이 새 영역을 배울 때 벌어진 일입니다.

결과를 저자들의 표현 그대로 옮기면 이렇습니다. AI 사용은 개념 이해·코드 읽기·디버깅 능력을 떨어뜨렸고, 평균적으로는 유의미한 효율 이득도 주지 못했습니다. 코딩을 통째로 위임한 참가자들은 생산성은 조금 얻었지만 그 라이브러리를 배우는 것은 잃었습니다.

그런데 이 연구에서 제가 가장 쓸모 있다고 본 것은 그 다음입니다. 연구진은 참가자들의 AI 사용 방식을 여섯 가지 패턴으로 나눴고, 그중 인지적 관여를 유지한 세 가지 방식은 AI를 쓰고도 학습이 보존됐습니다.

여기서 한 가지는 분명히 해 두겠습니다. 점수가 높았던 쪽이 “AI에게 코드를 안 시킨 사람들”은 아니었습니다. 논문은 고득점 무리도 코드 생성과 개념 질문을 모두 썼다고 적고 있습니다. 무엇을 물었느냐가 가른 게 아닙니다.

가른 것은 끝내는 방식이었습니다. 고득점 패턴 중 하나를 논문은 이렇게 설명합니다. 코드를 생성해 붙여 넣은 뒤, 그 코드에 대해 한 번 더 물어본 사람들입니다. 빠르지는 않았지만 이해도가 높았습니다. 그리고 저자들은 이 대목에 이렇게 덧붙였습니다.

이 방식은 AI 위임 그룹과 겉보기에 거의 같아 보이지만, 다만 자기 이해를 점검하는 데 AI를 한 번 더 쓴다는 점이 다르다.

거의 같아 보이는 두 행동이 반대 결과를 냈습니다. 화면만 봐서는 구별되지 않습니다.

저자들이 논문 초록에 적은 문장을 그대로 옮깁니다.

AI로 높인 생산성은 역량으로 가는 지름길이 아니다.

★ 이 연구의 무리별 인원은 두세 명에서 일곱 명 사이로 매우 적습니다. 그래서 효과의 크기가 아니라 “이런 패턴이 있었다”는 정도로만 읽어야 합니다. 사용군과 대조군의 세부 점수는 원문 표에서 제가 확인하지 못해 수치를 옮기지 않고 방향만 적었습니다 — 대조군이 모든 경력 구간에서 더 높았고, 디버깅 문항에서 격차가 가장 컸습니다.

5. 96점과 48점 사이

이걸 아주 선명하게 보여 준 장면이 올해 있었습니다.

브라운대의 한 경제학 수업에서 재택으로 치른 3월 중간고사 평균이 96점이 나왔습니다. 수강생 86명 중 절반 가까이가 만점이었습니다. 이 과목의 예년 평균은 65점에서 80점 사이였습니다.

담당 교수가 이상을 느낀 계기는 점수가 아니었습니다. 여러 답안에 똑같은 우회적 풀이가 들어 있었던 것입니다. 더 간단한 답이 있는 문제인데도요. 조교가 그 문제를 ChatGPT에 넣어 보니 같은 방식으로 풀었습니다.

5월 기말은 대면으로 치렀습니다. 평균은 48점이었습니다. 그리고 27명이 시험장에 나타나지 않았는데, 그중 22명이 중간고사 만점자였습니다.

저는 이 이야기를 “요즘 학생들”에 대한 이야기로 읽지 않습니다. 여기서 제 눈에 남은 건 다른 것입니다. 96점과 48점은 둘 다 실제 점수인데, 서로 다른 것을 재고 있었습니다. 앞의 것은 보조가 있는 상태의 값이고, 뒤의 것은 없는 상태의 값입니다. 그리고 우리는 대개 앞의 것만 봅니다.

★ 이건 대학생 이야기이고, 아직 조사가 진행 중인 사안입니다. 여기서 어떤 비율도 어른 실무자에게 옮기지 않겠습니다. 다만 질문 하나는 그대로 옮겨 올 수 있습니다. 지금 내 일에서 잘 나오고 있는 그 결과는, 어느 쪽 값입니까.

6. 오늘 해 볼 수 있는 점검

거창한 진단은 필요 없습니다. 지난 한 달 안에 AI에게 맡겨 본 일 중 하나만 골라 이렇게 봅니다.

하나. 한 번은 도구 없이 해 봅니다. 30분이면 충분합니다. 도구를 끼고 하던 그 일을 혼자 해 보고, 어디서 막히는지만 봅니다. 막히는 자리가 있다면 그건 실패가 아니라 위치 정보입니다. 아무 데도 안 막힌다면 애초에 붙일 필요가 없던 일일 수 있습니다.

둘. 그 일이 달력에 있는지 봅니다. 매주 또는 매달 돌아오는 업무에 박혀 있습니까, 아니면 “생각나면” 쓰는 것입니까. 뒤쪽이라면, 지금 안 쓰고 있는 이유가 실력이 아닐 가능성이 높습니다.

셋. 시키고 끝내지 말고, 한 번 더 되물어 봅니다. 앞의 연구에서 갈린 지점이 여기였습니다. 시키지 말라는 게 아닙니다 — 시켜도 됩니다. 다만 결과를 받고 **“이거 왜 이렇게 되는 거예요”**를 한 번 붙이는 것과 붙이지 않는 것이 달랐습니다. 30초면 됩니다. 결과물은 거의 같게 나오는데, 남는 것이 달라집니다.

넷. 남에게 한 번 설명해 봅니다. 그 일을 왜 그렇게 시켰는지, 결과를 무엇으로 판단했는지를 동료에게 2분만 설명해 봅니다. 설명이 막히면 아직 내 것이 아닙니다. 이건 “혼자 했을 때 되는가”를 재는 가장 싼 방법입니다.

잘했는지 못했는지 따질 일이 아닙니다. 이 점검은 자신을 평가하려는 게 아니라 다음 주에 자리를 정해 줄 일 하나를 고르려는 것입니다.

7. 정리

가장 많이 인용되는 “10%“는 1982년의 수사적 질문이었습니다. 실측 감쇠는 그보다 완만해서, 1년에 걸쳐 62%에서 34%로 내려갑니다. 그 완만함이 오히려 알아차리기 어렵게 만듭니다.

무엇이 남고 무엇이 사라지는지를 가른 것은 배운 양이 아니라 그다음 날 아침의 자리였습니다. 그리고 지금 잘 쓰고 있는지는 체감으로 알 수 없습니다 — 그 실험의 숙련 개발자들은 다 해 보고 나서도 반대로 느꼈습니다. 효과의 크기가 얼마인지는 아직 재는 사람들도 정리하지 못했습니다. 연구들이 보여 준 것은 여기까지입니다. 나머지는 각자 자기 일에서 확인하는 수밖에 없습니다.

96점과 48점이 둘 다 실제 점수였다는 것도 같은 이야기입니다. 보조가 있는 값과 없는 값은 다른 값인데, 우리가 평소에 보는 건 대개 앞의 것입니다.

결국 질문은 늘 한 쌍입니다.

AI를 어디에 붙이고, 어디서 떼는가.

붙일지 뗄지를 정하는 근거가 느낌이면, 그건 판단이 아니라 기분입니다. 골라서 떼는 것과 못 써서 떼는 것을 가르는 것은 의지가 아니라 확인입니다. 이번 주에는 하나만 도구 없이 해 보시면 좋겠습니다.

참고 자료