[36호] AI를 잘 쓰는 사람은 가끔 AI를 끕니다

잠시라도 스마트폰이 꺼지면 불안해하던 때가 있었죠. 요즘은 AI를 쓰는 일이 그렇습니다. 슬라이드를 만들 때, 여행 계획을 짤 때, 심지어 누군가에 챗으로 간단한 대화를 하는 것 조차 AI의 검수를 거치려는 저를 발견합니다. 여러분들도 아마 저와 다르지 않으실 거에요.

2026년 8월, Atlassian의 Teamwork Lab은 재미있는 실험을 했습니다.

약 250명의 채용 조직 구성원을 대상으로 하루는 AI를 적극적으로 사용하는 🥳 AI Play Day, 다른 하루는 AI를 사용하지 않는 😴AI Pause Day를 경험하도록 했습니다. 일일 설문 분석에는 123명이 참여했습니다.

설문 조사 참가자들은 Atlassian의 AI 툴인 Rovo 와 Dia를 정기적으로 사용하는 사용자였기 때문에 Teamwork Lab은 이러한 툴 사용을 중단했을 때 실제로 어떤 변화가 발생하는지 정확히 파악할 수 있었습니다.

AI를 사용하지 않는 날, 참가자의 82%나 AI에게 질문하고 싶은 충동을 느꼈습니다. 47%는 AI 없이 업무를 수행하는 것이 불편할 만큼 어렵다고 느꼈고, 46%는 AI 없이 일하는 자신의 능력이 무뎌진 것 같다고 답했습니다. 반대로 AI를 적극적으로 사용한 날에는 중요한 업무가 더 쉽게 느껴지고 스트레스도 낮아졌습니다.

AI가 업무에 얼마나 유용한지, 동시에 AI 사용이 얼마나 자연스러운 습관이 되었는지를 보여주는 결과였습니다.

그런데 저는 실험이 끝난 후의 결과가 더 흥미로웠습니다. 

재미있게도 참가자들은 두 날 모두 "목적 있는 시간"이었다고 평가했습니다. 

참가자들이 경험을 공유한 후 89%는 팀 차원에서 언제 AI를 사용해야 하는지 더 명확하게 이해하게 되었다고 답했습니다. 92%는 언제 AI를 사용하지 않아야 하는지에 대해 더 자신감을 갖게 되었습니다.

AI를 잠시 끄는 경험이 오히려 AI를 더 잘 사용하는 방법을 생각하게 만든 것입니다.

우리는 보통 새로운 AI 도구를 배우고, 프롬프트를 개선하고, 자동화할 수 있는 업무를 찾는 데 많은 시간을 씁니다.

그런데 AI를 사용하지 않는 연습은 얼마나 해봤을까요?

AI를 켜는 것이 너무 자연스러워진 나머지, 이제는 AI가 없어도 할 수 있는 일까지 습관적으로 맡기고 있는 것은 아닐까요?

좋은 결과물을 만드는 것과 좋은 판단을 내리는 것

제품을 만드는 조직에서는 매일 수많은 판단이 이루어집니다. PM은 어떤 문제를 해결할지 결정하고, 디자이너는 어떤 사용자 경험을 제공할지 선택하며, 개발자는 어떤 기술적 접근이 적절한지 판단합니다.

AI는 이 모든 과정에 도움을 줄 수 있습니다. 하지만 AI가 결과물을 더 잘 만들어줄수록, 우리는 그 안에 담긴 판단을 어느 정도나 스스로 하고 있을까요?

AI의 도움으로 훌륭한 PRD를 작성했다고 해볼게요. 고객 문제부터 해결책, 기대 효과와 실험 설계까지 논리적으로 정리되어 있습니다. 팀장님이 묻습니다.

이 질문에 AI가 없던 예전같이 더 잘 대답할 수 있을까요?

디자이너도 비슷합니다. AI로 여러 디자인 시안을 만들고 완성도 높은 화면을 선택했습니다. 그런데 누군가 묻습니다.

AI가 만든 결과물을 설명하는 것과, 그 결과물에 이르는 판단을 스스로 만들어내는 것은 다를 수 있습니다. 

이해의 차이는 숫자로도 나타납니다. 올해 1월 Anthropic은 주니어 개발자 52명에게 처음 보는 라이브러리로 기능을 구현하게 하고, 직후에 이해도 퀴즈를 봤습니다. AI를 쓴 그룹의 평균은 50%, 직접 코딩한 그룹은 67%였습니다. 차이가 가장 컸던 영역은 디버깅이었습니다. 무엇이 왜 틀렸는지 알아차리는 능력, 그러니까 판단에 가장 가까운 능력이었죠.

물론 AI를 사용했다고 해서 자신의 판단이 없는 것은 아닙니다.

AI가 제안한 대안을 충분히 검토하고, 근거를 비교하고, 의식적으로 선택했다면 그 역시 중요한 사고 과정입니다.

그 과정을 좀 더 집요하게 고민하고 찾아보고 질문하는 과정이 꼭 필요하다는 것이죠. 결과물은 완성되었지만 왜 그런 선택을 했는지 설명하기 어려운 상태가 될 수 있습니다.

최근에 기획을 돕는 AI 툴을 만들고 있는데요. 기획의 타당성을 검토하는 것이 정말 어려운 일이더군요. 기획의 타당성을 검토한다는 것은 단순히 논리적 오류를 찾는 일이 아니거든요. 우리가 해결하려는 문제가 정말 중요한지, 문제의 원인을 제대로 짚었는지, 제안한 해결책이 실제로 효과가 있을지 끊임없이 의심하고 확인하는 과정입니다.

AI는 이 과정에서 놓친 가정을 발견하고, 다른 가능성을 제시하고, 검증할 방법을 찾는 데 도움을 줄 수 있습니다. 하지만 아직 검증되지 않은 기획에 대해 무엇을 믿고, 무엇을 의심하며, 어떤 선택을 할 것인지 판단하는 일은 결국 우리의 몫입니다.

올해 3월, KPMG는 텍사스대학교와 함께 약 140만 건의 실제 업무 AI 상호작용을 분석하여 발표했습니다. 연구의 목적은 일상적인 AI 사용과 고도화된 AI 활용을 구분하는 행동이 무엇인지 알아보는 것이었습니다.

고도화된 AI 사용자들은 단순히 질문을 던지고 답을 받는 데 그치지 않았습니다. 처음부터 복잡하고 도전적인 작업을 요청하고, 결과물을 끈질기게 수정하며, 작업의 목적에 따라 적합한 AI 도구와 모델을 의도적으로 선택하는 경향을 보였습니다.

흥미로운 점은 약 2,600명의 사용자 중 이러한 고도화된 활용 행동을 지속적으로 보여준 사람이 약 5%에 불과했다는 사실입니다.

결국 AI를 높은 수준으로 활용하려면 문제를 정의하고, 결과를 의심하고, 자신의 판단에 따라 AI의 작업을 이끌어가는 능력이 필요하다는 것인데요.

저는 이것이 AI를 가끔 꺼야 하는 이유와도 연결된다고 생각합니다.

AI가 먼저 정리해 준 문제 정의와 해결책을 받아들이기 전에, 서툴더라도 내가 생각하는 문제와 그 이유를 먼저 설명해 보는 것입니다. 그리고 AI를 다시 켜서 내 가설을 반박하고, 놓친 근거와 다른 가능성을 찾아보는 것이죠.

AI를 만드는 기업들 역시 비슷한 고민을 제품에 반영하였어요. Claude Code의 Learning 모드에서는 AI가 코드를 끝까지 써주지 않습니다. 핵심 부분은 To do로 비워두고 사람이 직접 채우게 합니다. 함께 나온 Explanatory 모드는 시니어 개발자처럼 "왜 이렇게 짰는지", 어떤 트레이드오프가 있었는지를 설명해 줍니다. ChatGPT의 Study Mode나 Claude의 Learning 스타일도 답을 바로 주는 대신 질문을 되돌려줍니다. AI 회사가 스스로 “AI가 다 해주지 않는 모드”를 만들고 있는 거죠.

Claude Code의 Learning 모드

팀에서 실천하는 20분 First Thought Lab

AI가 내 생각을 매끄럽게 만들어주기 전에, 서툴더라도 내 생각을 먼저 가져보는 것. 가끔은 AI를 잠시 끄고, 거기서부터 시작해 보면 어떨까요?

팀에서 함께 진행해볼만한 워크숍을 소개할게요. 

한 달에 한 번, 실제 진행 중인 제품 문제 하나를 선택합니다.

처음 15분 동안은 완성도 높은 답을 요구하지 않는 것입니다. 서툰 가설도 괜찮고, 설명하다가 생각이 바뀌어도 괜찮습니다. 오히려 자신이 무엇을 모르는지 발견하고, 동료의 질문을 통해 생각을 발전시키는 경험이 중요합니다.

20분이 끝난 후에는 AI가 더 좋은 답을 만들었는지를 평가하기보다, 각자의 생각이 어떻게 바뀌었는지 이야기해 봅니다. 처음에는 무엇을 문제라고 생각했는지, 동료의 질문으로 무엇이 달라졌는지, AI를 통해 어떤 가능성을 새롭게 발견했는지를 공유하는 것입니다.

이런 경험이 반복된다면 팀은 AI 활용법뿐 아니라 서로의 사고 과정도 더 깊이 이해할 수 있을 것입니다.

📮 다음 호 예고

[37호] 누구나 디자인을 뽑는 시대, 아이데이션은 어디서 시작해야 할까

핀터레스트에서 모아 붙이던 무드보드, 요즘 어떻게 쓰고 계세요? 지난 6월 피그마 Config를 보다가 레퍼런스 이미지 한 장이 그대로 디자인 시스템의 재료가 되는 장면을 봤어요. 이제 디자인을 뽑는 건 누구나 할 수 있게 됐는데, 그렇다면 PM과 디자이너가 손에 쥐고 있어야 할 건 뭘까요? 다음 호에서 그 이야기를 해볼게요

✉️ 다음 호가 궁금하신 분들은 아래 [구독하기] 버튼을 눌러주세요.