🍪 비싼 AI가 아니라, 비싼 실수를 줄이는 AI를 골랐습니다

안녕하세요, 열두시쿠키 구독자님!
AI와 사람이 일을 나누는 방식을 설계하는 루시아입니다. 👩‍💻

토큰은 아끼고 있었는데,
제 시간도 아끼고 있는지는 모르겠습니다.

항공 수익 최적화 AX 프로젝트를 시작할때 저는 주로 클로드 Sonnet을 썼습니다.
사용량을 생각하면 선뜻 더 무거운 모델을 켜기 어려웠거든요.

그런데 Opus 5를 쓰면서 체감이 달라졌습니다.

코딩 오류가 적었고,
전략을 함께 짤 때도 답이 더 나아 보였습니다.

정밀하게 측정한 비교는 아닙니다.

다만 모델을 고를 때 보던 비용에는 빠진 항목이 있었습니다.

AI의 답을

다시 설명하고,
고치고,
확인하는 제 시간이었습니다.

💻 하나의 프로젝트인데, 필요한 답은 달랐습니다

항공 수익 최적화 프로젝트를 할때

실제로 코딩과 데이터 분석, 전략 설계를 오갑니다.

코드를 만들 때는 제대로 실행되는지 봅니다.
데이터를 분석할 때는 계산과 비교 기준이 맞는지 확인합니다.
전략을 짤 때는 무엇부터 풀어야 하는지 따집니다.

모두 AI에게 묻는 일이지만,
답을 확인하는 방법은 다릅니다.

실행되지 않는 코드는 오류가 눈에 보입니다.

하지만 잘못된 기준으로 계산한 숫자는 그럴듯하게 나올 수 있습니다.

전략의 출발점이 어긋났다면 문장을 아무리 다듬어도 방향은 그대로입니다.

그래서 “답을 잘하는 모델”이라는 말만으로는 부족했습니다.

제가 맡기는 일에서 어떤 오류가 생길 수 있고,
그 오류를 얼마나 쉽게 알아챌 수 있는지가 먼저였습니다.

⏳ 답변이 끝나도, 제 일은 끝나지 않았습니다

처음에는 토큰 사용량이 눈에 들어왔습니다.
숫자로 바로 보이니까요.

반면 재작업은 잘 보이지 않습니다.

빠진 조건을 다시 설명하는 일.
수정된 답이 다른 부분을 망가뜨리지 않았는지 확인하는 일.
대화가 길어져 처음의 목적을 다시 꺼내는 일.

이 시간은 사용량 옆에 표시되지 않습니다.
제 일정에 남을 뿐입니다.

Opus 5를 쓰며 느낀 차이는 이 부분을 돌아보게 했습니다.

첫 답이 조금 더 낫다는 것보다,
그 답을 쓸 수 있는 상태로 만드는 과정이 짧아질 가능성이 눈에 들어왔습니다.

물론 모델만 바꿨다고 설명할 수는 없습니다.
제가 전달한 맥락이나 질문도 영향을 줬을 겁니다.

그래도 비교할 대상은 분명해졌습니다.

답변 한 번의 비용과 속도뿐 아니라,
제가 확인을 마칠 때까지 걸린 시간도 봐야 했습니다.

⚖️ 틀렸을 때, 어디까지 돌아가야 할까요?

그렇다고 모든 일을 더 비싼 모델에 맡기면 될까요?

이미 기준이 정해진 내용을 정리하는 일과,
그 기준부터 세우는 일을 똑같이 다룰 필요는 없겠지요.

예를 들어
회의 메모에서 할 일을 뽑는 작업은 원문과 대조해 고칠 수 있습니다.

반면 수익 분석의 기준을 잘못 잡으면 이야기가 달라집니다.
계산뿐 아니라 비교 결과와 그 뒤의 제안까지 다시 봐야 합니다.
앞단의 작은 오류가 뒤의 일을 크게 되돌릴 수 있습니다.

저는 다음 작업에서 모델을 고르기 전에 세 가지를 먼저 적어보려고 합니다.

쉽게 확인하고 고칠 수 있는 일에는
속도와 사용량을 우선해볼 수 있습니다.

여러 조건이 얽히고 뒤의 작업에 영향을 주는 일에는
더 깊이 검토할 모델을 써보고,
실제 재작업이 줄었는지 확인하려 합니다.

모델의 답이 좋아 보여도 계산 기준과 업무 적용 여부를 확인하는 제 역할은 남습니다.

🧪 다음에는 같은 일로 비교해보겠습니다

이번 경험은 체감이었습니다.
다음에는 반복되는 작업 하나를 골라 같은 자료와 조건으로 비교해보려고 합니다.

첫 답을 받는 데린 시간보다,
추가로 몇 번 설명했는지,
무엇을 고쳤는지, 검
토를 마치는 데 얼마나 걸렸는지를 남겨보겠습니다.

제 선택 기준은 이렇게 잡았습니다.

모델은 답변 가격만 보지 않고,
틀린 답을 발견하고 되돌리는 데 드는 시간까지 보고 고르겠습니다.

어떤 일에서는 익숙한 모델이 충분할 겁니다.
다른 일에서는 사용량을 더 쓰더라도 재작업을 줄이는 선택이 나을 수 있습니다.

💬 오늘의 질문

최근 AI와 한 작업 중,
답을 받은 뒤에도 한참 고쳤던 일이 있나요?

다음번에는 그 작업 하나만 다른 모델에 맡겨보세요.

어느 답이 더 멋진지보다,
내가 고치고 확인하는 시간이 실제로 줄었는지를 비교해보면 어떨까요?

성장 파트너의 수다