🍪 클로드가 만든 대시보드, 제가 이해를 못했습니다.

안녕하세요, 열두시쿠키 구독자님!
AI와 사람이 일을 나누는 방식을 설계하는 루시아입니다. 👩‍💻

제가 만들라고 했는데, 제가 이해를 못했습니다. 

요즘 클로드와 항공 수익 최적화 대시보드를 만들고 있습니다.

클로드는 참 쉽게 만듭니다. 원하는 화면과 기능을 설명하면 금세 그럴듯한 결과가 나옵니다.

그런데 정작 일을 시킨 저는 완성된 화면을 보다가 자꾸 멈춥니다.

설명을 들으면 알 것 같습니다.
하지만 다시 혼자 화면을 보면 또 질문이 생깁니다.

대시보드는 점점 완성되는데, 제 질문은 줄지 않았습니다.

🖥️ 한계이익은 나왔는데, 계산은 보이지 않았습니다

클로드가 뽑아준 숫자 중에 한계이익이 있었습니다.

그런데 저는 그 값이 어떻게 나왔는지 이해하지 못했습니다.

숫자는 화면에 있는데,
어떤 계산을 거쳐 나온 값인지 따라가지 못한 겁니다.

이 대시보드로 항공 매출과 수익을 보고,
어디에 힘을 더 줘야 할지 판단하고 싶었습니다.

하지만 한계이익이
어떻게 나온 값인지 모르는 채로,
그 숫자를 근거로 판단할 수 있을까요?

직접 만들었다면 중간에 따져봤을 계산을,
완성된 화면 앞에서 되짚고 있었습니다.

🔍 더 많이 끝내도, 놓치는 것은 있었습니다

최근 공개된 한 연구에서도 비슷한 장면을 발견했습니다.

데이터 과학 경험이 서로 다른 실무자 20명이
같은 AI 도구로 과제를 수행했습니다.

AI에게 더 많이 위임한 참가자들은 과제의 더 많은 부분을 끝냈지만,
잘못된 해답을 만들 가능성도 높았습니다.

반면 전문가들은 완료량을 줄이더라도
문제를 나누고
AI 결과를 꼼꼼히 살피는 경향을 보였습니다.

아직 동료 평가를 거치지 않은 소규모 연구라는 한계는 있습니다. 그래도 제 화면을 돌아보게 됐습니다.

“이 숫자, 믿고 사용해도 되나요?”

누군가 이렇게 묻는다면, 저는 어디부터 확인할 수 있을까요?

🧪 숫자 하나부터 확인해보려고 합니다

다음 작업에서는 한계이익부터 세 가지를 확인해보려고 합니다.

목적 — 이 숫자로 무엇을 결정할 것인가

현황을 확인할 숫자인지,
다음 행동을 고를 근거인지 한 문장으로 적어보겠습니다.

계산 — 어떤 데이터가 어떻게 합쳐졌는가

원본 데이터 몇 건을 골라 계산을 따라가고,
직접 계산한 값이 같은 범위의 화면 숫자와 일치하는지 확인하겠습니다.

조건 — 무엇이 바뀌면 해석도 달라지는가

취소 건 포함 여부나 비용의 범위처럼,
계산과 판단에 영향을 주는 조건을 짚어보겠습니다.

몇 건을 맞춰본다고 모든 지표가 정확해지는 것은 아닐 겁니다.

그래도 설명을 듣고 고개를 끄덕이는 데서,
제가 직접 확인하는 데까지는 가보고 싶습니다.

💬 루시아의 질문

지금까지는 화면이 완성됐는지를 먼저 봤습니다.
이제는 그 안에서 제가 확인한 숫자가 무엇인지도 물어보려고 합니다.

최근 AI와 함께 만든 결과물 하나를 떠올려보세요.

성장 파트너의 수다