Automata V.25 | 📃 LLM 모델을 사용할 때 벤치마크보다 더 유용한 리소스

벤치마크만 보고 넘어가지 마세요 - 공식 LLM 프롬프트 가이드 읽어보기

최근 정말 많은 LLM들이 발표되고 있죠. 더 많은 모델들이 더 빠르게 공개되고 있어요. 회사들이 새로운 모델을 공개할 때는 각 모델에 맞는 공식 프롬프트 가이드도 함께 내놓는다는 사실, 알고 계셨나요? 이 가이드들은 단순한 용어 선정을 넘어 이전 버전 대비 어떤 점이 나아졌는지, 어떤 기능이 새로 추가됐는지, 모델에게 도구를 어떻게 쥐어줘야 하는지까지 다루는 꽤 깊이 있는 내용을 담고 있어요. 오늘은 가장 최근 모델인 Anthropic의 Claude Fable 5 공식 프롬프트 가이드를 살펴보면서, 안에 어떤 내용이 담겨 있는지 짚어볼게요.

가이드에 따르면 Claude Fable 5는 Claude Opus 4.8 대비 여러 영역에서 역량이 올라갔어요.

이 외에도 재무 분석이나 스프레드시트 같은 엔터프라이즈 업무, 코드 리뷰와 디버깅, 모호한 요청 속에서 다음 단계를 스스로 판단하는 능력, 여러 서브에이전트를 동시에 위임하고 관리하는 협업 능력까지 폭넓게 좋아졌다고 밝히고 있어요. 다만 공격적 사이버 보안이나 생물학·생명과학 관련 작업에는 안전 분류기가 따로 작동해서, 무해한 요청도 거부될 수 있다는 점은 짚어둘 만해요.

역량이 올라간 만큼 프롬프트 작성 방식도 조정이 필요해요. Claude Fable 5는 기본적으로 더 오래, 때로는 몇 시간씩 자율적으로 작업을 이어가기 때문에 클라이언트 타임아웃이나 진행 상황 표시 방식을 미리 손봐야 한다고 가이드는 조언합니다. effort 설정도 중요한데, 어려운 작업에는 xhigh를, 일상적인 작업에는 medium이나 low를 쓰는 식으로 지능·속도·비용의 균형을 맞추라고 권해요.

지시 사항 준수 능력이 워낙 좋아져서 동작 하나하나를 나열하지 않고 "결과부터 말하고 근거는 나중에"처럼 짧은 원칙 한 줄로도 대부분을 조정할 수 있다는 점, 장기 실행 중에는 실제 도구 결과를 근거로만 진행 상황을 보고하도록 지시하면 허위 보고가 크게 줄어든다는 점도 눈에 띄었어요. 이 밖에 요청받지 않은 작업(이메일 초안 작성이나 방어적 git 백업 생성 등)을 벌이지 않도록 경계를 명시하는 법, 노트를 남겨 세션 간 교훈을 이어가는 메모리 시스템 구축법, 장기 비동기 작업에서 사용자에게 원문 그대로 메시지를 전달하는 send-to-user 도구 설계법까지 실전 패턴을 상세히 다루고 있어요.

이처럼 새로운 모델의 공식 프롬프트 가이드를 챙겨 읽으면 모델을 더 정확하고 풍부하게 쓸 수 있게 돼요. 앞으로 새 모델이 나올 때는 벤치마크 점수뿐 아니라 프롬프트 가이드도 함께 읽어보시길 추천드려요.

아래는 Anthropic과 OpenAI 모델들의 공식 프롬프트 가이드 링크입니다!

Anthropic

OpenAI (GPT4.1 ~GPT5.5)

AI가 불러온 1인 창업가의 시대

미국 인구조사국(US Census Bureau)은 사람뿐 아니라 사업체도 집계해요. 그런데 2022년에 재미있는 방법론 변경을 했습니다. 그전까지는 매출이 일정 기준을 넘긴 사업체를 무조건 직원 있는 회사로 재분류했는데, 혼자 일하면서도 매출을 꽤 내는 1인 사업자가 자꾸 눈에 띄자 소득 기준선을 크게 올렸어요. 그러자 고소득 무고용(nonemployer) 사업체 수가 확 늘었습니다. Stripe는 전 세계 수많은 온라인 사업체의 결제를 대신 처리해주는 회사인데, 그 리서치 조직인 Stripe Economics가 최근 내놓은 「1인 창업가의 시대」 리포트는 이 흐름이 진짜라고 말해요. 핵심 근거 하나가 신규 사업 신청(new business applications) 데이터예요. 2024년 말부터 신규 신청이 다시 급증했는데, 정작 인구조사국이 "8분기 안에 고용할 가능성이 높다"고 분류하는 high-propensity 신청은 거의 안 늘었어요. 늘어난 건 직원을 뽑을 회사가 아니라 혼자 하는 사람들이었다는 거죠.

출처: Stripe Economics 블로그

그럼 이게 그냥 서류상으로만 있는 유령 회사 아니냐는 의심이 들 법한데, 리포트는 세 가지로 반박해요. ① 2020년 팬데믹 때는 미국 정부가 소상공인에게 지원금을 주는 프로그램이 있어서, 사업자 등록만 해두면 일단 신청하고 보는 사람이 많았어요. 하지만 지금은 그런 정부 지원금이 없습니다(그 프로그램은 2021년 5월에 신규 접수를 끝냈어요). ② Stripe 결제 데이터를 보면 최근에 새로 가입한 사업체일수록 예전에 가입한 곳보다 더 빨리 매출을 냈어요. 가입한 지 1년 안에 매출 합계가 100만 달러를 넘긴 비율을 보면, 2025년에 가입한 사업체가 2023년에 가입한 곳보다 약 30% 높았고 2019년에 가입한 곳과 비교하면 약 3배나 높았습니다. ③ 이 현상은 미국만의 이야기가 아니에요. 2017년 이후 신규 사업 등록이 호주에서 약 40%, 핀란드에서 약 70%, 프랑스에서 약 80% 늘었고 특히 프랑스는 그 증가를 전통적인 고용 기업이 아니라 1인·마이크로 창업자가 이끌었다는 점이 미국과 닮았어요.

출처: Stripe Economics 블로그

더 눈에 띄는 건 소득 상위 구간이에요. 2023년 기준 약 400만 명의 미국인이 연 10만 달러 이상 매출을 내며 1인 사업을 주업으로 삼았는데, 2010년대 초 200만 명대에서 두 배로 뛴 수치예요. Stripe는 1인 창업 특화 플랫폼 약 115개와 Stripe Atlas 단독 사업체를 묶어 프록시 지표를 만들었는데, 소득 구간이 위로 갈수록 증가폭이 더 컸어요. 100만 달러 이상은 2025년이 2023년보다 2배 이상, 500만·1000만 달러 이상은 각각 약 3배로 뛰었습니다. 심지어 이 구간에 도달한 1인 사업자의 "비율"까지 2년 사이 두 배가 됐어요. 몇몇 운 좋은 사례가 튄 게 아니라 신규 코호트 자체의 질이 좋아졌다는 신호죠.

출처: Stripe Economics 블로그

Stripe는 이 성장의 상당 부분을 AI가 이끈다고 봐요. ① 인구조사국의 BTOS(Business Trends and Outlook Survey) 설문에서 AI 도입률이 높은 업종일수록 무고용 사업체 성장률도 높은 양의 상관관계가 나타났어요(제조업은 예외적으로 낮았고, 운송·창고업은 반대로 높았습니다). ② Stripe 가입 여정에서 AI가 관여한 비중은 작년 1월보다 거의 4배로 늘었는데, MCP·CLI·Claimable Sandbox 같은 직접 신호와 ChatGPT가 Stripe를 추천해 유입되는 간접 신호를 모두 포함해요. 예전엔 시장 조사, 코딩, 가격 책정, 마케팅, 영업을 혼자 다 못 해서 사람을 뽑았지만, 이제는 AI가 그 빈자리를 메워줍니다. Sam Altman이 말한 "아이디어를 가진 사람들의 역습(revenge of the idea guys)"이 데이터로 확인되는 셈이에요. Stripe는 AI 기여도 20%를 천장이 아니라 바닥으로 봐야 한다고 덧붙였습니다.

출처: Stripe Economics 블로그