🏙 Fortune 500대 경영진이 고민하는 AI의 현실

오늘도 창조의 길을 선택한 오리너, 구독자 님 안녕하세요!

이번 뉴스레터는 포춘 500대 기업들이 어떻게 AI를 사용하는지 조사한 a16z의 아티클을 정리했습니다. 규모있는 대기업이 AI를 어떻게 도입을 하고 있고, 어떤 점을 고민하고 있는 지 알 수 있는데요.

사내에 AI 도입을 고민하고 있거나, 기업용 AI 프로덕트 개발을 하고 있거나 고민 중인 분들, 혹은 모델을 개발/판매하는 회사에서 근무 중이시라면, 도움이될 인사이트와 통계가 가득합니다.

구독자님이 오너의 마인드로 AI를 바라보는 데 도움이 되시길 바랍니다.😎

🐥 이런 아싸이트를 드릴게요

2023년 소비자 시장을 휩쓴 생성형 AI

지금까지는 생성형 AI씬이 B2C 프로덕트를 중심으로 흘러온 부분이 컸습니다.

작년 소비자들이 새로운 AI 챗봇이나 스테이블 디퓨젼 등으로 컨텐츠를 만드는데 시간을 보내는 동안, 기업 대상 생성형 AI의 활용은 몇 안되는 사용 사례로 제한되거나, "GPT Wrapper“류의 제품을 UI만 조금 바꿔서 출시하는 정도였습니다. 회의론자들은 자율주행으로 치면 Level 1에 불과한 지금의 AI가 과연 기업의 생산성과 사업성에 실질적인 가치를 주는게 맞는지 의문을 제기했습니다.

a16z는 Fortune 500대 기업 및 주요 기업 경영진 수십 명과 대화를 나누고, 70명 이상을 설문 조사하면서 [기업들이 어떻게 생성형 AI를 사용하고 있고, 구매 및 예산을 수립하고 있는지] 파악했습니다. 지난 6개월 동안 생성형 AI에 대한 예산 배정과 태도가 크게 변했습니다. 경영진들은 여전히 생성형 AI에 대해 아직 보수적인 입장을 취하지만, 그럼에도 동시에 관련 투자를 늘리고 활용 범위를 넓히고 있습니다.

AI 사업을 전개한다면, 기업을 타겟팅한 여기가 광활한 기회의 땅입니다. 

기업이 처한 상황을 충분히 고려한 프로덕트가 새로운 투자의 흐름을 포착하고 시장 점유율을 확대할 수 있을 거에요.

언제나 그렇듯, 고객이 어떤 문제를 갖고 있는 지가 제일 중요할텐데요. 의사결정 권한을 갖고 있는 기업의 경영진들이 생성형 AI도입에 대해 어떻게 의사 결정을 어떻게 내리는지 파악할 수 있도록 포인트를 하나씩 살펴봅시다👾

AI에 투자를 늘리는 기업들

a16z의 계산에 따르면, 2023년 말 모델 API(파인튜닝 포함) 시장은 연매출만 약 15억~20억 달러(약 3조원)를 기록한 것으로 추정됩니다(Azure를 통한 OpenAI 모델 지출을 포함). 전체 시장의 예상 성장과 기업들의 구체적인 지표를 감안할 때, 기업의 AI API 지출만으로도 2024년엔 연간 최소 50억(약 6.76조원) 달러의 매출은 달성할 것이며, 상당한 상승 잠재력이 있습니다.

1. 생성형 AI 관련 예산이 급증하고 있어요.

[기업이 생성형 AI에 얼마나 투자하고 있는지] 2023년 조사했을 때, AI 기반 모델 API + 자체 호스팅 + 파인 튜닝 모델에 조사 기업당 연 평균 700만 달러(약 94억원)를 지출했습니다. 2024년 동일한 조사에서는 생성형 AI에 대한 도입 범위를 더 확대하기 위해 작년 대비 약 2.5배 증가한 기업 당 연 18억 달러(약 243억원)의 예산이 배정되었다고 밝혔습니다.

지난 6개월 동안, 기업들은 생성형 AI 도입에 대한 탑다운 의사결정을 내렸는데요. 예전에는 1년 넘게 걸리던 거래가 2~3개월 만에 이루어지고 있고, 그 규모도 과거보다 훨씬 커지고 있습니다.

2. 이젠 일회성이 아닌, 지속적인 비용으로 자리잡은 AI

2023년에는 생성형 AI 비용의 상당 부분이 "혁신" 및 “기타 일회성 자금” 풀에서 나왔는데요. 2024년에 달라진 점은 상당수의 기업들이 생성형 AI 비용을 일회성이 아닌, 영속성이 띄는 소프트웨어 지출 항목으로 예산을 배정했다는 점입니다. 오직 조사한 기업의 25% 미만이 2024년 생성형 AI 지출이 “혁신” 예산에서 나올 것이라고 응답했습니다.

훨씬 더 작은 규모이지만, 일부 기업의 경우 생성형 AI의 예산을 CS 영역의 인력 절감에 배치하기 시작했습니다. 만약 이 추세가 지속된다면, 향후 생성형 AI에 대한 지출은 훨씬 더 크게 증가할 것으로 예상됩니다. 한 회사는 LLM 기반 고객 서비스를 통해 1회의 콜 당 약 $6를 절약했고(이전 대비 약 90% 비용 절감) 생성형 AI 투자를 8배 늘리는 이유라고 언급했습니다.

3. ROI는 아직 주관적

ROI 측정은 어떻게 하고 있을까요?

지금은 주로 생산성 향상의 측면으로 ROI를 측정하고 있습니다. NPS와 고객 만족도도 대리 지표로 사용하고 있지만, 사용 사례에 따라 매출, 비용 절감, 효율성 및 정확성 향상과 같이 실질적인 수익 측정 방법도 모색하고 있습니다.

그러나 아직은 직원들이 “AI 덕분에 생산성이 늘었다”고 말하면 믿는 수준으로, 객관적인 지표로 AI 투자에 대한 ROI를 판단하기보단 직원들의 주관적 의견으로 판단하고 있습니다.

지금은 AI도입 후 수익을 정량화 하기 위한 최선의 지표를 찾고 있는 단계이고, 향후 2~3년 동안 ROI는 점점 더 중요해질 것 같습니다. 

4. 사내용 생성형 AI를 구현만을 위한 인력 부족

개인용 생성형 AI 툴과 달리, 사내용 생성형 AI 솔루션을 대규모로 쓰는 것은 API만 쓴다고 해결되는 문제는 아닙니다. AI 솔루션을 사내에 구축하는 인프라 부터, 유지 관리, 확장까지 사내용 생성형 AI 솔루션을 위한 전문화된 인재가 필요합니다.

AI 솔루션 구현 비용은 2023년 한 해동안 AI와 관련된 지출 중 비중이 큰 영역이었고, 경우에 따라 예산의 대부분을 차지하기도 했습니다. 한 임원은 "LLM API 비용은 실사용될 사내 솔루션을 개발하는 데 들어가는 비용의 4분의 1 정도에 불과하다"면서 개발 비용이 예산의 대부분을 차지한다고 언급했습니다.

때문에 기반 모델을 제공하는 AI 업체들은 엔터프라이즈 고객을 위해 맞춤형 모델 개발과 관련된 전문 서비스를 제공하고 있습니다. 이런 맞춤형 서비스에 대한 부분이 2023년 AI 모델 회사의 수익 중 상당 부분을 차지했을 것이고, 모델의 성능 이외에도 선택에 중요한 요인 중 하나입니다.

기업에서 적합한 생성형AI 인재를 확보하기는 어려움이 많기 때문에 생성형 AI 개발을 사내 시스템에 쉽게 도입하게 만드는 도구를 제공하면 확실히 경쟁력을 갖출 수 있을거에요.

AI 모델 춘추 전국 시대

5. 모델은 3개 이상

불과 6개월 전만 해도, 대부분의 기업이 1개(주로 OpenAI) 또는 최대 2개의 모델을 테스트했었는데요. 요즘은 상황이 달라지고 있습니다. 93% 기업들은 3개 이상의 모델을 테스트해보고 있고, 일부는 실제로 사용되고 있습니다.

앞으로 더 많은 모델이 확산될 것 같습니다. 어떤 모델을 사용하고 있는지 조사한 아래 그래프를 보면, 앞으로 기업들이 실제 업무에 어떤 모델을 사용하게 될 지 선행 지표를 확인할 수 있는데요. 테스트 단계에서 좋은 성능을 보이는 모델들이 앞으로 실제 사용까지 배포될 가능성이 높기 때문이죠.

현재 사용되고 있는 모델만 보면, 예상대로 OpenAI가 여전히 압도적인 시장 점유율을 보이고 있어요. 그러나 동시에 기업들이 OpenAI 이외의 다양한 모델들도 적극적으로 테스트하고 있다는 점에도 주목해야 합니다. 이는 향후 시장 지형에 변화가 있을 수 있음을 시사하기도 합니다. 특정 모델이 특정 사용 사례에 더 적합하다는 것이 입증된다면, 해당 모델의 점유율이 높아질 수 있기 때문이죠. 이 과정에서 시장 점유율 지형에도 변화가 있을 수 있을 것입니다. OpenAI의 우위가 당분간 지속되겠지만, 다른 강자들의 등장 가능성도 배제할 수 없어 보입니다.

6. 모델은 쉽게 바꿀 수 있게

대부분의 기업은 API만 갈아끼우면 모델을 쉽게 바꿀 수 있도록 프로덕트를 설계하고 있습니다.

버튼만 누르면 변경 사항이 적용될 수 있게끔 프롬프트 사전 세팅을 하고 있고, 필요에 따라 모델을 바꿔 다른 앱에 쉽게 배포할 수 있도록 AI 모델 관리 시스템을 구축하기도 합니다. 회사들이 여러개의 모델을 복합적으로 사용하는 접근 방식을 취하는 데는 두 가지 이유가 있습니다.

7. 잘나가는 오픈소스 모델

지난 6개월 동안 가장 놀라운 변화는 오픈 소스 모델이 잘나가고 있다는 겁니다.

a16z의 추정에 따르면 2023년에는 80% ~ 90%가 폐쇄형 모델, 그 중에서도 대부분은 OpenAI를 사용했었는데요. 2024년 조사에서는 응답자의 46%가 오픈 소스 모델을 선호하거나 강력히 선호한다고 밝혔습니다.

경영진의 82%가 파인 튜닝된 오픈소스 모델이 폐쇄형 모델의 성능을 따라잡았을 때, 오픈 소스 사용량을 늘리거나 전환하고 싶다는 의사를 밝히고 있고요. 때문에 2024년 이후에는 기업들도 상당수가 오픈소스로 전환할 수 있다고 예상하고 있습니다. 일부 기업은 1:1 비율을 목표로 하고 있는데요, 2023년에는 8:2로 폐쇄형이 많았던 것을 생각하면 오픈 소스에 대한 선호도가 상당히 커졌다는 것을 확인할 수 있습니다.

8. 오픈 소스 모델 도입의 이유

오픈 소스 모델을 채택하는 주된 이유는 비용이 아니라 컨트롤과 맞춤화였습니다.

비용이 최우선 고려 사항이 아니라는 점이 놀라웠지만, 생성형 AI로 창출되는 초과 가치가 가격을 훨씬 능가할 것이라는 리더십의 확신을 반영하는 것이기도 합니다. 한 임원은 "정확한 답을 얻는 것은 비용을 지불할만한 가치가 있다"고 설명했습니다.

9. 우리 데이터를 다른 데 넘길 순 없지

기업들은 여전히 회사의 데이터를 다른 모델 제공 업체에 공유한다는 것에 대해 리스크가 있다고 판단하고 있습니다. 규제나 보안에 대한 우려가 있는거죠. 당연히 IP가 비즈니스 모델의 중심인 회사들은 특히 더 데이터를 다른 기업에 제공하는 보안 문제에 민감합니다.

일부 경영진들은 오픈 소스 모델을 직접 호스팅하면서 이러한 고민을 해결하고 있고, 가상 사설 클라우드(VPC) 통합이 있는 모델을 우선시하고 있다고 언급했습니다.

10. 모델 구축보단 파인 튜닝 + RAG

2023년에는 BloombergGPT와 같은 맞춤형 모델 구축에 대한 논의가 많았습니다. 2024년에도 여전히 맞춤형 모델에 관심이 있지만, 오픈 소스 모델의 성능이 좋아지면서 대부분은 처음부터 자체 LLM을 학습시키기보다 검색 증강 생성(RAG:Retrieval-Augmented Generation) 기술을 사용하거나 특정한 요구사항에 맞게 오픈소스 모델을 파인튜닝하는 방향을 선택하고 있습니다.

RAG이란, LLM 생성 능력을 외부 지식 검색을 통해 강화하는 방법입니다. 전통적인 언어 모델은 학습 과정에서 얻은 지식만을 사용하여 텍스트를 생성합니다. 이런 방식은 모델이 학습 과정에서 접하지 못한 새로운 정보나 최신 정보를 다루기 어렵다는 한계가 있는데요, RAG는 이런 한계를 극복하기 위해 도입된 개념입니다. RAG 모델은 텍스트 생성 과정에서 외부 지식 소스(예: 웹 페이지, 책, 기사 등)를 검색하고, 검색된 정보를 활용하여 더 정확하고 풍부한 텍스트를 생성합니다.

RAG의 작동 방식은 다음과 같습니다:

이러한 과정을 통해 RAG 모델은 학습 과정에서 접하지 못한 새로운 정보도 활용할 수 있게 되며, 이는 모델의 지식 범위를 크게 확장시킵니다.

RAG는 질의응답, 대화, 요약 등 다양한 분야에 활용될 수 있고, 특히 최신성과 정확성이 중요한 분야에서 큰 강점을 발휘할 수 있습니다. 다만 외부 지식 검색과 통합이라는 추가 단계로 인해 연산량이 증가할 수 있다는 점은 고려해야 할 사항입니다.

11. 클라우드와 모델은 한 세트

2023년에는 많은 기업들이 보안상의 이유로 기존 클라우드 서비스 제공 업체를 통해 모델을 구매했는데요. 클라우드 서비스 제공 업체에 대한 우려보다는, 폐쇄형 모델이 데이터를 잘못 처리하는 것에 대해 더 걱정이 컸습니다. 클라우드 서비스와 연동된 모델을 쓰면 긴 구매 절차를 피할 수 있는 것도 장점이었구요.

2024년에도 이런 경향은 계속되고 있습니다. 이로 인해 클라우드 서비스 제공 업체와 기업이 선호하는 AI 모델 간에는 상당한 상관관계가 나타납니다. Azure 사용자들은 일반적으로 OpenAI를 선호하고, AWS 사용자들은 Anthropic이나 Cohere를 선호하는 식입니다.

아래 차트에서 볼 수 있듯이 AI모델 API를 사용하는 기업의 72% 중, 절반 이상이 MS, AWS 등에서 호스팅하는 모델을 사용했습니다. 한편, 응답자의 4분의 1 이상은 자체 호스팅을 한 것으로 나타났는데, 이는 오픈 소스 모델을 운영하기 위한 것으로 보입니다.

12. 모델 성능 만큼, [기능]도 중요합니다.

모델을 채택하는 주요 요인으로,

한 가지 더 하자면 4) 차별화된 기능도 매력 포인트가 됐습니다.

예를 들어, 여러 경영진들은 Anthropic을 채택한 주요 이유로 200K 컨텍스트 윈도우(context window)를 꼽았습니다. 컨텍스트 윈도우란 모델이 한 번에 처리할 수 있는 텍스트의 길이를 말하는데요. Anthropic 모델은 긴 문맥을 이해하고 처리하는 데 강점이 있음을 의미합니다.

Cohere를 선택한 케이스도 있는데요, Cohere는 파인 튜닝에 강점이 있거든요. Cohere는 파인 튜닝을 경쟁사보다 먼저, 그리고 더 사용자 친화적인 형태로 제공했습니다.

13. 성능의 기준은 파인튜닝

기술 커뮤니티에서는 사람들이 AI 모델의 성능을 공개 벤치마크와 비교하는 데 주목하는 반면, 경영진은 좀 더 좁혀서 비교합니다.

파인 튜닝된 오픈 소스 모델과 폐쇄형 모델의 성능을 자체 내부 벤치마크 세트와 비교하는거죠. 흥미로운 점은, 폐쇄형 모델이 외부 벤치마킹 테스트에서 일반적으로 더 나은 성능을 보임에도 불구하고, 경영진들은 오픈 소스 모델에 상대적으로 높은 NPS(순 추천 지수)를 부여했다는 점입니다. 심지어 일부 경우에는 더 높은 점수를 주기도 했죠. 그 이유는 오픈 소스 모델이 특정 사용 사례에 맞게 파인튜닝하기 더 쉽기 때문입니다.

이러한 기준으로 볼 때, 모델의 성능은 우리가 예상했던 것보다 더 빠르게 상향 평준화되고 있습니다. 기업이 선택할 수 있는 매우 유능한 모델의 범위가 더 넓어졌다는 거죠.

기업용 AI 사례

14. 사내 AI 서비스, 자체 개발 > 구매하기

대부분의 기업은 사내에서 AI 애플리케이션을 직접 구축하는 데 집중하고 있습니다. 그 이유 중 하나는 검증된 기업용 AI 솔루션이 부족하기 때문입니다. 아직 기업용 AI 솔루션들에 대한 매직 쿼드런트(Gartner의 평가 도구)가 없다는 것이 이를 보여줍니다.

또 기반 모델들이 API를 제공하면서, AI 개발에 대한 장벽을 낮췄기 때문에, 자체 AI 앱을 개발하는게 여러모로 유리해졌습니다. CS, 내부 챗봇과 같은 분야는 이미 많은 기업들이 개발해서 쓰고 있고, 식품/음료/화장품과 같은 분야의 레시피를 만들거나, 제약/화학 회사에서 분자 발견의 범위를 축소한다거나, 추천 상품의 고도화를 하는 등 다양한 업계에서의 새로운 사례도 시도되고 있습니다.

하지만 계속 기업용 AI 서비스가 시장에 나오고 있는 만큼, 이런 상황은 금방 바뀔 수도 있습니다.

사내에서 자체적으로 AI 프로덕트를 개발하고 있지만 "새로운 도구들이 나올 것"이라는 점을 낙관하며 "최고의 것을 사용하고 싶다"고 생각하는 기업들이 많습니다. 필요한 특정 기능에 맞는, 성능 좋은 AI 솔루션을 골라서 사내로 도입할 날을 기다리고 있기도 하구요.

이러한 역학 관계를 감안할 때, 우리는 "LLM + UI" 공식을 넘어, 기업의 업무 프로세스를 혁신적으로 효율화시키거나 기업이 고유 데이터를 더 잘 활용할 수 있도록 돕는 기업용 AI 서비스가 이 시장에서 특히 좋은 성과를 거둘 수 있을 것 같습니다.

15. 사내에는 얼마든지, 그러나 아직 고객에게는…

기업은 고객 대상 서비스에 AI를 도입하는 데는 훨씬 더 조심스럽습니다.

지난 1년간 가장 인기 있던 AI 활용 사례는 내부 생산성에 초점을 맞추거나, 고객에게 전달되기 전에 사람이 한 번 거치는 형태였어요. 코딩 코파일럿, 고객 지원, 마케팅 등이 대표적인 예입니다. 2024년에서도 여전히 기업에서는 이런 사례들이 주를 이룹니다.

기업들은 에어 캐나다 AI 챗봇 CS 사고 같은 AI 관련 문제의 후폭풍을 피하고 싶어 합니다. 이런 우려가 대부분의 기업에 여전히 큰 영향을 미치고 있기 때문에, 이런 이슈를 통제하는 데 도움이 되는 도구를 만든다면, 크게 주목받을 수 있을겁니다.

⏳ 바쁜 구독자님을 위한 요약