메타 Llama 3.1이 가진 진짜 의미: 드디어 버블을 지나 AI 회사를 만들기 최적의 시기가 왔다

안녕하세요 구독자님! 주간 실리콘밸리는 경제, 테크, 스타트업, 부동산, 재정적 자유, 비지니스에 관한 정보들을 함께 토론하면서 제가 배워가는 목적으로 평생 무료로 운영되고 있습니다. 그 과정에서 여러분들도 함께 배워나가시면 더 좋을 것 같습니다.

본 커뮤니티의 모든 내용은 대중에게 공개된 정보를 기반으로한 개인적인 의견이며 투자에 대한 조언이 아닌 전반적인 미국의 시장, VC, 스타트업, 기술 트렌드와 그에 대한 개인적인 의견들입니다. 

홈페이지 (영문 블로그, 유튜브, 링드인)

주간실리콘밸리 유튜브

주실밸 오픈채팅방 (비번 2060)

요즘 제가 푹 빠져버린 정보계의 숏츠: 스레드!

스탠포드대학에서 함께하는 "컨슈머, 지금이야!"

두달전에 쓴 아래 글처럼 저는 지금이야말로 consumer tech, product기업을 창업하고 투자하기 좋은 시기가 점점 가까워져가고 있다고 생각합니다.

이 기회를 놓치지 않기위해 제가 스탠포드 대학 최초 consumer accelerator 프로그램의 advisor로 도와드리기로 했습니다! 최고의 한국 제품들의 미국 진출을 돕는 프로그램인데 스탠포드 이노베이션 디자인 연구센터에서 선정된 소비자기업들은 미국으로 초청해서 현지 투자자들 및 다양한 전문가들과 함께 고민하실 절호의 기회입니다! 많은 관심 부탁드립니다.

'4대 AI석학' 앤드류 응, 국가인공지능위 자문 참여

이번주에는 앤드류 응 교수님과 아주 바쁜 한주를 보냈습니다. 아시다시피 이번 앤드류의 한국 방문은 저희 프라이머 사제 AI Day에 키노트 스피커로 참석해주고, 한국 대기업을 만나는게 목적이었는데, 마지막 순간에 대통령실에서 연락을 주셔서 뵐 수 있는 기회가 있었습니다.

그리고 앤드류응 교수님은 이제 대한민국의 국가인공지능위원회 자문이 되셨습니다. 

앤드류의 친구이자, 어드바이저로써, 지난 1년동안 각종 민간/정부인사들과 많은 미팅과 행사를 통해 다양한 분들과 관계를 쌓아오면서, 응 교수님과 같이 뛰어난 분이 대한민국의 인공지능 발전을 위해 기여할 수 있는 기회를 모색해왔는데, 마침내 이번에 그 결실을 맺게 된 것 같아 너무 기뻤습니다. 함께 대통령 미팅을 참석한 후, 둘 다 아무렇지도 않은 척 차를 탔는데 용산을 빠져나오자마자 서로 고생했다며 칭찬하며 뿌듯해했던 기억이 납니다. 그리고 앞으로 함께 더 열심히해서 한국을 아시아의 인공지능 허브로 만들자고 결심도 했구요.

언제나 함께 응원해주시고 기뻐해주신 주실밸 구독자 여러분들께 다시한번 감사드리며, 앞으로도 앤드류 응과 함께, 저희 프라이머 사제가 대한민국 인공지능 발전과 스타트업 생태계에 도움이 되는 역할을 할수있도록 더욱 더 열심히 노력하겠습니다!

1. Llama 3.1의 의미: 수렴하는 기술

생각보다 많은 분들이 왜  Llama 3.5나 4가 아니라 3.1일까?에 대한 고민을 하지 않으시는 것 같습니다.

"3개월만에 발매되었으니 그런거 아니야?"라는 것도 합리적이긴 한데 Llama 1과 2의 시차가 5개월이라는걸 보면 3.5가 나와도 크게 무리는 아니었다고 생각합니다.

"성능향상이 크지 않아서 아닐까"라는 생각은 저도 공감이 되는데 그럼 그 다음 질문은 "왜 성능 향상이 크지 않은데 굳이 또 출시한 것일까?"라는 질문이 따라오게 됩니다. 

그 질문에 대한 답은 바로 제가 지겹도록 말해왔던 "기술의 수렴"이 거의 다왔기때문이라는 생각이 듭니다. 

위의 2024년 2월에 쓴글을 보면 저는 일찍부터 LLM 기술의 수렴에 대해 이야기해왔고 오픈소스 진영의 빠른 추격도 예상했었습니다 (솔직히 지금보다 더 빠를 거라고 생각했습니다).

2. 지금이 바로 응용 인공지능 회사들 만들기 최적인 이유

a. 단기적인 큰 변화가 기대되지 않는 지금

여러번 말씀드렸듯이 지금 당장의 기술은 수렴하지만 내일 아침에 누군가가 어떤 breakthrough를 만들어낸다면 다시 한계단 더 올라선 기술적인 혁신을 보여줄수도 있습니다. 다만 그건 예상하기 힘든 부분이라서 (그리고 흔치도 않고) 기본적으로는 단기간에는 없을거라고 가정하고 지금 우리가 해야할 일에 대해서 고민하는게 더 논리적이라고 생각합니다.

발전 속도와 수렴을 보면, 최근 라마 3.1이 오픈소스에 무료로 많은 걸 공개함과 동시에 성능면에서 GPT-4o를 잡겠다며 나온지 얼마되지도 않아 Mistral도 Large 2도 출시하여 좋은 벤치 마크를 보여줬고, 최근에는 아래와 같이 구글도 제미나이 1.5 프로를 출시하며 성능을 과시하고 있습니다. 한마디로 경쟁사들 사이의 기술적 해자는 예전만큼 극명하지 않게 되었다는거죠. 개인적으로도 요즘은 Claude나 Perplexity위주로 사용하고 있습니다. 

덧붙여 지난주에는 엔비디야의 젠슨황과 메타의 마트가 함께 오픈소스 생태계의 중요성을 대대적으로 강조했습니다. 누가봐도 이 둘이라면 오픈소스 모델들을 키워서 인공지능 발전을 더 빠르게 앞당길수 있지않을까 기대됩니다. 동시에 클로즈드 소스 모델들은 어떤식으로 시장의 변화에 대처할지에 대한 고민이 계속 될 것이라고 봅니다. 

b. 성숙한 기술의 창조적인 응용 기회

저는 지금 기술이 어느정도 성숙했고 당장의 breakthrough는 없다고 보는 관점이라 한동안 실리콘밸리에서 유행했던 Leopold Aschenbrenner의 Situational Awareness라는 AGI에 대한 경고글을 앤드류 응 교수님이나 저는 믿지않습니다. 이 글의 기본적인 관점은 인공지능 기술의 발전이 linear하거나 exponential하기때문에 지난 2년간의 성과를 보았을때 앞으로 2년안에 AGI에 도달한다는겁니다.

Leopold는 비록 OpenAI에서 1년정도밖에 근무하지 못하고 해고당했지만, 링드인에 따르면 19살에 대학을 졸업한 천재이고 어느정도 설득력이 있는 부분도 있어보이기는한데 제 생각에 인류 전체는 expoential한 technology growth를 보여왔지만 각각의 기술들의 발전은 breakthough에 기반한 step function에 가까웠다고 생각합니다.

따라서 개별 기술의 끝없는 발전이 아니라 오히려 각 계단에서 한계가 명확한 기술들에 대한 창의적인 응용이 인류 전체의 폭발적인 기술발전과 성과를 이끌어내었던게 아닐까라는 생각을 합니다.

그 점이 바로 제가 우리에게 AGI가 없어도 지금까지 발전한 인공지능 기술만으로도 그 응용에 집중했을때 정말 많은 가치를 창출할 수 있다고 생각하는 이유이고, 동시에 어느정도 기술이 수렴하였고 거품이 빠져가는 지금이 AI application 회사를 시작하기에 가장 적기가 아닐까 하는 생각이 듭니다.

결국은 특정 기술의 발전만 바라볼게 아니라 그 응용에 더 신경을 쓰는 것이 어찌보면 더 많은 가치를 창출할 수 있는 부분이고 우리는 지금 그렇게 할수있는 충분히 성숙한 인공지능 기술의 시대에 거의 도달했다고 생각합니다.

c. 인프라 과투자가 오히려 신생 스타트업들에게는 기회

엔비디아를 통해 다들 잘 아시다시피 고급 AI 모델을 개발하는 데는 막대한 비용이 듭니다. OpenAI와 같은 기업들은 하드웨어, 데이터, 전문 지식과 관련된 엄청난 비용에 시달리고 있고 한 기사에 따르면 OpenAI는 $8.5빌리언을 썼고 올해 $5빌리언의 손실을 예상하고 있고 12개월안에 현금이 동날 상황이라고 합니다 (디인포메이션은 찌라시라 어느정도 걸러들으셔야함)

결국 이렇게 OpenAI를 비롯해 많은 회사들과 시장이 과도한 투자를 했고 이는 (1) 예를 들면 Llama 3.1와 같은 모델과 인프라의 급속한 증가로 리소스 공급을 늘려줬고  (2) 정작 OAI같은 회사들의 자금 부족으로 운신의 폭이 좁아졌고 (3) 이런 인공지능 회사들이 망했을때 넘치는 리소스를 저렴하게 쓸수있는 기회가 오게 됩니다.

따라서 현재 벌어지고 있는 인프라 과투자는 장기적으로 봤을때 새로운 스타트업에게는 큰 도움이 될 것이라고 생각합니다. 

d. 거품이 빠지고 있는 시장

시장에 거품이 빠진다는건 그만큼 경쟁자가 줄어들고 동시에 과도한 밸류에이션이나 하입에 휘둘리지 않아도 된다는 부분입니다. 인공지능 거품이 빠져가고 있다는 이야기는 2주전에 아주 (너무 심하게...) 장문으로 정리해둬서 아래 링크로 대신하겠습니다. 

다만 윗 글에서 예시로 들었던 제가 2023년 3월 23일부터 사업방향성에 대해 걱정하던 Character AI가 결국 창업자들이 구글로 복귀하기로 하면서 사업을 접는 모습인 것으로 알려졌습니다.

여담인데 재미있는건 단지 회사의 지표만 보고, 최고의 회사라고, 니가 뭘아냐며, 찬양일색이던 투자자들이 제 주변에 많았다는 겁니다. 그들은 여전히 전문가를 자부하며 공격적으로 인공지능 투자를 하고있는데, 과연 그들이 (1) 시장과 기술에 대해 충분히 이해하고 고민하고 투자자인가, 아니면 (2) 남들 다 하니까 따라하는 것인가, (3) 앞으로 나는 이 투자자들이 "이해했다고" 말할때 믿을 수 있는가에 대한 질문이 생겼습니다.

모험자본을 운용하는만큼, 스타트업의 파산을 VC들에게 질책하자는건 절대 아닙니다. 다만 제가 생각할때, 남들과 다른 투자를 해야하는 VC들에게 가장 치명적인 실패는 바로 FOMO에 휩쓸려서 discipline을 잃고, 남들 다하는 투자를 더 비싸게 하는 것이라고 생각하고 이를 경계하자는 것입니다.

다들 투자자들을 성공한 딜로만 기억한다고 생각하기 쉬운데, 이번 2021-2022를 지나면서 명백하게 FOMO에 휩쓸려 실패한 투자도 시장은 기록하고 기억하기 시작했다고 생각합니다. 이 부분은 좋은 VC란 무엇인가 시리즈로 자세히 써보도록 하겠습니다. 

e. 기존 회사들이 하지 않을까요?  

AI 기술이 발전함에 따라, 전통적인 레거시 소프트웨어가 종종 새로운 AI 기능과 효과적으로 통합하는 데 어려움을 겪을 것으로 생각됩니다. 구식 아키텍처와 프로세스로 구축된 레거시 시스템은 AI의 힘을 완전히 활용할 수 없어 그 잠재력이 제한됩니다.

AI의 혜택을 진정으로 누리기 위해서는 처음부터 AI를 염두에 두고 설계된 솔루션이 필요합니다. 이러한 AI 네이티브 애플리케이션은 더 큰 유연성, 효율성, 확장성을 기반으로 최신 기술로 개발되어 고급 알고리즘을 원활하게 통합하고 진화하는 AI 트렌드에 적응할 수 있습니다.

기존 회사들이 처음부터 다시해야했던 사례

이러한 사례들은 기술 변화에 적응하지 못하면, 한때 성공적이었던 소프트웨어도 빠르게 시장에서 도태될 수 있음을 보여줍니다. AI 기술의 발전 속에서 기존 소프트웨어들의 한계일수도 있는 부분을 지적하고 동시에 AI native회사들에게 희망을 주는 예시들이라고 생각합니다. 

3. 지금이야말로 late mover advantage가 빛날 것

우리는 항상 선두주자의 우위에 더 주목하는 경향이 있다고 생각하고 동시에 선두주자가 실패하고 지나간 것을 바탕으로 삼아 더 나은 제품을 만드는 후발주자의 우위는 자주 과소평가된다고 생각합니다. 지금까지 수많은 인공지능 회사들이 생겨났고 사라지고 있는만큼, 새로운 인공지능회사들은 그들의 실패로부터 분명 배우는 것이 있을 것이라고 생각하고 이는 인류를 위해 더 나은 인공지능 회사를 만들수있는 기반이 될거라고 생각합니다.

아래는 제가 계속 사골처럼 우려먹는 late mover 승리의 역사입니다. 

그래서 어쩌라고?

이런 신나고 즐거운 인공지능을 응용한 회사들을 만드시는 분들은 언제나처럼 ipark@primersazze.com 으로 연락주시면 앤드류 응과 함께하는 인공지능에 진심인 저희 프라이머 사제가 최선을 다해 미국 정복을 위한 상담을 해드리도록 하겠습니다! 연락주세요!

개인적인 공부 겸 나중에 뒤돌아보기 위해 글을 쓰고 있습니다 투자에 대한 조언이 아닙니다.

주간 실리콘밸리가 널리 알려질수록 그 내용은 더 깊어집니다! 주변에 벤쳐캐피탈, 스타트업, 테크, 경제 트렌드에 관심있는 분들게 공유해주세요! 감사합니다. 

주간실리콘밸리 메인 페이지