안녕하세요 구독자님! 주간 실리콘밸리는 경제, 테크, 스타트업, 부동산, 재정적 자유, 비지니스에 관한 정보들을 함께 토론하면서 제가 배워가는 목적으로 평생 무료로 운영되고 있습니다. 그 과정에서 여러분들도 함께 배워나가시면 더 좋을 것 같습니다.
본 커뮤니티의 모든 내용은 개인적인 의견이며 투자에 대한 조언이 아닌 전반적인 미국의 시장, VC, 스타트업, 기술 트렌드와 그에 대한 개인적인 의견들입니다.
오픈채팅방: 그외 투자/경제 이야기 (비번: 2050)
요즘 정말 AI가 핫합니다. 정말 숨쉴틈도 없이 새로운 것들이 나오는데요, 지난주 OpenAI의 Sora 출시를 보면서 지난 금요일 아침 세션을 했습니다.
요즘 세션은 클럽하우스가 쓰기 힘들어진 관계로 카톡방에서 하고 있고 리플레이를 원하시는 분들이 많아서 유튜브에 백업해두고 있습니다.
주간실리콘밸리 유튜브 (매일 밤 10시 라이브 및 세션 녹음)
지난주 뉴스레터가 7710회를 넘어서며 역대 최고 조회수를 갱신했습니다. 역시 인공지능 컨텐츠가 거품이 그득하니 핫하네요 ㅎㅎㅎ 아무래도 제목 어그로가 좋았던것 같고 다들 Gemini의 성능을 이야기하실때 저는 소비자로써 느낀 비지니스적인 관점으로 이야기한 부분이 다르지 않았을까 생각합니다.
이전 최대 조회수는 아래 뉴스레터의 7570회인데 이건 구글 크롬 알고리즘의 선택을 받아 크롬 시작페이지 메인에도 노출되는등 외부요인이 컸는데 위의 뉴스레터는 어떻게 바이럴이 되었는지 궁금하네요 ㅎㅎㅎ
항상 함께해주시고 읽어주셔서 감사합니다. 앞으로도 여러분들께 도움이 되는 인사이트 전달해드리려 최선을 다하겠습니다!
언젠가는 서울에서 업계 지인분들도 모시고 구독자분들과 주실밸 파티를 한번 했으면 좋겠는데 기획이 되는대로 다들 꼭 초대해드리겠습니다.
OpenAI Sora: First impression
너무 길어서 듣고 싶으시지 않은 분들을 위한 중요한 두가지 포인트:
1. 어? 이거 구글 (거짓) 데모때처럼 너무 잘되는데?
아시다시피 저는 이번 인공지능 사이클의 한계가 지금의 기술로는 명확하다고 생각하는 사람이라 데모들을 보면서 너무 결과값이 좋다는 생각을 했었고 특히 위의 영상과 Prompt를 보면서 뭔가 어색함을 느꼈습니다. 왜냐구요? 자세한 내용은 위의 유튜브의 5분 44초 혹은 위 그림을 클릭하시면 바로 재생됩니다.
힌트는 LLM은 결국 commonness, 확률기반이라는 부분입니다.
2. 그래서 어쩌라고?
오늘 자잘한 이야기가 좀 많았는데 이제 본론으로 넘어가 보도록 하겠습니다.
거대한 산불같은 인공지능 거품, 이젠 반도체로
아시다시피 저는 지금의 인공지능 시장에 거품이 많다고 생각하는 편인니다. 그중 요즘 단연 손꼽히는 거품은 바로 인공지능 반도체, AI chip라고 생각하고 오늘은 이 부분에 대한 생각을 정리해두려고 합니다.
(disclaimer) 제가 data scientist출신이긴 하지만 저는 이 분야의 기술적인 전문가가 아닙니다. 저는 그저 인공지능 투자자로써의 저의 생각을, 나중에 복기하기 위해 지금 정리해두려고 할뿐입니다. 당연히 투자에 대한 조언이 아니고 내일 Nvidia가 오를지는 내릴지는 저는 전혀 모릅니다 ㅋㅋㅋ 다만 장기적으로 지금 상태에 대해 약간 걱정되는 부분들이 있다정도로 이해해주시면 좋겠습니다.
새로운 반도체 개발에 133조원? 9300조원???
샘알트만이 새로운 인공지능 반도체를 제작하기 위해 약 9300조원에 달하는 자금을 모으고 있는 것으로 알려졌는데, 이는 지난해 전세계 반도체 시장의 매출액인 701조원의 13배가 넘는 금액입니다. OpenAI는 어쩌고 이렇게 바깥일에 몰두하냐라는 생각도 드는데 동시에 약간 일론머스크와 비슷하게 포트폴리오를 만들려는 플레이가 아닐까하는 생각도 듭니다.
이에 질세라 소프트뱅크의 마사도 AI반도체에 133조원을 투자할 계획이라고 지난주 밝히면서 업계 거물들이 인공지능 반도체에 적극적으로 뛰어들고 있고 이에 대한 시장의 관심은 어마어마하게 커지고 있는 상황입니다.
여러분들도 역시 지금 인공지능의 발전 속도를 온몸으로 체험하고 계시고 OpenAI가 빠르게 멋진 프로덕트들을 내놓는 모습을 보다보면 앞으로는 당연히 인공지능이 미래고 인공지능이 우리 모두와 모든것을 대체할 것이며 그러기위해서 필요한 인공지능 반도체와 GPU는 앞으로도 계속 점점 더 많이 필요해질 것이라는게 당연한 사고의 흐름이라고 생각합니다. 최근 Nvidia 주가의 흐름을 보아도 이러한 투자자들의 생각을 비춰볼수 있구요.
다만 저는 이 뉴스들을 보면서 정말 이렇게 큰 돈이 필요할만큼 반도체가 더 강해져야하고 더 많이 필요해질까? 라는 생각이 들었습니다. 뒤이어 (역시나) 거품이 아닐까라는 생각이 들었고 만약 이것이 거품이라면 그 끝은 어떤모습일까라는 생각이 꼬리를 물었고 그렇게 오늘은 제가 생각하는 이번 인공위성 반도체 거품이 꺼질수도 있는 이유들을 정리해 보았습니다.
거품이 꺼질수도 있는 이유
기본적으로 GPU가격이 비싸지고 새로운 인공지능 반도체가 필요한 이유는 인공지능 모델들이 빠르게 기하급수적으로 커져왔고 이를 트레이닝하기 위해서뿐만 아니라 사용 inference하기위해서도 어마어마한 자원들이 필요해 졌기때문입니다. ChatGPT가 출시된 이후로 많은 인공지능 회사들이 앞다투어 다양한 초거대 언어 모델 LLM들을 출시하면서 더 좋은 성능을 보여주려고 노력하고있죠.
0. 만약 더 큰 모델이 더 좋은 성능을 내지 못한다면?
아시다시피 이러한 거거익선적인 접근에는 당연히 transformer의 출시가 아주 큰 역할을 했습니다. 그리고 그 기저에는 deep learning의 데이터양과 성능의 상관관계가 그 이전 시대의 전통적인 machine learning과는 다른 모습을 보여준 것이 깔려있다고 생각합니다.
위의 그래프에서 보시다시피 기존 전통 기계학습 모델은 점점 더 큰 데이터에 적용하다보면 어느순간 그 성능의 향상정도가 미미해져버리는 포인트가 존재했습니다. 딥러닝 자체는 1950년대부터 있었던 개념이지만 최근 하드웨어의 발전으로 실제로 구현할 수 있게 되었는데 이전 머신러닝의 성능향상이 미미해지는 포인트를 넘어서까지 빅데이터를 이용해서 계속해서 성능을 발전시킬수 있게 되었죠.
저는 이것이 2000년대후반부터 업계를 휩쓸었던 데이터사이언스 사이클이라고 생각합니다. 그 사이클의 수혜자중의 한명으로써 돌이켜보면 정말 좋은 시절이었습니다. 세상의 어떤 문제든 데이터와 흰 컴퓨터만 있으면 풀수있을것만 같았죠.
그런데 위 그래프를 보다보면 뭔가 걱정되는 부분이 있지 않으신가요? 약간 철학적인 관점인데 일단 아래 그래프를 보시죠.
그래프에서 보시다시피 알고보니 딥러닝이 데이터 사이즈가 늘면 늘수록 성능도 계속 나아지는건 우리의 한정된 지식과 데이터 속에서의 착각이었고 딥러닝에도 결국 한계가 있을지도 모른다는게 제 걱정입니다. 우리가 보고 있던 위의 그래프는 결국 아래 그래프의 빨간색 부분에 불과했다는거죠.
실제로 약간의 관련 연구가 존재하고 2023년 6월에 나온, 아직 peer review가 되지는 않아서 정식 논문은 아니지만, 28개의 citation이 있는 아래 링크와 같은 preprint도 존재합니다. 결론은 모델이 크다고해서 무조건 좋은건 아니고 특정상황에선 오히려 성능이 감소하기도 한다라는 내용입니다.
제가 이런 느낌을 받은 이유는 지난 뉴스레터에서 말씀드렸다시피 최근 초거대언어모델들의 기술 발전이 약간 더뎌진다는 느낌도 받고 소형 오픈소스 모델들이 초거대모델들의 성능을 따라잡기 시작하면서 기술이 수렴한다는 생각도 들어서인 것 같습니다.
1. 더 빠르고 저렴한 소형 모델들이 등장한다면?
약간 더 실질적인 이야기를 해보자면 OpenAI의 GPT-4와 같은 폐쇄형 초대형 모델들의 경우 성능이 뛰어나긴 하지만 너무 비싸고 속도가 느릴뿐만 아니라 개인정보 유출의 문제까지 가지고 있습니다. 그에 반해 상대적으로 사이즈가 작은 메타나 Mistral의 개방형 모델들은 성능이 조금 떨어지긴해도 좋은 데이터만 제공한다면 훨씬 저렴하고 빠른 결과를 보여주고 있죠. 최고의 기업들이야 비싸더라도 가장 좋은 성능의 제품을 쓰겠지만 지난 뉴스레터에서 말씀드렸듯이 일반 소비자들이나 많은 기업들은 성능이 조금 떨어지더라도 가성비와 속도 (=소비자 경험)이 좋은 제품을 선택할수도 있다고 생각합니다.
아래 그래프는 얼마나 검증된진 모르겠지만 독립적인 벤치마크 자료라고 합니다
위의 표에서 보시다시피 Mistral의 8x7B모델의 경우 품질은 GPT-4의 62%밖에 되지 않지만 속도는 무려 4배이상 빠르고 가격은 75배가 저렴합니다. (품질 + 속도)/비용으로 비교해보면 무려 100배 나은 제품이라는 분석도 가능합니다.
이러한 소형모델들은 랩탑과 모바일폰에 손쉽고 저렴하게 탑재될수 있고 이미 맥북에서도 7B 파라미터의 소형모델은 쉽게 돌아가고 구글은 모바일폰용 Gemini nano를 출시하고 픽셀폰에 탑재한 상태입니다.
또한 이쪽분야는 메타의 Llama, Upstage, Mistral등 쟁쟁한 선두주자들이 초거대모델들의 성능을 따라잡기위해 많은 노력을 기울이고 있고 그 성과도 충분히 보여주고 있다고 생각합니다.
소형 오픈소스 모델들의 또다른 기대되는 부분으로는 데이터 유출에 대한 걱정으로 인해 클라우드에서는 하기힘든 개인화 personalization이 가까운 미래에 모델과 하드웨어가 조금 더 발전한다면 로컬에서 큰 걱정없이 가능해지지 않을까라는 부분입니다.
결국 성능이 약간 떨어져도, 더 저렴하고, 더 빠르고, 더 안전한 소형 모델들이 대세가 된다면 지금만큼의 GPU가 필요하지 않게되고. 이는 AI 반도체 회사들에 대한 기대와 환상이 쌓아올린 거품이 빠지는 트리거가 될수도 있다고 생각합니다.
2. 새로운 하드웨어가 등장한다면?
요즘 하도 GPU가 비싸다보니 새로운 인공지능 반도체를 개발하자는 움직임이 크게 일어나는 것처럼, 더 효율적인 하드웨어를 개발하는데 드는 비용이 상대적으로 싸게 느껴지기 시작했고 그 성과들이 최근 등장하기 시작했습니다. 사실 이 이야기는 Nvidia의 Jensen Huang이 일부 예측했듯이 새로운 하드웨어를 개발하는데 샘이 모으는 정도의 돈은 필요없다는 걸 증명해주는 결과로도 보입니다. (다만 젠슨은 아예 새로운 하드웨어가 아니라 GPU의 개선에 집중해야한다고 말했죠 ㅋㅋㅋ)
그 성과들 중 하나가 오늘 아침 세션에서 말씀드렸듯이 요즘 아주 핫한 Groq이라는 회사인데 구글의 TPU 프로그램을 처음 시작했던 엔지니어가 창업한 스타트업으로 언어모델을 타겟으로 한 Language Processing Unit (LPU)를 제작해 기존 GPU를 이용하는 호스트들에 비해 압도적으로 빠르고 저렴하게 답변을 생성하고 있다고 합니다. 이를 위해 메타의 Llama와 Mistral의 오픈소스 모델을 통해 서비스를 제공하고 있는데 Mistral보다 좋은 성능을 보여주는 Upstage의 모델도 Groq의 플랫폼에서 곧 쓸수있기를 기대합니다ㅎㅎㅎ
아래 링크에서 체험해보세요.
이게 얼마나 빠르고 저렴하냐면 제가 GPT Status에서 확인해보고 실제 써본 결과 현재 GPT-4가 초당 6개정도의 token을 생성(아마 마소 클라우드 기반)하는데 비해 Groq기반의 Mistral모델의 경우 초당 500개에 가까운 token을 생성합니다. 질문을 하고 기다릴 필요가 거의 없어지는 무시무시한 속도죠. API call가격의 경우 GPT-4는 input+output 1M token기준 $40인데 반해 Groq기반 Mistral모델의 경우 같은 기준 $0.54입니다.
OpenAI에서 Groq의 LPU를 쓴다면 어떨까? 라는 생각도 드는데 만약 그렇게 된다면 최고의 성능 + 최고의 스피트가 되지않을까 합니다. 비용면에서는 자세히 비교해봐야 알겠지만 일단 LPU가 GPU보다는 비싸다고하는데 성능에 따른 가성비는 어떨지 아직 공개된 내용으로는 제가 잘 모르겠습니다. 아시는 분 계시면 카톡방에서 가르쳐주시면 감사드리겠습니다.
아래는 Groq 링크입니다. 이제는 대화 동시통역도 가능할 것 같은 미친 속도를 직접 체험해보세요 ㅎㅎㅎ
3. 인공지능 스타트업들이 무너진다면?
사실 이 챕터는 뉴스레터로를 따로 하나 쓸만한 주제인데 간단하게만 말씀드리면 저는 생각보다 많은 인공지능 스타트업들의 미래가 밝지 않다고 봅니다.
비싼 대형 모델에 약간의 코딩과 프론트엔드만 끼얹은 wrapper회사들을 필두로 상업적인 가치를 창출해내지 못하고있는 AI회사들이 돈은 역대급으로 모아뒀는데 투자할만한 곳이 없던 VC들로부터 높은 가치평가를 받고 펀드레이징에 성공했죠 (그 이유는 아래 2022년 12월 뉴스레터 참조).
다만 문제는 매출이 안나오는 회사들이 많고 또한 매출이 나온다고 하더라도 초거대모델들을 사용하다보니 그 높은 비용을 지불하느라 수익율이 낮고 계속 적자에 허덕이다보니 끊임없이 돈을 계속 투자해야만 하는 상황에 처한 곳이 많을 거라고 예상합니다. 더군다나 시장은 상황이 악화되면서 (higher for longer!) 처음 펀드레이징하던 시절과는 다르게 수익이 나지않으면 이젠 돈을 모으기도 쉽지 않습니다.
최근에는 Reddit의 데이터를 한 인공지능 회사가 1년에 $60M을 주고 구독 계약을 해버림으로써 데이터가격계에 새로운 기준선을 그어버렸고 이때문에 작은 인공지능 스타트업들뿐만 아니라 대형 인공지능 모델 회사들에게도 수익성이 악화되는 상황이 벌어질수도 있게 되었습니다.
물론 전부 다 망한다는 아니지만 이런 상황을 견디지 못한 많은 인공지능 회사들이 닷컴버블때처럼 우르르 무너질수도 있다는 상상도 해보았습니다. 아니면 많은 회사들이 오픈소스 모델로 전환하면서 비용절감을 시도할 수도 있겠죠.
만약 그렇게 된다면 지금과 같은 인공지능 반도체에 대한 수요가 유지될수있을까요?
한가지만 더 닷컴시절과 비교해보자면 최근 databricks의 CEO인터뷰에서 읽은 내용인데 닷컴시절에는 인터넷의 bandwidth에 대한 걱정이 많았다고 합니다. 엄청나게 많은 인터넷 회사들이 계속해서 생기면서 인터넷에 대한 수요는 늘고 있었지만 공급은 한정적이라고 생각했었기때문에 그런 걱정이 있었던거죠. 다만 다양한 기술의 발전, 하드웨어의 발전, 그리고 닷컴버블이 터지면서 인터넷 기업들이 줄어들게되면서 수요가 감소하여 인터넷 bandwidth가 부족할 것이라는 걱정은 현실화되지 않았다고 합니다.
어떠세요? 뭔가 인터넷과 반도체가 겹쳐보이지않나요? 과연 역사는 이번에도 반복될까요?
그래서 어쩌라고?
샘알트만의 인센티브는 뭘까?
이쯤되면 "천재인 샘알트만이 9300조원을 모으는데 니가 뭘안다고 그러냐"라는 댓글이 달렸을거라고 생각합니다 ㅋㅋㅋ물론 틀린 말씀은 아닌데 제가 종종 말씀드리는 것처럼 모든 행동에는 그 행동은 하는 사람의 인센티브를 봐야한다고 생각합니다. 그렇다면 샘의 인센티브는 무엇일까요?
아시다시피 저는 샘알트만에 대한 음모론을 좋아하는 사람이라 그런 방향으로 소설을 풀어보겠습니다. (아래는 참고자료입니다 ㅋㅋㅋ아 그리고 의외로 이 음모론에 대한 동조여론도 실리콘밸리에는 존재합니다. 특히 샘에 YC를 떠난 이유도 실은 비슷한 이유로 해고당한 것이라는 소문도 있구요.)
OpenAI의 수장인 샘 알트만은 당연히 Groq이라던지 오픈소스기반 소형모델의 장점을 누구보다 명확히 인지하고 그 위협을 이해하고 있을거라고 생각합니다. 그렇기때문에 더더욱 샘의 입장에서는 초거대모델의 문제점인 비용과 속도를 해결해야한다고 생각하고 있을거라고 보고 새로운 인공지능 반도체 개발 및 핵융합발전에 대한 투자등으로 그 문제를 해결하려고 해왔죠.
동시에 세상의 이목이 초거대모델에서 오픈소스 기반 소형모델로 가는 것을 막고 계속해서 OpenAI와 Nvidia에 집중되게 하기 위해 아주 자극적인 9300조원이라는 상상조차 하기힘든 숫자를 투자하겠다고 선언했고 특히 이 투자를 통해 현재 모든 개미들의 사랑과 주목을 받고 있는 Nvidia의 경쟁자를 창업하겠다고 공언함으로써 인공지능에 관련한 모든 관심을 빼앗아오는데 성공했다고 생각합니다.
솔직히 제가 쓴 소설이지만 사실상 샘의 천재설을 뒷받침하는 내용인거 같네요 ㅋㅋㅋ
이번 샘의 계획이 성공할 확률요?
솔직히 샘이라면 일단 뭔가 만들어낼수도 있지않을까라는, 보통 과거의 일론머스크에게 생기는 그런류의, 희망도 없진않습니다.
다만 현재 중국, 러시아를 비롯해 사우디등 중동에는 인공지능에 사용되는 GPU의 수출마저 금지된 상태인데 지금과 같은 상황의 중동에서 돈을 모아서 미래를 위한 인공지능 반도체를 개발한다는게 쉽지는 않을 것 같습니다. 일단 미국 정부에게 허락을 받으려고 노력하고 있는데 그 결과가 궁금하긴 하네요.
그래서 뭘 해야하나요?
저는 앞으로 제가 위에 제시한 인공지능 스타트업들 그리고 인공지능 반도체 업계의 버블이 꺼질수도 있는 시나리오들을 기억하고 관련된 부분을 시장에서 계속해서 관찰할 계획입니다. 그럼 버블이 꺼질지 아니면 버블이 단단해져서 실제 성장이 될지를 좀 더 쉽게 구분할 수 있겠죠.
이런 시나리오들을 짜보는 연습이 제가 주목해야할 곳들은 좀 더 명확하게 정해줄수있다고 생각하고 그 신호들을 계속 지켜보며 좀 더 좋은 투자결정을 내리는데 최선을 다할 예정입니다. 그리고 나중에는 이 뉴스레터로 돌아와 제 판단의 퀄리티를 리뷰해보면 더 재미있을 것 같습니다.
읽어주셔서 감사합니다. 도움이 되셨으면 좋겠습니다!
아 그리고 인공지능 스타트업들에 대해 너무 부정적인 이야기만 한 것 같은데 관련해서 제 생각을 정리해둔 글도 공유드립니다.
번외: 이래서 주실밸은 부자가 되지 못하는건가?
사실 이 본론 글은 지난해 11월부터 쓰기 시작한 글입니다. 주실밸 구독자라면 지겹도록 들으셨을 "딥러닝 한계론" 그리고 "이번 인공지능 사이클 한계론"에 대해서 언젠가는 정리를 해야겠다고 계속 생각해오다가 Thanksgiving 연휴를 맞이해서 시작했던 작업이었습니다. 물론 더 재미있는 주제들이 속속 나왔고 어차피 다른 분들은 별로 신경안쓰시는 주제인 것 같아서 마무리가 계속 미뤄져왔었네요.
더 거슬러 올라가면 저의 "이번 사이클의 한계론" 및 "모든게 다 거품론"은 테슬라 시절까지도 돌아갑니다. 테슬라가 완전 자율주행을 외칠때도 비전만으로는 이번 사이클의 인공지능 기술(=현재의 딥러닝 기반)만으로는 불가능하다고 코로나 한참 전부터 주변 테슬라 팬들과 격론을 벌이고 있었죠. 그 이후로도 사모펀드에서 근무할때 사무실 bullpen에 모여 앉아서 심사역들끼리 지금 테슬라 P/E Ratio가 말이되냐 절대 사면 안된다고 서로를 설득하고 안심시켰던 기억도 납니다.
결과적으로 테슬라는 2017년까지로 약속했던 완전 자율주행을 2024년 오늘까지도 완성하지 못했고 여전히 저는 앞으로 적어도 5년, 아마도 10년, 적당히 20년동안은 일론이 약속한 테슬라가 혼자 나가서 로보택시가 되어 돈을 벌고 돌아오는 완전 자율주행 시대는 오지 않을거라고 생각합니다.
하지만 재미있는건 거품을 눈치채고 트렌드를 맞춘건 저였지만 정작 큰 돈을 번건 일론머스크를 믿고 당시 집을 사려고 모아둔 다운페이를 통째로 테슬라 주식에 올인한 투자업과는 거리가 먼 제 친구였습니다. 그는 지금 건물주가 되어 행복한 삶을 살고있고 저는 여기 퇴근후 지친몸으로 이번엔 또 반도체 거품에 대해서 열심히 글을 적고 있습니다.
과연 누가 더 행복한걸까요? ㅋㅋㅋ 다행히도 저는 여전히 이런 고민을 하면서 공부하고 글을 적고 그리고 제 예상이 옳았을때가 더 행복합니다(아니 그렇다고 믿고있습니다ㅋㅋㅋ). 저는 제가 생각했을때 아닌걸 맞다고 하지도 못하는 피곤한 성격이구요 ㅎㅎㅎ이래서 저는 단기적인 주식투자보다 장기적으로 큰 흐름을 읽는 VC투자를 더 재미있어하는 것 같습니다.
아무튼 제가 하고 싶은 말은 제 뉴스레터가 여러분들께 트렌드나 기술에 대해서 알려드릴수는 있지만 주식 투자에 대한 추천이나 의견이 될수 없다는 말씀을 다시한번 드리고 싶었습니다. 제 말듣고 주식 사고 파시면 절대 안됩니다! 저는 그냥 꼬박꼬박 매달 ETF사고 30년 기다리는 스타일이라구요 ㅋㅋㅋ
의견을 남겨주세요