안녕하세요 구독자님! 주간 실리콘밸리는 경제, 테크, 스타트업, 부동산, 재정적 자유, 비지니스에 관한 정보들을 함께 토론하면서 제가 배워가는 목적으로 운영되고 있습니다. 그 과정에서 여러분들도 함께 배워나가시면 더 좋을 것 같습니다. 본 커뮤니티의 모든 내용은 개인적인 의견이며 투자에 대한 조언이 아닌 전반적인 트렌드와 그에 대한 의견들입니다.
평일 매일 실리콘밸리 시간으로 아침 6시 (서울 밤 11시)에 클럽하우스에서 세계 각국에 계신 패널분들과 1시간동안 최신 뉴스를 읽고 녹음과 기사모음을 뉴스레터로 보내드립니다.
그리고 주간으로 실리콘밸리 스타트업 트렌드와 VC 동향에 대해 일요일 오전 6시(서울 밤 11시)에 이야기 해보려고 합니다. 이 세션은 팟캐스트로 공유할 예정입니다.
다들 연말 준비는 잘되어 가시나요? 저는 내일부터 2주간 휴식시간을 가질 예정입니다. 가족여행도 가고 못 읽었던 책도 읽고 푹 쉬려고 합니다. 그리고 작년에 썼던 뉴스레터들을 돌아보면서 올해를 복기해보고 (이 내용도 뉴스레터로 쓸 예정) 내년 목표 및 투자계획을 앞으로 2주간 고민해볼 생각입니다.
주실밸도 이미 카톡방이 2개나 1500명이 꽉 차버려서 내년부터는 좀 다른 방식으로 운영하려고 하는데 그래서 뉴스레터가 띄엄띄엄 나올수도 있고 대신 새로운 실험들을 해보느라 갑자기 인스타 릴스가 올라올수도 있고 유튜브 쇼츠가 올라올수도 있습니다 ㅋㅋㅋ어느정도 결정되는대로 알려드릴테니 앞으로도 계속 저도 여러분도 함께 배우고 성장할수있는 공간이 되면 좋겠습니다.
구글 제미나이 출시를 바라보며
구글이 제미나이 Ultra, Pro, Nano 세 버전을 출시했습니다. 디테일한 내용들은 다른 분들이 많이 정리하셔서 저는 깊이 들어가지는 않고 제가 느낀점들만 정리해두려고 합니다.
늦었지만 OpenAI를 뛰어넘었다
일단 GPT-4보다 텍스트 프로세싱에 관련해서 더 나은 벤치마크를 보여주면서 OAI(OpenAI)를 따라가기 힘들것으로 예상했던 시장에 큰 차이가 나지 않는다는 인상을 심어주는데는 성공했습니다. 하지만 여기에도 특정 환경에서만 GPT-4를 앞서나간다는 비판도 있기는 합니다.
또한 일부에서는 GPT-4가 8개월전에 나온 모델인데 여기까지라도 따라잡은건 큰 의미가 없다고 하지만 저는 8개월차이까지라도 따라잡은거 자체가 큰 의미가 있다고 보고 또 생각보다 서로간의 기술적인 해자가 적은 현 상황을 너무 잘 보여주는 지표라고 생각합니다.
어마어마한 추론 능력? 알고보니 동영상 짜집기...
제가 제일 놀란 부분인데 추론 영역이 어마어마하게 발전했고 그걸 그 속도로 실시간으로 처리하는게 대단하고 실제로 이걸 보면서 "미쳤다...구글이 model architecture level에서 어떤 breakthrough가 있었나? 그러기엔 너무 시간이 없었는데..."라는 생각까지 했었습니다.
결국 데모 영상은 짜집기로 밝혀졌고 구글이 설명한 방식은 데모영상과 같은 실시간이 아니라 한땀한땀 수작업을 여러 모아서 영상으로 만든 걸로 알려졌고 비슷한 방식이라면 OAI도 충분히 비슷한 결과물을 만들어 낼수있다고 합니다. 약간 테슬라 로보택시 생각나더라구요 ㅋㅋㅋ
개인적으로 저는 지금 현 상태의 인공지능 기술로는 패턴매칭이 아닌 진짜 생각하는 추론 reasoning까지 가는게 쉽지않다고 생각하고 얀르쿤을 비롯한 몇몇 인공지능 전문가들이 말듯이 어떤 근본적인 breakthrough가 일어나지 않는다면 우리가 기대하는 "생각하는 인공지능"은 나오기 힘들다고 믿는 편이긴 합니다.
이번 생성AI 웨이브와 이어지는 AGI에 대한 기대를 보면서 생각난건 자율주행이 처음나왔을때 레벨 4와 레벨 5 자율주행을 통한 로보택시에 대한 대중들의 확신이었습니다. 좀 더 기다려봐야하긴 하겠지만 언제나 그랬듯이 (모두가 재택할거라고 확신한 그때와 같이) 미래는 보이는 것 보다 멀리있다는 생각이 듭니다.
개인적으로는 어떤 근본적인 혁신이 나오지않는한 이번 생성AI의 웨이브도 결국 자율주행과 같이 레벨 2나 3에 만족해야하는 상황이 올거라고 생각합니다. 물론 테슬라와 현대의 자율주행보조기능은 우리의 삶의 질과 생산성을 크게 높여준 부분은 분명히 있다고 생각하고 이번 생성 AI도 분명히 우리의 생산성을 크게 높여줄 것이라고 기대는 되지만 구글 데모 사태를 보면서 역시나 AGI까지는 아직 멀었지않나라는 생각이 들더라구요.
한마디로 우리는 이 영화를 자율주행때도, 재택근무때도, 암호화폐때도 이미 보았습니다.
AGI와 관련해서는 곧 따로 뉴스레터로 정리를 해보겠습니다.
결국엔 데이터가 많은 구글/메타/애플/아마존이 승리?
최근 OpenAI가 Politico와 Business Insider의 모회사와 데이터 사용 계약을 맺었다는 소식이 있었는데 지겨우실만큼 여러번 말씀드렸듯이 앞으로 인공지능시대에는 데이터가 가장 중요한 부분중 하나이기때문에 많은 양의 데이터를 가지고있는 빅테크들이 계속해서 유리할 것이라는 생각이 듭니다.
물론 Andrew Ng이 말했듯이 데이터의 양보다는 퀄리티가 더 중요하다는 부분에도 백번 공감을 하고 그런면에서 봤을때도 구글이나 메타와 같은 빅테크가 가진 데이터가 양뿐만 아니라 질적으로도 아주 뛰어나기때문에 빅테크들이 유리한 부분이 확실히 존재하는 것 같습니다. 더군다나 빅테크들이 클라우드 인프라까지도 독점하고 있기때문에 가격적인 면에서도 훨씬 유리할수 있을 것 같구요. 다만 그 방대한 양의 데이터중에 고퀄리티의 데이터를 어떻게 골라내느냐에 대한 문제 해결이 쉽지않아보이고 이 문제를 해결하는 솔루션을 개발하는 스타트업이 있다면 만나고 싶네요.
여담이지만 Reddit같은 경우도 이런 데이터판매 모델로 수익을 창출하는데 적합하다고 생각하고 대체제가 존재하지 않기때문에 오랜 유저로써도 투자자로써도 긍정적으로 IPO를 기대하고 있습니다.
앞으로 각자의 폰에 각자의 AI가 설치될 것
Gemini nano를 보시면서 다들 생각하셨겠지만 클라우드가 아닌 로컬에서 개인화된 모델들이 성장이 기대됩니다. 다시말해 개인의 폰, 랩탑, 아이패드에 그 개인만을 위한 모델들이 탑재될 것이고 최신 SOTA모델에 비해서는 성능이 떨어지겠지만 privacy에 대한 걱정은 줄이고 각자에게 꼭 맞는 모델들이 등장하지 않을까 싶습니다. 이미 구글에서는 Pixel 8 Pro에 Gemini Nano를 탑재했고 개인적으로는 아이폰 16이나 17쯤에는 애플도 인공지능을 탑재하지 않을까 기대해봅니다. 솔직히 그 무엇보다 기대되는건 Siri GPT와 애플 스마트 안경입니다 ㅋㅋㅋ
가장 중요한건 기술적 해자 moat이 좁다는 것
구글의 발표를 보면서 제가 제일 먼저 든 생각은 "이번 트렌드는 생각보다 기술적 해자가 너무 좁다"라는 생각이었습니다. 저는 이 부분이 제일 중요한 takeaway라고 생각하고 라이브세션에서도 여러번 말씀드렸는데 돈과 인재만 있으면 누구든 충분히 따라잡을수 있다는 생각이 들게하는 발표였습니다.
결국 기술적 해자보다는 소비자경험과 자본력으로만 이루어진 좁은 해자만이 지금의 플레이어들을 구분해주고 있다는 생각입니다.
만약 OpenAI가 기술적으로 압도적으로 앞서있었다면 구글, 메타, Anthropic, Cohere등등의 후발주자들이 이렇게 빠르게 따라잡지 못했을 것이라고 생각하고 이런 양상은 오픈소스에서도 크게 다르지 않은걸 보면 기술적인 해자에 대한 확신이 사라질수밖에 없는 것 같습니다.
오픈소스쪽을 보면 얼마전에 Mistral이 HuggingFace의 Open LLM Benchmark에서 1등을 차지했다는 뉴스가 있었고 그 후 얼마지나지않아 한국의 Upstage의 Solar가 1등을 차지했다는 뉴스도 있었습니다.
하지만 몇일사이에 랭킹은 또 바뀌어있는 상태이고 앞으로 또 누군가 FOMO에 휩싸인 VC돈 몇백밀리언을 받아서 새로운 모델로 판도를 순식간에 바꿀수도 있고 (x.ai...?) 이는 closed model시장도 크게 다르지 않다고 생각합니다.
OpenAI의 ChatGPT는 정말 좋은 혁신이었고 fine tuning하는 기술력이 압도적이었다기보다는 사용하는 소비자들의 경험을 크게 향상했고 일반소비자에게 접근성을 높여준 것이 성공한 이유라는게 제 생각입니다.
그렇다보니 제 생각에는 앞으로는 OAI나 Anthrophic같은 closed model과 Llama나 Mistral같은 open model의 성능의 갭이 점점 줄어들 것이고 그 차이가 크게 의미있지않게되는 순간이 올거라고 생각합니다. 동시에 모든 모델들이 함께 발전하다보니 최고의 모델의 80% 성능만 나오더라도 일상생활에 큰 도움이 되어서 가성비 좋은 모델들이 널리퍼지는 시점이 곧 오지않을까 생각도 듭니다.
그래서 어쩌라고?
결론적으로 이번 구글의 발표를 보면서 제가 느낀 감정은 아이러니하게도 "오픈소스모델들의 미래가 밝다"였던것 같습니다. (메타 스마트 안경을 보면서 애플의 미래가 밝다고 생각한 것과 비슷 ㅋㅋㅋ). 앞으로도 모델간의 경쟁은 끊임없이 이루어질 것이고 Mistral이나 Solar의 사례를 보더라도 LLM뿐아니라 SLM시장도 점점 발전하고 있다데다, 누군가 어떤 작은 혁신을 이루어냈을때 그 파급속도가 어마어마하고 오픈소스 시장 전체가 다 함께 발전하는 모습을 보여주는 것도 굉장히 긍정적인 방향성이라고 생각합니다.
회사들의 입장에서는 당연한 말이지만 최신 혹은 필요한 모델만 큰 변화없이 빠르게 바꿀수있는 flexible한 architecture가 중요해 질 것이라고 생각합니다. 이 부분은 OpenAI 샘 알트만 해임사건때도 말씀드렸고 그 사건을 보시면서 많은 회사들이 깨달은 부분이라고 생각하는데 단지 회사들의 파산보다도 최신 기술이 동시에 다양한 방향으로 발전하고 있고 부수적인 variation의 양이 커질 것을 생각해봤을때 빠르게 모델을 바꾸고 테스트할 수 있는 환경이 유리해지지않을까 합니다.
개인적으로 좋아해서 여러번 만나려고 시도했지만 실패한 ㅠㅠ HuggingFace가 현재는 transformers라는 library로 한줄로 최신 모델들을 쓸수있게 해주고 있지만 이 부분을 좀 더 구조화하고 제품화해서 서비스할수있다면 지금 고민중인 monetization을 해결할하면서 빠르게 성장할 거라는 기대감도 있습니다. 유저가 쓰기 편하면서도 future proof하게 제품을 만들지가 참 어려울 것 같은데 투자도 많이 받았고 아마존의 지원도 받고 있는 허깅페이스인만큼 여전히 기대가 큰 부분입니다.
요즘 맨날 인공지능에 대한 이야기만 쓰는데 아무래도 이번 인공지능은 AGI는 아지만 우리 삶에 아주 큰 영향을 끼칠 기술이라고 생각하다보니 어쩔수없는 것 같습니다 ㅎㅎㅎ 연휴중에 쉬면서 지난주 연준의 결정과 시장의 거시적인 방향성에 대해서도 좀 생각해보려고 하고 말씀드렸다시피 AGI에 관해서도 정리해서 글을 남기도록 하겠습니다. 물론 저도 쉬어야하니까 내년까지 이 글들은 안나올수도 있습니다 ㅋㅋㅋ 다들 한해의 마무리 잘하시고 새해복 많이 받으시길 빌겠습니다!
댓글
의견을 남겨주세요