올해 개인적인 챌린지를 시작했습니다. 바로 뉴스레터를 시작한 것인데요. 제목은 주간 테크놀로지 리뷰라고 정하고 매주 2회씩 뉴스레터를 발행했습니다. 사실 일주일에 한번 정도 올려보려고 이름을 "주간"이라고 정했는데 하다보니 여력이 생겨 두번씩 발행하기 시작했습니다.
평소에 너무 보고 싶었는데 시간이 없어서 보지 못했던 많은 강연과 인터뷰 영상들이 [나중에 보기] 플레이리스트에 쌓여만 갔는데, 올해들어 생성형 AI를 적극적으로 사용하게 되면서 유튜브 요약기를 개인적으로 만들어서 정리를 하다보니, 정리된 정보를 혼자만 보기는 아까운 생각에 뉴스레터를 시작하게 되었네요.
유튜브 요약기는 제가 오픈소스로 공개하고 있으니 원하시는 분은 직접 Google Colab이나 노트북에서 돌려보실 수 있습니다.
이렇게 뉴스레터를 쓰기 시작하면서 늘어만 가던 플레이리스트의 영상들은 점점 줄어들기 시작했고, 여러 인터뷰를 섭렵해나가면서 업계의 트렌드와 인사이트를 얻는 등 뉴스레터를 쓰는 과정은 일단 저 스스로에게 도움이 많이 되었습니다. 게다가 뉴스레터를 작성하는 각 단계마다 AI를 적용해가며 점점 자동화 정도를 높여가는 것도 굉장히 재미있는 과정이었습니다.
이번 뉴스레터를 쓰기 위해 되돌아보니 2024년 9월 29일 전 구글 CEO 에릭 슈미트의 인터뷰를 정리한 뉴스레터를 시작으로 2024년 12월 30일까지 92일 동안 28개의 뉴스레터를 발행하였고, 101분의 구독자를 모셨습니다.
오늘은 그동안 발행된 28건의 뉴스레터를 가장 많은 조회수를 기록한 뉴스레터 Top 5를 기준으로 리뷰해보는 시간을 가져보도록 하겠습니다.
1. OpenAI 정형원 박사가 말하는 인센티브 기반 학습
정말 생각지도 못하게 조회수가 많이 나온 뉴스레터였습니다. 플레이리스트에 추가만 해놓고 한참동안 못보던 강연이었는데, 유튜브 요약기를 만들고나서야 제대로 볼 수 있었습니다. 정말 많은 인사이트가 담겨 있었는데 대표적인 인사이트는 다음과 같습니다.
- 인공지능의 발전은 컴퓨팅 능력의 기하급수적인 발전 덕분입니다.
- 사람이 인공지능을 가르치려들면 되려 효율이 나빠집니다. 인공지능이 스스로 깨우칠 수 있게 옆에서 보조해주는 것이 훨씬 낫습니다.
- 언러닝(Unlearning)의 시대입니다. 기존의 지식이 빠르게 도태되고, 새로운 지식을 빨리 습득하는 것이 중요한 시대가 되었습니다.
- 좋은 연구자는 좋은 관점을 가진 사람입니다.
2. ex-OpenAI 일리야 수츠케버가 말하는 데이터의 벽
이 뉴스레터는 사실 반응이 좋을 것을 예상했었습니다. 제프리 힌튼 교수의 제자이면서 OpenAI의 창립 멤버인 일리야 수츠케버는 워낙 업계의 유명인사이기도 하고, 이번 NeurIPS 2024에서의 "데이터의 벽" 선언은 업계의 방향에 크게 영향을 미칠 선언이었으니까요. 이 강연에서는 다음과 같은 인사이트가 있었습니다.
- 컴퓨팅을 늘리면 AI의 성능이 향상되는 "확장의 법칙"이 이제 끝났습니다.
- 인터넷의 모든 데이터는 이미 학습에 사용되었고, 이젠 더 학습할 데이터가 부족합니다.
- 앞으로의 AI 발전에는 에이전트, 합성 데이터, 테스트 타임 컴퓨팅이 주효할 것으로 보입니다.
3. 2024 노벨 물리학상 수상자 제프리 힌튼과 1세대 연구자들
이 뉴스레터는 역시 반응이 좋을 것을 예상했었습니다. 노벨 물리학상 발표가 난 거의 직후에 게재되기도 했고, 이번 노벨 물리학상이 인공지능 연구자에게 수상된 것이 큰 화제가 되었었으니까요. 이 뉴스레터는 특정 강연을 기반으로 한 것은 아니었고, 개인적으로 힌튼 교수와 함께 인공지능 분야를 개척한 4명의 1세대 연구자들을 소개하는 것에 목적을 두었습니다. 제가 임의로 선정한 1세대 연구자들은 다음과 같습니다.
- 제프리 힌튼 (Geoffrey Hinton), 캐나다 토론토 대학 교수, 인공신경망과 역전파 알고리즘의 선구자
- 리처드 서튼 (Richard Sutton), 캐나다 앨버타 대학 교수, 강화학습의 선구자
- 얀 르쿤 (Yann LeCun), Meta 수석 AI 과학자, 사물인식 AI의 선구자
- 요슈아 벤지오 (Yoshua Bengio), 캐나다 몬트리올 대학 교수, 자연어 처리와 생성형 신경망의 선구자
- 앤드류 응 (Andrew Ng), 현 Coursera 창립자 겸 Amazon 이사, 교육자로 AI 확산에 기여
4. OpenAI 노암 브라운 박사가 말하는 계획의 힘
이 강연도 제가 보려고 플레이리스트에 추가만 해두고, 도통 시간이 안나서 못보고 있다가 유튜브 요약기 덕분에 보기 시작한 강연인데요. 사실 노암 브라운 박사에 대해서는 이전까지 잘 모르고 있었는데, 제가 인공지능 관련 영상들을 많이 보다보니까 유튜브 알고리즘이 이 강연을 추천해줘서 알게 되었습니다. 이 강연에서는 다음과 같은 인사이트가 있었습니다.
- 몬테 카를로 트리 탐색이 인공지능과 함께 사용되면 성능을 크게 향상 시킬 수 있습니다.
- AlphaGo를 이긴 AlphaGo Zero도 몬테 카를로 트리 탐색을 빼면, 인간 바둑 고수에게 이기지 못합니다.
- 인공 지능에게 고를 수 있는 선택의 가짓수를 충분히 뽑아보고 각 선택에 대해 평가할 시간을 주면 (이것을 테스트 타임 컴퓨팅이라고 함), 성능이 크게 개선되는 것을 알았습니다.
- LLM에도 이 탐색 기법을 적용해본 것이 OpenAI o1 모델입니다.
5. Cursor 개발팀이 말하는 Cursor 에디터의 작동 방식
Cursor 팀원들이 유튜브 채널 Lex Fridman에 출연한 것을 3개의 뉴스레터에 나눠서 게재했었는데요, 그 중에서도 유독 이 뉴스레터의 반응이 가장 좋았습니다. 아무래도 "작동 방식"이라는 구현 디테일에 관한 것이 주목을 끌지 않았나 싶은데요. Cursor는 이 영상 당시만 해도 400M, 즉 4억달러의 가치를 인정받았었는데 최근에 새로 투자를 유치하면서 무려 2.6B, 즉 26억달러의 가치를 인정받는데에 성공했습니다. 이 인터뷰에서는 다음과 같은 인사이트가 있었습니다.
- 모델의 응답 속도를 빠르게 하기 위해 다양한 기법 (Sparse, MoE, KV Cache etc.)을 사용했습니다. 응답 속도가 사용자 경험에 미치는 영향이 크기 때문입니다.
- 모델이 발전할수록 생성되는 코드의 양이 많아지고, 이를 리뷰해야 하는 사람의 부담이 커지는 것이 불가피해지기 때문에 리뷰어 경험에도 많은 노력을 기울이고 있습니다.
- Cursor를 만드는 우리 스스로가 코드 생성 AI의 효과를 매일 체험하고 있습니다. 덕분에 적은 인원으로도 매우 빠르게 신기능 출시가 가능해졌습니다.
리뷰
이렇게 정리를 해보니 Top 5 중에 3개가 OpenAI 관련 인사의 강연이네요. 역시 OpenAI가 생성형 AI의 발전을 주도하다보니, 관심도 가장 많이 받는 것 같습니다. 노벨물리학상 수상과 함께 제프리 힌튼 교수, 그리고 코드 생성 AI Cursor에 대한 관심도 확인이 되었구요.
2024년은 AI가 금융, 의료, 방위산업, 교육 등 전방위에서 활발하게 활용되기 시작한 해였습니다. 그러다보니 올해에는 보안 사고 등 여러 시행착오들도 많이 나타났었지요. 한편, 신약개발을 위한 Google의 Isomorphic Labs나 변호사를 위한 Thomson Reuters의 CoCounsel, 코드 생성을 위한 Cursor, 음성 인터페이스에 특화된 SoundHound 등 특정 도메인에 특화된 소위 버티컬 AI로 시장에 신선한 돌풍을 일으킨 시도도 많았습니다.
그래서 2025년에는 2024년의 시행착오를 기반으로 더욱 완성도 높은 AI 서비스들이 등장할 것으로 예상됩니다. 키워드를 꼽자면, 버티컬 AI와 OpenAI o1, o3와 같은 테스트 타임 컴퓨트 모델, 그리고 에이전트와 합성 데이터, Groq, Inferentia와 같은 추론 전용 반도체를 꼽을 수 있을 것 같습니다.
그리고 이렇게 빠르게 AI 제품을 출시하는 그룹, 그러니까 AI를 아주 잘 사용하는 그룹과 그렇지 못한 그룹 사이의 간격은 앞으로 더 빠르게 벌어질 것으로 전망됩니다. 저 역시 그런 차원에서 강연과 인터뷰 등을 통해 업계의 리더들이 어떤 생각을 하고 어떤 문제를 풀고 있는지 파악해보고자 했습니다.
모쪼록 뉴스레터를 접하시는 분들께서도 많은 인사이트가 전달되었기를 바라고요, 2025년 새해에도 더 흥미롭고 인사이트가 가득한 뉴스레터로 찾아뵙겠습니다. 새해 복 많이 받으시길 바랍니다. 감사합니다. 🙇♂️
의견을 남겨주세요