2025년 6월 25일 샌프란시스코에서 개최된 Observe 2025 행사에 다녀왔습니다. Observe는 AI 엔지니어링 플랫폼 Arize AI에서 매년 개최하는 AI 컨퍼런스입니다. 작년에 이어 올해에도 OpenAI, Anthropic, Google과 Nvidia 등에서 많은 리더들이 참가하여 AI에 대한 인사이트를 공유해주었습니다.
저는 작년에도 이 행사를 다녀왔는데요, 작년 행사의 인사이트는 이랬습니다.
- 하나의 LLM으로는 현실의 문제를 풀지 못한다. 멀티-모델, 멀티-에이전트 방식이 필요하며, 여러 에이전트를 어떻게 선택하는지 결정하는 라우팅이 매우 중요해졌다.
- 개인 프라이버시, Jail Break 등 보안 관련 이슈가 많아졌다. 가드레일이 매우 중요해졌다.
- 엔터프라이즈는 가버넌스를 매우 중요하게 생각한다. ChatGPT, Claude로 PoC를 진행하더라도 실제 운영환경에서는 직접 Fine Tuning해 성능을 끌어올린 오픈소스 소형모델 (Llama 7B, Solar 11B)을 선호한다.
- 가시성은 이제 필수며, 이마저도 더 사용성을 극대화하기 위해 가시성 도구에 다시 AI Assistant가 내장되었다.
그래서 키워드로 정리해보면, 2024년 행사의 키워드는 에이전트, 소형모델, 가드레일이었습니다. 그리고 실제로 행사가 있었던 2024년 7월부터 한해동안 이 세 분야에서 많은 발전이 있었습니다. 특히 에이전트 분야는 이제 일자리를 위협한다는 이야기가 나올 정도로 큰 발전이 있었습니다.
올해는 어떤 인사이트가 있을지 궁금한 마음을 가득 품고, 올해도 샌프란시스코행 비행기에 몸을 실었습니다. 이번 행사에서는 4개의 트랙에서 총 50개의 세션이 준비되었고, 저는 그 중에서 11개의 세션을 들었습니다. 제가 들은 세션 위주로 내용을 좀 정리해보았습니다. 전체 목록은 이곳에서 확인가능합니다.
Arize Keynote - Jason Lopatecki, Aparna Dhinakaran (Arize AI)
- Arize AI의 CEO와 CPO가 지난 한해동안의 업계 동향을 소개하며 Arize AI에 추가된 7가지 신기능을 소개했습니다.
- Arize AI의 기본 기능인 트레이싱에 멀티 에이전트에 대한 지원이 강화되고, 대량의 데이터를 쉽게 옮길 수 있는 표준구격 adb가 발표되었습니다.
- Cursor와 같은 IDE 내에서 MCP를 통해 직접 Arize AI를 조작할 수 있게 되었습니다.
Building Production-Ready AI Agents with Scalable Long-Term Memory - Taranjeet Singh (Mem0)
- Mem0의 CEO가 AI에겐 이제 기억력이 필요하다며, 개인화된 AI 서비스를 제공하기 위한 메모리 서비스의 필요성을 강조하였습니다.
- Mem0는 그래프와 벡터, key-value 스토어를 조합한 하이브리드 데이터스토어를 제공합니다. AI 엔지니어는 이 레이어를 활용해 개인화된 AI 에이전트를 만들 수 있습니다.
Optimize Agentic AI Systems - Chi Wang (Google DeepMind)
- AutoGen 프레임워크를 만든 DeepMind의 Chi Wang이 AG2 프레임워크를 소개하였습니다.
- AG2 프레임워크는 멀티 에이전트 시스템을 염두에 두고 만들어진 오픈소스 프로그래밍 프레임워크입니다.
- 멀티 에이전트 시스템에서 어떤 에이전트가 언제 작업 실패를 일으키는지 자동으로 식별하는 것이 중요해졌고, 이를 위한 연구 논문을 공유하였습니다.
Agents for Production Engineering: What Is the Future and When Will It Get Here? - Todd Underwood (Anthropic)
- Anthropic의 Head of Reliability, Todd Underwood가 AI를 통한 SRE 업무 자동화가 멀지 않았음을 공유하였습니다.
- "현재 시스템을 좀 더 개선해줘", "장애에 대응해줘"와 같이 추상적인 지시를 받아도 스스로 조사하고 판단해서 업무를 수행할 수 있는 에이전트가 멀지 않은 미래에 나올 것입니다.
4년 전을 생각해보세요. 그때만 해도 인공지능이 우리 삶을 이렇게 크게 바꿀 거라고 생각한 사람은 없었습니다. 이정도의 속도로 계속 발전한다면, 조만간 AI가 직접 소프트웨어를 배포하는 시대가 (언제일지는 모르지만) 곧 온다고 봐야될 겁니다. 심지어 AI는 변수이름을 지금처럼 잘 지을 필요도 없습니다.
Todd Underwood, Anthropic
Multi-Agent Evaluation and Monitoring - Manjeet Singh (Salesforce)
- Salesforce의 Senior Director, Manjeet Singh이 멀티 에이전트를 디버깅하는 방법을 소개하였습니다.
- 멀티 에이전트의 성능을 높이고 실패율을 낮추는 방법에 대한 Salesforce의 고민과 지금까지 찾은 해결책을 공유하였습니다.
Building AI Agents that actually automate Knowledge Work - Jerry Liu (LlamaIndex)
- LlamaIndex의 CEO, Jerry Liu가 전처리 부분에서 LlamaIndex가 이뤄낸 성과를 공유하였습니다.
- 다양한 종류의 문서들을 검색엔진에 등록하기 좋게 가공하는 [전처리] 과정에 에이전트 기법을 적용하고, LLM과 VLM을 함께 활용하니까 전처리 결과가 정량적으로 개선되는 것을 확인하였습니다.
Prompt to Production: Designing Reliable Multi-Agent Workflows - Lukas Gross (OpenAI)
- OpenAI의 Lukas Gross가 에이전트 시스템을 구성하는 5가지 컴포넌트를 소개하였습니다.
- Core Loop
- Self Critic
- Summary
- Knowledge Search
- Path Finding
- 개인적으로 Self Critic과 Summary 컴포넌트가 아주 인상적이었습니다. 최근 ChatGPT를 사용해보면 컨텍스트 길이 굉장히 길어진 것 같은데도 아무런 경고 메시지 없이 지속적으로 대화를 주고받을 수 있는데, 내부적으로 Summary 컴포넌트가 지속적으로 맥락을 요약하면서 이게 가능한 거라는 걸 알 수 있었습니다.
Deploying AI Agents at Scale: Lessons in Strategy, Integration, and Impact - Anu Trivedi (Oracle Health HDI), Aparna Dhinakaran (Arize AI), Rahul Todkar (Tripadvisor)
- Oracle Health의 Head of Generative AI, Anu Trivedi가 작년에 이어 올해도 Observe 행사에 참여해 현업에서 만나는 문제들과 극복한 이야기를 공유해주었습니다.
- Tripadvisor의 Head of Data and AI, Rahul Todkar가 마찬가지로 현업의 이야기를 공유해주었습니다. Oracle Health와는 도메인이 달라 만나는 문제도 달랐지만 공통적으로 [평가]의 중요성을 강조하였습니다.
Letta: Building Stateful Agents with Memory - Charles Packer, Sarah Wooders (Letta)
- Letta의 CEO Charles Packer와 CTO Sarah Wooders가 Agent 메모리의 중요성에 대해 강조하며 Letta의 아키텍처를 소개하였습니다.
- Letta는 Sleep-time compute는 개념을 도입하여, AI 에이전트가 사용자와 직접 상호작용하지 않는 "휴면" 시간 동안에도 지속적으로 학습하고 정보를 처리할 수 있게 하는 기능을 소개하였습니다.
Agent Architectures - Yujian Tang (OSS4AI)
- OSS4AI의 Yujian Tang이 싱글 에이전트부터 아주 복잡한 멀티 에이전트까지 에이전트 시스템을 구축하는 다양한 아키텍처를 소개하였습니다.
Performant LLM Agentic Framework for Conversational AI - Alex Casella (Thoughtly)
- Thoughtly의 Head of Engineering, Alex Casella가 AI 보이스 시스템에서 지연시간을 줄이기 위한 벡터 활용방법을 소개하였습니다.
- AI 콜센터를 운영한다고 했을 때, 기존에는 LLM 기반의 라우터가 다음 스텝을 결정해주는데, 이 단계가 상당한 지연시간을 유발합니다.
- LLM을 활용하지 않고 단순한 벡터 계산 (코사인 유사도)으로 다음 스텝을 결정하게 하면 속도를 개선할 수 있다는 인사이트가 있었습니
행사를 마치고
작년에도 느낀 거지만, 너무 좋은 세션들이 많았는데 50개 중에 10개밖에 듣지 못해서 많이 아쉬웠습니다. 아침에 키노트를 방금 들은 거 같은데 정말 '앗!' 하는 사이에 마지막 세션이 끝났더군요.
이번 행사의 인사이트는 이랬습니다.
- 멀티 에이전트가 본격적으로 운영환경에서 사용되기 시작했다. 복잡한 에이전트들에 대한 가시성이 매우 중요해졌고, 어떤 에이전트가 어떤 에이전트와 소통하느냐, 즉 경로(Path)를 검증하는 필요성이 생겼다.
- 메모리 기능을 통해 각 사용자별 맞춤형 AI 서비스를 만들 수 있게 되었다. 이전까지는 기성복을 대량생산하거나(Stateless) 맞춤옷을 소량생산(Stateful)하는 방법밖에 없었는데, AI를 통해 맞춤옷을 대량생산할 수 있게 되었다.
- 평가는 이제 필수가 되었다. 많은 지표로 에이전트의 성능을 평가할 수 있게 되었고, 평가 방법과 가시성 도구도 진화하고 있다. 이때 엔지니어링 플랫폼의 도움을 받으면, 생산성을 크게 향상시킬 수 있다.
이런 인사이트를 바탕으로 올해의 키워드를 뽑아보면 멀티 에이전트, 메모리, 에이전트 평가였던 것 같습니다. 본격적으로 멀티 에이전트가 운영환경에 적용되기 시작했고, 여기에 대한 해법을 찾으려는 시도가 있었고요 (DeepMind, Salesforce), 메모리 역시 사용자의 맥락을 기억하기 위해 메모리 레이어를 추가하는 시도가 있었습니다. (Mem0, Letta) 이는 작년 12월 MS CEO 사티야 나델라가 이야기한 "초개인화"와 연결됩니다.
평가(Eval)에 대한 이야기가 많이 나왔습니다. 에이전트에게 많은 판단을 맡기는 만큼, AI 에이전트가 의도한 대로 동작하는지를 확인하기 위해, Arize와 같은 도구로 가시성을 확보해 데이터를 모은 다음, 다양한 항목으로 평가를 수행하여 에이전트의 약점을 찾고 완성도를 높여나가는 것이 당연한 접근법으로 받아들여지고 있었습니다. Arize 역시 이번 행사에서 멀티 에이전트와 메모리의 동작을 플랫폼내에서 쉽게 검증할 수 있도록 7가지 새로운 기능을 내놓았습니다.
작년에도 만났던 분들과의 반가운 재회도 있었고, 날씨도 열일해 정말 뿌듯했던 이번 샌프란시스코 방문이었습니다. 이번에도 한가득 배워간 Observe 2025, 그럼 내년 행사를 기대하며 이만 마치겠습니다.
의견을 남겨주세요