퍼플렉시티(Perplexity): AI 검색의 미래

최근에 렉스 프리드먼 유튜브에서 퍼플렉시티 CEO 아라빈드 스리니바스(Aravind Srinivas)와 인터뷰를 봤습니다. 제가 최근에 봤던 스타트업 창업자/CEO 중에서 가장 스마트한 사람처럼 느껴졌습니다. 고객에 대한 집착과 기술에 대한 높은 이해도로 매우 실용적으로 소위 말하는 제품 주도 성장을 이루어낸 경영자로 보였습니다. 이밖에 인터뷰를 보면 구글 검색광고 포함하여 온라인 비즈니스의 핵심을 잘 설명하여서 인상적이었습니다.

이번 기회로 Perplexity 제품에 대한 이해도를 높여보려고 서비스도 많이 이용해봤고, 내용을 정리해서 브런치에 '퍼플렉시티: AI 검색의 미래'라는 브런치북도 발행했습니다.

잠시 홍보합니다 :) 제가 트레바리에 '프로덕트 매니저의 일'이란 클럽을 운영할 예정입니다.  현재 등록이 가능해서 관심 있으신 분들께선 참여해주시면 감사하겠습니다. 책은 '팀장의 탄생', 'OKR', '프로덕트 오너', '하드씽' 네 권의 책으로 진행할 예정입니다. 

트레바리 클럽: 프로덕트 매니저의 일

Perplexity 제품 소개

Perplexity는 기본적으로 Wrapper 역할을 하는 서비스입니다. 오픈 소스 기반(LaMA, Mistral Large) 자체 모델(Sonra) 최근에 운영하고 있지만, GPT-4o, Claude-3와 같은 외부 모델을 서비스에서 같이 제공하고 있습니다. 핵심은 사용자 입장에서 어떤 모델을 사용하더라도 높은 품질과 빠른 속도의 답변을 제공하는 것입니다.  

제품 관점에서 Perplexity AI의 핵심 컴포넌트는 검색엔진/인덱싱, LLMs, RAG로 나눠볼 수 있습니다. 제가 몇가지 글을 블로그에 작성해보고 다른 검색엔진과 비교를 했는데 Perplexity는 빠르게 인덱싱이 되어 서비스에 결과로 제공되는 것 같습니다. Perplexity 웹 검색은 오픈 소스 기반으로 구축된 Peprlexity LLM과 매끄럽게 통합되어 정확도 뿐만 아니라 맥락적으로 관련성이 높고 최신성 있는 답변을 제공하고 있습니다.

어쨌든 제가 느낀 차이점이 인덱싱의 차이인지 제가 쓴 글이 상대적으로 전문적인 편이라서 학술적 정보 탐색에 특화된 Perplexity AI 특성상 높은 가중치를 가지는지는 확실하지 않습니다. 어쨌든 구글과 같은 다른 검색엔진과 비교했을때 빠르게 색인되서 서비스 제공되는 점은 초기 스타트업이 갖추기 힘든 기술적 우위임은 확실한 것 같습니다. 

이밖에 Perplexity는 LLM의 지속적인 문제 중 하나인 정보의 최신성 부족과 잘못된 정보를 생성하는 환각(hallucinations)를 RAG(Retrieval-Augmented Generation ) 프레임워크를 시스템에 통합하여 해결하고 있습니다. RAG 시스템을 통해 Perplexity는  잘못된 정보나 오해를 불러일으킬 수 있는 정보를 생성할 가능성을 줄일 뿐만 아니라, 인용을 포함하여 생성된 콘텐츠의 투명성과 신뢰성을 높여줍니다.

궁금해서 국내 LLM 기반의 Wrapper 서비스을 찾아보니 대부분 UX가 Perplexity AI와 유사했습니다. 마치 검색 서비스가 비슷한 UX를 오랜 기간 여러 플랫폼에서 범용적으로 디자인된 것처럼 정보 탐색과 관련해서 Perplexity의 사용자 경험이 사실상 표준처럼 당분간 되지 않을까 싶습니다.

Perplexity의 시작

Perplexity의 공동 창업자인 Arvind Srinivas와 Denis Yarats는 Facebook AI 연구소에서 각각 연구를 진행하던 중, 우연히 같은 문제를 연구하게 되면서 서로 인연을 맺게 되었습니다. 2020년 COVID-19 팬데믹이 한창일 때, 두 사람은 각기 동일한 연구 결과를 담은 논문을 발표했는데 이로 인해 경쟁자가 될 수도 있었던 상황에서 오히려 서로 협력하게 되었습니다. 이후 Denis는 UC 버클리에서 Arvind와 협업을 이어갔고, 두 사람은 긴밀한 관계를 유지하며 각자의 커리어를 발전시켜 나갔습니다. 그리고 추가로 제품과 엔지니어링에 강한 Denis의 친구이자 2013년 Quora에서 함께 일했던 동료인 Johnny Ho를 공동 창업자로 맞이합니다.  Johnny는 세계적인 수준의 실력을 가진 인물로, 고등학생 때 IOI(국제정보올림피아드) 세계 챔피언이었던 경험이 있었습니다.

그들은 초기에 OpenAI의 DaVinci2 모델 기반으로 Text를 SQL로 변환하는 Text-to-SQL tool을 개발했습니다. 검색엔진을 개발하고 싶었지만 자금 조달이 쉽지 않을 것이라 이 아이디어를 실행하기로 했습니다. Text-to-SQL tool을 개발하면서 두 창업자는 사용자들이 이전에는 검색할 수 없었던 영역에 대한 검색 경험을 제공하는 것을 목표로 움직였습니다.

초기 Perplexity팀은 공공 데이터를 활용하고자 했습니다. 특히 그들은 트위터 데이터에 주목했습니다. 트위터의 API를 통해 데이터를 대량으로 수집하고, 이를 정리하여 데이터베이스에 저장한 후, 자연어 인터페이스를 구축해 데이터를 분석할 수 있도록 했습니다. 예를 들어, Twitter와 같은 소셜 미디어에서 특정 사용자가 팔로우하는 사람들 중에서 두 명이 공통으로 팔로우하는 사람을 찾는 질문을 던질 수 있도록 하는 것이었습니다. 이런 질문들은 AI가 의미를 이해하고 이를 SQL로 변환하여 데이터베이스에 실행한 후 결과를 반환하는 과정을 통해 가능해졌습니다. 

이 접근 방식은 GitHub Copilot에서 영감을 받아 개발된 코드 생성 모델들을 활용해 이루어졌습니다. Perplexity 팀은 사용자가 자연어로 입력한 질문을 AI가 이해하고, 이를 SQL 쿼리로 변환하여 데이터베이스에서 실행하도록 했습니다. 예를 들어, “Elon Musk와 Jeff Bezos가 공통으로 좋아요를 누른 최근 트윗은?“이라는 질문을 던지면, AI가 이 질문을 SQL로 변환하고, Twitter의 소셜 그래프 데이터베이스에서 해당 쿼리를 실행하여 결과를 반환하게 했습니다.

Perplexity 팀은 이러한 아이디어를 실현하기 위해 몇 가지 기술적 도전에 직면했습니다. 먼저, SQL 쿼리 생성의 복잡성을 처리하기 위해 RAG(Retrieval-Augmented Generation) 접근 방식을 사용했습니다. 이는 AI가 사용자 질문과 유사한 템플릿 쿼리를 검색하고, 이를 기반으로 새로운 쿼리를 작성하는 방식이었습니다. 하지만 초기에는 생성된 SQL 쿼리에 오류가 발생할 때도 많았고, 이러한 오류를 처리하고 재시도하는 메커니즘을 구축해야 했습니다.

또한, Perplexity 팀은 Twitter의 데이터를 학술 계정을 통해 스크래핑하는 방식으로 수집했습니다. 이 과정에서 일종의 그로스 해킹으로 여러 개의 가짜 학술 계정을 생성하고, GPT를 활용해 연구 제안서를 작성하여 데이터를 수집했습니다. 이 방법으로 수집된 방대한 소셜 그래프 데이터를 기반으로, Perplexity는 사용자들이 이전에는 불가능했던 수준의 검색 경험을 제공할 수 있었습니다.

초기 성과와 깨달음

Perplexity 팀은 이 과정을 통해 Twitter의 소셜 그래프를 활용한 검색 경험을 제공하는 데모를 만들었습니다. 이 데모는 얀 르쿤(Yann LeCun), 제프 딘(Jeff Dean), 안드레이 카르파시(Andrej Karpathy) 등에게 시연되었고, 모두 긍정적인 반응을 얻었습니다. 사람들은 자기 자신이나 관심 있는 사람들에 대해 검색하는 것을 좋아하기 때문에, 이러한 호기심을 자극하는 데모는 좋은 인상을 남겼습니다. 이를 통해 Perplexity 팀은 초기 사용자층을 확보할 수 있었고, AI를 기반으로 한 검색의 가능성을 확인할 수 있었습니다.

Perplexity의 초기 Twitter 검색 기능은 단순한 기술적 실험을 넘어, 투자자들과 업계의 주요 인물들의 관심을 끌어들이는 강력한 도구로 작용했습니다. Aravind Srinivas는 이 경험을 통해 “이전에 불가능했던 것을 가능하게 만드는 것이 강력한 힘을 가진다”는 교훈을 얻었다고 말합니다. 특히 그 기능이 실용적일 때, 사람들에게 더욱 강력한 인상을 남길 수 있습니다.

예를 들어, Perplexity가 Twitter의 데이터를 활용해 특정 사용자가 팔로우하는 사람들 중 두 명이 공통으로 팔로우하는 인물을 찾는 기능을 구현했을 때, 이 기능은 단순한 기술적 성과를 넘어 사람들의 호기심을 자극했습니다. 사람들은 자신이나 자신이 관심 있는 사람들에 대해 알고 싶어하며, 이러한 호기심은 강력한 동기가 됩니다.

이러한 호기심을 활용한 Perplexity의 초기 기능은 사용자가 자신의 소셜 미디어 프로필을 검색하는 행위를 통해 그들에게 관련 경험을 제공했습니다. Aravind Srinivas는 Instagram의 공동 창립자 Mike Kreiger와의 대화를 언급하며, “사람들은 자신의 프로필 아이콘을 클릭해서 자신을 볼 수 있음에도 불구하고, Instagram에서 가장 많이 검색하는 것은 자기 자신이라는 사실”을 발견했다고 전합니다. 이는 Perplexity의 초기 Twitter 검색 기능이 왜 그렇게 큰 반향을 일으켰는지를 잘 보여주는 사례입니다.

결국, Perplexity는 사용자가 자신의 소셜 미디어 핸들을 검색하여, AI가 제공하는 요약 결과를 통해 자신을 알아가는 과정을 경험하게 개발했습니다. 이 과정에서 사용자들은 AI가 자신에 대해 알고 있는 정보를 보고 놀라거나, 혹은 AI가 만들어낸 내용에 재미를 느끼며, 그 경험을 공유하게 되었습니다. 이러한 사용자 경험은 Perplexity가 초기부터 빠르게 주목받고 성장할 수 있었던 중요한 요소 중 하나였습니다.

전략적 Pivot, 그리고 Perplexity AI의 탄생

Perplexity의 초기 성공을 바탕으로, 퍼플렉시티 팀은 단순한 검색을 넘어 지식을 탐구하고 사람들을 새로운 발견으로 이끄는 것을 목표로 삼았습니다. 

이 과정에서 Perplexity 팀은 text-to-SQL tool 기반의 Twitter 검색이 한계가 있음을 깨닫고, 더 광범위한 웹 검색으로 확장하는 전략을 취했습니다. (추가로 Twitter를 Elon Musk가 인수하면서 주요 API의 접근을 제한하기도 함) 이를 통해 Perplexity는 단순한 소셜 미디어 검색을 넘어, 웹 상의 방대한 정보를 검색하고 요약해주는 도구로 발전하게 되었습니다. 

본래 Perplexity 팀이 목표로 했던 것은 검색 기능을 구현하는 것이었으며, 이를 좀 더 구조화된 데이터로 확장하는 방법을 모색하기 시작했습니다. 2022년 10월쯤, 그들은 내부적으로 Perplexity의 첫 번째 프로토타입을 사용하기 시작했습니다. 이 프로토타입은 직원들의 의료보험과 같은 정보를 질문할 수 있는 슬랙 봇 형태로 구현되었고, 이를 통해 이 기술의 잠재력을 처음으로 엿볼 수 있었습니다.

그러던 중, 2022년 11월 ChatGPT가 출시했습니다. 역사상 가장 성공적인 제품 출시 중 하나로 손꼽힐 만큼 폭발적인 반응을 이끌어낸 이 사건은 Perplexity 팀 내에서 큰 화제를 불러일으켰습니다. 팀원들 모두가 흥분했지만, 동시에 이 일이 Perplexity 팀에게 어떤 의미가 있을지 진지하게 고민하지 않을 수 없었습니다.

이처럼 Perplexity는 초기의 단순한 아이디어에서 시작해, 텍스트에서 SQL로의 도구(text-to-SQL tool) 개발, 그리고 검색 기능의 확장으로 발전해왔습니다. ChatGPT의 성공은 그들에게 많은 자극과 확신을 주었습니다. Perplexity는 이제 단순한 검색을 넘어, 구조화된 데이터와 일반적인 검색을 융합하여 AI 기술의 미래를 선도할 준비를 마친 상태입니다.

ChatGPT가 출시된 초기, 많은 사람들이 이 모델의 ‘환각(hallucinations)’ 문제와 출처가 불명확한 정보 제공에 대해 불만을 토로했습니다. 이 문제는 Perplexity팀이 이미 프로토타입에서 해결하려는 방향성과 정확히 일치했습니다. Perplexity 초기 프로토타입은 정보의 출처를 명확히 밝히고, 신뢰할 수 있는 데이터를 제공하는 기능을 가지고 있었기 때문입니다.

Perplexity 팀은ChatGPT가 큰 주목을 받고 있었고, 그들의 기술이 이를 보완할 수 있음을 깨닫고,  이 둘을 결합하기로 결정했습니다. 그렇게 해서 불과 이틀 만에 간단한 웹사이트를 프로토타입으로 제작해 트위터에 농담처럼 올렸습니다. 아무런 기대 없이 시작한 일이었지만, 놀랍게도 많은 관심을 받았습니다. 트위터에서 리트윗과 칭찬이 쏟아졌습니다. 비록 초기 구현은 매우 느리고 완성도가 낮았지만, 그럼에도 불구하고 사람들은 그것에 매력을 느꼈던 것입니다.

이 경험은 Perplexity 팀에게 중요한 시그널이었습니다. 초기 버전의 결함에도 불구하고 사람들이 이 도구에 반응했다는 것은, 그들이 더 나은 버전을 만들 수 있다면 더욱 큰 성공을 거둘 수 있다는 확신을 주었습니다. 그러나 그 당시 Perplexity는 이 성공이 일시적인 유행에 그칠지, 아니면 지속될지를 두고 고민했습니다. 크리스마스와 연말연시를 앞두고 있었기 때문에 우리는 잠시 기다려 보기로 결정했습니다.

2022년 12월 7일, Perplexity는 웹 검색 기능 출시 관련하여 Aravind Srinivas는 “이건 그저 일시적인 유행일 뿐이고, 사용량은 곧 줄어들 것이다”라고 생각했지만, 사용자들은 가족과 함께하는 크리스마스 휴가 기간에도 이 제품을 계속 사용했습니다. 보통 사람들이 휴가 기간 동안, 특히 잘 알려지지 않은 스타트업의 제품을 사용할 필요가 없음에도 불구하고, Perplexity를 사용한 것은 매우 긍정적인 신호였습니다.

이후 놀랍게도, 연말이 지나고 1월이 되었을 때, Perplexity의 트래픽은 줄어들지 않았습니다. 오히려 증가하고 있었습니다. 이는 평범한 일이 아니었고, Perplexity 팀은 큰 가능성을 보았습니다. 결국, Text-to-SQL 프로젝트를 완전히 중단하고, 수개월 간의 노력을 내려놓고, 일반 웹검색에 집중하기로 결정했습니다. 결과적으로 이 의사결정은 옳은 선택이었습니다.

초기 Perplexity는 단순한 질문에 답변을 제공하고 관련 링크와 요약을 보여주는 기능을 갖추고 있었을 뿐, 대화형 인터렉션 기반으로 동작하지는 않았습니다. 그러나 새해가 지난 후, 대화형 질문 제안 기능을 추가한 새로운 버전을 출시했으며, 그 후 사용량이 급격히 증가했습니다. 사용자는 답변에 만족할 뿐만 아니라, 관련된 질문을 계속 클릭하며 새로운 정보를 탐색하는 데 흥미를 느꼈습니다.

퍼플렉시티 공동 창업자들은 이러한 성장을 기반으로, 단순히 검색이나 질문에 답하는 것이 아니라, 사람들에게 새로운 지식을 발견하고 그들에게 올바른 방향으로 안내하는 것을 목표로 삼았습니다. 이들은 Amazon의 고객 중심 철학에서 영감을 받아, Perplexity를 “세상에서 가장 지식 중심적인 회사(We want to be the world’s most knowledge-centric company.)”로 만드는 것을 목표로 삼았습니다. Google의 초기 비전이 세계의 정보를 모두에게 접근 가능하게 만드는 것이었다면, Perplexity 팀은 사람들의 호기심을 자극하고 새로운 지식을 탐구하는 경험을 제공하고자 했습니다.

Perplexity의 Pivot(Text-to-SQL -> 웹검색 전환)은 단지 기술적 pivot이 아니라, 사용자 문제에 있어 팀의 자신감에서 비롯되었습니다. 초기 피드백에서 Perplexity 팀이 해결하고자 했던 문제들이 실제로 사람들에게 중요하다는 것을 확인할 수 있었습니다. 하지만 동시에 그들은 장기적인 경쟁 우위에 대해 깊이 고민하지 않을 수 없었습니다. 특히, 핵심적인 파운데이션 모델을 소유하지 않고 OpenAI와 같은 외부 제공자의 모델을 사용하는 상황에서, Perplexity 제품이 어떻게 더 나은 성과를 낼 수 있을지에 대한 논의가 필요했습니다.

이 질문은 매우 중요한 문제였습니다. Perplexity의 장기적 비전과 OpenAI와 같은 파운데이션 모델 제공자들보다 우월한 제품을 유지하기 위해 어떤 전략을 취해야 할지 고민했습니다. Perplexity 내부에서도 이와 관련된 회의적인 시각이 존재했지만, 이러한 질문들은 Perplexity 팀의 결속력을 강화하고, 더 나은 제품을 만들기 위한 동기부여가 되었습니다.결국, Perplexity는 단순히 ChatGPT를 보완하는 것을 넘어, 새로운 검색의 표준을 제시하기로 했습니다. AI 기술을 통해 신뢰할 수 있는 정보 제공과 사용자 경험의 혁신을 추구하며, 이 과정에서 얻은 통찰을 바탕으로 지속적인 성장을 이루어 나가는 것이었습니다.

인간답게 만드는 호기심

Perplexity는 기존의 검색 엔진과는 완전히 다른 접근 방식을 제시하며, 스스로를 “정답 엔진(answer engine)” 또는 지식 발견 엔진(”knowledge discovery engine”)이라고 정의합니다. Perplexity 공동 창업자 Aravind Srinivas는 호기심은 인간을 다른 존재들과 구분 짓는 중요한 요소 중 하나로 보고 있습니다. 우리는 새로운 것을 알고자 하는 열망으로 가득 차 있으며, 이러한 호기심은 우리를 끊임없이 탐구하고 질문하게 만드는 것입니다. 이는 Perplexity의 UI를 이용해보시면 답변 이후에 새로운 질문을 제안하면서 유저로 하여금 지식을 계속 탐구하게 만듭니다.

Perplexity의 공동 창업자 Aravind Srinivas는 “우리가 싸워야 할 가장 큰 적은 구글이 아니라, 사람들이 질문을 잘 못하는 것이다”라고 했습니다. 저도 개인적으로 공감이 많이 되었던 답변이었는데요. 좋은 질문을 하는 것도 기술이 필요한 것입니다. 질문의 순서도 중요하고요. 모든 사람에게 호기심은 있지만, 그 호기심을 잘 표현된 질문으로 바꾸는 능력은 모두가 가지지 못하고 있습니다. 호기심을 질문으로 정제하는 데 많은 사고가 필요하며, 그 질문을 AI에 잘 프롬프트할 수 있도록 만드는 것도 기술이 필요합니다. Aravind Srinivas는 구글에서 영감을 받아 Perplexity에 사용자가 첫 질문을 쉽게 할 수 있도록 돕고, 흥미로운 질문을 제안하는 기능을 반영했다고 밝혔습니다. 

그럼 뉴스 레터는 여기서 마무리 하겠습니다. 브런치북에 더 많은 내용이 담겨 있으니 관심 있으신 분들께선 아래 링크를 통해 읽어주시면 감사하겠습니다.

https://brunch.co.kr/brunchbook/perplexity