🤖 구글은 왜 MediaPipe 튜토리얼을 다 깨뜨렸을까

이든의 AI 레터  · 읽는 시간 6분

안녕하세요, 이든이에요. 🙌

오늘은 MediaPipe (미디어파이프) 라는 구글의 오래된 오픈소스 얘기를 해보려고 해요. 이름이 낯설 수 있는데, 장면 하나 떠올려 보세요.

이 "일상에서 매일 만나는 AI 기능들 뒤에 거의 다 MediaPipe가 있어요."10년 가까이 된 구글의 오픈소스인데, 지금까지도 현역이에요.

그런데 최근 이 녀석이 이상해졌어요. 3년 전에 쓰여진 튜토리얼을 따라해보면 10개 중 9개가 에러가 납니다. 구글이 조용히 API를 거의 다 갈아엎었거든요. 호환도 안 되게.

처음엔 "또 방치하는구나" 싶었는데, 파보니까 이게 의도된 이사였어요. 목적지는 Physical AI 단말. 오늘은 그 이야기예요.

🎨 얼굴에 478개 점, 손에 21개 점

MediaPipe가 여러분에게 매일 주고 있는 게 뭐냐면, 이런 거예요.

👉 브라우저에서 바로 실행해볼 수 있어요 — MediaPipe Studio · Face Landmarker 라이브 데모(웹캠 켜면 내 얼굴에 478점이 실시간으로 찍힙니다)

얼굴. 카메라가 얼굴을 잡는 순간 478개의 3D 점을 실시간으로 찍어요. 눈 하나에만 16개, 입술 둘레 40개. 이 정밀도 덕분에 틱톡· 스냅챗 필터가 표정 변화까지 자연스럽게 따라가요. 줌의 얼굴 감지나 AI 아바타의 시선 추적도 같은 엔진이에요.

손. 손가락 마디마다 점을 찍어서 총 21개의 3D 좌표. 이것만 있으면 "따봉" 제스처로 메시지 보내기, 수화 통역, AR 피팅 같은 게 가능해요. 애플 Vision Pro 초기 데모에 나온 맨손 인터랙션들 상당수가 이 MediaPipe 기반이었어요.

👉 MediaPipe Studio · Hand Landmarker 라이브 데모— 손을 카메라에 비추면 21점이 실시간 오버레이

전신 자세. 33개 관절로 몸 전체 모션을 추적. Nike Training Club 같은 앱이 "스쿼트 자세 바르게 하고 있어요" 알려주는 거, 이 모듈이에요.

👉 MediaPipe Studio · Pose Landmarker 라이브 데모— 웹캠 앞에 서면 33개 관절이 찍히는 것 직접 확인 가능

여기에 더해 12개 솔루션이 있는데, 한 줄씩 소개하면:

LLM Inference 는 조금 더 말씀드리고 싶은데요. 지금 이 모듈로 Gemma 1.1 7B (8.6GB짜리)를 브라우저 탭 안에서 돌릴 수 있어요. 서버 호출 없이요. 병원처럼 외부 유출 못 하는 데이터를 그 자리에서 LLM으로 분석할 때, 이게 사실상 유일한 길이에요.

그리고 재미있는 건, 이 12개가 한 프레임에서 동시에 돌아가기도 한다는 거예요. 구글이 2020년에 공개한 MediaPipe Holistic은 얼굴 468점 + 양손 42점(21×2) + 전신 33관절을 합쳐서 543점을 한 번에추적합니다. 전 세계 개발자가 수화 번역, 댄스 코치, AR 아바타 같은 데 이 조합을 그대로 쓰고 있어요.

📎 직접 보고 싶으시면 → MediaPipe Holistic 공식 발표 (Google Research)블로그 본문에 543점 동시 추적 실시간 GIF가 있어요

정리하면 MediaPipe는 "엣지 단말 하나에서 카메라·마이크·텍스트·LLM을 다 처리하는 풀 스택 레고 12종 세트" 예요. Physical AI 단말에 필요한 입력 계층이 거의 다 이 안에 있어요.

그런데요. 😅

🤔 기술은 굉장한데, 왜 이렇게 사례가 없지?

솔직히 테스트해보면 MediaPipe는 놀라워요. 얼굴 478점이 60fps로 떨어 지고, 손 21점도 아이폰 구형 모델에서 끊김 없이 돌아가요.

그런데 실제 상업 서비스 사례를 찾아보면 생각보다 적어요. 연구 논문은 넘쳐나는데 (Google Scholar에 2024년 한 해만 1,000건 이상), 상용 제품 에서는 다른 기술을 쓰는 경우가 더 많아요. 왜 그럴까요?

첫 번째 이유가 바로 앞에서 말씀드린 "깨진 튜토리얼"이에요.

2023년 3월, 구글은 MediaPipe의 대부분 API를 갑자기 deprecate 했어요. GitHub 이슈(#4142) 제목이 이렇게 솔직해요.

예전엔 이렇게 파이썬에서 가져와 썼어요.

지금은 이렇게 써야 해요.

기능은 같은데 코드가 4배 길어졌고, .task 파일도 따로 받아야 해요.

그리고 결정타 — 2024년 말 릴리스(0.10.31)부터는 mediapipe.solutions모듈 자체가 패키지에서 빠졌어요 (이슈 #6192).

즉, 예전 튜토리얼로 공부 시작한 학생은 첫 줄부터 ImportError를 만나요. 그래서 조금 해보다가 포기하고 다른 라이브러리로 떠나요. 이게 지난 2년간 반복된 풍경이에요.

두 번째 이유는 상업용 로봇에는 이미 다른 스택이 자리 잡았다는 거예요.

Amazon Robotics · Boston Dynamics · Figure 이런 상업 로봇들은 NVIDIA Jetson을 쓰는데, 그 위에 올리는 건 MediaPipe가 아니라 NVIDIA Isaac + TensorRT + ROS2 조합이에요. MediaPipe는 "Jetson에서 빌드 가능"하긴 하지만, 실제 로봇 파이프라인의 표준은 Isaac 쪽이에요.

그래서 MediaPipe는 묘한 위치에 있어요. 교육·연구용 로봇에서는 여전히 인기 (Hiwonder JetRover, DOFBOT Pro 같은 제품들은 MediaPipe를 기본 탑재). 상용 로봇에서는 밀리는 중. 모바일 앱에서는 2년 전 영광의 답습.

한국에도 사례는 있어요. 2021년 군장병 SW 해커톤에서 공군참모총장상을 받은 MyPT StrongFriends 라는 AI 트레이너 앱은 MediaPipe 포즈 추정을 엔진으로 쓴 오픈소스 프로젝트고요 (GitHub), 한국정보기술학회·한국정보통신학회에는 MediaPipe로 스쿼트·팔굽혀펴기 자세를 교정하는 논문들이 있어요. "사례가 적다"는 건 상용 대기업 제품 얘기고, 해커톤·연구실·스타트업 영역에선 이미 충분히 활성화돼 있습니다.

"그럼 구글은 왜 이 괜찮은 걸 방치하고 있지?" 여기서 제가 이번 주에 파고든 질문이 시작됐어요.

🔍 단서 세 개로 풀어본 구글의 의도

파고들수록 단서가 쌓이더라고요. 세 개만 소개할게요.

단서 1. 새 API가 쓰는 .task 파일 포맷이 LiteRT-LM의 .litertlm포맷과 호환돼요. LiteRT-LM이 뭐냐면, 지금 Chrome 브라우저· Chromebook Plus·Pixel Watch에 탑재된 Gemini Nano를 돌리는 구글의 새 엔진이에요. 즉, 같은 모델 파일을 MediaPipe에서도, 구글의 차세대 엔진에서도 그대로 쓸 수 있게 설계된 거예요.

단서 2. 기존 Legacy API는 Python·Android·iOS·Web이 서로 조금씩 다르게 생겼었어요. 새 Tasks API는 네 플랫폼이 똑같은 모양. 즉 "한 번 짜서 네 단말에 동시 배포"가 공식 지향점이 됐어요.

단서 3. 새 API로 전환하면서 LLM Inference / Image Generator / Image Embedder 3종이 신규 추가됐는데, 전부 .task 포맷 전용. 구버전으론 접근이 안 돼요.

이 세 단서를 이어붙이면 하나의 문장이 돼요.

"구글은 MediaPipe의 사용자를 '노트북 앞의 Python 개발자'에서 '여러 엣지 단말에 제품을 배포하는 팀'으로 갈아타게 하는 중이다."

쉽게 풀면, 옛날 MediaPipe는 "취미/연구용 유틸"이었고, 새 MediaPipe는 "Physical AI 단말 배포용 레이어"예요.  호환이 깨진 건 실수가 아니라, 타겟 교체 과정에서 생긴 흉터예요.

개발자 커뮤니티에는 고통이었지만, 구글 입장에선 논리가 있어요. Physical AI 시대엔 "한 명의 Python 개발자가 자기 노트북에서 쓰는 기쁨"보다 "수십 개 단말에 제품을 동시 배포하는 일관성"이 훨씬 중요하거든요.

🌏 바깥 풍경 — 이 이사가 향하는 시장

구글이 이걸 왜 지금 하는지는, 시장 숫자를 보면 더 또렷해져요.

Physical AI 시장 (MarketsandMarkets, 2026-04)

그리고 이 시장을 노리는 플레이어가 네 곳이에요.

이 네 진영은 서로 싸우지만, 공통 고민이 있어요. "개발자가 네 하드 웨어를 왔다갔다 하지 않고 우리 쪽에만 붙어 있게 하려면 어떻게 해야 하지?" 보통 이걸 푸는 건 소프트웨어 레이어예요. 안드로이드가 하드웨어 단편화를 자바 레이어로 가렸듯이요.

구글이 지금 MediaPipe로 깔고 있는 게 정확히 이 레이어예요. 어느 칩에서 돌리든 똑같은 .task 파일, 똑같은 API. 개발자가 Snapdragon 인지 Jetson인지 M3인지 신경 안 쓰게 해주는 SQL 같은 존재가 되려고 하고 있어요.

다만 상업 로봇 영역은 이미 NVIDIA Isaac이 선점했기 때문에, 구글이 노리는 건 로봇 이전 단계의 엣지 단말 — 스마트 웨어러블· Chromebook Plus·Pixel Watch·AR/XR 기기 — 에서의 입력 계층 표준화로 보여요.

그래서 MediaPipe의 튜토리얼이 다 깨진 건 슬픈 일이지만, 동시에 구글이 다음 10년을 위한 패를 조용히 다시 까는 중이라는 신호예요.

🎯 오늘의 한 줄

MediaPipe는 방치된 게 아니에요. 목적지가 바뀌고 있어요.Python 취미 개발자의 카메라 장난감에서, Physical AI 단말의 배포 인프라로. 튜토리얼이 다 고장난 건 실수가 아니라 세대 교체의 흉터예요.

다음에 엣지 AI 관련 제품을 설계하실 때, MediaPipe의 새 Tasks API가 지원하는 단말 목록을 한 번 훑어보세요. 그게 구글이 3년 뒤에 돈을 걸고 있는 시장의 지도거든요. 🗺️

📮 이번 주 질문

MediaPipe Tasks API로 마이그레이션 해보신 분, 아니면 반대로 "Isaac/ ROS2로 갈아탔어요"라는 분 계신가요? 

이든 드림 · AI 네이티브 PM · Agentic AI 제품 리드

🔗 오늘의 레터 출처

🎬 직접 체험해보고 싶다면