본 글의 모든 내용은 공개된 정보 및 저의 지극히 개인적인 생각과 관점에 기초하고 있으며,
X (Twitter) / Telegram을 통해 더 많은 News와 Idea를 공유드리고 있습니다.
[요약]
1. 일론 머스크는 휴머노이드 개발의 3가지 난제로 리얼월드 AI, 대규모 양산, 그리고 손 개발을 꼽습니다. 그리고 이 중 가장 큰 난제로 "손"을 지목했는데요.
2. 휴머노이드의 손 개발이 어려운 첫번째 이유는, 촉각 데이터의 학습이 필요하기 때문입니다.
3. 스웨덴 연구진이 진행했던 한 실험 결과에 따르면, 사람조차도 손끝을 마취시키면 성냥개비 하나조차 집어들지 못합니다.
4. 그만큼 인간은 물체의 형태와 질감을 감지하고, 사용해야 할 힘을 정확하게 판단하는 데 있어 촉각에 크게 의존하는데요.
5. 하지만, 휴머노이드 손 개발에 있어 많은 연구자들이 기존 AI와 같이 시각 데이터에 크게 의존하는 방식으로 접근하고 있습니다.
6. 물론 "그렇게 촉각이 중요하면, 촉각 데이터도 모아서 학습시키면 되는거 아니냐?"라고 반문할 수 있을 겁니다.
7. 하지만, 시각이나 언어 데이터와 달리, 인류는 아직 촉각 데이터를 어떻게 수집하고 공유하고 분석할지 깊이 고민해보지 않았습니다.
8. 휴머노이드에 촉각을 수집하는 센서가 있다고 한들, 이게 정말 필요한 데이터를 모두 수집하고 있는지, 어떻게 분석하는 것이 최선일지, 어떻게 다른 매체로 공유하고 재현하는 것이 적합할지에 대한 연구가 부족한 상황입니다.
9. 두번째 이유는, 데이터의 수집이 쉽지 않다는 겁니다.
10. 업계에서 활용 중인 데이터 수집 방식에는 크게 3가지가 있는데요.
(1) 시뮬레이션을 통한 학습 방식은 물리 세계의 마찰력, 공기저항 등을 제대로 반영하지 못하는 한계가 존재합니다.
(2) 인간 시연 영상을 통한 학습 방식은, 로봇과 인간의 신체 구조 차이로 인해 로봇이 이를 정확하게 모방하기 힘들다는 한계가 존재합니다.
(3) 이 2가지 방식의 한계를 보완한, 텔레오퍼레이션 기반 학습 방식에는 과도한 시각 의존, 손동작의 부정확한 캡쳐 등의 문제가 존재하고요.
11. 세번째 이유는, 로봇의 응용력 부족입니다.
12. 로봇이 기존의 제한된 환경에서 학습한 내용을 그대로 재현하는 것은 잘하지만, 주변 환경이 조금만 달라지면 응용을 못한다는 겁니다.
13. 일단 곧 출시될 테슬라 옵티머스 Gen 3의 경우, 일단 촉각 센서를 장착한 것으로 알려져 있습니다.
14. 때문에 옵티머스가 손 개발 이슈를 과연 해결했을지, 아직 해결하지 못했다면 앞으로 어떻게 해결해나갈지 그 귀추가 주목됩니다.
휴머노이드, '손'이 가장 큰 문제다
지난 2026년 초 진행된 테슬라 실적 발표회에서, 일론 머스크는 휴머노이드 개발에 있어 가장 큰 난제 3가지를 지목합니다.
첫번째는 "리얼월드 AI", 두번째는 "대규모 양산", 세번째는 바로 "손"인데요.
사람과 유사한 수준의 자유도와 손재주를 갖춘 손을 만드는 것은 너무나도 어려운 공학적 도전이라고 말합니다.
사실 일론 머스크 휴머노이드 손을 개발하는 게 어렵다는 불평을 토로한 건 이번이 처음은 아닙니다.
"휴머노이드에 있어 손을 제외한 나머지 모든 부분을 개발하는 것보다 손이 더 어렵다"
"스타십을 제외하면, 테슬라가 만들었던 어떤 차량들보다 손을 만드는 것이 더 어렵다"
이렇게 공개 석상에서 여러 차례 강조해 이야기한 바 있는데요.
당연히 테슬라만 손을 어려워하는 것은 아니겠죠.
곰곰이 생각해보면, 인간의 손은 "공학적 기적"이라 불릴만큼 경이롭습니다.
27개의 뼈와 수천 개의 촉각 센서, 그리고 복잡한 다발의 근육으로 이루어져 있는데요.
때로는 바늘에 실을 꿰고 계란을 집어 올릴만큼 정밀한 동작을 할 수 있고, 또 어떤 때는 수십 키로의 무거운 물건을 들어올릴 수 있습니다.
이렇게 섬세하고 강력한 힘을 모두 갖추고 있음에도, 별다른 유지보수 없이 수십 년 동안 사용할 수 있고요.
이를 기계를 통해 그대로 재구현하는게 너무나도 어렵다는 것은 굳이 전문 엔지니어가 아니라 하더라도 누구든 동의할 겁니다.
때문에 많은 휴머노이드 개발사들이 현실과의 타협을 선택하는데요.
일례로 보스턴다이내믹스의 아틀라스는 4개, 어질리티로보틱스의 디짓은 2개의 손가락만 갖추고 있습니다.
비행기가 새처럼 날지 않듯이, 휴머노이드가 굳이 인간의 형상을 그대로 본뜨지 않더라도 인간이 수행하는 동작의 상당수를 대체할 수 있다는 철학인 겁니다.
하지만, 테슬라는 굳건하게 인간과 동일한 5지 손가락을 고집하고 있는데요.
"2029년까지 휴머노이드가 외과의사를 대체할 것"이라고 일론 머스크 본인이 직접 언급할 정도로, 인간이 수행하는 모든 섬세한 동작의 완벽한 대체를 목표하고 있기 때문입니다.
3, 4개 손가락만으로도 인간이 수행하는 동작을 상당수 구현할 수 있다고는 하지만, 어쨌든 제약은 존재할 수밖에 없습니다.
일례로, 우리가 가장 덜 중요하다고 생각하는 새끼 손가락의 경우, 물건을 쥘 때 받침대 역할을 수행하고, 손 악력의 30-40%를 담당한다고 하는데요.
때문에 새끼 손가락이 없으면 물건을 쥘 때 불안정성이 높아지고 놓치기 쉬워집니다. 무거운 물건을 쥐는데 한계가 발생하기도 하고요.
결국, 당장은 5지 모두 자유자재로 인간처럼 움직이는 것이 어렵더라도, 언젠가는 가능해질 것이고 반드시 나아가야 할 방향이라고 보고, 테슬라는 처음부터 5지 형태의 손을 지향하고 있는 것입니다.
손은 왜 만들기 어려울까?
그럼 손은 왜 만들기 어려운 것일까요?
앞서 언급한 것처럼 굳이 복잡한 설명 없이도 납득이 가실테지만, 구체적으로 개발자들이 어떤 문제에 당면하고 있는지, 공학적인 이야기를 조금 해보려고 합니다.
1. 촉각, 어떻게 다뤄야 할지도 모른다
로봇 공학의 선구자 격으로 알려진 로드니 브룩스 (Rodney Brooks) MIT 명예교수는, 휴머노이드 손의 가장 큰 난제로 "촉각"을 지목합니다.
그의 의견에 따르면, 많은 엔지니어들이 휴머노이드의 손 문제를 풀기 위해, 기존 AI의 개발 방식을 답습합니다.
사람이 로봇을 직접 조작하는 텔레오퍼레이션, 혹은 손으로 무언가를 조작하는 영상을 인공신경망에 보여줌으로써 스스로 동작을 학습할 수 있게 만드는 것인데요.
여기서 문제는, 촉각 데이터가 결여되어 있다는 겁니다.
우리가 생각하는 것보다, 촉각은 손재주에 있어 많은 비중을 차지합니다.
아래는 로드니 브룩스가 언급한 스웨덴의 롤랜드 요한슨 교수 연구실의 실험 영상인데요.
손끝을 마취시킨 인간 피실험자는 성냥 한 개비를 들어올리는 것조차 힘겨워하며 여러 차례 실패한 끝에 겨우 성공합니다.
평소대로라면 5초 내외면 가능했을 일인데, 성냥 한 개비를 들어올려 불을 붙이는 데 무려 30초 가까이 소요되는 것을 볼 수 있습니다.
요한슨 교수의 연구 결과에 따르면, 인간의 손가락 끝에는 각각 1,000여 개에 달하는 감각 수용체가 존재합니다.
인간의 손은 이를 통해 물체의 형태와 질감을 감지하고, 사용해야 할 힘을 정확하게 판단할 수 있게 해주는데요.
우리가 알지도 못하는 사이, 무의식 하에 이런 복잡하고 세밀한 데이터의 입출력이 진행되면서 손이 우리가 원하는 정밀한 동작을 수행할 수 있게 되는 겁니다.
"그렇게 촉각이 중요하면, 촉각 데이터도 모아서 학습시키면 되는거 아니냐?"
라고 하실 수 있을 것 같습니다.
기존에 우리가 언어나 시각 데이터를 가지고 AI를 학습시켰듯 말입니다.
하지만 로드니 브룩스에 따르면, 촉각은 언어나 시각 데이터와는 상황이 조금 다른데요.
언어 데이터는 오랫동안 문자라는 형태로 기록되어 왔고, 접두사 / 접미사 등 작은 단위의 토큰으로 쪼개져 LLM의 입출력 단위로 쓰이고 있습니다.
시각 데이터 또한 사진과 영상을 통해 기록되고, 다시 픽셀 단위로 분해되어 AI가 이를 해석하고 학습하고 있고요.
그러나, 이와 비교하면 촉각에 대한 연구는 매우 초기적 상태에 머물러 있습니다.
인류는 아직, 촉각 데이터의 수집과 공유와 분석에 익숙치 않습니다.
휴머노이드에 촉각을 수집하는 센서가 있다고 한들, 이게 정말 필요한 데이터를 모두 수집하고 있는지, 어떻게 분석하는 것이 최선일지, 어떻게 다른 매체로 공유하고 재현해낼지는 모두 불확실한 상황입니다.
어쩌면, 언어 / 시각 데이터에 쓰이던 LLM이 아닌, 촉각 데이터만을 위한 새로운 AI 파운데이션 모델을 개발해내야 할지도 모릅니다.
2. 학습 데이터 수집도 쉽지 않다.
그렇다면, 일단 손 개발을 위해 나아가야 할 방향은 조금 명확해졌습니다.
인간과 같은 복잡한 손동작을 구현하기 위해서는, 비전 기반의 시각 데이터에만 의존하는 것이 아니라, 촉각 데이터까지 조합한 복합적인 조합의 학습 방식이 필요합니다.
하지만 문제는, 이러한 데이터 수집 방식 또한 마뜩치 않다는 점인데요.
최근 중국 저장대학교 연구진에서 이를 상세하게 분석한 논문을 발표해, 이를 소개해보려고 합니다. (상세 출처는 글 하단에 기재)
논문에 따르면, 현재 휴머노이드 학습용 데이터 수집에는 크게 3가지 방법이 있습니다.
첫째는, 시뮬레이션 기반 데이터 수집입니다.
NVIDIA의 Omniverse라는 시스템을 한번쯤은 들어보셨을 것 같은데요.
가상의 환경에서 물리 엔진을 활용해 로봇이 물체를 잡고 조작하는 데이터를 대량으로 생성하는 겁니다.
이렇게 되면 실제 로봇 기반 학습 데이터 생성에 비해, 훨씬 더 빠른 속도로 대량의 데이터를 만들어낼 수 있겠죠.
하지만, 말 그대로 "시뮬레이션"이기에 발생하는 한계가 존재하는데요.
공기저항, 마찰력, 물체의 변형과 같은 실제 물리 세계의 조건들을 제대로 반영하기 힘들기에, 시뮬레이션 환경과 현실 사이에 갭이 발생할 수밖에 없습니다.
둘째는, 인간 시연 기반 데이터 수집입니다.
사람이 직접 물체를 조작하는 과정을 영상으로 촬영해서, 로봇의 학습에 쓰는 것입니다.
마치 사람이 유튜브를 보고 운동을 배우는 것처럼, 로봇도 사람의 동작 영상을 보고 움직임을 배우게 하는 겁니다.
테슬라 역시 이러한 영상 기반의 학습 방식을 통해 휴머노이드를 빠르게 학습시키는 방안을 추진 중이라고 발표한 바가 있는데요.
이미 유튜브와 같은 영상 플랫폼에 대량으로 존재하는 영상을 학습에 활용할 수 있다면, 휴머노이드의 학습에 필요한 데이터를 시뮬레이션 방식만큼이나 빠르게 확보할 수 있을 겁니다.
뿐만 아니라, 이는 인간이 실제로 물리 세계와 상호작용하면서 생성된 데이터이니만큼, 앞서 이야기했던 시뮬레이션과 현실 사이의 갭 이슈를 줄일 수도 있을 것이고요.
하지만 이 방식에도 역시 단점은 존재하는데요.
휴머노이드의 신체 구조가 인간을 모방했다고는 하나, 그 형태나 구동 방식이 인간의 그것과는 상이할 수밖에 없습니다.
때문에 아무리 인간이 움직이는 영상을 많이 본다고 한들, 로봇이 이를 보고 동일한 방식으로 그대로 구현하는 것이 쉽지 않다는 말입니다.
비유하자면, 마치 중세 시대의 판금 갑옷을 입은 기사가 필라테스 강사 영상을 보고 따라하는 꼴과 같다고 할 수 있을까요?
마지막 방법은, 텔레오퍼레이션 기반 데이터 수집입니다.
사람이 직접 휴머노이드를 원격 조작해서, 로봇이 실제로 수행한 동작 데이터를 모으는 것입니다.
이 방식대로면, 앞서 이야기했던 두 가지 방식의 단점을 모두 상당 부분 완화할 수 있다고 하는데요.
실제 물리 세계에서 동작을 수행한만큼 시뮬레이션과 현실 간의 갭이 거의 없을 것입니다.
또한 로봇이 직접 동작을 수행하는만큼, 인간의 동작을 억지로 로봇의 그것으로 변환할 필요도 없을 것이고요.
하지만 이 방법 또한 결점이 없는 것은 아닙니다.
현실 세계에서 인간이 직접 조작을 수행한다고 하나, 많은 부분을 시각에 의존하는 만큼 촉각 데이터와 관련한 피드백을 받기는 쉽지 않습니다.
또한 조작을 통해 움직이는 손동작을 정확히 캡처하는 것도 쉽지 않은데요.
손가락의 높은 자유도와 이로 인한 동작 복잡도로 인해, 손가락의 하나 하나의 길이, 관절 각도, 접촉 상태를 가려지거나 지연 시간 없이 정확하게 포착해서 기록하는 게 어렵다는 말입니다.
또한 시뮬레이션이나 영상 기반 학습 방식만큼 대량의 데이터를 단 시간 내에 생성하는 것도 불가할 것이고요.
결국, 앞서 이야기한 3가지 방식을 대체할만한 혁신적인 방법이 발굴되지 않는 이상, 연구자들은 이 3가지 방식을 조합해가며 사용할 수밖에 없고, 따라서 개발 속도를 내기 쉽지 않은 상황인 겁니다.
3. 로봇이 응용을 못한다
앞서 언급한 논문에서 지적하는 또다른 문제는, "정적 학습 프레임워크의 강건성 부족 (Weak Robustness in Static Learning Framework)"입니다.
말이 어려운데요.
쉽게 말하면, 로봇이 기존 학습한 내용을 그대로 재현하는 것은 잘하지만, 주변 환경이 조금만 달라지면 응용을 못한다는 겁니다.
하나 하나 풀어서 이야기해보겠습니다.
"정적 학습 프레임워크 (Static Learning Framwork)"란, 앞서 말한 텔레오퍼레이션 등을 통해 특정 환경에서 휴머노이드가 동작하는 데이터셋을 학습하고, 이를 실제 현장에서 해당 동작을 그대로 다시 재현하는 것을 말합니다.
그러나 당연하게도, 실제 현장은 학습 환경과 동일하기 어렵습니다.
컵 하나를 잡는다고 하더라도 학습한 것과 컵의 모양, 크기, 재질, 상태 등이 달라지면서 손가락의 접촉점과 마찰계수가 모두 달라집니다.
설사 완전히 동일한 종류의 컵이라 할지라도, 물기가 몇 방울만 더 묻어 있으면 손가락이 닿을 때의 마찰계수가 완전히 변화하겠죠.
이렇게 환경이 변화했을 때, 휴머노이드가 "동적 적응 (Dynamic Adjustment)"을 통해 즉석에서 동작 방식을 변형하는 것이 쉽지 않은 상황입니다.
이는 실패 사레에 대해 인간이 제대로 된 피드백을 주기 어렵기 때문인데요.
사실 컵을 떨어 뜨리는 상황은 너무 짧은 찰나에 발생하기 때문에, 사람이 이에 맞춰 실시간으로 로봇을 미세 조정해 이를 막기란 쉬운 일이 아닙니다.
또한 촉각 피드백을 주기 위해서는 그 데이터에 대한 수집과 분석이 선행되어야 하나, 앞서 언급한 바와 같이 이러한 프로세스가 아직 미흡한 상황이고요.
테슬라는 어떻게 문제를 풀었을까?
왜 휴머노이드의 손을 개발하는 것이 어려운지에 대해 긴 이야기를 풀어놓아보았습니다.
그렇다면 이제 궁금한 것은,
"테슬라가 과연 이 문제들을 어떻게 해결했을까?"하는 건데요.
앞서 촉각 데이터 이야기를 많이 했는데, 일단 테슬라가 출시할 옵티머스 Gen 3의 경우 손에 촉각 센서를 포함한 것으로 알려져 있습니다.
그렇다면, 설사 이 문제를 완전히 해결하지 못했다하더라도 촉각 데이터를 다루는 문제에 대해 최소한의 가설적인 해결책은 갖고 있지 않을까 기대해보게 되는데요.
옵티머스의 손이 얼마나 높은 완성도로 개발이 되었을까요? 테슬라가 어떻게 이런 난제들을 해결했을까요?
근시일 내에 이와 관련해 재미있는 소식이 들려온다면, 또다시 이야기를 해볼 수 있으면 좋겠습니다.
참고 자료
- The Developments and Challenges towards Dexterous and Embodied Robotic Manipulation: A Survey (Gaofeng Li, Ruize Wang, Peisen Xu, Qi Ye, and Jiming Chen)
- Why Today’s Humanoids Won’t Learn Dexterity (Rodney Brooks, 25/09/26)
의견을 남겨주세요