1．뉴스
로봇 연구에서 촉각 데이터를 모으는 경쟁이 시작되었습니다. 미국 전기전자공학자협회(IEEE)의 기술 매체 IEEE Spectrum은 2026년 9월 10일 「Robots Are Learning to Feel」이라는 기사에서, 대학 연구실과 스타트업들이 새로운 촉각 데이터셋과 그 데이터를 쓰는 기법을 앞다투어 만들고 있다고 전했습니다. 기사의 진단은 분명합니다. 로봇이 일상의 일을 해내지 못하게 막는 가장 큰 장벽 가운데 하나가 손의 섬세한 조작이고, 촉각이 그 열쇠가 될 수 있지만, 쓸 만한 데이터가 부족해 진전이 막혀 있었다는 것입니다.
부족했던 것은 양만이 아닙니다. 기사에 따르면 촉각 센서의 데이터는 로봇 학습 모델이 주로 배우는 이미지 데이터와 성격이 전혀 다르고, 센서마다 바탕이 되는 물리도 다릅니다. 어떤 센서는 전기 저항의 변화를 재고, 어떤 센서는 말랑한 젤 패드가 눌려 일그러지는 모습을 카메라로 찍습니다. 그래서 대부분의 촉각 연구가 특정 센서에 묶여 있고, 연구실끼리 데이터를 나누거나 배운 것을 옮기기 어렵다고 칭화대 석사과정 연구자 위안청보(Chengbo Yuan)는 설명했습니다.
위안의 팀은 이 문제를 정면으로 다루었습니다. 공개된 촉각 로봇 데이터를 3,000시간 넘게 모았는데, 여기에는 21종의 센서와 여러 형태의 로봇이 섞여 있습니다. 팀은 이 데이터를 한 모델이 함께 배울 수 있게 하려고, 센서마다 다른 출력을 하나의 공통 형식으로 바꾸고 그것을 사람 손 모양 템플릿 위의 정해진 위치에 대응시켰습니다. 기사는 이 모델이 학습 중에 한 번도 본 적 없는 하드웨어에서도 비교 모델보다 훨씬 좋은 성과를 냈다고 전했습니다.
2．공개된 구성
이 작업은 FTP-1이라는 이름의 논문으로 2026년 6월에 공개되었습니다. 칭화대를 중심으로 로봇 손 기업 Sharpa, 상하이교통대, UC 버클리, ETH 취리히의 연구자들이 함께 썼고, 논문은 사전학습한 모델과 데이터셋과 학습 코드를 프로젝트 누리집에서 제공한다고 밝혔습니다.
논문이 다룬 센서 21종은 출력의 생김새에 따라 세 종류로 나뉩니다. 접촉면을 영상으로 찍는 이미지형이 7종, 격자 모양으로 늘어선 감지 단위가 각각 값을 내는 배열형이 5종, 힘과 토크 같은 몇 개의 수치를 내는 상태형이 9종입니다. 데이터는 26곳의 출처에서 왔고, 다시 비율을 맞춘 뒤에는 사람 손에서 얻은 데이터가 약 20퍼센트, 손가락이 여럿인 로봇 손이 약 30퍼센트, 집게처럼 두 면으로 집는 그리퍼가 약 50퍼센트를 차지합니다. 사람 손 데이터는 촉각 센서를 단 장갑을 끼고 기록했습니다.
이 이질적인 데이터를 하나로 묶는 장치에 논문은 MTTS(Morphology-Aware Tactile Token Space)라는 이름을 붙였습니다. 형태를 고려한 촉각 토큰 공간이라는 뜻입니다. 논문은 이것을 “a unified interface across sensors”, 센서들을 가로지르는 통일된 접점이라고 소개합니다. MTTS는 24개의 칸으로 되어 있습니다. 0번부터 14번까지는 사람 손의 기능 영역이고, 15번부터 20번까지는 손목과 손가락의 힘과 토크이며, 21번부터 23번까지는 앞으로 쓸 자리로 비워 두었습니다. 어떤 센서의 신호든 먼저 이 칸 가운데 하나에 배정되고, 이미지형이냐 배열형이냐 상태형이냐에 따라 각기 다른 방식으로 변환된 뒤 같은 칸에 들어갑니다. 칸마다 그 칸이 어느 영역인지를 알려 주는 표식이 붙는데, 이 표식은 모든 센서가 함께 씁니다. 왼손과 오른손은 따로 구분합니다.
두 면으로 집는 그리퍼에는 손가락이 없습니다. 그래도 MTTS는 그리퍼 양쪽 면의 센서를 각각 엄지 끝 칸과 검지 끝 칸에 배정합니다. 집게의 두 면이 데이터 위에서는 사람의 엄지와 검지가 되는 셈입니다.
결과도 공개되었습니다. 학습에 쓴 센서로 한 실제 과제 평가에서 FTP-1은 평균 62.5퍼센트의 성공률을 냈고, 학습에 한 번도 쓰지 않은 두 센서로 한 세 가지 과제에서는 평균 46.6퍼센트를 냈습니다. 같은 조건의 비교 모델들은 처음 보는 센서에서 15.0퍼센트를 넘지 못했습니다. 논문은 스스로의 한계도 적었습니다. 이번 작업은 촉각을 지각하는 일에 집중했을 뿐 촉각이나 힘을 바탕으로 동작을 실시간으로 조절하는 일은 아직 다루지 않았고, 사전학습 데이터의 규모와 다양성도 아직 제한적이라는 것입니다.
3．같은 사태를 네 자리로 다시 세운 표
M4는 경험을 네 자리로 나누어 읽습니다. 감각과 표현의 자원이 모드(Mode)이고, 그 자원이 실현될 때 걸리는 조건과 태도가 모달(Modal)이며, 둘이 결합해 정서와 행동과 정체성까지 아우르며 성립하는 총체적 경험 구조가 모달리티(Modality)입니다. 이 모든 과정이 실현되는 환경적·기술적·사회적 기반이 미디엄(Medium)입니다. 미디엄이 모드와 모달이 설 수 있는 범위를 정하고, 그 안에서 모드와 모달이 결합해 모달리티를 낳으며, 그렇게 생긴 모달리티가 다시 미디엄을 고쳐 달라고 요구하는 순환을 이룹니다.
이 표에서 무게가 실리는 자리는 Modal입니다. 접촉 자원은 이미 여러 연구실에 흩어져 있었습니다. 이번 작업이 새로 내놓은 것은 자원이 아니라, 그 자원을 하나의 데이터로 읽게 하는 조건입니다.
4．Mode · 서로 다른 물리로 받는 접촉
로봇이 무언가에 닿았을 때 받는 것은 하나의 촉각이 아닙니다. 저항 변화를 재는 센서는 눌린 정도를 전기 값으로 받고, 젤 패드 센서는 일그러진 표면의 영상을 받으며, 힘·토크 센서는 몇 개의 수치를 받습니다. 같은 사과를 쥐어도 어떤 센서는 그림을, 어떤 센서는 격자의 값을, 어떤 센서는 숫자 여섯 개를 남깁니다.
M4로 보면 이것은 서로 다른 Mode입니다. 사람에게 촉각이 하나의 감각처럼 느껴지는 것과 달리, 기계의 촉각은 처음부터 서로 다른 물리 위에 놓인 여러 자원으로 주어집니다. 기사가 지적한 어려움, 곧 촉각 연구가 센서마다 갇혀 있었다는 사정은 이 자원들이 서로 번역되지 않은 채 각자의 형식으로 쌓여 왔다는 뜻이기도 합니다.
여기서 구분해 둘 것이 있습니다. 「촉각도 데이터가 된다」고 할 때, 접촉이 숫자로 기록되는 일 자체는 새롭지 않습니다. 센서는 원래 값을 냅니다. 새로운 것은 서로 다른 센서의 값이 하나의 데이터로 합쳐질 수 있게 된 일입니다. 접촉이 데이터가 되는 것과 접촉들이 하나의 데이터가 되는 것은 다른 일이고, 둘 사이에는 Mode만으로는 채워지지 않는 자리가 있습니다.
5．Modal · 사람 손이라는 공통 형식
그 자리를 채우는 것이 MTTS입니다. 21종의 센서가 내는 값은 MTTS의 24칸 가운데 하나에 배정될 때 비로소 같은 데이터의 일부가 됩니다. 칸에 배정되지 않은 신호는 이 형식 안에서 촉각 데이터로 다루어지지 않습니다. M4로 옮기면 MTTS는 접촉 자원이 촉각 데이터로 실현되기 위해 통과해야 하는 조건, 곧 Modal입니다.
이 조건의 내용을 보면 태도가 드러납니다. MTTS는 신호를 물리로 분류하지 않고 위치로 분류합니다. 저항 센서든 젤 패드든 상관없이, 그 신호가 사람 손으로 치면 어디에 해당하느냐가 칸을 정합니다. 신호의 출처는 센서이지만, 신호를 읽는 기준은 사람 손입니다. 이미지형, 배열형, 상태형이라는 물리의 차이는 칸에 들어가기 전의 변환 단계에서만 다루어지고, 칸에 들어간 뒤에는 모든 센서가 같은 위치 표식을 함께 씁니다. 차이는 입구에서 처리되고, 안에서 모든 센서가 함께 쓰는 기준은 위치뿐입니다.
그리퍼의 경우가 이 태도를 가장 선명하게 보여 줍니다. 그리퍼에는 엄지도 검지도 없지만, 데이터 위에서 그리퍼의 두 면은 엄지 끝과 검지 끝이 됩니다. 이것은 착오가 아니라 설계입니다. 두 면으로 집는 동작이 사람 손에서는 주로 엄지와 검지가 맞서는 동작이라는 기능의 유사성에 기대어, 서로 다른 몸의 접촉을 같은 자리에 겹쳐 놓은 것으로 읽힙니다. 데이터의 절반을 차지하는 그리퍼의 촉각이 사람 손 지도의 두 칸에 모이고, 손가락이 여럿인 로봇 손과 장갑을 낀 사람 손의 촉각이 나머지 칸에 놓입니다. 몸이 다른 접촉들이 한 지도 위에서 만납니다.
처음 보는 센서에서 나온 결과는 이 조건이 실제로 작동한다는 근거로 읽을 수 있습니다. 비교 모델들이 15.0퍼센트를 넘지 못한 자리에서 FTP-1이 46.6퍼센트를 낸 것은, 새 센서의 신호도 사람 손 지도의 어느 칸에 놓이는 순간 이미 배운 것과 연결될 수 있었다는 뜻으로 읽힙니다. 위안이 말한 “some kind of common sense of tactile knowledge”, 일종의 촉각 상식은 M4의 자리에서 보면 이 공통 조건 위에 쌓인 학습의 다른 이름입니다.
표 2의 마지막 줄은 따로 볼 만합니다. 사람에게 촉각은 어디에 닿았느냐만이 아니라 차가운지, 거친지, 떨리는지, 아픈지이기도 합니다. MTTS가 공개한 것은 위치의 지도이고, 이 지도가 그런 촉각의 질을 어떻게 담는지, 담는지 여부부터 논문에는 적혀 있지 않습니다. 촉각이 데이터가 되는 조건이 위치라면, 그 조건을 통과하는 것은 촉각 가운데 위치로 말할 수 있는 부분입니다. 이것을 결함이라고 단정할 수는 없습니다. 논문이 목표로 한 손 조작 과제에서는 어디에 어떤 힘이 걸렸느냐가 가장 중요한 정보일 수 있습니다. 다만 「촉각도 데이터가 된다」는 문장이 이 사례에서 정확히 뜻하는 바는, 촉각 전체가 아니라 사람 손 지도 위에 위치를 가질 수 있는 촉각이 데이터가 된다는 것입니다.
6．Modality · 판정을 유보하는 자리
Modality는 총체적 경험 구조의 자리입니다. 이 사례에서 그 자리를 무엇으로 채울 수 있는지 묻는다면, 답은 아직 채울 수 없다는 것입니다.
로봇 쪽에서 보면, 모델이 촉각 상식을 얻었다는 말은 성능의 향상을 설명하는 연구자의 표현입니다. 그 모델이 무엇을 겪는지, 겪는다고 말할 수 있는지는 이 글이 판정할 수 있는 범위 밖에 있습니다. 그래서 이 글은 로봇 쪽 Modality를 비워 둡니다.
사람 쪽에도 빈자리가 있습니다. 데이터의 약 20퍼센트는 촉각 장갑을 낀 사람의 손에서 나왔습니다. 그 사람들은 실제로 무언가를 쥐고, 닦고, 돌렸을 것입니다. 그러나 공개된 것은 그들의 손이 남긴 압력의 기록이고, 그 순간 그들이 무엇을 느꼈는지는 기록되지 않았습니다. 사람의 촉각 경험이 데이터가 되는 과정에서 남는 것은 사람 손 지도 위의 값이며, 경험의 나머지는 이 데이터의 바깥에 있습니다.
7．Medium · 센서 21종과 80개 기관의 표준
이 사례의 Medium은 먼저 센서 21종과 출처 26곳입니다. 어떤 물리로 접촉을 받을 수 있는지, 어떤 몸에서 데이터를 얻을 수 있는지가 이 기반에서 정해집니다. 데이터의 절반이 그리퍼에서 왔다는 비율도 기반의 사정입니다. 지금 현장에서 가장 많이 쓰이는 로봇 손이 무엇이냐가 데이터의 생김새를 먼저 정합니다. 공개된 모델과 데이터와 코드는 다른 연구실이 같은 형식 위에서 작업할 수 있게 하는 기술적·사회적 기반입니다.
기사는 다음 단계도 전했습니다. 위안의 연구 그룹은 현재 80개 기관이 함께하는 협업을 이끌며, 촉각 데이터의 수집과 처리를 표준화한 방식으로 더 큰 원격 조작 시연 데이터를 모으고 있습니다. 지금까지는 각자 수집한 데이터를 나중에 공통 형식으로 옮겼다면, 이제는 처음부터 공통 방식으로 수집하는 기반을 만드는 단계로 넘어가고 있습니다.
여기서 순환을 말하려면 조심해야 합니다. 이론의 순환은 Medium이 범위를 정하고, 그 안에서 Mode와 Modal이 결합해 Modality를 낳고, 그 Modality가 Medium을 고쳐 달라고 요구하는 경로를 따릅니다. 이 사례에서 관찰되는 것은 공통 형식이라는 Modal을 따라 수집 기반이 다시 짜이는 움직임입니다. 그 움직임이 어떤 Modality의 요구에서 나왔는지는 6절에서 비워 둔 만큼 말할 수 없습니다. 그래서 이 사례의 순환은 닫히지 않은 채로 적어 둡니다. 확인할 수 있는 것은 기반이 바뀌고 있다는 사실까지입니다.
8．아직 말할 수 없는 것
공개되지 않은 것이 넷입니다. 사람 손의 기능 영역 15칸이 각각 손의 어느 부분인지에 대한 세부 정의는 논문의 그림에 있다고만 적혀 있어 이 글에서는 확인하지 못했습니다. 온도, 질감, 진동, 통증 같은 촉각의 질이 이 형식에 담기는지는 적혀 있지 않습니다. 80개 기관 협업의 표준 수집 방식이 MTTS를 그대로 따를지도 밝혀지지 않았습니다. 촉각 장갑을 낀 사람들의 경험은 기록되지 않았습니다.
논지가 약해지는 조건도 적어 둡니다. 사람 손이 아닌 다른 기준, 예를 들어 센서의 물리나 접촉면의 넓이를 기준으로 짠 공통 형식이 처음 보는 센서에서 같은 성과를 낸다면, 이 글이 사람 손이라는 기준에 둔 무게는 그만큼 줄어듭니다. 그때 중요한 것은 사람 손이 아니라 공통 형식이 있다는 사실 자체가 됩니다. 또 위안이 짚었듯 지금까지 촉각 학습의 기여가 이미 할 수 있던 과제를 더 효율적으로 배우게 한 데 머문다면, 촉각이 데이터가 되었다는 말의 무게도 그 범위 안에서 읽어야 합니다.
서로 다른 물리로 받던 접촉이라는 Mode는 사람 손의 지도에 위치를 배정하는 Modal을 통과할 때 비로소 하나의 촉각 데이터가 되고, 그 조건을 따라 Medium은 다시 짜이기 시작했지만, 그 데이터가 어떤 Modality에 닿는지는 아직 비어 있습니다.
출처
IEEE Spectrum, Edd Gent, 「Robots Are Learning to Feel」, 2026-09-10. https://spectrum.ieee.org/tactile-data-robots
Chengbo Yuan 외, 「FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation」, arXiv:2606.13102, 2026-06-11(v2 2026-06-19). https://arxiv.org/html/2606.13102v2
확인 날짜 2026-10-11
의견을 남겨주세요