테슬라는 자율주행이란 문제를 어떻게 풀고 있나? ①

[요약]

1. 테슬라의 관점에서 인간은 살 덩어리로 만들어진 '고기 컴퓨터(Meat Computer)'입니다.

2.  ‘고기 컴퓨터’의 생물학적 인지/판단/제어 과정을 카피한 ‘실리콘 컴퓨터’를 만들 수만 있다면, 인간 운전자 수준의 자율주행이 가능하다는 것이 테슬라의 철학입니다.

3. 이를 위해선 먼저, ‘고기 컴퓨터’가 바라보는 것과 동일한 방식으로 ‘실리콘 컴퓨터’도 세상을 볼 수 있어야 합니다.

4. 그래서 테슬라는 AI가 주변 사물을 정확히 인지하기 위한 3차원 가상 현실 화면을 만들고 있고, 이를 위해 인간 뇌의 정보 처리 방법까지 적극 모방하고 있습니다.

5. 뿐만 아니라 개발 목표 역시 '인간'을 기준점으로 두고 있는데요.

6. 테슬라 FSD의 지향점은 사고율 제로의 완전 자율주행이 아닌, '인간보다 더 안전한 수준'입니다.

7. 인간보다 낫기만 하면 된다는 철학과 목표가 기저에 깔려 있기에, 미래 FSD의 모습은 우리의 상상과 조금 다를지도 모르겠습니다.

아직, 숙제로 남아 있는 2번째 마스터 플랜

3월 1일, 테슬라의 "3번째 마스터 플랜"이 공개된다고 합니다. 

새로운 차량 플랫폼, 테슬라봇, 스페이스X 등 다양한 목표들이 포함될 것으로 예상되며 많은 사람들의 기대를 모으고 있지만, 저는 왠지 모르게 찝찝한데요. 

2016년 일론 머스크가 먼저 제시했던 2번째 마스터 플랜의 목표들이 아직 달성되지 못한 채 남아있기 때문입니다.

2번째 마스터 플랜에서 제시된 4가지 목표 중, 주목해야할 부분은 자율주행과 관련된 3번째와 4번째 항목입니다.

3번째 목표는 “수동 운전보다 10배 더 안전한 자율 주행 기능 구현”인데요. 

이와 관련해선 테슬라에서 FSD와 오토파일럿 사용 시 사고율 감소에 대한 통계를 지속적으로 제시하고 있어, 어찌저찌 달성됐다고 보고 넘어갈 수도 있을 겁니다.

하지만 4번째 목표인 “로보택시 사업화”는 아직 시작할 기미조차 보이지 않고 있습니다. 

로보택시는 운전석에 사람이 없어도 스스로 도로를 누비며 택시 역할을 하는 서비스를 말합니다. 이런 서비스가 상용화되기 위해선, 운전자 없이 달릴 수 있는 레벨 5 수준의 완벽한 운전 자동화가 필요할텐데요. 

하지만 레벨 5는 커녕 레벨 3도 아직 쉽지 않아 보이는게 테슬라의 현 상황입니다.

그래서 3번째 마스터 플랜 발표를 앞둔 지금 이 시점에서, 2회차에 걸쳐 테슬라의 자율주행 개발 현황에 대해 다시 돌아보려 합니다. 

테슬라는 자율주행이란 문제를 어떤 방식으로 풀고 있을까요?

테슬라 FSD는 현재 어느 수준까지 왔을까요?

테슬라 FSD는 언제, 어떤 모습으로 완성될까요?

테슬라는 자율주행이란 문제를 어떻게 풀고 있나?

자율주행이란 문제를 해결함에 있어, 테슬라의 기본적인 철학은 “인간이 할 수 있다면 컴퓨터도 할 수 있다”는 겁니다. 

테슬라 관점에서 인간은 살 덩어리로 만들어진 ‘고기 컴퓨터’(Meat Computer)에 불과합니다. 이 고기 컴퓨터가 운전을 하는 데 필요한 부품은 두 눈과 두뇌, 그리고 손/발이 전부인데요.

두 눈으로 외부 환경을 촬영하면, 이 이미지 데이터를 두뇌가 재구성 및 해석하고, 손/발에 제어 지시를 내리는 방식으로 운전이 이뤄집니다.

이런 ‘고기 컴퓨터’의 생물학적 인지/판단/제어 과정을 그대로 모방한 ‘실리콘 컴퓨터’를 만들 수만 있다면 자율주행이 가능하다는 것이 테슬라의 철학입니다.

그 유명한 ‘라이다는 바보들이나 쓰는 장치다’라는 일론 머스크의 발언 역시 이러한 철학에서 뻗어나온 판단인데요.

물론 주변 물체를 정확하게 탐지할 수 있는 라이다가 있다면, 당연히 안전하게 달리는 데 도움이 되겠죠. 

하지만 우리 인간, ‘고기 컴퓨터’는 라이다 없이 두 눈의 비전(Vision)만으로도 운전을 꽤나 잘 해나가고 있습니다. 뿐만 아니라 ‘고기 컴퓨터’가 달리는 전세계의 도로 상의 표지판이나 차선 같은 운전 인프라 역시 이런 비전 기반 운전 방식에 이미 최적화돼 있습니다. 

때문에 비전을 이용해 인간이 운전하는 방식을 정확히 카피할 수만 있다면, 굳이 라이다 같은 센서를 쓰지 않고도 자율주행을 완성할 수 있다는 것이 테슬라의 관점입니다.

(이런 점에서 “라이다가 비싸기 때문에 안 쓰는 거다”, “라이다가 저렴해지면 테슬라도 쓸거다”와 같은 가격 관련 논의는 테슬라 관점에서 애초에 핵심에서 벗어난 이야기입니다)

사실 얼마 전까지만 해도 자율주행과 관련된 논의는 이렇게 “어떤 센서를 쓰는가”에 집중됐었죠. 카메라를 쓰냐 라이다를 쓰냐, 혹은 레이다를 쓰냐 안 쓰냐와 같은 이야기에 관심과 이목이 쏠렸습니다.

이런 상황에서 테슬라는 두 차례의 AI Day행사를 통해 자신들의 접근법을 공개하면서, 논의의 판을 ‘센서’에서 ‘AI’로 완전히 바꿔버렸습니다.

수십 명의 테슬라 엔지니어가 무대에 올라 외계어를 늘어놓았지만, 결국 핵심은 하나였다고 생각합니다.

자율주행 문제를 해결하기 위한 키는 “눈”이 아닌, “뇌”에 있다는 겁니다.

카메라를 쓰냐 라이다를 쓰냐가 중요한 게 아니라, 수집한 정보를 제대로 인지하고 이에 기반해 정확한 판단을 내릴 수 있는 두뇌를 가졌느냐가 모든 걸 좌우할 겁니다.

그렇다면, 테슬라의 ‘실리콘 컴퓨터’는 ‘고기 컴퓨터’의 뇌를 어떻게 모방하려는 걸까요?

여기에 대한 상세한 설명이 바로 AI Day에서 소개되었는데요. 기초적인 내용 몇 가지만 소개해보려 합니다.

1. 3차원 벡터 공간 구현

지구에는 많은 생물들이 살고 있지만, 이들이 바라보는 세상의 모습은 조금씩 다릅니다.

예를 들어, 초록색 소나무 한 그루가 있다고 해보겠습니다.

시력이 약한 박쥐는, 주변 물체를 통해 반사된 초음파를 통해 이 소나무의 존재를 감지할 겁니다.

반면, 초음파 없이 시각에 전적으로 의존하는 인간은 눈으로 바라봐야 비로소 소나무가 있다는 걸 알게 되겠죠.

또, 개는 인간과 마찬가지로 시각에 의존하지만, 적록 구분이 어려워 인간과 달리 소나무가 초록색으로 보이지 않을 겁니다.

이런 관점에서 보면, 어쩌면 지금 우리가 보고 있는 세상의 모습이 실제 물리적인 현실과 조금 다를지도 모르겠습니다.

우리가 보고 있는 건, 인간 신체 하드웨어를 이용해 인간이 보기 편한 방식으로 만들어 낸 “인간용 화면”일 뿐이기 때문입니다.

물론 그 정확도가 매우 높기에, 평소 우리는 두 눈으로 보는 세상이 물리적인 세상과 100% 일치한다고 생각하긴 하죠.

뿐만 아니라, 사람들이 흔히 사람들이 생각하는 것과 달리 두 눈만으로는 세상을 정확하게 바라볼 수 없습니다.

생각외로 ‘뇌’의 역할이 매우 중요한데요.

지금 여러분이 보고 있는 화면은, ‘눈’이라는 카메라가 현실 세계를 촬영한 뒤, ‘뇌’라는 컴퓨터에서 이 이미지에 색을 입히고 3D로 재구성한 결과물입니다. 

예를 들면, 사과라는 물체는 붉은 색이 아닙니다. 사과에 반사된 빛을 우리 뇌가 인식하고 사과를 붉은색으로 보이도록 뇌가 컬러링해서 보여주는 겁니다. 

이렇게 뇌가 현실을 재구성하는 과정에서, 현실과 다른 오류를 만들어내는 버그, '착시 현상'이 발생하기도 합니다. 

예를 들면, 아래 이미지를 누구나 한번쯤은 보셨을 겁니다.

두 선분의 길이가 실제로는 동일함에도 우리 눈에는 아래 선분이 더 길어보이는 ‘뮐러 라이어 착시’ 현상이라고 하는데요.

이렇게 가끔 발생하는 버그를 제외하면, ‘고기 컴퓨터’는 꽤나 정확한 화면을 만들어냅니다.

그래서인지 테슬라는 '고기 컴퓨터'에 굉장히 높은 리스펙을 보내는데요.

인간처럼 운전하고자 한다면, ‘고기 컴퓨터’가 바라보는 것과 동일한 방식으로 ‘실리콘 컴퓨터’도 세상을 볼 수 있어야 한다는 게 테슬라의 생각입니다.

이를 위해, 테슬라는 AI를 위한 3차원 가상 공간 화면을 만들고 있습니다. 

테슬라 차량의 전후좌우로 장착된 8개의 카메라에서 수집된 화면을 하나로 합쳐, 지금 우리가 눈으로 보고 있는 것과 같은 화면을 자동차도 볼 수 있게 하는 겁니다. 

마치 GTA나 심즈와 같은 게임 화면처럼 말이죠.

일단 이런 방식으로 정확한 벡터 공간을 만들어내기만 하면, 이를 바탕으로 차량을 올바르게 움직이는 일은 그렇게까지 어렵지 않을 것이라고 일론 머스크는 말합니다.

마치 GTA에서 주변 사물과 부딪치지 않고 플레이어의 자동차를 운전하는 것처럼 말이죠.  

2. 기능 분담에 따른 효율적 정보 처리

그럼 이렇게 인간이 눈으로 보는 것처럼 정확한 화면을 테슬라는 어떻게 만들어내려는 걸까요? 

뇌와 동일한 수준으로 만들고 싶다면, 뇌의 작동 방식을 그대로 모방하는 게 제일 간편한 접근법일 겁니다.

그럼 우리 뇌는 어떻게 우리가 보고 있는 화면을 만들어내는 지부터 알아야겠죠?

위 사진처럼 우리 주변 물체에 빛이 반사되면, 이는 눈으로 들어와 각막을 통해 굴절되고, 눈 안쪽 깊이 있는 망막에 물체의 상이 맺히게 됩니다. 

이는 다시 전기 신호로 변환돼 뇌의 뒤쪽에 위치한 '후두엽'의 시각피질이란 부위로 전달되는데요. 

'후두엽'은 1차적으로 기본적인 정보를 가공하는 역할을 합니다. 우리가 보고 있는 물체가 무엇인지 형태, 색깔 등 기본적인 정보를 인식하는 겁니다.

이렇게 처리된 정보들은 다시 '두정엽'과 '측두엽'이란 부위로 나뉘어 전달됩니다. '두정엽'은 물체의 속도, 위치, 거리 등의 정보를, '측두엽'은 형태와 색상 등의 정보를 조금 더 상세하게 파악합니다. 

꽤나 복잡한 과정을 거치는 것 같지만, 이 모든 과정이 눈깜짝할 사이 진행돼 지금 우리가 보고 있는 화면을 실시간으로 만들어내고 있습니다.

결론적으로, 인간의 뇌는 후두엽에서 1차적인 기초 정보를 분석하고, 2차적으로 조금 더 자세한 정보는 두정엽과 측두엽으로 보내 각 부위에서 전문적인 분석을 수행하는 구조로 작동하는데요.  

테슬라는 이런 뇌의 작동 방식을 모방하기 위해 ‘하이드라넷’이라는 구조를 만들었습니다. 

하이드라는 그리스 신화 속 머리가 여러 개 달린 괴물을 말하는데요.

공통적인 기본 특징을 몸통에서 먼저 분석하고, 여러 개의 머리가 각각 전문적으로 상세 정보를 분석하는 시스템 구조를 괴물에 비유한 겁니다.

조금 더 자세히 살펴보면, 하이드라넷은 Backbone, Neck, Head 3가지 파트로 구성돼 있습니다.

테슬라 차량 전후좌우에 달린 8개 카메라가 촬영한 이미지는 보정을 거쳐 Backbone으로 전달됩니다. 

Backbone, Neck에서는 BiFPN, RegNet 등의 기술을 활용해, 이미지에서 1차적으로 파악할 수 있는 기본적인 특징을 추출하는데요. 여기서 파악한 정보들은 마치 여러 개의 신경 다발이 신체 각 부위로 퍼져나가듯 여러 개의 Head로 전달됩니다.

그리고 나면 1차적인 정보를 바탕으로 여러 개의 Head들이 각자 전문적으로 이미지의 깊이, 차선의 모양, 주행 가능한 공간 등을 분석합니다.

이런 하이드라식 구조에는 여러 장점이 있다고 테슬라는 이야기하는데요.

공통 활용 가능한 기초적인 정보는 몸통에서 1차적으로 일괄 처리해, Head들이 불필요한 중복 연산과 추론 작업을 진행하는 사태를 방지할 수 있게 됩니다.

또 복잡한 연산을 진행하는 Head들은 서로 독립돼있어, 하나의 Head가 문제를 일으키더라도 서로 영향을 끼치지 않고 독립적으로 튜닝, 발전시켜 나갈 수 있게 됩니다. 

‘고기 컴퓨터’의 구조를 모방하는 과정에서 여러 가지 개발 상의 이점까지 취할 수 있게 된 겁니다.

결과적으로 이렇게 설명한 과정을 거쳐 위 사진처럼 좌측의 카메라들이 수집한 8개의 이미지가 우측의 스크린 속 가상 공간으로 재구성됩니다.

테슬라가 완성하려는 자율주행은 어떤 모습일까?

이렇게 테슬라는 인간의 인지 방식을 모방하는 방식으로 인간을 대체할 수 있는 자율주행을 만들려 하고 있습니다.

그럼 이런 방식으로 만들어진 테슬라 FSD는 궁극적으로 어떤 모습이 될까요?

SF 영화 속에 나오는 미래 완전 자율주행의 모습은 한마디로 완전무결합니다. 인간의 인위적인 개입이 발생하지 않는 이상 교통 사고는 절대로 발생하지 않고, 인간은 그저 뒷좌석에서 손놓고 여가를 즐기기만 하면 됩니다. 

이게 우리가 흔히 상상하는 레벨 5 자율주행의 미래죠. 

구글과 모빌아이 같은 IT 기업, 그리고 GM이나 폭스바겐 같은 전통 자동차 기업들의 지향점도 이와 동일합니다. 이들에게 자율주행 자동차에 ‘사고’는 있어선 안됩니다. 특히나 전통 자동차 제조사들은 그 DNA 부터 이런 이슈에 민감할 수밖에 없는데요.

자동차가 보급된 이후 수십 년 동안, 제조/부품 결함이 발생할 때마다 이들은 대규모 리콜과 배상을 치러야만 했습니다. 특히 인명 사고로 연결된 경우에는 몇 년 동안 벌어들인 영업이익을 과징금으로 고스란히 뱉어내야 했습니다.

대표적인 사례로, 10여년 전 품질의 대명사라 불리는 토요타조차 발생한 페달 결함으로 1,000만대에 달하는 차량을 리콜하며 조 단위 손실을 입었죠. 

때문에 이들의 관점에서 자율주행차는 어떠한 충돌도 일으키지 않을 정도로 절대적으로 안전해야 합니다. 

그래서 비싸더라도 주변 물체를 정확하게 탐지할 수 있는 라이다를 메인 센서로 적극적으로 활용합니다. 전통 자동차 제조사에 ADAS 시스템을 납품하는 모빌아이 같은 기업은, 카메라, 레이다, 라이다까지 각종 센서를 모두 함께 사용해 이중, 삼중으로 사고 상황을 예방하려 하기까지 하고요.

하지만 일론 머스크의 관점은 이들과 조금 다릅니다.

마스터 플랜 2에 명시됐듯, 테슬라 자율주행의 개발 목표는 "인간보다 10배 안전하게 달리는 것"입니다. 이후 일론 머스크는 여러 차례의 언론 인터뷰에서도 같은 내용의 이야기를 반복하는데요. 

그의 관점에선, 그 원인이 천재지변이든 AI의 결함이든 간에 사고가 절대 일어나지 않는 건 불가능합니다. 하지만 인간이 운전했을 때보다 10배나 사고를 줄일 수 있다면 그것만으로도 굉장히 의미 있다고 생각합니다.

테슬라가 미완성의 FSD를 일반 소비자 대상으로 적극적으로 판매하고 있는 것도 같은 이유라고 봅니다. 

FSD의 완성도가 아직 미흡하기에, 인간 입장에서 이해할 수 없는 급정거나 장애물 인식 불가 등의 오류를 일으키고 이 중 일부는 사고로까지 연결되고 있습니다. 

하지만, 그럼에도 불구하고 인간이 FSD 없이 홀로 운전할 때보다 더 안전하다고 판단하기에, 일단 배포하고 피드백을 받아가며 발전시켜 나가고 있는 겁니다. 테슬라는 이미 몇 년 전부터 오토파일럿이나 FSD를 사용했을 때 교통사고가 크게 줄어든다는 분석 통계를 제시해왔죠.

결국, 이런 ‘인간보다 낫기만 하면 된다는’ 철학과 목표가 기저에 깔려 있기에, FSD의 미래는 우리의 상상과는 조금 다를지도 모르겠습니다.

테슬라가 완성할 자율주행은 영화에 나오는 것처럼 어떤 사고도 발생하지 않는, 인간 운전자를 모든 환경에서 완벽히 대체할 수 있는 자율주행이 아닐 수도 있습니다. 인간을 모방해서 만든, 인간의 방식으로 운전하는, 인간보다 안전하지만 100% 완벽하지는 못한 자율주행이기 때문입니다.

폭설이나 폭우가 내리는 날이면 인간이 운전을 힘겨워 하고 사고가 빈발하는 것처럼, 아마 AI가 운전하는 자율주행차도 힘겨워 할 겁니다.

갑자기 뛰어든 보행자를 운전자가 피하지 못하고 충돌하는 것처럼, 아마 AI도 동일 상황에서 충돌할지도 모릅니다. 인간보다 빠른 반응 속도로 충돌 속도를 늦출 수는 있겠지만요.

또 처음 보는 물체를 제대로 인지하지 못하고 충돌하는, 인간이라면 나지 않았을 어처구니 없는 교통 사고도 낮은 확률로 계속 발생할지도 모릅니다.

이러한 수준의 자율주행차를 받아들일 수 없는 사람들도 분명히 있을 겁니다. 일반 소비자는 물론이고, 각국의 규제 당국 입장에선 안전을 담보할 수 없는 자율주행차가 도로를 달리도록 쉽게 허용할 수 없을 겁니다.

최근 테슬라가 레이다를 다시 도입하려 한다는 소식이 들리는데요. 이 뉴스를 위와 같은 맥락에서 해석해볼 수 있지 않을까 합니다. 

인간이 두려워하는 건 사고 그 자체가 아닌, 알 수 없는 이유로 사고가 발생할 수 있다는 불확실성이라고 생각합니다. 내가 알지 못하는 이유의 컴퓨터 오작동으로 내 안전이 위협받을 수 있다는 리스크 말입니다. 

설사 그 확률이 1백만 분의 1일지라도, AI 성능의 한계로 미처 인지하지 못한 물체와 충돌하는 것과 같은 어이없는 사고는 누구나 두려울 수밖에 없습니다.

테슬라가 만들 자율주행이 규제 당국에 의해 허용 받고, 일반 소비자에 폭넓게 받아들여지기 위해 이런 어처구니 없는 사고는 발생해서는 안될 겁니다. 사고가 나더라도, 최소한 이를 예방하기 위해 적극적으로 노력했다는 증거라도 갖고 있어야겠죠.

이를 위해서는 레이다처럼 인간 운전자에게 없던 센서 하나 정도를 추가해 최소한의 리던던시(Redundancy)를 확보하는 것이, 현실적인 해결책이 됐던 게 않을까요?

②편에서 계속 됩니다...

※ 이 글은 전기차 전문 매체 EV POST에 동시 게재됩니다.

참고자료

- Tesla AI Day

- Musk Says FSD Is Amazing, But Wants It Ten Times Safer Than Humans (InsideEVs, 21/08/26)

- Tesla Autopilot will never be perfect but could be 10x safer than humans, says Elon Musk (Electrek, 18/04/13)

- 뇌의 시각 처리와 딥 러닝 (OMNIOUS.AI, 18/09/17)

- 테슬라 미스터리... 왜 자꾸 소방차·구급차를 들이받나 (조선일보, 23/02/22)