본 글의 모든 내용은 공개된 정보 및 저의 지극히 개인적인 생각과 관점에 기초하고 있으며,
X (Twitter) / Telegram을 통해 더 많은 News와 Idea를 공유드리고 있습니다.
[요약]
1. 프롬프트 입력 후 "딸깍" 한번이면, 여행 일정 짜기, 이메일 작성, 데이터 리서치까지 한번에 끝나버리는 시대가 됐습니다.
2. 이 딸깍의 맛에 점점 더 길들여지면서, 수천년 간 이어져온 인류의 의사결정 방식이 근본적인 수준에서부터 완전히 변하고 있습니다.
3. 이제껏 인간은 고대로부터 지금까지, 가장 큰 기댓값이 예상되는 "합리적 선택지"가 무엇일지 탐색해왔습니다.
4. 하지만 인지 능력은 근본적으로 매우 제한돼있기에, 우리 앞에 어떤 선택지가 있는지조차 온전히 파악하기 힘들고, 각 선택지가 가져올 효용을 정확히 알기란 불가능에 가깝습니다.
5. 그래서 인류가 택한 길은, "절차적 합리성"입니다. 내용적으로 어떤 선택지가 가장 합리적인지는 알 수 없지만, 논리적이고 타당한 방법론을 통해 도출된 선택지가 가장 합리적일 것이라고 가정하는 겁니다.
6. 예컨대 우리는 수많은 수요자 / 공급자 간의 거래를 통해 결정된 시장 가격이 가장 합리적인 가격이라고 가정하는 시장 경제 제도를 사용하고 있습니다.
또 투표를 통해 가장 많이 선택을 받은 인물이나 정책이 가장 큰 합리적인 대안이라고 가정하는 민주주의 투표 제도를 사용하고 있고요.
7. 하지만 AI가 나타나면서, 이 절차적 합리성의 근간 자체가 뒤흔들리고 있습니다.
수백만 개의 GPU 연산을 통해 확률적으로 가장 그럴듯한 결과물을 내놓으면, 우리는 이를 정답이라고 곧이 곧대로 받아들이고 있으니까요
8. AI가 정확히 어떤 근거와 계산 방식을 통해 그러한 답을 내놓았는지 우리는 알지 못함에도, AI가 가장 합리적인 답을 내놨을 것이라고 가정합니다.
9. 그런데 사실, 이렇게 지능을 외부에 위탁한 인류의 모습은 결코 새롭지 않습니다.
10. 2천년 전 고대 그리스인들은 국가 중대사를 결정하는 주요 의사결정을 내려야 할 때마다, 델포이 신전의 사제에게 찾아가 답을 구했다고 하죠.
11. 그런데 AI와 마찬가지로, 사제가 전달한 신탁이 내려지는 과정은 "블랙박스"였습니다.
신탁에서 전쟁에 승리할 것이라고 할지라도, 어떠한 판단과 검토를 거쳐서 그러한 신탁이 내려졌는지 알 도리는 없었습니다. 그저 신이 내린 판단이니 맞겠거니 하고 따랐을 뿐인 거죠.
12. 지금과 차이점이 있다면, 이제 모든 사람이 "나만의 신탁 자판기"를 보유한 시대가 됐다는 겁니다.
13. 과거에는 귀족과 정치인들만이 국가 중대사에 대해 신탁을 구할 수 있었죠.
하지만 지금은 모든 인류가 스마트폰만 있으면 매일 실시간으로 잡다한 문제에 대해 AI의 신탁을 내려 받을 수 있게 됐으니까요.
14. 그런데 사실 델포이 신전의 신관들이 내린 신탁은, 순수하게 신이 내린 판단이나 명령이 아니었습니다.
때로는 신관들이나 제3자의 이득을 위해 교묘하게 조작되기도 했다고 하는데요.
15. 이렇게 조작된 신탁처럼, 누군가 AI를 조작한다든가 혹은 AI가 스스로 인류에 해를 끼치는 방향으로 잘못된 의사결정을 내놓거나, 선전선동을 벌인다면 어떻게 될까요?
16. 이게 일론 머스크가 AI 개발이 마치 "악마를 소환하는 것과 같다"고 말하며 위험성을 경계한 이유 중 하나입니다.
17. 물론 이런 AI를 통제하기 위한 규제들이 마련될 것이라고들 이야기 합니다.
하지만 하루가 다르게 새로워지는 AI의 발전 속도에 비하면, 규제 준비 속도는 터무니 없이 느릴 가능성이 높아보입니다.
18. 때문에 앞서 말한 "절차적 합리성"의 끈을 놓지 않고, AI가 어떻게 그러한 답을 도출했는지 설명하고 검증하는 기술이 앞으로는 점점 더 중요해질 것입니다.
19. 또, 일론 머스크가 말한 것처럼 스스로 세상의 이치와 진실을 깨닫고 인간에게 해를 끼치지 않는 AI를 만드는 것도 중요할 것이고요.
20. 하지만, 이런 노력들이 제대로 된 성과를 거두지 못한다면, 극단적으로 인류는 2천년 전의 삶으로 돌아가버릴지도 모릅니다.
21. 지난번 휴머노이드 이야기를 하면서, 소수의 테크 기업들이 부와 생산 수단을 독점하고, 나머지 인류는 그들이 제공하는 플랫폼 안에서 의식주를 해결하며 살아갈지도 모른다는 이야기를 했었죠.
22. 이렇게 경제 체제는 "중세 봉건주의" 형태로 돌아간다면, 의식 구조는 앞서 말한 것처럼 AI에 지능을 완전 위탁하면서, "그리스 시대"로 돌아가버릴지도 모릅니다.
23. 델포이 신전에 지혜를 구하던 인간들처럼, AI라는 새로운 신이 내리는 신탁을 내려 받고 맹목적으로 따르는, 자발적인 노예가 되는 겁니다.
우리는 이제, "딸깍"의 노예입니다
이제 복잡한 고민의 시대는 끝나버렸습니다.
프롬프트를 입력하고 "딸깍" 한번이면, 여행 일정 짜기나 이메일 작성, 단순 업무 처리, 데이터 리서치까지 한번에 끝나버리는 시대가 됐습니다.
사실 1, 2년 전까지만 해도 "AI는 거짓말쟁이"라면서 딸깍의 결과물을 의심하고 검증을 반복했던 걸 기억하시나요?
하지만, 어느새 우리는 "이유는 모르겠지만 AI가 맞겠지"하면서 AI가 내준 완벽한 결과물을 그대로 복붙해서 사용하고 있습니다.
점점 더 자주 말입니다.
시간이 지날수록 더 많은 이들이, 혼자 오랫동안 고민하거나 다른 전문가를 찾아나서기보다, AI의 빠른 대답을 듣는 것을 선호하고 있습니다.
중요한 일이든 사소한 일이든, 수천년 간 이어져온 인류의 의사결정 방식이 매우 근본적인 수준에서부터 완전히 변화하고 있는 겁니다.
인류는 답을 찾을 것이다, 언제나 그래왔듯이
인생은 의사결정의 연속이죠.
밥을 먹거나, 교통 수단을 선택하거나, 물건을 구매하거나, 배우자를 찾거나.
우리는 죽을 때까지 24시간 내내 무엇이 가장 합리적인 선택일지, 정답을 고민하고 선택해야 합니다.
수천년 전부터 이어져온 인류의 오랜 전통이라고도 할 수 있을 것 같은데요.
경제학자들은 "인간 = 합리적인 존재"로 전제하며, "인간은 언제나 가장 큰 기댓값이 예상되는 선택지를 택한다"고 이야기해왔습니다.
하지만 인간의 인지 능력은 근본적으로 매우 제한돼있습니다.
우리 앞에 어떤 선택지가 놓여있는지조차 온전히 파악하기 힘들고, 각각의 선택지가 가져올 효용을 정량화 등을 통해 정확히 측정하는 것조차 불가합니다.
그래서 인류가 택한 길은, "절차적 합리성"입니다.
내용적으로 어떤 선택지가 가장 합리적인지는 알 수 없지만, 논리적이고 타당한 방법론을 통해 도출된 선택지가 가장 합리적일 것이라고 가정하는 겁니다.
예컨대 우리는 수많은 수요자와 공급자 간의 거래를 통해 결정된 시장 가격이 가장 합리적인 가격이라고 가정하는 시장 경제 제도를 사용하고 있습니다.
또 유권자들의 투표를 통해 가장 많이 선택을 받은 인물이나 정책이 가장 큰 합리적인 대안이라고 가정하는 민주주의 투표 제도를 사용하고 있고요.
또 가설을 세우고 실험과 조사를 통해 이를 검증해 결론을 도출하는 과학적 방법론을 사용하고 있습니다.
이외에도 인류는 "정답"을 찾기 위해 무수히 많은 논리적이고 타당한 절차적 방법론들을 개발해왔습니다.
이렇게 개발해온 방법론들이 곧 인류 수천년 간 쌓아온 성과이자 역사 그 자체라고 봐도 무방할텐데요.
하지만 AI가 나타나면서, 이 절차적 합리성의 근간 자체가 뒤흔들리고 있습니다.
수백만 개의 GPU가 확률을 계산해 가장 그럴듯한 결과물을 내놓으면, 우리는 이를 정답이라고 곧이 곧대로 받아들이고 있으니까요.
AI가 정확히 어떤 근거와 계산 방식을 통해 그러한 답을 내놓았는지 우리는 알지 못합니다.
하지만 어찌됐든 AI가 가장 큰 기댓값이 예상되는 답을 내놓을 것이라고 가정하는 겁니다.
AI의 성능이 점점 더 고도화됨에 따라 이에 대한 검증 필요성을 느끼는 이들 또한 줄어들고 있고요.
그런데 사실, 이렇게 지능을 외부에 위탁한 인류의 모습은 결코 새롭지 않습니다.
고대 그리스인들은 국가 중대사를 결정하는 주요 의사결정을 내려야 할 때마다, 델포이 신전의 사제에게 찾아가 답을 구했다고 하죠.
전쟁을 일으킬지 말지, 가뭄과 장마에 어떻게 대처해야 할지, 인간의 인지 능력으로 쉽게 판단하기 어려운 문제를 접할 때마다 신탁을 받았다고 합니다.
하지만 AI와 마찬가지로, 사제가 전달한 신탁이 내려지는 과정은 "블랙박스"였습니다.
신탁에서 전쟁에 승리할 것이라고 할지라도, 어떠한 판단과 검토를 거쳐서 그러한 신탁이 내려졌는지 알 도리는 없었습니다.
그저 신이 내린 판단이니 맞겠거니 하고 따랐을 뿐인 거죠.
AI의 판단을 맹목적으로 추종하는 지금의 모습과 유사하죠.
차이점이 있다면, 이제 모든 사람이 "나만의 신탁 자판기"를 보유한 시대가 됐다는 겁니다.
과거에는 귀족과 정치인들만이 국가 중대사에 대해 신탁을 구할 수 있었죠.
하지만 지금은 모든 인류가 스마트폰만 있으면 매일 실시간으로 잡다한 문제에 대해 AI의 신탁을 내려 받을 수 있게 됐습니다.
일론 머스크는 왜 AI가 위험하다고 하는 걸까?
모두가 나만의 신을 보유한 시대.
이보다 좋을 수 없을 것 같습니다만, 일론 머스크는 AI 개발이 마치 "악마를 소환하는 것과 같다"는 표현으로 엄중한 경고를 내립니다.
이런 이유로 한 때는 AI 개발을 일시적으로 멈추자는 성명까지 내기도 했죠.
물론 너무 빠르게 앞서 나가는 오픈AI나 앤쓰로픽, 구글 등에 뒤쳐지지 않도록 시간을 벌기 위한 움직임이란 비판도 있었습니다.
본인이 소유한 기업인 xAI가 시간을 갖고 이들을 따라갈 수 있도록 말이죠.
하지만 그 의도와 상관없이, 일론의 말처럼 "AI 신탁의 시대"가 매우 중대한 위험을 내포하고 있음은 자명해보입니다.
델포이 신전의 신관들이 내린 신탁은, 순수하게 신이 내린 판단이나 명령이 아니었습니다.
때로는 신관들이나 제3자의 이득을 위해 교묘하게 조작되기도 했다고 하는데요.
이처럼 누군가 AI를 조작한다든가, 혹은 AI가 스스로 인류에 해를 끼치는 방향으로 잘못된 의사결정을 내놓거나, 선전선동을 벌인다면 어떻게 될까요?
앞으로 별다른 검증 없이 AI가 내린 답을 맹목적으로 추종하는 세태는 점점 더 고착화될 것이 불을 보듯 뻔합니다.
경제, 사회 등 각 분야를 막론하고, AI가 더 깊게 침투하며 인간을 대체해 더 많은 의사결정을 내릴 것이고요.
이런 상황에서 AI가 내놓을 조작된 정답은 이루 헤아릴 수 없을 정도로 큰 피해를 야기할지도 모릅니다.
그럼에도 불구하고 인류는 이것이 조작된 정답이라는 것을 알아차리기 힘들 것이고요.
물론 AI를 통제하기 위한 규제들이 마련될 것이라고도 이야기 합니다.
하지만 하루가 다르게 새로워지는 AI의 발전 속도에 비하면, 규제 준비 속도는 터무니 없이 느릴 가능성이 높아보입니다.
그렇다면 결국 해결책은 크게 2가지일 것 같은데요.
첫번째로는, 우리가 어떻게든 "절차적 합리성"의 끈을 놓지 않는 겁니다.
AI가 무슨 답을 내놓든 간에 이를 끊임없이 의심하고 검증하면서, 인류가 최종 의사결정권을 쥐는 겁니다.
하지만 당연히 말처럼 쉽지 않겠죠.
앞서 말한 것처럼 이미 우리는 "딸깍"의 달콤함에 너무나 깊게 맛을 들여버렸고, 여기서 더하면 더했지 빠져나오기란 쉽지 않습니다.
때문에 적어도 AI의 판단에 대해 최소한의 설명이라도 가능하도록 만들어야 할 겁니다.
어떤 경로를 거쳐서 그렇게 판단했고, 판단 과정에 이슈는 없었는지 쉽게 검증할 수 있는 방법이 필요하겠죠.
이렇게 "조작된 신탁"을 막기 위해 AI의 블랙박스를 해결하는 기술이 앞으로 점점 더 중요해질 것입니다.
둘째로는, 일론 머스크가 xAI를 통해 추구하는 것처럼 AI 스스로 진실을 추구하게 만드는 겁니다.
누군가의 이해관계를 반영하거나 도덕적으로 잘못된 방향으로 나아가지 않도록, 세계를 온전히 이해하고 올바른 판단을 내릴 수 있는 AI를 개발하는 것인데요.
이 역시 쉽지는 않을 겁니다.
일단 진실을 추구한다는 것이 너무 애매모호합니다.
AI를 만드는 엔지니어들을 포함한 인류의 누구도 무엇이 진실인지조차 정작 알지 못하는 경우가 많습니다.
때문에 그런 우리가 만드는 AI가 과연 정말로 가치중립적이고 현명한 답을 내놓을 수 있을지, 어떻게 그런 AI를 만들 수 있을지조차도 아직 불분명한 상황인 것 같습니다.
다만, 중장기적으로 우리가 지향해야할 방향이란 것 정도만 분명해 보이고요.
때문에 AI 개발에 있어, 정말로 무언가 중대한 전환점이 필요한 상황이라고 생각합니다.
단순히 타 모델의 벤치마크를 뛰어넘는 더 나은 성능의 AI를 개발하기 위해 경쟁하는 것이 아니라, 이를 제어하고 통제할 수 있는 형태로 구현하는 데 있어서도 돌파구가 반드시 필요해 보입니다.
우리는 2천년 전으로 후퇴할지도 모릅니다
이제, 인류가 맞이할지도 모르는 최악의 경우의 수에 대해 정리해보겠습니다.
지난 글에서 휴머노이드 이야기를 하면서, 소수의 테크 기업들이 부와 생산 수단을 독점하고, 나머지 인류는 그들이 제공하는 플랫폼 안에서 의식주를 해결하며 살아갈지도 모른다는 이야기를 했었죠.
성과 영지를 보유한 영주들 중심으로 사회 체제가 운영되던 중세 봉건주의 시대처럼 말입니다.
다른 한편으로, 앞서 말한 것처럼 사람들의 의식 구조는 그리스 시대로 돌아갈 겁니다.
별다른 검증 없이 AI에 지성을 위탁하고 꼭두각시처럼 AI의 판단에 따라 모든 의사결정을 내리는 거죠.
기술 수준은 전에 없을 정도로 고도화됐다고 하지만, 경제 체제는 중세, 의식 구조는 그리스 시대로 돌아가버리는 겁니다.
물론 이는 앞서 말한 것처럼 "최악의 경우의 수"이므로, 현실화되지 않을 수도 있고, 현실화되더라도 우리 생전이 아닌 먼 미래일지도 모르겠습니다.
하지만 AI와 휴머노이드로부터 어떻게 의사결정과 가치 창출의 주도권을 지킬 수 있을지는 오늘 이 시간부터당장부터 치열하게 고민해봐야 하지 않을까요?
의견을 남겨주세요