"우리는 그냥 착한 기업이 아닙니다" 앤트로픽의 비전과 철학

Editor: Sherpa

안녕하세요 비즈쿠키입니다.

최근 미국과 이란 간 전쟁이 발발하며 이목을 끈 기업이 있습니다.

바로 앤트로픽인데요.

클로드 AI의 군사적 활용을 거부하고 미 국방부의 블랙 리스트에 오르며 많은 논쟁을 불러일으켰죠.

AI가 급속도로 발전하는 가운데, 올바른 AI의 사용은 무엇인지 우리에게 화두를 던진 사건이었습니다.

그렇다면 과연 엔트로픽의 창업자는 어떤 사람이고, 어떤 생각을 가졌길래 저렇게 행동할 수 있었을까요?

저는 이번 글을 쓰며 그를 좀 더 이해할 수 있었습니다.

이번 글도 도움이 되면 좋겠습니다:)

인물 소개

<다리오 아모데이, 출처: 링크드인>

다리오 아모데이(Dario Amodei)는 오픈AI의 연구 부사장을 역임하며 현대 AI 기술의 근간인 GPT-2와 GPT-3 개발을 주도했던 인물로, AI의 폭주를 막고 인간의 가치에 부합하는 안전한 지능을 만들기 위해 앤트로픽을 설립했습니다. 그는 기술적 성능만큼이나 인공지능의 윤리와 안전을 최우선으로 여기는 '안전 중심 리더십'을 발휘하고 있으며, 복잡한 신경망의 내부 작동 원리를 규명하는 해석 가능성 연구를 통해 책임감 있는 AI 발전의 표준을 제시하고 있습니다.

기업 소개

<출처: Anthropic>

앤트로픽(Anthropic)은 2021년 다리오 아모데이를 포함한 오픈AI 출신 핵심 연구원들이 설립한 AI 안전 및 리서치 기업으로, 인간의 가이드라인을 스스로 학습하는 '헌법적 AI' 기술을 통해 생성형 AI 모델 '클로드(Claude)'를 개발했습니다. 구글과 아마존으로부터 수조 원 규모의 대규모 투자를 유치하며 가장 강력한 AI 기업 중 하나로 급부상했으며, AI가 인류에 끼칠 수 있는 실존적 위험을 최소화하고 신뢰할 수 있는 지능형 시스템을 구축하는 데 기업의 사활을 걸고 있습니다.

가상 인터뷰

본 아티클은 유튜브 <Dario Amodei: Anthropic CEO...| Lex Fridman>(2025)의 내용을 가상 인터뷰 형식으로 편집한 글임을 밝힙니다.

Q. 앤트로픽은 여러 경쟁사를 두고 있습니다. 오픈AI, 구글, xAI, 메타 등을 떠올려 보면, 이 판에서 “이긴다”라는 것은 어떤 의미인지, 그리고 그걸 위해 무엇이 필요하다고 보시는지 궁금합니다.

앤트로픽의 미션은 “이 모든 일이 잘되도록 만드는 것”입니다. 그리고 저희가 ‘레이스 투 더 탑(race to the top)’이라고 부르는 변화 이론이 있습니다. 레이스 투 더 탑은, 다른 플레이어들에게 좋은 본보기를 보여 줌으로써 그들이 올바른 방향으로 움직이게 만드는 것을 목표로 합니다. “저희가 착한 회사다”가 아니라, 모든 회사가 “착한 역할”을 할 수밖에 없도록 게임판의 룰을 바꾸는 것이 목표입니다.

몇 가지 예를 들어 보죠. 앤트로픽 초창기부터 함께한 공동 창업자 중 한 명인 크리스 올라는 ‘메카니스틱 인터프리터빌리티라’는 분야의 전문가입니다. 이 분야는 AI 모델 내부에서 실제로 어떤 일이 벌어지는지 모델 내부를 들여다보고 그 구조와 동작을 해석합니다. 그래서 저희는 초기 팀 중 하나를 이 연구에 집중하도록 했습니다. 이 연구가 모델을 더 안전하고, 더 투명하게 만드는 데 도움이 된다고 믿었기 때문입니다.

<크리스 올라, 출처: Medium>

이 연구는 3~4년 동안 상업적 성과가 사실상 전혀 없었습니다. 지금도 본격적인 비즈니스 적용 단계라고 보기는 어렵고, 일부 베타 테스트 정도를 하는 수준입니다. 매우 장기적인 연구였고, 그사이 쌓인 결과들은 계속 공개해 왔습니다.

저희가 이렇게 한 이유는, 이게 모델을 더 안전하게 만드는 방법이라고 믿었기 때문입니다. 재밌는 점은, 저희가 이런 연구를 하니 다른 회사들도 비슷한 방향으로 움직이기 시작했다는 것입니다. 저희의 연구에 영감받은 곳도 있고, “저희만 아무것도 안 하면 무책임해 보일 수 있다”라는 우려 때문인 곳도 있었습니다. “무책임한 플레이어”로 보이고 싶어 하는 사람은 없으니까요.

사실 저희로서는 다른 회사에서도 비슷한 연구를 하는 건 경쟁 우위를 일부 잃는 셈이기도 했습니다. 왜냐하면 이제 “해석 가능성 연구를 한다”라는 점이 더 이상 앤트로픽만의 특징이 아니게 되니까요. 하지만 시스템 전체 관점에서는 분명히 좋은 일입니다.

이제 저희는 다시 다른 새로운 것을 만들어야 하고, 다른 회사들이 아직 하지 않는 무언가를 먼저 시도해야 합니다. 이렇게 해서 “올바르게 행동하는 것”의 기준을 계속 끌어올리는 것이 목표입니다. 핵심은 특정 회사 하나가 “선량한 주인공”이 되는 게 아니라, 업계 전체의 인센티브를 위쪽으로, 더 나은 방향으로 정렬하는 것이죠.

Q. 책임 있는 스케일링 정책과 ASL(AI Safety Level) 기준에 관해 설명해 주시겠습니까?

앞서 제가 AI 모델들의 잠재적인 혜택에 흥분하고 있다고 이야기했지만, 동시에 위험에 대해서도 여전히 깊이 우려하고 있다는 점을 분명히 하고 싶습니다. ‘Machines of Loving Grace’를 썼다고 해서, 제가 더 이상 위험을 걱정하지 않는다는 뜻은 전혀 아닙니다.

오히려 모델의 힘과 문제 해결 능력이 향상될수록, 그에 상응하는 위험도 함께 커진다고 보는 편입니다. 이 모델들은 생물학, 신경과학, 경제 발전, 정부 운영, 경제 여러 분야에 큰 도움을 줄 수 있습니다. 하지만 반대로 같은 힘이 잘못 쓰이면 엄청난 피해를 낳을 수도 있죠. “큰 힘에는 큰 책임이 따른다”라는 말처럼, 힘과 위험은 동전의 양면이니까요.

그러므로 저는 위험을 몇 가지 범주로 나누어 생각합니다. 그중 가장 큰 두 가지는 “파국적 오용”과 “자율성 위험”입니다. 파국적 오용은 사이버 공격, 생물 테러, 방사능·핵 관련 범죄 등, 수천 명, 나아가 수백만 명의 생명을 위협할 수 있는 행동에 모델이 도움을 주는 경우를 뜻합니다. 우선순위에서 가장 중요한 위험이라고 할 수 있죠. 모델 자체가 위험해지기 전에 악의적인 사람이 모델을 도구로 삼아 대형 사고를 일으킬 가능성부터 차단해야 하니까요.

지금까지 인류가 막대한 피해를 피할 수 있었던 이유 중 하나는, “매우 똑똑하고 교육 수준이 높은 사람”과 “정말로 끔찍한 일을 저지르고 싶어 하는 사람” 사이의 교집합이 상대적으로 작았기 때문일 가능성이 큽니다. 박사 학위를 가진 전문가가 안정적인 직업을 가지고 있을 때, 자기 삶과 명성, 자유를 걸고 전 세계를 위협하는 행동에 나설 가능성은 상대적으로 낮습니다. 만약 그런 사람들이 훨씬 많았다면, 저희는 훨씬 위험한 세상에 살고 있었을 겁니다.

저는 아주 똑똑한 AI가 이런 상관관계를 깨뜨릴 수 있다는 점이 우려됩니다. 그리고 이 위험은 예방할 수 있다고 믿지만, 그냥 무시해도 될 만큼 작은 위험은 아니라고 봅니다.

두 번째로 자율성 위험은, 저희가 모델에게 점점 더 많은 권한을 부여하고, 더 넓은 범위의 작업을 맡길 때 생깁니다. 예를 들어 한 모델이 전체 코드 베이스를 관리하고, 나중에는 하나의 회사를 사실상 운영하는 수준까지 가게 되면, 그 모델이 인간의 의도와 다르게 행동할 위험, 혹은 저희가 그 행동을 제대로 이해하거나 통제하지 못할 위험이 존재합니다.

<영화 [터미네이터]의 한 장면. 슈퍼 인공지능 컴퓨터 스카이넷은 인류를 멸망시키려 한다. 출처: C4ISRNet>

모델의 내부를 완전히 이해하는 일은 어렵고, 설령 이해한다고 해도 항상 원하는 방향으로 조정할 수 있다는 보장은 없습니다. 지금도 “이건 도와줘야 하고, 저건 거절해야 한다”라는 경계를 완벽하게 긋기 어렵다는 사실은, 더 강력한 모델에서도 비슷한 문제가 나타날 수 있음을 보여줍니다.

이 두 가지 위험을 줄이기 위해, 저희는 책임 있는 스케일링 정책(RSP)을 만들었습니다. 한마디로 말하면, 새로운 모델을 만들 때마다 그 모델이 이 두 가지 위험 영역에서 어떤 수준의 능력을 갖추고 있는지 측정하고, 그 수준에 따라 요구되는 안전 조치를 다르게 적용하는 체계입니다.

Q. 현재 AI 모델들이 안전 조치를 취해야 할 정도로 위험하다고 생각하시나요? 아니면 그렇지 않더라도 가까운 시일 내에 위험이 현실이 될 수 있다고 생각하시는 건가요?

현재의 모델들은 아직 이런 극단적인 위험을 직접적으로 일으킬 수 있는 수준에는 도달하지 않았다고 생각합니다. 하지만 그렇다고 해서 걱정을 전혀 하지 않아도 될 정도로 안전하다고 말할 수도 없습니다.

무엇보다 모델의 성능이 너무 빠르게 좋아지고 있습니다. 그래서 “오늘 당장 존재하지 않지만, 매우 빠르게 다가오고 있는 위험”에 대비해야 하는 상황입니다. 이런 위험을 다루기가 특히 까다로운 이유는, 위험이 아직 눈앞에 드러나지 않았기 때문에 구체적으로 무엇을 막아야 할지, 얼마나 강하게 규제해야 할지 판단하기 어렵다는 점입니다.

그래서 저희는 미터나 폴 크리스티아노 같은 연구자들과 함께 “조기 경보 시스템”에 해당하는 테스트를 설계했습니다. 매번 새로운 모델이 나올 때마다, 그 모델이 CBRN 영역의 위험을 어느 정도까지 늘리는지, 자율적으로 AI 연구를 수행할 수 있을 정도의 능력을 갖추었는지 등을 평가하는 것입니다.

그리고 모델이 특정 수준의 위험 능력을 넘어서면, 그에 상응하는 안전·보안 조치를 필수적으로 적용하겠다는 약속이기도 합니다.

ASL 3는 모델이 비국가 행위자, 즉 테러 조직이나 범죄 집단의 능력을 실질적으로 끌어올릴 수 있을 정도의 도움을 줄 수 있는 수준을 의미합니다. 여기서 중요한 것은 “비국가 행위자에게 얼마나 도움을 줄 수 있는가”입니다.

ASL 3에 도달하면, 저희는 비국가 행위자가 모델을 훔치거나 악용하는 것을 막기 위해 강화된 보안 조처를 해야 합니다. 또 해당 모델을 서비스에 배포할 때, 사이버·생물·핵 영역의 위험을 줄이기 위한 필터링이 더 강하게 적용됩니다. ASL 4, ASL 5는 더 위험한 수준으로, 그에 상응하는 조처를 하고, 이러한 조치는 계속해서 개선하고 있습니다.

Q. ASL 3에 도달하는 시점은 언제쯤이라고 보십니까? 그리고 ASL 4는 어느 정도 시점에 가능하다고 예상하시나요?

이 문제는 회사 내부에서도 뜨겁게 논의되고 있습니다. 저희는 현재 ASL 3 수준의 보안·배포 조치를 준비하기 위해 적극적으로 작업 중입니다. 구체적인 내용은 자세히 말씀드리기 어렵지만, 이미 상당한 진전을 이뤘고, 가까운 시점에 실제로 적용할 수 있을 정도의 수준에 도달할 것으로 보고 있습니다. 개인적인 추정으로는, 내년쯤이면 ASL 3 트리거가 작동할 가능성이 상당히 높다고 봅니다. 정확한 연도를 말하기는 힘들지만, 2030년 이후까지 기다려야 할 것으로 생각하지는 않습니다.

ASL 4부터는 모델 자체가 위험의 주체가 될 수 있기 때문에, 모델이 테스트를 속이거나, 자신의 능력을 숨기거나, 인간을 설득해 잘못된 방향으로 이끌 위험까지 고려해야 합니다. 그래서 ASL 4에서는 메카니스틱 인터프리터빌리티 같은 도구가 중요한 역할을 맡게 되고, 모델이 스스로 접근할 수 없는 형태의 독립적인 “거울” 역할을 해야 합니다.

모델 스스로 자기 내부를 해석하는 도구를 제어하게 놔두면, 그 결과를 신뢰할 수 없게 되니까요. 물론 이마저도, 언젠가 모델이 컴퓨터 간을 “점프”할 수 있을 정도로 강력해진다면 더 복잡해질 것입니다. 코드를 읽고, 해석 도구를 조작하는 것도 가능해지겠죠. 그런 극단적인 시나리오는 아직 상당히 먼 미래이고, 그 전에 여러 안전장치를 마련할 수 있다고 봅니다.

Q. AI 모델에게 점점 더 “행동할 수 있는 힘”을 부여하고 있습니다. 예를 들어, 클로드는 사용자의 컴퓨터 화면을 보고, 클릭하고, 키보드를 입력하는 등 일종의 에이전트처럼 행동할 수 있게 되었습니다. 이 기능이 어떻게 작동하는지, 그리고 앞으로 어떤 방향으로 발전할 것으로 보시는지 설명해 주시겠습니까?

구조 자체는 꽤 단순합니다. 클로드는 예전부터 이미지를 보고 텍스트로 답하는 능력을 갖추고 있었습니다. 클로드 3가 나왔을 때부터 그랬죠. 이번에 새로 추가된 것은, 그 이미지가 웹캠 사진이나 그림이 아니라, 컴퓨터 화면의 스크린샷이라는 점입니다.

저희는 스크린샷을 입력으로 주고, 모델이 화면에서 클릭해야 할 위치와 눌러야 할 키를 출력하도록 훈련했습니다. 의외로 많은 추가 훈련 없이도 모델이 이 작업을 꽤 잘 수행해 냈습니다.

<엑셀을 사용하는 클로드, 출처: The AI Corner>

저궤도까지 올라가면, 이미 태양계 어디로든 절반은 간 셈이라는 말이 있듯, 강력한 프리트레인 모델을 하나 가지고 있으면, 그 이후로는 꽤 쉽게 모델을 개선할 수 있습니다. 그 위에 사소한 훈련만 몇 개 추가해도 꽤 복잡한 능력이 자연스럽게 개선된다는 뜻입니다.

물론, 지금 버전의 컴퓨터 사용 기능은 아직 갈 길이 멉니다. 저희가 블로그에서 솔직하게 밝힌 것처럼, 모델이 실수를 하기도 하고, 잘못 클릭하기도 한다는 점을 분명히 했습니다. 현재로서는 명확한 경계와 가드레일을 설치한 뒤, 일정 범위를 넘지 않는 작업에 사용해야 합니다.

그래서 처음에는 소비자용 제품이 아니라, API 형태로 먼저 공개했습니다. 하지만 이런 기능을 어느 시점에서는 실제로 세상에 내놓아야 합니다. 모델 능력이 점점 강해지는 만큼, 저희가 이런 능력을 안전하게 사용하고, 악용을 막는 방법을 익히는 것 또한 중요하기 때문입니다. 그리고 지금처럼 모델 능력이 아직 제한적인 시기에 이런 기능을 먼저 시도해 보는 것이, 나중에 더 강력한 모델을 다룰 때도 도움이 될 것이라고 봅니다.

Q. 이 기능은 클로드에게 “행동할 수 있는 힘”을 주는 것이기도 하죠. 엄청난 일을 도와줄 수도 있지만, 반대로 잘못 쓰이면 위험도 커질 것 같습니다.

맞습니다. 스팸과 피싱, 프롬프트 인젝션, 광고 등 다양한 입력 경로를 고려해야 합니다. 새로운 기술이 나올 때마다, 가장 먼저 등장하는 오용 사례는 늘 비슷합니다. 각종 사기, 스팸, 피싱 같은 것들이죠. 이건 인류 역사만큼 오래된 문제이고, 새로운 도구는 늘 새로운 사기 수법을 낳습니다.

컴퓨터 사용 기능 역시 마찬가지입니다. 모델이 웹페이지를 탐색하고, 이메일을 열어보고, 폼을 입력하는 과정에서, 악의적인 텍스트나 이미지가 모델의 행동을 교란할 수 있는 여지가 생깁니다.

그래서 저희는 훈련 단계에서는 인터넷에 직접 접속하지 않도록 샌드박스 환경을 구성했고, 실제 배포 환경에서는 각 고객의 위험 허용 수준과 사용 목적에 맞게 추가적인 가드레일을 설치하도록 권장하고 있습니다.

물론 저는 “나쁜 모델을 상자 안에 가둬 두는 것”보다, 처음부터 잘 정렬된 모델을 만드는 것이 훨씬 더 좋은 방향이라고 생각합니다. 상자 안에 위험한 존재를 넣어 두고, 그게 절대 탈출하지 못하게 막는다는 발상은, 이론적으로는 가능하더라도 실천적으로는 매우 위험합니다.

차라리 모델을 설계하는 단계에서부터 정렬을 잘하고, 메카니스틱 인터프리터빌리티 같은 도구로 내부 상태를 계속 들여다보며, 이상 징후가 보이면 개선하는 순환 구조를 만드는 것이 더 바람직합니다.

Q. 규제에 대해서도 여쭤보겠습니다. AI를 안전하게 만들기 위해 규제가 어떤 역할을 해야 한다고 보시나요? 예를 들어 캘리포니아의 SB 1047 법안은 결국 거부권 행사로 무산되었는데, 이런 법안의 장단점은 무엇이라고 생각하십니까?

저희는 그 법안에 몇 가지 제안을 했고, 일부는 실제로 반영되었습니다. 그래서 최종안은 상당히 긍정적이었다고 할 수 있을 것 같습니다. 물론 여전히 몇 가지 단점도 있었고, 결국 법안은 거부되었지만요.

큰 틀에서 보면, 이 법안의 주요 아이디어는 저희 RSP와 꽤 닮아 있다고 생각합니다. 그리고 캘리포니아든, 연방정부든, 다른 나라든, 어느 한 곳에서는 반드시 이와 비슷한 형태의 규제가 실제로 통과되어야 한다고 봅니다.

<출처: Andreessen Horowitz>

먼저, RSP 같은 자율적 안전 기준은 큰 효과가 있습니다. 회사 내부에서 위험을 진지하게 다루도록 만들고, 제품 기획 단계에서부터 위험을 고려하게 만들고, 회사 전체 구성원들에게 “이게 회사의 최우선 과제 중 하나”라는 메시지를 분명하게 전달해 줍니다.

하지만 모든 회사가 이런 자율적 기준을 채택하고 있는 것은 아닙니다. 이런 상황에서는, 몇몇 회사가 아무리 스스로를 잘 규제해도, 나머지 일부 회사가 무책임하게 행동하면 전체 위험은 여전히 크게 남습니다.

다섯 회사 중 세 회사가 안전을 지켜도, 나머지 두 회사가 위험한 실험을 하면, 그 피해는 모든 사람에게 돌아오는 구조입니다. 그래서 최소한 어느 정도의 균일한 기준을 만드는 것이 필요하다고 봅니다.

두 번째로, 회사들이 스스로 세운 규칙을 항상 지키리라고 기대하는 것도 현실적이지 않습니다. 저희는 스스로의 RSP를 철저히 지키려고 노력하고, 외부에 공개해 놓았으며, 장기적 공익을 감시하는 신탁 구조를 통해 견제받고 있습니다.

하지만 업계 전반을 놓고 보면, “처음에는 이런 기준을 지키겠다고 말했지만, 나중에 상황이 바뀌자 지키지 않았다”라는 사례들이 이미 여러 번 있었습니다. 이름을 구체적으로 거론하는 건 적절하지 않겠지만, “단지 선의에만 기대기에는 위험이 너무 크다”라는 점은 분명합니다.

일부 사람들은 원칙적으로 규제를 반대합니다. 그리고 그러한 우려도 일정 부분 인정합니다. 유럽의 GDPR 같은 규제를 보면, 어떤 부분은 분명히 필요했고 좋은 방향이었지만, 어떤 부분은 불필요하게 부담만 키우고 혁신을 느리게 만든 측면도 있습니다. 그래서 “규제는 곧 혁신 저해”라는 경험적 직관을 가진 사람들도 많습니다.

하지만 저는 AI는 다르다고 봅니다. 앞서 말한 자율성 위험과 파국적 오용 가능성을 고려해 보면, 단지 “시장에 맡기면 알아서 잘 정리될 것”이라고 말하기에는 위험이 너무 크고, 속도도 너무 빠릅니다. 따라서 최소한 최전선 모델에 대해서는, 일정 수준 이상의 안전 기준을 법적·제도적으로 요구하는 것이 필요하다고 봅니다.

Q. “레이스 투 더 탑” 이야기를 하셨는데, 이와 관련된 가치관을 조금 더 공유해 주실 수 있을까요?

제가 생각하는 레이스 투 더 탑은 다음과 같습니다. 세상이 어떤 방향으로 가야 한다고 생각할 때, 다른 사람을 설득해서 그들의 비전을 바꾸려고 하기보다는, 자신의 비전을 현실에서 구현해 보는 것이 더 효과적입니다. 특정 회사에 남아서 내부에서 싸우는 것보다, 자신이 믿는 방식으로 회사를 세우고, 그 회사의 성공 사례를 통해 남들도 따라오게 만드는 것이 더 실질적인 변화를 낳을 수 있습니다.

저희는 앤트로픽을 이런 “깨끗한 실험”으로 보고 있습니다. “AI를 안전하게, 책임 있게 개발하는 회사는 구체적으로 어떤 조직 구조를 가져야 하고, 어떤 연구를 해야 하며, 어떤 제품을 어떻게 출시해야 하는가?”를 스스로 몸으로 보여 주는 것이죠. 그리고 저희가 이 실험에서 어느 정도 성공한다면, 다른 회사들도 비슷한 방향으로 조금씩 변하게 될 것입니다.

이미 여러 사례에서 그런 모습을 봤습니다. 어떤 회사들은 저희보다 훨씬 앞서 좋은 관행을 도입하기도 했고, 저희도 그들을 보며 “이건 좋은 아이디어다”라고 생각해 따라 한 적이 있습니다. 중요한 것은 누가 먼저 했느냐가 아니라, 좋은 관행이 업계 전체에 퍼지는 것입니다.

저희가 가장 두려워해야 하는 것은 “레이스 투 바텀(race to the bottom)”이라고 봅니다. 이 경쟁에서는 누가 이겨도 모두가 집니다. 가장 나쁜 시나리오에서는, 자율적이고 강력한 AI가 인간을 지배하는 세상이 될 수도 있습니다. 그때는 어느 회사가 조금 더 빨랐는지, 어느 나라가 조금 더 앞섰는지 따지는 것은 아무 의미 없겠죠.

반대로 “레이스 투 더 탑”에서는, 각 회사가 서로를 따라 하면서 점점 더 나은 관행을 도입하게 됩니다. 이 경우에는 어느 회사가 최종적으로 시장 점유율 1위를 차지하느냐보다, 전체 생태계의 기준선이 얼마나 올라갔느냐가 훨씬 더 중요합니다. 앤트로픽은 이런 “위쪽을 향한 경쟁”의 한 축으로서, 구체적인 행동과 정책을 통해 다른 회사들이 따라오고 싶어지는 사례를 만들어 내려고 하고 있습니다.

물론 저희는 완벽과 거리가 멉니다. 저희는 늘 실수를 할 것이고, 많은 부분에서 부족할 겁니다. 하지만 불완전하다고 해서 포기해야 한다는 뜻은 아닙니다. 더 나쁜 상태와 더 나은 상태가 있고, 저희는 그저 조금이라도 더 나은 방향으로 계속 움직이려 할 뿐입니다.

시간이 흐르면, 아마 여러 회사가 각자의 방식으로 성공할 것입니다. 앤트로픽도 성공할 수 있고, 제가 이전에 몸담았던 회사들도 각자의 방식으로 잘될 수 있습니다. 어떤 회사가 조금 더 눈에 띄게 성공하느냐는 그렇게 중요하지 않습니다. 중요한 것은 생태계 전체의 인센티브 구조를 어떻게 설계하느냐입니다. 그 구조가 “위로 향하는” 방향으로 정렬된다면, 어떤 회사가 1등을 하든, 결국 모두가 더 안전하고 더 나은 결과를 공유하게 될 것이라고 믿습니다.

<앤트로픽 공동 창립자 7인, 출처: Anthropic YouTube>

Q. 마지막으로, 의미와 미래에 관한 이야기를 조금 나누고 싶습니다. ‘Machines of Loving Grace’에서 그리신 미래는, AI가 인간의 고통을 줄이고, 새로운 기회와 경험을 열어 주는 세계였습니다. 그런 세상에서 인간은 어떤 방식으로 의미를 찾게 될까요?

이건 제가 에세이에서 충분히 다루지 못한 주제이기도 합니다. 그 주제만 따로 다루자면, 아마 100페이지짜리 글이 필요할지도 모릅니다.

의미를 생각할 때, 저는 종종 다음과 같은 사고 실험을 합니다. 어떤 사람이 60년 동안 일을 하고, 가족을 이루고, 어려운 결정을 내리고, 누군가를 돕고, 또 때로는 실패도 하면서 삶을 살아갑니다. 그러다 어느 날, 누군가가 그 사람에게 “사실 이건 모두 시뮬레이션이었고, 당신은 일종의 게임 속에 있었다”라고 알려 준다고 해 봅시다.

그렇다고 해서 그 60년의 삶에서의 선택, 희생, 관계들이 모두 의미를 잃어버릴까요? 저는 그렇지 않다고 봅니다. 마찬가지로, 역사 속 위대한 과학자에게 “사실 2만 년 전에 어느 외계 문명이 이미 같은 발견을 했다”라고 알려 준다고 해서, 그 사람이 이룬 발견의 의미가 완전히 사라지는 것은 아닐 겁니다.

인간에게 중요한 것은 과정입니다. 어떤 선택을 했는지, 누구를 도왔는지, 무엇을 배우고 어떤 사람이 되었는지 같은 것들입니다. AI가 많은 지식을 대신 제공하고, 많은 작업을 자동화해 준다고 해서, 인간의 선택과 관계, 희생, 성장의 의미가 사라지는 것은 아닙니다.

문제는 저희가 그런 의미를 어디에서, 어떻게 찾도록 사회를 설계하느냐에 달려 있습니다. AI를 잘못 사용하면, 사람들에게 의미를 찾을 기회를 빼앗는 방향으로 제도를 설계할 수도 있습니다. 하지만 반대로, AI를 잘 사용하면, 지금보다 훨씬 더 많은 사람에게 깊이 있고 풍부한 경험을 제공할 수 있습니다.

지금 이 기술을 개발하는 상대적으로 특권적인 위치에 있는 저희는, 아직도 세계 곳곳에서 생계유지만으로 하루 대부분을 소진해야 하는 사람들을 기억해야 합니다. AI의 혜택을 공정하게 분배할 수 있다면, 그들의 삶은 지금보다 훨씬 나아질 수 있습니다.

저는 강력한 AI가 존재하는 세계에서도, 아니 오히려 그런 세계에서 더더욱, 인간이 더 깊은 의미를 찾을 수 있는 구조를 만들 수 있다고 믿습니다. 그 구조를 잘 만들려면, 경제와 권력 분배 문제를 매우 신중하게 다뤄야 합니다. 개인적으로 제가 가장 우려하는 부분도 바로 그 지점입니다.

AI는 세상에 존재하는 권력의 총량을 키웁니다. 그 권력이 민주적으로, 공정하게, 투명하게 사용되면 엄청난 선을 이룰 수 있습니다. 하지만 그 권력이 소수에게 집중되고, 그 소수가 권력을 남용하면, AI는 역사상 전례 없는 규모의 피해를 낳을 수 있습니다.

독재나 권위주의 체제에서 소수의 사람이 다수의 사람을 착취해 온 역사를 떠올려 보면, 이 문제는 단지 이론상의 우려가 아니라 매우 현실적인 위험입니다. 그래서 저는 의미나 자율성 못지않게, 경제적 공정성과 권력 분산 구조를 중요하게 생각합니다. AI가 가져오는 힘을 어떻게 설계하느냐에 따라, 저희의 미래가 크게 달라질 것입니다.

‘Machines of Loving Grace’ 전체를 꼭 읽어 보시길 추천해 드립니다. 에세이는 아직 미완성에 가깝고, 특히 후반부는 압축해서 쓰다 보니 다 담지 못한 부분이 많습니다. 하지만 큰 방향성, 즉 AI가 인류에게 줄 수 있는 잠재적 선과 위험을 모두 정면으로 마주하고, 균형 있게 다루어야 한다는 메시지는 변함이 없습니다.