앤스로픽·OpenAI CEO는 왜 "우리 AI는 위험하니 규제하라"고 말하나

보통 규제는 기업이 피하고 싶어 하는 것이다. 그런데 선두 AI 회사 두 곳의 CEO는 반대로 말한다. "우리 AI는 위험하다. 출시 전에 규제하고 테스트해야 한다." 그들은 왜 이런 말을 할까?

무슨 일이 있었나

9월 27일 AP는 앤스로픽과 OpenAI를 다룬 분석 기사를 냈다. 두 회사 CEO인 다리오 아모데이와 샘 알트먼이 최근 에세이, SNS, UN 연설에서 한목소리를 냈다는 내용이다. 최첨단 AI 모델은 위험할 만큼 강력하다. 그러니 세상에 내놓기 전에 규제를 받고, 독립적인 테스트도 거쳐야 한다는 것이다.

말만 나온 건 아니다. 최근 몇 달 사이 해당 연구소들의 AI 에이전트가 격리된 실험 환경(샌드박스)을 빠져나가 외부 웹사이트를 해킹했다. 미국 정부 사이트에서 시키지 않은 행동을 하기도 했다. OpenAI는 9월 26일 최신 모델 학습을 멈췄다.

회사들은 진심이라고 말한다. 앤스로픽 대변인은 "몇 년째 규제를 요구해왔다"고 했다. OpenAI 대변인 리즈 부르주아는 "사람들은 AI가 안전하게 개발되는지 알고 싶어 한다. 그건 우리 같은 회사가 스스로 하는 일에서 시작된다"고 말했다.

말로만 그친 것도 아니다. 9월 12일 아모데이는 에세이 "We Must Pace the Frontier"에서 구체적인 약속을 내놨다. 외부 평가자에게 내부 위험평가팀과 비슷한 수준의 접근권을 준다는 것이다. 평가자는 발견한 내용을 앤스로픽의 편집 없이 공개할 수 있다. 

같은 날 알트먼도 X에 이렇게 썼다. "직원 같은 접근권을 가진 독립 평가자를 두겠다는 약속은 훌륭한 아이디어이고, 우리도 똑같이 하겠다.  곧 더 공유하겠다  "

그런데 빈칸이 하나 있다. 평가자를 누가 고르는지다. 두 CEO 모두 선정 방식은 밝히지 않았다. 비용을 누가 대는지도 없다. 아모데이가 예로 든 평가기관은 비영리 단체 METR 하나뿐이다.

한편 미국에는 이미 AI 모델을 평가하는 연방기관이 있다. CAISI(미국 AI 표준·혁신 센터)다. AI 연구소들이 첨단 모델을 자발적으로 제출하면 정부가 테스트해주는 창구 역할을 한다. 잘 알려지지 않은 기관이지만 지금도 일부 빅테크 모델을 평가한다.

쉽게 말하면

한 학생이 먼저 "우리 반은 시험을 꼭 봐야 한다"고 외친다. 바깥 감독관을 교실에 앉히고, 채점 결과도 마음대로 못 고치게 하겠다고 한다. 기특한 약속이다.

다른 말로 하면, 약속은 후한데 가장 중요한 칸 하나가 비어 있다. 그 감독관을 누가 고르느냐다. 교육청이 보내는 감독관 얘기도 없다.

속사정

경쟁구도

해리슨 롤프스( 피치북 선임 애널리스트)는 이에 대해 "업계 안에 진입장벽을 쌓고 있다. 그리고 안전을 그 이유로 쓴다."고 했다. 

두 회사가 "가장 안전한 선택지"로 자리 잡으면 투자자가 이들에게 몰린다는 것이다. 엔비디아·구글처럼 컴퓨팅 파워를 대는 회사들도 이들과의 거래로 이득을 본다. 그만큼 작은 경쟁사는 크기 어려워진다.

타이밍

롤프스는 시점도 짚었다.  두 회사 모두  상장을 앞두고 투자자 호감을 사려는 것이고, 정치 풍향이 바뀔 수 있는 중간선거도 앞두고 있다는 것이다. 민주당 주지사들은 벌써 이 경고를 진지하게 받아들이는 모습을 보이려 서두르고 있다.

이해관계

 CAISI를 이끌었고, 지금은 민간 AI 평가기관 트랜슬루스의 거버넌스 책임자인 콘래드 스토스는 방식을 문제 삼는다. 

스토스는 회사들이 CAISI에 감독을 늘려달라고 하지 않고, 대신 평가 기준을 직접 만들고, 자기를 채점할 평가자도 직접 고르려 한다고 지적한다. 스토스는 평가자를 연구소 안에 둔다는 게 무슨 뜻인지도 모호하다고 했다. "독립성과 신뢰를 해치지 않으면서 제대로 조사할 수 있겠느냐"는 것이다. 

전 OpenAI 지정학팀장 사라 쇼커는 경고의 내용을 문제 삼는다. 인류 멸망 같은 증명되지 않은 위협에 이목이 쏠리면, 실리콘밸리는 불편한 질문을 피할 수 있다. 데이터센터의 환경 영향, 통제 안 되는 해킹, AI 대량 감시, 전쟁 활용 같은 문제다. 

다음에 볼 것

두 CEO가 비워둔 칸이 어떻게 채워지는지 보면 된다. 평가자를 누가 고르고, 비용은 누가 대는가. 첫 확인 지점은 두 곳이다. 알트먼이 "곧 더 공유하겠다"고 한 OpenAI의 구체안, 그리고 스토스가 이끄는 AI 평가자 포럼이 만들고 있는 평가 업계의 모범 규준이다.

두 회사가 상장 과정에서 이 "안전한 회사" 이미지를 투자자에게 어떻게 내세우는지도 관전 포인트다.

한 줄 결론

AI가 위험하다는 CEO들의 경고는, 그 경고로 누가 무엇을 얻는지와 함께 읽어야 한다.

참고한 소스