AI 기업이 그은 '윤리적 레드라인', 전쟁 앞에서 무너지다

들어가며

구독자님, 지난주 뉴스에서 미국의 이란 공습 소식을 보셨을 거예요. 그런데 저는 이 뉴스를 보면서 다른 게 눈에 들어왔어요. 첫 24시간 동안 1,000개 이상의 표적을 타격한 이 작전의 핵심 도구가, 바로 우리가 매일 이메일 초안을 쓰고 코드를 짜는 데 쓰는 AI 모델이었다는 사실이에요. Anthropic의 Claude가 Palantir의 Maven Smart System^[1]​을 통해 미군의 정보 분석, 표적 식별, 전투 시나리오 시뮬레이션에 사용됐어요. 그것도 트럼프 대통령이 Anthropic 사용 금지를 선언한 바로 다음 날이었어요.

AI 기업들이 그동안 내세워 온 '윤리적 원칙'은 과연 전시(戰時)에도 유효한 것일까요? 이번 사태가 보여준 건 원칙과 현실 사이의 거대한 간극이에요.

Project Maven에서 이란전까지 — 8년의 궤적

이 이야기의 출발점은 2017년이에요. 미 국방부의 Project Maven은 드론 영상에서 AI로 객체를 식별하는 프로젝트였는데, 당시 구글이 이 계약을 수주했어요.

그런데 2018년 3월, 구글 내부에서 4,000명 이상의 직원이 서명운동을 벌였어요. "구글의 기술은 사람을 죽이는 데 사용해서는 안 된다"는 내용이었고, 십여 명의 직원이 실제로 퇴사했어요. 결국 구글은 국방부에 "못하겠다"고 통보했고, 같은 해 100억 달러 규모의 펜타곤 클라우드 계약 입찰에서도 "자사 AI 원칙과 부합하는지 확신할 수 없다"며 손을 뗐어요.

구글이 빠진 자리에 Palantir가 들어왔어요. AWS와 컨소시엄을 구성해 소프트웨어 개발을 맡았는데, 성과가 지지부진했어요. 전환점은 2024년이에요. Anthropic이 Palantir와 파트너십을 맺으면서 Maven Smart System이 완성됐어요. Claude가 Palantir 플랫폼 위에 올라간 거예요.

여기서 한 가지 짚어야 할 게 있어요. Anthropic은 2024년 파트너십 체결 시점에 이미 자사 기술이 국방부 드론 작전 시스템에 통합된다는 걸 알고 있었어요. 구글이 8년 전에 거부한 바로 그 역할이에요.

Anthropic의 두 가지 레드라인, 그리고 아이러니

2025년 7월, Anthropic은 국방부와 2억 달러 규모의 계약을 체결해요. 그리고 2026년 초, Anthropic CEO 다리오 아모데이는 펜타곤에 두 가지 조건을 제시했어요.

첫째, 미국 시민에 대한 대규모 감시 금지. 둘째, 완전 자율 무기 개발 금지 — 즉, 인간의 감독 없이 AI가 스스로 표적을 정해 공격하는 시스템은 안 된다는 거였어요.

국방부의 반응은 단호했어요. "모든 합법적 목적에서 우리가 알아서 할 일이지, 왜 소프트웨어 업체가 군의 작전 결정에 관여하느냐"는 입장이었어요. 국방차관 에밀 마이클은 이를 "망치가 목수에게 이렇게 치면 안 된다고 항의하는 것"에 비유했어요.

그런데 아모데이의 두 조건을 자세히 들여다보면 아이러니가 있어요. "미국 시민"에 대한 감시만 금지한다는 건, 외국인 감시는 허용한다는 뜻이에요. "완전 자율" 무기만 반대한다는 건, 부분 자율 무기는 괜찮다는 의미이기도 해요. 그리고 아모데이는 인터뷰에서 완전 자율 무기를 원칙적으로 반대하는 게 아니라 "아직 기술적 신뢰도가 충분하지 않다"고 설명했어요. 윤리적 레드라인이라기보다는 기술적 유보에 가까운 거였어요.

전쟁 전야의 빅테크 — 4사 4색 스펙트럼

Anthropic과 펜타곤의 협상이 결렬된 2월 27일, 상황이 급변했어요.

트럼프 대통령은 Truth Social에 모든 연방 기관의 Anthropic 사용 중단을 지시했어요. 국방장관 피트 헤그세스는 Anthropic을 '공급망 리스크'로 지정했어요. 이 조치는 통상 화웨이 같은 적국 기업에 적용하는 건데, 미국 기업에 적용된 건 역사상 처음이에요.

그리고 바로 그날 밤, OpenAI가 펜타곤과 기밀 환경 배치 계약을 발표했어요. CEO 샘 알트만은 "Anthropic과 같은 레드라인을 공유한다"고 했지만, 실제 계약 내용은 '모든 합법적 사용'을 허용하는 구조였어요. 알트만은 나중에 이 딜이 "기회주의적이고 엉성해 보였다"고 인정했어요. OpenAI 내부에서도 반발이 있었고, 로보틱스 부문 리더가 자율 무기와 감시 우려를 이유로 사임했어요.

한편 구글은 이미 2025년 2월에 자사 AI 원칙에서 무기·감시 금지 조항을 조용히 삭제한 상태였어요. 2018년 4,000명이 서명운동을 했던 그 원칙이에요. 공식 발표에서는 "점점 복잡해지는 지정학적 환경"을 이유로 들었어요.

xAI(일론 머스크)는 처음부터 조건 없이 정부 요청을 수용하는 입장이었고, 기밀 환경 사용 승인도 두 번째로 받았어요.

이걸 정리하면 하나의 스펙트럼이 보여요.

2018년에는 "AI를 전쟁에 쓰면 안 된다"가 실리콘밸리의 상식이었어요. 2026년에는 "두 가지 예외만 요청했을 뿐"이라는 Anthropic의 입장조차 논란이 되고 있어요. 오버턴 윈도우^[2]​가 이렇게 빠르게 이동한 거예요.

전쟁이 드러낸 공급망의 실체

이 사태에서 가장 아이러니한 장면은 따로 있어요.

트럼프가 Anthropic 사용 금지를 선언한 다음 날, 미군은 이란 공습에서 Claude를 사용했어요. 정보 분석, 표적 식별, 전투 시뮬레이션에 활용됐어요. 국방부 관계자에 따르면 Claude를 대체하려면 최소 3~6개월이 필요해요. 한 관계자는 이를 "개심수술(open-heart surgery)"에 비유했어요.

이건 비즈니스적으로 중요한 시사점이에요. AI 모델이 군 시스템에 한번 깊이 통합되면, 그건 단순한 '소프트웨어 라이선스'가 아니라 인프라가 된다는 뜻이에요. 교체 비용이 전환을 가로막는 장벽이 되는 거죠. 그래서 Anthropic이 뒤늦게 조건을 내걸었을 때 국방부가 격분한 거예요. 이미 돈도 받고 시스템에 깊이 들어간 다음에 조건 변경을 요구하는 건, 어떤 클라이언트든 받아들이기 어려운 일이에요.

동시에 이건 Anthropic의 역설이기도 해요. 이 기업은 "AI 안전"을 창업 이념으로 내세웠고, 윤리적 이미지가 브랜드 자산이에요. 실제로 이번 사태 이후 일주일 만에 하루 100만 명 이상이 Claude에 가입했고, 20개국 이상에서 앱스토어 1위를 차지했어요. 원칙을 지킨 대가로 정부 계약은 잃었지만, 소비자 시장에서는 오히려 브랜드가 강해진 거예요.

오스왈드의 시선

솔직히 말씀드리면, 저는 이 사태를 보면서 어느 한쪽을 쉽게 편들기 어렵다고 느꼈어요.

개인적인 관점에서 보면, Anthropic의 접근은 비즈니스적으로 잘못된 순서였어요. 2024년에 Palantir와 파트너십을 맺고 국방부 시스템에 깊이 들어간 다음, 2026년에 공개적으로 조건 변경을 요구한 건 타이밍과 방식 모두 문제가 있었어요. 비밀리에 국방부와 조율했다면 결과가 달랐을 수도 있어요. 하지만 공개 서한과 미디어 인터뷰를 통해 여론전을 펼친 건, 트럼프 행정부의 성격을 고려하면 예측 가능한 반발을 자초한 셈이에요. 하지만 저는 Cluade를 쓰고 약간 따뜻한 눈으로 봐준다면...

그런데 한발 물러서면, Anthropic이 제기한 질문 자체는 여전히 유효해요. AI가 표적을 식별하고, 우선순위를 매기고, 좌표를 제공하는데 — 최종 버튼만 사람이 누르면 그건 "인간의 통제 하에 있는" 건가요? 킬 체인^[3]​이 며칠에서 몇 초로 압축되는 상황에서, 지휘관이 AI의 추천을 얼마나 의미 있게 검토할 수 있을끼 하는 의문도 유효하다는 생각이 들어요. 

그리고 우리도 남의 이야기가 아니에요. 한국은 출산율 하락으로 군 인력이 계속 줄고 있어요. 국경 경비에 AI와 로봇을 투입하는 건 이미 논의 단계를 넘어섰어요. 이번 이란전에서 1,000달러짜리 자폭 드론이 수백만 달러짜리 전차를 무력화하는 장면은, 자주포와 방사포 중심의 기존 군 구조에도 근본적인 질문을 던지고 있어요.

기술이 사람의 목숨을 저울 위에 올려놓기 시작한 거예요. 그리고 저울을 기울이는 건 AI가 아니라, 결국 우리 인간의 결정이에요.

마치며

이번 사태의 핵심을 세 가지로 정리할게요.

하나, AI 기업의 윤리적 원칙은 평시의 포지셔닝 전략이었지, 전시에도 유지되는 계약적 보호장치는 아니었어요. 둘, 일단 시스템에 깊이 통합된 AI는 인프라가 돼요. 교체 비용이 원칙보다 강한 협상력을 가져요. 셋, "AI가 직접 방아쇠를 당기지 않으면 괜찮은가"라는 질문은, 앞으로 모든 나라가 답해야 할 숙제예요.

해외에서는 지금의 이란 전쟁은 세계 방산 AI 기술의 EXPO가 될 것이라 하고 있고 실제로 정말 다양한 인공지능 기술들과 탐지, 추적, 무인, 추론, 자율 등의 인공지능 기술이 사용되고 있어요. 괴연 총을 든 구인은 괜찮고 총을 든 사람은 인간적이니까 괜찮은 걸까요? 물론, 전쟁이 안나는 아름다운 세상이 가장 이상적이겠지만 그건 너무 메르헨 같은 사고방식이니 놓아둔다면 뭐든 빠르게 최소한으로 끝났으면 좋겠네요.

이 주제를 더 깊이 탐구하고 싶으시다면, 아래 참고자료 중 Lawfare의 법적 분석을 추천해요. 공급망 리스크 지정의 법적 근거가 얼마나 취약한지를 치밀하게 다루고 있어요.

참고자료 & 더 읽기

핵심 출처

배경 지식

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 KBMA와 기술경영전문대 석사과정을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.