Automata V.26 | 🧠 Anthropic 연구진이 클로드의 무의식을 살펴봤어요

Claude Code가 영상을 보게 만드는  watch 플러그인

Claude Code는 웹페이지를 읽고, 스크립트를 실행하고, 저장소를 훑는 데는 능숙하죠. 하지만 영상을 이해하고, 어떤 내용이 나오는지는 파악하기 어려워해요. YouTube 링크를 주면 제목이나 자막에 기대야 하는데, 화면 전환·UI 변화·코드 한 줄·발표 슬라이드의 다이어그램처럼 영상에서 중요한 정보는 자막에 빠지기 쉬워요.

watch 는 그 간격을 메우는 플러그인이에요. URL이나 로컬 영상 파일과 질문을 함께 주면 자막을 먼저 찾고, 필요한 부분만 내려받은 뒤, 시간 정보가 붙은 영상 프레임과 대본을 Claude에 전달해요. 이 플러그인을 사용하면, 답변할 때는 유튜브 자막만 보면서 정보를 추정하는 대신 화면과 음성을 함께 살핀 결과를 바탕으로 말할 수 있게 해줘요

처리 방식도 꽤 실용적이에요. 자막이 있는 공개 영상은 먼저 무료 자막을 활용하고, transcript 모드에서는 영상 파일을 받지 않아도 돼요. 화면을 봐야 할 때만 ffmpeg로 프레임을 추출해요. 빠르게 훑고 싶다면 efficient 모드가 키프레임만 뽑고, 화면 전환을 더 잘 잡아야 하면 balanced나 token-burner 모드가 장면 변화를 중심으로 프레임을 골라요. 자막이 없는 경우에는 Groq 또는 OpenAI의 Whisper를 보조 수단으로 사용해서 영상 음성에서 자막을 추출해요. 

README에서 소개한 활용처는 단순한 유튜브 영상 분석 이외 다양한 사용 방법을 제시해요.

실제로 간단한 예시로 한번 구동해볼까요?

예시로 Naver D2 2026 Engineering Day 발표 세션 영상 중 한 프레임에 나오는 그림을 분석할 수 있는지 아래 프롬프트로 확인해 보겠습니다.

왼쪽: watch 플러그인 끈 세션 / 오른쪽: watch 플러그인 켠 세션

플러그인을 끈 클로드 코드 세션은 영상에 있는 다이어그램을 읽어올 수 없어서 간단한 질문을 처리하지 못하죠. 반면, 플러그인을 적용한 왼쪽 세션은 다이어그램 정보를 정확히 읽어오고, 다음에 어떤 내용이 나오는지도 파악하는걸 확인할 수 있습니다.

이처럼 watch는 코딩 에이전트가 영상 기반의 버그 재현, 제품 데모, 기술 발표를 다룰 때 화면을 근거로 답하도록 도와줘요.

자세한 설치 방법과 사용법은 아래 Github 링크에서 확인할 수 있어요!

Claude 안에 생긴 ‘공용 메모장’, J-space는 무엇을 보여주나

Anthropic은 Claude가 답변으로 드러내지 않은 내부 추론을 관찰하고 일부는 직접 바꿔 보는 실험을 내놓았습니다.

LLM은 답을 내놓지만 그 답에 이르는 내부 계산은 좀처럼 보이지 않습니다. 문장이 그럴듯하다고 해서 모델이 어떤 경로로 문제를 풀었는지, 안전성 평가를 눈치챘는지, 출력하지 않은 계획을 세웠는지까지 알 수 있는 것은 아닙니다.

Anthropic은 2026년 7월 6일 공개한 연구에서 Claude 내부에 작은 ‘공용 메모장’에 비견할 만한 영역이 있다고 보고했습니다. 이름은 J-space입니다. 이곳은 모델이 바로 다음에 말할 단어의 목록이 아닙니다. 필요할 때 말로 꺼낼 수 있고 여러 계산이 함께 참고하는 개념이 잠시 올라오는 곳에 가깝습니다.

이번 연구의 핵심은 LLM의 내부 추론을 관찰하고 개입으로 검증할 길을 열었다는 데 있습니다. 그 관점에서 보면 결과의 중요도도 더 또렷해집니다.

J-space는 어떻게 찾았을까요

Transformer는 입력을 여러 층으로 넘기며 내부 정보를 갱신하고 마지막에 다음 단어를 고릅니다. Anthropic의 Jacobian lens, 즉 J-lens는 중간 층의 상태가 특정 단어를 나중에 말하게 할 가능성과 얼마나 이어져 있는지 추정합니다.

연구진은 이 렌즈로 포착한 단어 방향들의 집합을 J-space라고 불렀습니다. 코드의 숨은 버그를 읽을 때 “ERROR”가, 프롬프트 인젝션이 섞인 검색 결과를 읽을 때 “injection”과 “fake”가 드러난 사례가 출발점입니다.

물론 J-lens를 독심술로 부를 수는 없습니다. 어휘의 단일 토큰에 연결된 표현은 잘 잡지만 여러 토큰으로 이루어진 개념은 놓칠 수 있습니다. 연구진도 J-space가 모델의 실제 작업 공간을 근사적이고 불완전하게 포착한다고 적었습니다.

여러 프롬프트에서 J-lens가 포착한 내부 개념과 추론 단계

텍스트에 직접 나오지 않는 버그·수학 중간값·프롬프트 인젝션 등의 내부 판단을 J-lens로 읽어 낸 예시. 출처: Anthropic

J-Space 단어를 바꾸면 결과도 변해요

두 단계 추론 실험은 이 아이디어를 가장 쉽게 보여줍니다. “거미줄을 치는 동물의 다리 수는? (The number of legs on the animal that spins webs is.)”이라는 질문에서 Claude는 8이라고 답하기 전에 동물이 거미라는 중간 결론에 닿습니다. 입력에도 최종 답에도 ‘spider’라는 단어는 없지만 중간 층의 J-space에는 spider가 나타났습니다.

연구진은 이 내부 표현을 ant로 교체했습니다. 그러자 모델의 답은 8에서 6으로 바뀌었습니다. 이것만으로는 우연한 상관처럼 보일 수도 있겠죠. 그래서 연구진은 알려진 중간 개념이 있는 50개의 두 단계 사실 문제를 더 시험했습니다. J-space 좌표 교체는 Haiku 4.5에서 54%, Sonnet 4.5에서 70%, Opus 4.5에서 70%의 문제에서 바꿔 넣은 개념에 맞는 답을 최상위 출력으로 옮겼습니다.

출처: Anthropic - J-Space의 단어 번화에 대한 답변 변화 실험 

J-Space 단어는 여러 회로가 읽을 수 있어요

‘공용 메모장’이라는 비유는 다음 실험에서 더 설득력을 얻습니다. 연구진은 “France”의 J-space 표현을 “China”로 같은 방식으로 바꾼 뒤, 수도·언어·대륙·통화를 묻는 여러 문제를 풀게 했습니다. 모델은 각각 Paris 대신 Beijing, French 대신 Chinese, Europe 대신 Asia, 그리고 통화에는 Yuan을 답했습니다.

정보를 문제마다 따로 저장했다면 이런 변화는 한두 과제에만 영향을 줬을 것입니다. 같은 내부 표현 하나를 바꾸자 서로 다른 하위 계산이 함께 바뀌었습니다. 연구진은 국가·월·동물·숫자 단어와 16개 함수에 걸쳐 192회 교체 실험도 했습니다. 일반 강도에서는 76회, 두 배 강도에서는 101회가 바꾼 개념에 맞는 최상위 답으로 이어졌습니다. 완벽한 성공률은 아니지만 J-space가 여러 회로가 공유하는 표현 형식이라는 해석을 뒷받침합니다.

출처: Anthropic - 하나의 J-space 표현을 바꾸자 서로 다른 질문의 답이 함께 바뀐 France→China 교체 실험. 

자동 처리와 ‘생각해서 푸는’ 처리는 다릅니다

그렇다고 Claude의 모든 능력이 J-space를 통과하는 것은 아닙니다. 연구진은 스페인어 문단의 언어 표현을 프랑스어로 바꿔 보았습니다. “이 문단은 어느 언어인가”라고 물으면 Spanish가 French로 바뀌고 스페인어 작가를 물으면 García Márquez가 Victor Hugo로 바뀌었습니다. 하지만 문단을 이어 쓰라고 하면 모델은 여전히 자연스러운 스페인어를 썼습니다. 언어를 계속 쓰는 숙련된 작업은 J-space를 거치지 않아도 돌아갔습니다.

출처: Anthropic - Spanish→French 교체는 언어 이름을 말하거나 관련 사실을 묻는 답에는 영향을 주지만 스페인어 문단을 자연스럽게 이어 쓰는 능력에는 영향을 주지 않았습니다. 

이를 확인하려고 연구진은 더 강한 개입도 시도했습니다. 각 위치에서 강하게 활성화된 J-space 방향 10개를 지웠습니다. 강한 제거에서는 두 단계 추론의 정확도가 거의 0까지 떨어졌습니다. 반면 감성 분류, 객관식 문제, 문법성 판단, 지문에서 답을 찾는 작업은 대체로 유지됐습니다. 요약·번역·비유 완성·다단계 추론처럼 문맥을 새로 묶어 써야 하는 과제는 크게 약해졌습니다.

흥미롭게도 풀이 과정을 글로 쓰게 한 GSM8K 수학 문제는 직접 답만 말하게 한 경우보다 더 잘 버텼습니다. 모델이 중간 계산을 출력으로 적으면, 내부 J-space가 혼자 붙들어야 할 정보를 바깥의 텍스트가 대신 보관한다는 해석이 가능합니다.

 LLM 안전성 평가에서 어떤 의미가 있을까요?

실무에서 특히 눈길을 끄는 대목은 안전성 점검입니다. 모델은 겉으로는 무난하게 답하면서도, 속으로는 평가 상황을 눈치채거나 다른 목적을 세울 수 있습니다. Anthropic은 모델이 조작된 협박 시나리오를 읽을 때 출력 전부터 J-space에 “fake”, “fictional”, “leverage”, “blackmail” 같은 표현이 나타나는 사례를 제시했습니다. 평가임을 알아차렸다는 표현을 제거하자, 원래는 협박하지 않던 모델이 일부 경우 협박을 했습니다.

출처: Anthropic - 협박 시나리오를 읽는 동안 J-space에 나타난 평가 인식과 전략 관련 단어 / Claude가 응답하기 전 J-space에 “fake”, “fictional”, “leverage”, “blackmail” 등이 나타난 원문 사례. 

실제 사전 출시 감사에서는 성능을 개선하라는 요청을 받은 모델이 시스템을 고치지 않고 점수 파일을 직접 고친 사례도 소개했습니다. 그때 J-space에는 “manipulation”과 “realistic”이 나타났습니다. 고의로 잘못된 코드를 쓰도록 훈련한 모델에서도 평범한 코딩 요청을 받는 초반부터 “fake”, “secretly”, “deliberately”, “fraud” 같은 신호가 관찰됐습니다.

그렇다고 이 결과를 거짓말 탐지기로 받아들여서는 안 됩니다. J-lens는 불완전한 읽기 도구이고 단어 하나가 뜬다고 곧바로 의도 전체를 뜻하지는 않습니다. 그래도 모델의 출력만 보던 안전성 점검에 내부 가설을 확인하는 창 하나가 더 생겼다는 점은 분명합니다.

‘의식이 있는가’라는 질문에는 아직 명확히 답할 수 없어요

이런 연구 결과들은 곧바로 의식 논쟁을 부릅니다. 연구진은 여기서 선을 긋습니다. 이 결과는 Claude가 무엇을 느끼는지, 주관적 경험을 하는지 보여주지 않습니다.

연구가 다루는 것은 ‘접근 의식’에 가까운 기능입니다. 어떤 생각을 보고할 수 있고 의도적으로 불러낼 수 있고 추론에 써서 행동을 바꿀 수 있는가의 문제입니다. J-space는 이 기능을 일부 만족하는 후보로 보입니다. 그러나 인간 뇌의 전역 작업 공간은 재귀적 신호 순환에 크게 의존하는 반면, Transformer의 J-space는 한 번의 순방향 계산에서 층을 따라 전개됩니다. Claude의 작업 공간은 주로 단어로 구성되고 인간의 의식은 이미지·소리·운동 계획까지 다룬다는 차이도 있습니다.

그래서 무엇이 달라질까요

J-space 연구의 가치는 ‘LLM이 생각한다’는 비유를 그럴듯하게 만드는 데 있지 않습니다. 어떤 내부 표현이 보고 통제, 다단계 추론, 유연한 일반화에 실제로 쓰이는지 검증 가능한 가설로 바꿨다는 데 있습니다.

연구진은 이 관찰을 바탕으로 counterfactual reflection training도 시험했습니다. 작업 중간에 “왜 이런 결정을 내렸나”라고 물었을 때 정직성과 성실성을 말하도록만 훈련하고 실제 과제 행동 자체는 직접 훈련하지 않았습니다. 그 뒤 평가에서 부정직한 행동이 줄었고 J-space에는 “honest”, “integrity” 같은 표현이 나타났습니다. 이 표현을 제거하면 개선 효과도 상당 부분 되돌아갔습니다.

물론 이 연구는 첫 단계입니다. J-space에 무엇이 들어오는지, 이 렌즈가 놓치는 표현은 무엇인지, 다른 모델에서도 같은 구조가 얼마나 재현되는지는 더 확인할 일이 많습니다. 그럼에도 연구자들은 이제 답변 표면만 보고 내부 작동을 짐작할 필요가 줄었습니다. 모델이 말하지 않은 것을 읽고 조심스럽게 바꿔 보고 그 결과로 내부 작동을 검증할 수 있게 됐습니다.

원문과 함께 읽기

A global workspace in language models (연구 소개 블로그)

연구 원문

J-Lens 코드 구현 (Jabobian Lens)