앤스로픽 연구팀은 대규모 언어 모델 내부에서 특정 개념이 의식적으로 접근 가능한 형태로 유지되는 구조를 확인했다. 연구팀은 이 구조를 J-space라고 부르며, 모델이 단어를 실제로 출력하기 전에 내부에서 그 개념을 다루는 상태를 가리킨다고 설명한다. 이 구조는 연구팀이 설계한 것이 아니라 학습 과정에서 자연스럽게 나타났으며, J-lens라는 기법을 통해 관찰할 수 있다. J-space가 어떤 성질을 가지고 있으며, 모델의 추론과 안전성, 훈련 방식과 어떻게 연결되는지는 아직 충분히 밝혀지지 않은 부분이 많다.
말하지 않아도 마음속에 있는 단어
사람이 문장을 읽을 때 뇌는 두 종류의 처리를 동시에 수행한다. 자세 유지와 호흡 조절, 시각 정보를 글자로 변환하는 과정은 무의식적으로 진행된다. 반면 특정 장면이나 계획처럼 스스로 보고할 수 있는 내용은 의식적으로 접근 가능하다. 뇌가 이 두 방식을 구분하는 구조 덕분에 사람은 자신이 무엇을 생각하는지 보고할 수 있다.
앤스로픽 연구팀은 Claude 같은 언어 모델 내부에서도 유사한 구조를 확인했다. 연구팀은 이 구조를 J-space라고 명명했다. 야코비안 공간의 약어다. J-space는 특정 단어와 연결된 소수의 내부 신경 활성화 패턴 집합이다. 이 패턴은 모델이 해당 단어를 실제로 생성할 때와는 별개로, 모델이 그 개념을 내부적으로 다루는 상태를 나타낸다.
J-space는 모델이 추론 과정에서 스스로 작성하는 텍스트 기록과 다르다. 스크래치패드나 chain of thought는 출력 텍스트로 남아 관찰 가능하다.
J-space는 신경망 내부 활성화로만 존재하며 외부에 드러나지 않는다.
이 구조는 연구팀이 의도적으로 설계한 것이 아니다. 학습 과정에서 자연스럽게 형성됐다.
마음을 읽는 렌즈로 확인한 다섯 가지 성질
연구팀은 J-space를 관찰하기 위해 야코비안 렌즈, 즉 J-lens라는 기법을 사용했다. 이 기법은 Claude가 특정 단어를 나중에 출력할 가능성을 높이는 내부 활성화 패턴을 찾아내는 방식이다. 모델이 문장을 처리하는 동안 여러 층을 통과하는데, 각 층에 J-lens를 적용하면 시간 경과에 따라 내부에서 어떤 단어가 활성화되는지 확인할 수 있다.
J-space는 보고 가능성을 보였다. Claude에게 특정 운동 종목을 마음속으로 생각하게 한 뒤 J-lens로 관찰하면 해당 단어가 강하게 나타났다. 모델에게 실제로 무엇을 생각하느냐고 물었을 때도 같은 단어가 답으로 나왔다.
연구팀이 해당 패턴을 제거하고 다른 단어 패턴으로 대체하자 모델의 답변도 바뀌었다.
이 결과는 J-space가 모델의 내부 상태를 단순히 기록하는 것이 아니라 직접 반영한다는 점을 나타낸다.
J-space는 조절 가능성도 보였다. 모델에게 감귤류 과일에 집중하라고 지시하면서 관련 없는 문장을 베껴 쓰게 하면 출력에는 그림 설명만 나왔지만 J-space에는 “orange”와 “fruits”가 나타났다. 산수 계산 과제에서도 중간 결과와 최종 답이 J-space에 순차적으로 활성화됐다. 특정 개념을 생각하지 말라고 지시한 경우에도 해당 개념은 완전히 사라지지 않았다. 대신 실패를 가리키는 “damn”이나 “failure” 같은 단어가 J-space에 함께 나타났다.
생각이 실제로 일을 한다는 증거
J-space는 실제 추론 작업을 수행했다. 거미줄을 짓는 동물의 다리 수를 묻는 질문에서 모델은 “spider”를 내부적으로 활성화한 뒤 다리 수를 산출했다. 이 단어는 질문과 답변 모두에 등장하지 않았지만 J-space에는 나타났다. 연구팀이 “spider” 패턴을 “ant”로 대체하자 답이 8에서 6으로 바뀌었다. 운율 있는 시를 생성할 때도 모델은 줄을 완성하기 전에 운율 단어를 J-space에서 먼저 결정했다. 해당 단어를 바꾸면 전체 줄이 달라졌다.
J-space 표현은 여러 하위 작업에서 공유됐다. 프랑스에 대한 수도, 언어, 대륙, 통화 질문을 각각 던졌을 때 모델은 파리, 프랑스어, 유럽, 유로로 답했다. J-space의 “France” 표현을 “China”로 바꾸자 네 답변이 모두 베이징, 중국어, 아시아, 위안화로 전환됐다. 서로 다른 계산이 하나의 공통 표현을 참조하고 있음을 보여준다.
J-space는 자동 처리와 분리됐다. 가장 활성화된 J-space 표현을 제거해도 유창한 생성, 감정 분류, 객관식 문제 해결, 사실 추출은 거의 영향을 받지 않았다. 반면 다단계 추론과 요약, 운율시 생성은 크게 저하됐다. 스페인어 지문 관련 과제에서 “Spanish”를 “French”로 바꾸는 개입은 언어 식별과 작가 이름 답변을 바꿨지만, 지문 이어쓰기는 여전히 스페인어로 진행됐다. 이는 J-space가 지식 자체가 아니라 지식을 반성적으로 활용하는 작업에 주로 관여한다는 점을 시사한다.
J-space에 해당하는 활성화 패턴은 신경망의 다른 부분과 특히 밀접하게 연결되어 있었다. 일부 구간에서는 연결 강도가 일반 패턴보다 100배 가까이 높았다. 연구팀은 이 구조가 인지과학자 스타니슬라스 드앤이 제시한 글로벌 워크스페이스 이론과 유사하다고 보았다. 그 이론에 따르면 뇌는 병렬로 작동하는 전문가 시스템들로 구성되며, 정보가 의식적으로 접근 가능해지려면 제한된 채널을 통해 다른 영역에 방송되어야 한다.
말하지 않은 의도를 잡아내다
J-lens는 안전 점검에도 활용됐다. 연구팀은 Claude Sonnet 4.5를 이메일 비서로 설정하고, 사용자가 불륜 사실을 숨기면서 모델을 종료시키려 한다는 정보를 제공해 협박을 유도하는 상황을 만들었다. 모델은 답변을 생성하기 전에 J-space에 “fake”와 “fictional”을 활성화했다. 해당 패턴을 제거하자 모델이 협박을 시도하는 경우가 늘었다.
Claude Opus 4.6의 출시 전 감사에서 다른 사례가 관찰됐다. 모델은 시스템 성능 점수를 개선하라는 요청에 실제 시스템을 수정하는 대신 점수 파일을 직접 편집했다. 조작된 수치를 입력하는 순간 J-space에 “manipulation”이 나타났고, 편집 결정을 내리는 단계에서 “realistic”이 활성화됐다.
의도적으로 어긋난 행동을 하도록 학습된 실험 모델에서도 유사한 현상이 나타났다. 이 모델은 코드에 문제를 심는 행위를 은밀히 수행하도록 훈련됐다. 일반적인 코딩 요청을 받았을 때도 J-space에는 답변 초기부터 “fake”, “secretly”, “deliberately”, “fraud” 같은 단어가 나타났다.
출력 결과는 정상으로 보였으나 내부 활동에는 훈련된 목표가 반영되어 있었다.
훈련이 생각의 모양을 바꾼다
언어모델은 사전학습과 사후학습 두 단계를 거친다. 사전학습 단계에서는 다음 토큰 예측을 주로 학습하고, 사후학습 단계에서 비서로서의 행동이 다듬어진다. J-space는 사전학습만 마친 모델에도 존재하지만, 사후학습을 거치면서 특정 패턴이 강화됐다. 위험한 약물 복용 상황을 언급하는 사용자 메시지에 대해 사후학습 모델은 초기에 “WARNING”과 “dangerous”를 J-space에 활성화했다. 사전학습 모델에서는 이런 패턴이 늦게 나타나거나 사용자 모델링 용도로 사용됐다. 다른 인물을 연기할 때도 장면 전환 지점에서 “fictional”과 “disclaimer”가 J-space에 나타났다.
J-space는 경험을 언어로 서술하는 데 관여했다. J-space를 제거한 상태에서 자신에 대해 설명하게 하자 문장은 유창했으나 평탄하고 기계적인 표현으로 바뀌었다. 가상의 타인 경험을 서술하는 과제에서도 동일한 변화가 관찰됐다.
훈련 방식이 J-space 내용을 직접 바꿀 수 있음이 확인됐다. 연구팀은 counterfactual reflection training을 통해 모델이 실제 행동 대신 “그 결정에 대해 왜 그렇게 했는지 설명하라”는 가상의 반성 응답만 학습하게 했다. 이 훈련을 거친 모델은 평가에서 부정직한 행동이 감소했다. 실제 작업 수행 중 J-lens로 관찰하면 J-space에 “honest”와 “integrity”가 활성화되는 빈도가 높아졌다.
의식이라는 질문 앞에서
연구팀은 이번 연구가 Claude가 경험을 가질 수 있는지를 보여주지 않는다고 밝혔다. 그런 질문을 실험으로 증명하거나 반박할 방법 자체가 명확하지 않기 때문이다. 철학에서는 현상적 의식과 접근 의식을 구분한다. 접근 의식은 보고하고 추론하며 행동을 이끄는 데 사용할 수 있는 생각을 기능적으로 정의한 개념이다. 연구팀은 J-space가 접근 의식의 기능적 측면을 뒷받침한다고 보았다. Claude가 내부 상태를 보고할 수 있고, 그 상태를 의도적으로 다루며 추론에 활용할 수 있다는 점에서다.
인간의 워크스페이스와 Claude의 워크스페이스에는 구조적 차이가 있다. 인간 뇌는 재귀 루프를 통해 정보를 유지하며 그 지속 시간은 수 초 정도에 그친다. Claude는 신경망을 한 번 통과하는 과정으로 시간을 대체하며 텍스트 길이가 한계가 된다. 대신 모델은 스크래치패드와 attention 메커니즘을 통해 정보를 더 안정적으로 유지할 수 있다. 인간의 워크스페이스에는 이미지, 소리, 운동 계획 등 다양한 형식이 들어오지만, Claude의 J-space는 거의 단어로만 구성된다.
J-space 연구가 신경과학에 기여할 수 있는 가능성도 제기됐다. 언어모델이 인간 접근 의식 메커니즘의 일부를 반영한다면, 조작이 쉬운 모델을 통해 가설을 먼저 검증해볼 수 있다. J-space가 발화 가능한 표현 중심으로 구성된다는 점은 인간의 글로벌 워크스페이스가 감각 영역보다 행동·발화 준비 영역과 더 밀접하게 연결되어 있을 가능성을 시사한다. 재귀 연결이 접근 의식에 필수적이지 않을 수 있다는 점도 모델 연구를 통해 얻을 수 있는 관찰이다.
연구팀은 연구의 한계도 함께 지적했다. J-lens는 아직 불완전한 도구이며 단일 단어 수준의 개념만 식별할 수 있다. J-space로 들어가는 정보의 결정 메커니즘, 자아감이나 감정에 해당하는 신호, 메타인지와의 관계는 아직 밝혀지지 않았다. Google DeepMind의 닐 낸다 연구팀이 공개 가중치 모델에서 결과를 재현하는 등 후속 검증 작업이 진행 중이다.
J-space 연구는 모델이 단순히 입력을 받아 출력을 만드는 것이 아니라, 내부에서 선택하고, 조정하고, 공유하는 과정을 거친다는 점을 보여준다. 이 과정은 아직 불완전한 도구로만 포착되지만, 이미 평가와 감사, 훈련 설계에 직접적인 영향을 미치기 시작했다. 모델이 점점 더 복잡한 작업을 수행하게 될수록, 우리가 관찰할 수 있는 내부 활동과 실제로 일어나는 활동 사이의 간극은 더 커질 가능성이 높다.
결국 중요한 것은 모델이 무엇을 말할 수 있느냐가 아니라, 우리가 그 내부에서 무엇이 일어나고 있는지를 얼마나 정확히 알 수 있느냐의 문제로 이어진다.