Claude Fable 5, 85년 미해결 Jacobian 추측 반례 제시

Anthropic 수학자와 프론티어 모델이 대수기하학의 고전적 난제를 명시적으로 무너뜨린 첫 사례

Jacobian 추측이란 무엇인가

Jacobian 추측은 다변수 다항 사상의 국소적 가역성이 전역적 가역성을 보장하는지를 묻는 문제다. 구체적으로, $\mathbb{C}^n$ 에서 $\mathbb{C}^n$ 으로 가는 다항 사상 $F$ 의 Jacobian 행렬식이 0이 아닌 상수라면, $F$ 가 다항 역함수를 갖는 자기동형사상(polynomial automorphism)인지 여부를 묻는다.

1939년 Ott-Heinrich Keller가 일반적인 형태로 정식화했으며, 그 이전에도 2변수 특수 형태가 논의된 바 있다. Steve Smale의 21세기 주요 미해결 문제 목록에도 포함될 정도로 대수기하학·복소해석학 양쪽에서 중요한 위치를 차지해 왔다. 수많은 부분 결과와 특수한 경우의 증명이 나왔지만, 일반 차원에서의 완전한 해결은 85년 동안 이루어지지 않았다. 거짓 증명 사례가 반복적으로 등장한 역사 때문에 수학계는 새로운 주장에 대해 특히 신중한 태도를 보여 왔다.

제시된 반례의 내용과 검증 현황

2026년 7월 19~20일(UTC 기준), Anthropic 소속 수학자 Levent Alpöge는 Claude Fable 5의 도움을 받아 3변수 다항 사상의 명시적 반례를 공개했다. 해당 사상은 다음과 같다.

F(x,y,z)=\bigl( (1+xy)^3 z + y^2(1+xy)(4+3xy),\ y+3x(1+xy)^2 z + 3xy^2(4+3xy),\ 2x-3x^2 y-x^3 z \bigr)

이 사상의 Jacobian 행렬식은 상수 $-2$ 로, 0이 아니다. 그러나 $F(0,0,-1/4)=F(1,-3/2,13/2)=(-1/4,0,0)$ 와 같이 서로 다른 점이 같은 이미지로 사상되므로 단사(injective)가 아니며, 따라서 가역이 아니다.

현재까지 공개된 검증은 주로 컴퓨터 대수 시스템(WolframAlpha, SymPy, Sage 등)을 통한 직접 계산과 여러 독립 연구자들의 수동·반자동 확인에 의존하고 있다. Hacker News 등 기술 커뮤니티에서는 “고등학교 수준의 계산으로도 확인 가능한 수준”이라는 평가가 나왔고, 일부는 Lean 형식화까지 시도한 상태다. 그러나 정식 학술 논문이나 동료 심사를 거친 검증은 아직 나오지 않았다. 발표 직후 Wikipedia 항목이 신속히 업데이트된 점은 주목할 만하다.

심층 분석

수학적 의미

반례가 3차원에서, 비교적 낮은 차수(대략 7차 수준)로 나타난 점이 흥미롭다. 기존 연구들은 차수가 매우 높아지거나 차원이 커질 때만 반례가 존재할 가능성을 조심스럽게 탐색해 왔다. 명시적이고 검증 가능한 반례가 제시됨으로써, “국소 가역성 → 전역 가역성”이라는 직관이 다항 사상에서는 성립하지 않는다는 사실이 확정적으로 드러났다. 이후 연구 방향은 추측을 완전히 폐기하는 쪽이 아니라, 추가 조건(무한대에서의 비퇴화성 등)을 붙여 수정된 형태를 찾는 쪽으로 이동할 가능성이 크다.

AI 성능과 연구 워크플로의 변화

이 사례는 “AI가 수학을 한다”는 구호를 구체적인 성과로 연결한 대표적 사건이다. Fable 5는 연구자가 제시한 문제 의식을 바탕으로 후보 구성을 생성했고, 연구자는 이를 검증·정제하는 역할을 수행했다. 완전 자율 1-shot 해결이 아닌, 인간-AI 협업 형태라는 점은 분명하다. 그럼에도 불구하고 수십 년간 인간 연구자들이 놓친(또는 탐색 공간을 충분히 넓히지 못한) 명시적 예를 AI가 비교적 짧은 시간 안에 찾아낸 사실은, 탐색과 후보 생성 단계에서의 AI 역할을 근본적으로 재평가하게 만든다.

유사한 흐름은 이미 다른 영역에서도 관찰되고 있다. DeepMind의 AlphaProof 계열 시스템이 일부 Erdős 문제나 형식화된 수학 대회 문제를 해결한 사례, 대규모 언어 모델이 국제수학올림피아드 수준의 문제에 자연어로 접근하는 사례 등이 그것이다. Jacobian 추측 반례는 “열린 고전 문제에 대한 명시적 반례 제시”라는 점에서 한 단계 더 나아간 사례로 평가받을 여지가 있다.

한계와 주의점

발표 형태가 트윗 기반의 비공식 공개였다는 점, 프롬프트와 중간 사고 과정이 완전히 공개되지 않았다는 점은 재현성과 기여도 평가를 어렵게 만든다.
반례 자체가 상대적으로 단순한 대수적 검증을 허용한다는 사실은, “AI가 고도의 창의성을 발휘했다”기보다 “방대한 탐색 공간에서 유효한 후보를 효율적으로 찾아냈다”는 해석을 가능하게 한다.
수학계의 전통적인 동료 심사와 정식 논문 발표가 아직 이루어지지 않았으므로, 최종 수용 여부는 추가 검증을 기다려야 한다.

더 넓은 함의

이 사건은 수학 연구 생산성의 병목이 어디에 있는지를 다시 생각하게 만든다. 개념 정의와 증명 전략의 창안은 여전히 인간의 영역으로 남겠지만, 후보 생성·반례 탐색·계산 검증 단계에서는 AI가 이미 실질적인 파트너가 되고 있다. 앞으로 유사한 고전 난제(예: 다른 대수기하학적 추측이나 조합적 문제)에 대해 AI 보조 탐색이 일상화될 가능성이 높다. 동시에 “AI가 해결했으므로 더 이상 인간의 일이 아니다”라는 성급한 결론보다는, 검증·해석·후속 이론 구축에서의 인간 역할을 어떻게 재정의할 것인지에 대한 논의가 본격화될 전망이다.

정리

Jacobian 추측의 명시적 반례 제시는 2026년 중반 AI와 수학의 접점에서 가장 상징적인 사건 중 하나로 기록될 가능성이 크다. 아직 학술적 확정 단계는 아니지만, 검증이 비교적 용이하고 여러 독립적 확인이 이루어지고 있다는 점에서 신뢰도는 높은 편이다. 이 사례가 단순한 “AI 뉴스”를 넘어, 수학이라는 학문의 연구 방식이 어떻게 변화하고 있는지를 보여주는 구체적인 이정표로 기능할지가 앞으로의 관전 포인트다.