장 피제 빌려 지능 정의…로봇·L4 부재 지적
튜링상 수상자 얀 르쿤이 20일(현지시간) 자기회귀 대형언어모델(LLM)만으로는 인간 수준에 이르는 AI로 나아가지 못한다고 재확인했다.
글은 추론·자기개선·멀티모달·실세계 적용 네 갈래에서 LLM 단독 경로의 한계를 한 번에 나열한다. 코딩 등에서 초인간 성능을 인정하면서도 그것을 인간 수준 지능과 같은 자리에 두지 않는다. 판정 기준은 가정용 로봇과 소비자용 4·5단계 자율주행차의 부재다.
추론 탐색은 토큰 공간에 묶여
르쿤에 따르면 현재 AI의 추론은 비자기회귀 탐색에 기대지만 토큰 공간에서 이뤄진다. 비자기회귀 탐색 자체는 그가 오래 옹호해 온 방향이다. 다만 토큰 공간은 제한적이고 비효율적이다. 인간형 추론은 연속 표현 공간에서의 탐색이어야 한다. 업계가 그 방향으로 움직이고 있다는 관측도 글에 붙었다.
자기개선은 채점 가능한 영역뿐
글에 따르면 지금의 자기개선 기법은 인간 개입 없이 출력 품질을 채점할 수 있는 영역에만 통한다. 수학, 코드, 정확히 시뮬레이션되는 시나리오가 해당한다. 그 밖의 영역에서는 사람과 동물이 새 기술을 익히는 효율을 따라가지 못한다.
멀티모달, 별도 인코더에 의존
르쿤의 설명에 따르면 현재 AI 비서의 멀티모달 능력은 대체로 LLM이 아닌 따로 학습한 인코더를 쓴다. 그 방향은 그가 주장해 온 것과 맞지만 최선은 자가지도 학습으로 훈련한 공동 임베딩 예측 아키텍처(JEPA)라는 입장이다.
원본 신호의 모든 세부 대신 추상 표현을 배우고 그 표현의 변화를 예측하는 쪽을 택한다. JEPA 관련 논문이 4년 사이 3천 편에 이른다는 수치도 글에 들어 있다.
2022년 입장문 「자율 기계 지능을 향한 경로」는 예측 세계 모델과 계층적 JEPA를 자율 지능의 뼈대로 둔다. 감각과 행동 계획을 여러 추상 수준에서 배우고 여러 시간 지평에서 예측·계획하게 하자는 설계다.
가정용 로봇과 L4는 여전히 없다
LLM이 인간 수준 AI의 경로였다면 이미 가정용 로봇과 소비자용 4·5단계 자율주행차가 나왔을 것이다. 그런 제품은 없다. 10대처럼 20시간 연습으로 운전을 배우는 차도 없다.
인간 수준을 말하려면 빠진 것이 꽤 크다는 내용이다. 인상적인 컴퓨터 시스템이 늘었고 코딩 같은 영역에서는 초인간 성능을 낸다. 그러나 그것은 컴퓨터 기술 진전의 역사 전체와 같다.
자기회귀 LLM만으로는, 그 자체만으로는, 인간 수준 AI에 이르지 못한다.
— 얀 르쿤, X 9월 20일 · “auto-regressive LLMs, in and of themselves, will not lead human-level AI”
16일 파리 시앙스포 강연에서도 그는 텍스트 규모를 키우는 것만으로 인간 수준 지능에 닿지 못한다고 같은 취지를 말했다. 물리 세계는 텍스트보다 훨씬 복잡하다. 설득력 있는 글을 써도 낯선 환경에서 움직이는 직관적 이해를 갖추지는 못한다는 설명이다. 식탁을 치울 가정용 로봇은 어디에 있느냐는 질문도 나왔다.
BBC와의 올 여름 인터뷰에서는 LLM이 지식을 축적하고 재생산하도록 학습될 뿐 기저의 이해가 없다고 했다. 로봇이 물리 세계를 이해하는 수준은 쥐에도 못 미친다. LLM은 로봇공학에 대체로 무력하다고도 했다.
LLM을 키우기만 하면 초인간 지능에 도달한다는 말은 실현되지 않을 것이라는 단언도 같은 인터뷰에 있다. 메타를 떠난 뒤 그가 세운 AMI Labs는 언어 예측이 아닌 세계 모델 경로를 쫓는다.
지능은 이미 있는 선언적 지식을 쌓아 되풀이하는 일이 아니다. 사전 훈련 없이 새 문제를 풀고 낯선 장면에서 행동하며 최소 학습으로 빠르게 적응하는 능력이라는 설명이 이어진다. 글은 장 피제를 빌려 그 정의를 압축한다.
지능은 당신이 아는 것이 아니라, 모를 때 무엇을 하는가다.
— 얀 르쿤(장 피제 인용), X 9월 20일 · “intelligence is not what you know, it is what you do when you don’t know.”
르쿤은 “우리는 아직 거기에서 멀다”고 적었다.
더 많은 데이터와 규모만으로 인간 수준에 도달할 수 있다는 반론은 업계에 병존한다. 어느 경로가 맞는지는 정해지지 않았다.