6일 밤 울어 딸을 깨웠다…관심 문제 16개 포함
필즈상을 받은 위고 뒤미닐코팽이 오픈AI 원고 공개에 “연구 분야가 붕괴됐다”고 말했다고 르몽드가 10일(현지시간) 보도했다.
오픈AI 저장소에 따르면 공개 다음날 부호 오류로 원고 3편이 철회됐고, Lean으로 검증한 최상위 결과는 약 42%에 그쳤다. 뒤미닐코팽이 관심을 둔 미해결 문제는 16개였다.
오픈AI, 수학 원고 722편 공개
오픈AI는 6일(현지시간) 내부 최전선 모델이 만든 수학 결과를 깃허브에 공개했다. 미공개 모델에 약 4,000개 문제를 맡긴 평가에서 나온 산출물이다. 대다수는 같은 절차로 얻었다.
공개본은 372개 결과군으로 묶인 원고 722편이다. 수학 17개 분야에 걸쳐 있다. 결과 하나당 챗GPT 프로 사고 모드 약 3시간에 해당하는 연산이 쓰였다. 다수 증명을 Lean으로 형식화해 컴퓨터가 논리 단계를 검사할 수 있게 했다. 모델 추론을 요약한 글은 10편뿐이다. 미형식화 결과 중 일부는 문제가 있을 수 있다.
회사는 고등연구소(IAS)의 수학·인공지능 자문그룹(AGMAI) 권고를 참고했고, 미공개 모델로 공개 연구 문제를 계속 평가할 계획이다. 테크크런치에 따르면 자문그룹의 첫 요청은 독점 모델로 고급 수학 문제를 시험하지 말라는 것이었다. 하버드대 수학 교수 멜라니 우드는 공개 시점에 인간의 이해가 없으며, 일은 이제부터 시작이라는 평가다. 케임브리지·킹스칼리지 런던 연구진은 자연어 증명과 Lean 코드가 어긋날 수 있다는 논문을 같은 매체에 소개했다.
뒤미닐코팽, 관심 문제 16개 확인
뒤미닐코팽(Hugo Duminil-Copin)은 2022년 필즈상 수상자다. 확률론과 통계물리를 연구한다. 프랑스수학회 화상회의에서 8일 발언했다.
그는 공개 밤인 6일 울어 딸을 깨웠고, 자신과 관련된 문항은 16개였다. AI가 그린, 트럭에 깔린 토끼 그림을 화면에 올렸다.
그들은 내 연구 분야를 붕괴시켰다.
— 위고 뒤미닐코팽, 르몽드 10월 10일 · “Ils ont annihilé mon domaine de recherche”
질의응답에서는 자신들의 활동이 해체되고 있다는 지적도 나왔다. 피가로에 따르면 다음 날 전화 인터뷰에서 그는 눈물이 젊은이에게도 번지며 그들이 가장 고통받을 것이라고 말했다. 그와 연관된 AI 산출물은 3,500쪽이 넘는다. 얼굴을 아는 사람이 쓴 글과는 느낌이 달라 읽고 싶지 않다는 것이다.
공개 다음날 원고 3편 철회
깃허브 이력은 7일 철회 목록을 남겼다. “아벨 8다양체 위의 와일 클래스 대수성”에서 난 부호 오류가 안정화-트레이스 소거 논증을 무너뜨렸다. 이를 전제로 한 “K3 곡면의 쿠가-사타케 대응”과 “K3 곡면 곱의 유리 호지 추측”도 함께 빠졌다. 목록은 719편으로 줄었다.
같은 날 회사는 다른 원고 14편을 고쳤다. 증명 수리, 가설 명확화, 인용 정정이 들어갔다. 종속 원고 13편은 수정본을 가리키도록 고쳤다. Lean으로 형식화한 최상위 결과는 300편, 약 42%로 올라갔다. 철회 직전 주결과 Lean 형식은 162편 수준이었다.
리트랙션 워치에 따르면 대변인은 감사 과정에서 오류를 찾았으며, 자문그룹이 전면 형식화를 기다리지 말고 공개하라고 권했고 대략 절반은 미확인 상태로 나갔다.
수학 공동체의 검증과 피드백을 환영한다.
— 오픈AI 대변인, 리트랙션 워치 10월 8일 · “We welcome scrutiny and feedback from the mathematical community”
코넬대 수학과 부교수 알렉스 타운센드는 Lean 검증본을 먼저 발표했어야 한다는 입장이다. MIT 수석연구과학자 앤드루 서덜랜드는 빠른 철회를 책임 있는 조치로 평가했지만, 신뢰를 되찾는 데는 추가 조치가 필요하다는 입장이다.
인간 검증이 병목으로 남았다
자문그룹은 인간 이해가 뒤따르게 할 책임을 연구소에 물었다. 권고 이행 여부에 대한 평가는 수학 공동체의 몫이라는 입장이다. 오픈AI는 결과 이해를 돕는 워크숍과 학회를 지원하고, 해당 모델을 책임 있게 공개할 계획이다. 공개 시점은 정해지지 않았다.