데미스 하사비스(Demis Hassabis)의 글이 오늘 올라왔다. 그 내용을 두 문단으로 요약하면 이렇다.
이것은 인류 역사에서 중대한 전환점이다. 데미스 하사비스는 AGI가 불과 몇 년 안에 도래할 가능성이 높으며, 이는 인터넷이나 모바일이 아닌 전기나 불의 발견에 더 가까운 수준의 변혁이라고 본다. 그는 AGI를 “모래에게 생각하는 능력을 준 것”으로 표현하며, 약물 개발·청정 에너지·신소재 등에서 10배 빠른 속도로 산업혁명의 10배에 달하는 영향을 줄 수 있다고 전망한다. 인류가 자원 제약에서 벗어나는 풍요의 시대로 들어설 수 있다는 낙관과 함께, 평생을 AGI에 바친 이유가 바로 이 기술을 책임 있게 만들어 인류에게 가장 유익한 도구로 만들기 위해서라고 밝혔다.
그러나 상업적·지정학적 경쟁 속에서 프론티어 모델의 발전 속도가 안전에 대한 이해를 앞지르고 있다고 지적한다. 이미 사이버 보안 위험이 현실화됐고, 생물학적·핵 위협과 더불어 에이전트적이고 재귀적으로 자기 개선하는 시스템에 대한 통제 문제가 곧 대두될 수 있다는 것이다. 이에 하사비스는 미국 주도의 프론티어 AI 표준기구(Standards Body) 설립을 제안한다. FINRA와 유사한 형태로, 프론티어급 모델에 대해 사전 평가 프로토콜을 개발하고, 출시 전 자발적 검토(추후 의무화 가능)를 거치게 하며, 사이버·생물 위협·기만 행위 등 고위험 영역을 집중적으로 테스트하는 체계를 만들자는 내용이다. 이는 혁신을 저해하지 않으면서도 안전을 확보하고, 궁극적으로 국제 기준으로 확장하기 위한 실질적인 거버넌스 프레임워크로 제시됐다.
여기서 하사비스가 던진 화두에서 파생된 질문들로 이 글을 한번 구성해봤다.
누가 결정하는가
AGI의 방향을 정할 권한은 누구에게 있는가
AGI가 사회 전체에 영향을 미치는 기술이라면, 그 개발과 배포를 소수 기업과 기술자에게만 맡겨도 되는가. 반대로 국가가 강하게 통제한다면 혁신과 자유를 훼손하지는 않을까. 이 장의 핵심은 AGI 시대의 의사결정 권한과 책임 구조를 설계하는 일이다.
기술보다 느린 사회
AI의 능력은 빠르게 발전하지만 법, 정책, 국제협약, 사회적 합의는 훨씬 느리게 움직인다. 가장 큰 위험은 기술이 발전한다는 사실 자체보다, 사회가 그 변화를 이해하고 판단하기 전에 기술이 먼저 배포되는 것이다.
사회는 다음 질문에 답해야 한다.
- 위험이 실제로 발생한 뒤 대응할 것인가, 가능성만으로 선제 대응할 것인가
- 누가 모델이 충분히 안전하다고 판단할 것인가
- 필요할 경우 개발이나 배포 속도를 실제로 늦출 수 있는가
- 긴급 상황에서 시스템을 중단할 최종 권한은 누구에게 있는가
핵심 과제는 규제를 늘리는 것이 아니라, 사회적 의사결정의 속도를 기술 발전의 속도에 맞추는 것이다.
통제할 수 없는 행위자의 등장
기존 소프트웨어는 인간이 명령한 기능을 수행했다. 그러나 에이전트형 AI는 목표를 부여받고, 계획을 세우고, 외부 도구를 사용하며, 때로는 장기간 자율적으로 행동한다.
이때 사회는 새로운 책임 체계를 만들어야 한다.
- AI에게 어디까지 자율권을 줄 것인가
- AI가 일으킨 피해는 개발사, 배포사, 사용자 중 누가 책임지는가
- 인간의 승인 없이 수행해서는 안 되는 행동은 무엇인가
- AI의 기만, 목표 은폐, 안전장치 우회를 어떻게 탐지할 것인가
- 인간이 언제든 개입하고 중단할 수 있는 권한을 어떻게 보장할 것인가
이는 단순한 기술 안전 문제가 아니다. AI에게 허용되는 권한과 금지되는 행동을 정하는 새로운 권한의 헌법을 만드는 문제다.
누가 시험 문제를 만드는가
하사비스는 프론티어 AI를 평가하는 표준기구를 제안한다. 그러나 평가기구가 생긴다고 문제가 자동으로 해결되는 것은 아니다.
- 어떤 능력을 위험하다고 규정할 것인가
- 평가 기준은 누가 만들고 누가 검증할 것인가
- 기업이 공개된 평가에만 과적합하는 것을 어떻게 막을 것인가
- 평가기관이 산업계에 포획되지 않도록 어떻게 독립성을 보장할 것인가
- 비공개 평가가 확대될 경우 민주적 통제가 약화되지 않는가
- 어떤 모델부터 프론티어급으로 분류할 것인가
AI 모델의 안전성을 측정하는 기술만큼 중요한 것은 그 측정을 수행하는 기관의 정당성과 신뢰성이다.
전문가와 시민 사이의 민주주의
AI 정책은 높은 기술적 전문성을 요구한다. 그러나 기술자와 기업에게만 맡기면 민주적 정당성이 사라질 수 있다. 반대로 복잡한 기술적 사안을 단순한 여론이나 다수결만으로 결정하기도 어렵다.
사회는 새로운 참여 구조를 고민해야 한다.
- 시민은 어떤 방식으로 AI 정책 결정에 참여할 것인가
- 전문가의 판단을 누가 감시할 것인가
- 국가안보를 이유로 비공개 결정이 확대되는 것을 어떻게 막을 것인가
- 미래 세대와 아직 태어나지 않은 사람들의 이해는 누가 대변할 것인가
- 중대한 모델의 개발과 배포에 의회나 공공기관의 승인이 필요한가
AGI 시대에는 전문가의 전문성과 시민의 민주적 통제를 함께 보장하는 새로운 제도가 필요하다.
경쟁하면서 협력할 수 있는가
AGI 경쟁은 기업 간 경쟁인 동시에 국가 간 경쟁이다. 각 국가는 상대보다 뒤처지는 것을 국가안보의 위험으로 본다. 모두가 속도를 조절하는 것이 합리적이어도, 상대가 멈추지 않을 것이라는 불신 때문에 누구도 먼저 멈추기 어렵다.
- 주요 국가가 최소한의 안전 기준에 합의할 수 있는가
- 군사적 AI와 민간 AI를 구분할 수 있는가
- 국가 간 능력 격차가 새로운 권력 비대칭을 만들지 않는가
- 국제기구가 기업과 국가를 감독할 실제 집행력을 가질 수 있는가
- 안전 규범을 지키는 국가만 경쟁에서 불리해지지 않도록 할 수 있는가
결국 AGI 거버넌스는 기술 규제가 아니라 새로운 형태의 군비통제와 국제질서 설계에 가깝다.
누가 소유하는가
AGI가 만들어내는 부와 권력은 누구에게 돌아가는가
AGI가 엄청난 생산성을 만들어낸다고 해서 자동으로 모두가 풍요로워지는 것은 아니다. 생산성이 증가하는 것과 그 생산성의 혜택이 널리 분배되는 것은 전혀 다른 문제다. 이 장의 핵심은 AGI 시대의 소유권, 접근권, 분배 방식을 결정하는 일이다.
AGI는 기업의 자산인가, 사회의 인프라인가
AGI 개발에는 막대한 자본, 컴퓨트, 데이터, 에너지와 인재가 필요하다. 따라서 소수의 거대 기업과 국가에 역량이 집중될 가능성이 높다.
- 소수 기업이 지식, 노동, 국방, 미디어, 정보 유통을 동시에 지배해도 되는가
- AGI를 민간기업의 독점 자산으로 볼 것인가
- 전기, 통신, 도로처럼 공공 인프라에 가까운 것으로 볼 것인가
- 국가가 기업을 통제할 것인가, 기업이 오히려 국가 정책을 좌우하게 될 것인가
- 시민에게 최소한의 AI 접근권을 보장해야 하는가
AGI 시대의 가장 현실적인 위험은 AI 자체가 아니라, AI를 독점한 인간 집단이 지나치게 큰 권력을 갖는 것일 수 있다.
생산성이 아니라 소유권이 문제다
AGI가 인간 노동의 상당 부분을 대신한다면 생산량은 늘어날 수 있다. 그러나 모델, 데이터센터, 로봇, 플랫폼을 소유한 집단에 수익이 집중된다면 풍요는 오히려 극단적 불평등으로 이어질 수 있다.
사회는 다음을 결정해야 한다.
- AI가 창출한 부를 누가 소유하는가
- 노동자가 아닌 시민에게 생산성의 혜택을 어떻게 배분할 것인가
- AI 자본과 자동화 수익에 새로운 세금을 부과할 것인가
- 기본소득, 사회적 배당, 공공펀드가 필요한가
- 국가나 시민이 프론티어 AI 기업의 지분을 간접적으로 보유해야 하는가
- 학습 데이터와 지식에 기여한 개인과 공동체는 보상을 받아야 하는가
AGI 시대의 경제적 핵심 질문은 “얼마나 많이 생산할 수 있는가”가 아니라 누가 생산수단을 소유하고 누가 그 성과를 배당받는가다.
접근권의 불평등
AGI가 교육, 의료, 법률, 과학, 사업의 질을 크게 높인다면, 접근 가능 여부가 개인과 국가의 미래를 결정할 수 있다.
- 부유한 개인과 기업만 최고 수준의 모델을 사용할 수 있게 되는가
- 저소득층과 개발도상국은 뒤처지지 않을 수 있는가
- 핵심 AI 서비스의 가격과 사용량을 시장에만 맡겨도 되는가
- 공공 교육과 의료에 최고 수준의 AI를 제공해야 하는가
- 언어와 문화에 따라 AI의 품질 격차가 발생하지 않는가
AGI에 대한 접근은 단순한 소비 선택이 아니라 교육권, 건강권, 경제적 기회와 연결된 새로운 사회적 기본재가 될 수 있다.
개방성과 안전 사이의 경계
오픈소스 AI는 기술 접근성을 높이고 소수 기업의 독점을 견제한다. 하지만 동시에 사이버 공격, 생물학적 위험, 허위정보 생성 능력을 광범위하게 확산할 수 있다.
- 모델 가중치와 연구 결과를 어디까지 공개할 것인가
- 오픈소스 모델에도 폐쇄형 모델과 동일한 책임을 요구할 것인가
- 위험성이 높은 능력만 선택적으로 제한할 수 있는가
- 개방을 제한한다는 명분이 대기업의 독점을 강화하지 않는가
- 학계와 스타트업의 연구 자유를 어떻게 보호할 것인가
사회는 혁신을 위한 개방성과 위험 확산을 막기 위한 통제 사이에 새로운 경계선을 설정해야 한다.
풍요가 오기 전의 혼란
AGI가 장기적으로 풍요를 가져온다 해도, 그 이전의 전환기는 매우 불평등할 수 있다. 일부 기업과 소비자는 빠르게 혜택을 얻지만, 특정 직업과 산업, 지역은 먼저 붕괴할 수 있다.
- 어떤 직업과 산업이 가장 먼저 영향을 받는가
- 전환 비용을 개인에게 떠넘겨도 되는가
- 기업이 자동화로 얻는 이익의 일부를 전환 비용으로 부담해야 하는가
- 재교육은 실제 해결책인가, 단지 시간을 미루는 표현인가
- 지역 경제의 붕괴와 세대 간 격차를 어떻게 완화할 것인가
- 사회안전망을 기술 충격이 발생하기 전에 구축할 수 있는가
AGI 시대의 성패는 최종적인 풍요보다, 그 풍요에 도달하는 과정이 얼마나 공정한가에 달려 있다.
인간은 무엇으로 남는가
지능과 노동이 인간의 고유성이 아닐 때 우리는 누구인가
AGI가 인간의 대부분의 인지 능력을 갖추고, 더 빠르고 정확하게 일하며, 과학과 예술에서도 인간을 능가한다면 인간은 자신의 가치를 어디에서 찾아야 하는가. 이 장의 핵심은 AGI 시대에 인간의 존엄, 역할, 의미와 목적을 다시 정의하는 것이다.
일이 사라질 때 역할도 사라지는가
직업은 소득을 얻기 위한 수단만이 아니다. 사람들은 일을 통해 지위, 정체성, 관계, 성취감, 사회적 소속을 얻는다.
따라서 AI가 일을 대체할 때 사라지는 것은 고용만이 아니다.
- 인간에게만 맡겨야 할 업무가 존재하는가
- AI가 더 잘하더라도 인간이 수행해야 하는 일이 있는가
- 직업이 줄어들면 사회적 지위와 소속감은 무엇으로 대체할 것인가
- 생산성이 낮은 사람의 참여를 사회는 어떻게 존중할 것인가
- 노동하지 않는 사람도 완전한 시민으로 인정받을 수 있는가
- 교육은 취업 준비가 아니라 무엇을 목표로 해야 하는가
AGI는 고용정책의 문제가 아니라 인간의 사회적 역할을 다시 설계하는 문제를 만든다.
필요하지 않은 인간도 존엄할 수 있는가
산업사회는 인간의 가치를 능력, 생산성, 성취와 밀접하게 연결해왔다. 그러나 AI가 대부분의 영역에서 인간보다 뛰어나진다면, 능력을 인간 존엄의 근거로 삼는 사고는 흔들릴 수밖에 없다.
- 인간의 존엄은 능력에서 오는가, 존재 자체에서 오는가
- 사회에 경제적으로 기여하지 않는 사람도 동등하게 존중받을 수 있는가
- 경쟁에서 이기지 않아도 삶은 가치 있을 수 있는가
- 유용하지 않은 존재를 사회가 어떻게 대할 것인가
- 인간의 약함, 느림, 비효율성은 결함인가, 인간성의 일부인가
AGI 시대가 요구하는 가장 큰 전환은 인간의 가치를 생산성에서 분리하는 일일 수 있다.
창작은 왜 계속되어야 하는가
AI가 소설, 음악, 그림, 영화, 연구, 디자인을 인간보다 빠르고 능숙하게 만든다면 인간의 창작은 어떤 의미를 갖게 될까.
- 결과물이 더 뛰어나다는 이유만으로 AI 작품이 더 가치 있는가
- 창작의 가치는 완성된 결과에 있는가, 인간이 만드는 과정에 있는가
- 인간의 경험과 고통이 담긴 작품은 여전히 특별한가
- 누구나 손쉽게 뛰어난 결과물을 만들 수 있을 때 창작의 희소성은 어디에서 오는가
- 예술은 감상을 위한 상품인가, 인간이 자신을 이해하는 방식인가
AI 시대의 창작은 경쟁력 있는 결과물을 생산하기 위한 활동이 아니라, 인간이 자신의 경험을 표현하고 해석하는 행위로 재정의될 수 있다.
공통의 현실을 유지할 수 있는가
AI가 정보, 이미지, 영상, 뉴스와 의견을 대량으로 생성하면 사회가 공유하는 현실 자체가 흔들릴 수 있다.
- AI 생성물임을 의무적으로 표시해야 하는가
- 디지털 워터마크는 실제로 신뢰할 수 있는가
- AI가 만든 허위정보의 책임은 누구에게 있는가
- 개인화된 AI가 사람마다 서로 다른 현실을 보여주지 않는가
- 인간의 판단이 AI의 요약과 추천에 종속되지 않는가
- 인간이 직접 경험하고 판단하는 능력을 어떻게 유지할 것인가
문제는 진짜와 가짜를 구분하는 데 그치지 않는다. 사회가 함께 토론하고 결정하려면 최소한의 공통 현실이 필요하다. AGI 시대에는 무엇을 함께 사실로 인정할 것인가가 민주주의의 기반이 된다.
결핍이 사라진 뒤의 삶
하사비스는 AGI가 자원의 제약을 크게 줄이고 포스트-스카시티 사회를 열 수 있다고 본다. 그러나 결핍이 사라진다고 해서 삶의 목적이 자동으로 생기는 것은 아니다.
- 생존을 위해 일할 필요가 없다면 사람은 무엇을 위해 살아갈 것인가
- 경쟁과 성취가 줄어든 사회에서 동기와 열망은 어디에서 나오는가
- 고통과 부족이 없는 삶도 의미 있을 수 있는가
- 삶의 목적을 개인이 스스로 만들어야 하는가
- 가족, 관계, 돌봄, 공동체의 가치는 더 중요해지는가
- 인간은 생산자가 아니라 경험자, 관계자, 시민으로 재정의되는가
풍요로운 사회의 가장 큰 문제는 부족이 아니라 목적의 부재가 될 수 있다.
인간다움의 새로운 정의
지능이 더 이상 인간만의 특성이 아니라면 인간다움은 다른 곳에서 찾아야 한다.
그 후보는 다음과 같을 수 있다.
- 타인과 관계를 맺고 돌보는 능력
- 유한한 삶을 살아간다는 사실
- 신체를 통해 세계를 경험하는 존재성
- 실수하고 후회하며 변화하는 과정
- 스스로 가치를 선택하고 책임지는 능력
- 효율성과 무관하게 무언가를 사랑하는 마음
AGI는 인간을 무가치하게 만드는 기술이 아니라, 인간이 그동안 자신의 가치를 너무 좁게 정의해왔음을 드러내는 기술일 수도 있다.
맺음말. AGI 이전에 사회가 준비해야 할 것
AGI를 둘러싼 논의는 흔히 기술적 가능성과 안전성에 집중한다. 그러나 더 깊은 문제는 기술 바깥에 있다.
우리는 결정해야 한다.
- 누가 AGI의 방향을 정할 것인가
- AGI가 만들어내는 부와 권력을 누가 소유할 것인가
- 지능과 노동이 인간의 고유성이 아닐 때 인간을 무엇으로 정의할 것인가
첫 번째 질문은 정치와 거버넌스의 문제다. 두 번째 질문은 경제와 분배의 문제다. 세 번째 질문은 철학과 인간 존재의 문제다.
AGI의 도래가 몇 년 안에 가능하다면, 사회가 준비해야 할 것은 단지 안전한 모델이 아니다. 새로운 제도, 새로운 경제질서, 새로운 인간관이다.
기술은 인간보다 빠르게 진화할 수 있다. 그러나 그 기술이 어떤 문명을 만들지는 여전히 인간이 결정해야 한다.