장면 일관성 2분으로…울트라·API 순차 개방
구글 딥마인드가 27일(현지시간) 네이티브 오디오를 갖춘 월드모델 Genie 4를 신뢰할 수 있는 테스터를 위한 연구 프리뷰로 공개했다.
딥마인드 블로그에 따르면 다음은 구글 AI 울트라 구독자의 Project Genie와 제미니 API·AI 스튜디오 조기 접근 파트너다. 세션이 길어지면 시각 세부와 물체 영속성이 흔들릴 수 있다.
텍스트로 장면을 실시간 조향
이용자는 키보드로 이동과 카메라를 조작하고, 텍스트로 진행 중 장면을 바꾼다. 날씨를 바꾸거나 인물·물체를 넣는 식이다. 제미니가 주변 맥락에 맞게 프롬프트를 맞추고, 입력 사이에는 장면이 이어지도록 감시한다.
구글 발표문에 따르면 제미니 옴니가 외형·행동을 현실에 맞추고, 다른 제미니 모델이 일관성을 유지한다. 이용자가 탐험하는 동안 프레임이 실시간으로 생성된다.
네이티브 오디오가 대화를 만든다
Genie 4는 오디오를 네이티브로 생성하는 첫 실시간 월드모델이다. 바람·파도 같은 환경음과 음악, 상황에 맞춰 바뀌는 인물 대화가 영상에 함께 나온다. 공기역학과 충돌 같은 물리 효과도 시뮬레이션에 넣었다.
가장 극적인 도약은 Genie 4가 사람을 시뮬레이션하는 방식이다. 자연스럽게 움직이고, 환경에 유기적으로 반응하며, 실시간으로 상호작용하며 조향할 수 있는 캐릭터를 만든다.
— 라이아 해드셀·디에고 리바스·항 치, 딥마인드 블로그 10월 27일 · “The most dramatic leap is how Genie 4 simulates people, creating characters that move naturally, respond organically to their environments, and can be interactively steered in real-time.”
실시간 오디오 정확도, 읽기 쉬운 텍스트 렌더링, 장기 일관성은 계속 연구 중이다. 출시에 앞서 내부 안전 평가를 거쳤고, 산출 영상·오디오에는 SynthID 워터마크가 들어간다. 신뢰 테스터는 영화 프리비즈, 게임 프로토타입, 기록 사진 기반 역사 장면 재구성 등에 쓰고 있다.
제미니가 단계를 나눠 점검한다
시뮬레이션이 도는 동안 제미니 3.8 플래시가 안내 에이전트로 개입한다. 목표를 단계로 쪼개고 들어오는 프레임을 검토해 각 단계가 이뤄졌는지 확인한다. 이용자가 끼어들면 계획을 그 자리에서 고친다.
로봇 연구용으로 제미니 4 아르곤과 Genie 4를 묶어 앱트로닉의 아폴로 휴머노이드가 체커를 두는 장면을 돌렸다. 아르곤이 작업을 단계로 나누고 Genie가 그 지시를 실시간으로 그리는 식이다.
테크크런치에 따르면 장면 일관성은 최대 약 2분으로 Genie 3의 약 1분보다 늘었다. 수주 안에 울트라 구독자용 Project Genie에도 열린다.
구글 연구 디렉터 테자스 쿨카르니(Tejas Kulkarni)는 브리핑에서 이렇게 말했다.
앞으로 점점 더 보게 될 것은 이런 하이브리드 월드모델이다. 제미니가 코드와 텍스트를 쓰고, Genie가 그걸 실시간으로 받아들여 여러 추상 수준에서 현실을 시뮬레이션하는 조합이다.
— 테자스 쿨카르니, 테크크런치 10월 27일 · “What we’ll increasingly see in the future are these hybrid world models, where you have a combination of Gemini writing code and text, and Genie ingesting that in real time and simulating reality at different levels of abstraction”
딥마인드 엔지니어 디에고 리바스(Diego Rivas)는 “실시간 측면이 창작 흐름을 유지해야 하는 영역에서 가장 가치 있다”고 말했다. “아이디어 단계, 스토리보드 단계처럼 빠른 발상이 필요할 때”라고 덧붙였다.
울트라 요금제로 순차 개방한다
아스테크니카에 따르면 소비자 접근은 월 100달러부터인 AI 울트라 요금제로 단계적으로 열린다. 개발자용 제미니 API·AI 스튜디오 과금은 아직 없다.
Project Genie 대기자 명단은 이미 열렸다. 다만 정확한 개방일은 밝히지 않았다.