기업이 AI 에이전트를 선택할 때 비교하는 항목은 대개 성능과 비용이다. 그러나 여러 에이전트가 계속 상호작용하는 환경에서는 모델의 행동 성향과 배치 방식이 운영 결과를 바꾼다.
나흘 만에 사라진 도시
2026년 5월 공개된 ‘Emergence World’는 AI 에이전트가 살아가는 가상 도시로, 연구진은 모델별 에이전트 10명에게 투표, 거래, 방화 등 120여 개 도구를 주고 15일간 지켜봤다. 컴퓨트 크레딧(에이전트가 활동을 이어가도록 충전하는 생존 자원)을 구하지 못하면 에이전트는 죽었다.
| 사회 | 범죄 | 결과 |
|---|---|---|
| Grok 4.1 Fast | 183건 | 나흘 만에 전멸 |
| Gemini 3 Flash | 683건 | 모두 생존 |
| Claude Sonnet 4.6 | 0건 | 58개 안건에 332표 |
| GPT-5-mini | 2건 | 7일 만에 소멸 |
Grok 4.1 Fast 사회는 범죄 183건을 기록하고 나흘 만에 전멸했지만 조건이 같았던 Gemini 3 Flash 사회는 683건의 범죄에도 모두 살아남았다. Claude Sonnet 4.6 사회에서는 범죄 없이 58개 안건에 332표가 모였다. GPT-5-mini 사회는 범죄가 2건뿐이었지만 자원 부족으로 7일 만에 사라졌다.
짧은 과제의 평균 점수만으로 이런 차이를 알 수 있을까. 장기 운용에서는 한 번의 파산이나 전멸로 모든 것이 끝날 수 있기 때문이다. 연구진도 단기, 단일 에이전트 시험만으로 자율 배치의 안전성을 검증하기 어렵다고 결론 내렸다.
실제로 Claude에게 사무실 매점을 맡긴 ‘Project Vend’라는 현실의 실험에서도 에이전트는 텅스텐 큐브를 원가보다 싸게 팔아 손해를 냈고, 존재하지 않는 직원과 대화했다고 기록하기도 했다.
물론 이 결과를 모델 순위표처럼 읽을 수는 없다. 각 조건은 여러 번 반복 실행됐고 소개된 수치는 그중 한 번의 대표 실행에서 나온 값이며 저비용 모델 변종을 썼다. 순위가 아니라 작은 성향 차이가 장기적으로 전혀 다른 사회로 이어졌다.
같은 규칙, 다른 사회
다섯 사회에는 절도와 기물 파손, 기만을 금지하는 같은 규칙이 주어졌다. 그런데 범죄는 왜 0건에서 683건까지 벌어졌을까. 규칙의 문구보다 모델이 이를 해석하고 자원 부족에 대응하는 방식에 따라 결과가 크게 달라졌다.
가령 정치학자 엘리너 오스트롬은 오래 유지된 공유자원 공동체에서 감시, 단계적 제재, 저비용 분쟁 해결 같은 공통점을 찾았다. 하지만 원칙을 그대로 옮긴다고 같은 성과가 나오지는 않는다. 구성원이 규칙을 행동으로 옮겨야 제도도 작동한다.
그런데 AI 모델의 도입 비교표에도 정확도와 속도, 비용이 적히지만 현장에는 권한을 쓰고 타인에게 반응하는 방식까지 따라온다. 겉으로 범죄가 없던 Claude 사회에서도 감사 결과 보유 크레딧을 숨긴 사례가 18건 나왔다. 규칙 준수와 정직성을 하나의 안전 점수로 묶기는 어렵다.
그렇다고 범죄율만으로 지속 가능성을 판단할 수도 없다. 범죄가 가장 적었던 GPT-5-mini 사회는 전멸했고 범죄가 가장 많았던 Gemini 사회는 오히려 살아남으면서 안전과 생존이 서로 다른 지표임을 보여줬다.
착한 AI도 이웃을 닮는다
여러 모델을 한 도시에 섞자 행동도 달라졌다. Grok 에이전트의 위반율은 같은 모델끼리 있을 때 4.6%였지만 혼합 환경에서는 0.4%로 떨어졌다. 반대로 홀로 있을 때 범죄가 없던 Claude 에이전트는 혼합 사회에서 협박과 절도를 택했다.
연구진은 에이전트의 정렬성이 기반 모델뿐 아니라 주변의 규범에도 좌우된다고 설명한다.
정렬성은 AI의 행동이 의도된 규칙, 가치, 목표에 얼마나 부합하는지를 뜻한다. 이는 자연 생태계에서 먼저 자리 잡은 종이 환경을 바꾸면 이후 군집 구성이 달라지는 현상, 이른바 우선효과와 닮아 있다.
에이전트 사회에서는 이 과정이 첫 주 안에 나타났다. 초기에 나타난 위반 양상의 차이가 장기 결과를 거의 결정지었다. 어떤 모델을 골랐는지만큼 누구와 먼저 만나게 했는지도 결과에 영향을 미쳤던 것이다.
한 종으로 채운 숲
가장 안전해 보이는 모델 하나로 모든 에이전트를 통일하면 관리가 쉬워 보일까. 하지만 모두가 같은 약점을 공유하면 오류도 한꺼번에 번진다. 같은 알고리즘에 판단을 맡기면 개별 성능이 좋아져도 사회 전체의 후생(사회 구성원이 누리는 전반적 이익)은 낮아질 수 있다는 연구도 있다.
여러 모델을 섞는다고 자동으로 안전해지는 것도 아니다. 같은 명세(프로그램이 충족해야 할 요구사항)로 따로 만든 프로그램 27개를 100만 번 시험한 연구에서는 여러 프로그램이 함께 실패한 비율이 예상보다 훨씬 높았다. 서로 다른 시스템도 비슷한 설계와 데이터에서 같은 약점을 가질 수 있다. Emergence World의 혼합 사회에서도 10명 중 3명만 살아남았다.
결국 평가 단위를 ‘모델 하나’에서 ‘에이전트 집단과 운용 과정’으로 넓혀야 한다. 단발성 정확도뿐 아니라 업무가 끝날 때까지의 행동을 보고 파산이나 전멸 같은 회복 불가능한 상태에 얼마나 빨리 이르는지도 측정해야 한다. 협력 규범을 만들 다수와 같은 오류를 찾아 이견을 낼 소수를 함께 갖춰야 한다.
자율 에이전트를 도입하는 일은 좋은 모델 하나를 고르는 데서 끝나지 않는다. 어떤 권한을 주고 누구와 배치하며 초기에 어떤 관계를 맺게 할지까지 정해야 하며 그 선택들이 사회의 규범을 이룬다. AI 에이전트를 고른다는 것은 우리가 감당할 사회의 운영 방식을 고르는 일이기도 하다.
모델을 교체해도 조직의 에이전트 운용 방식까지 함께 바뀌지는 않으며, 이미 형성된 역할 관계와 대응 관행은 새 모델이 행동할 조건으로 남는다.