실제 사람 없는 A/B 테스트.. AI가 지배하는 가상 선거판

1억 7천만 로그로 복제한 가상 유권자

푸단대 연구진이 개발한 ElectionSim은 2020년 미국 대선 기간에 작성된 X 게시물 1억 7,121만 66건과 이용자 959만 6,198명의 활동 기록을 수집했다. 연구진은 이를 바탕으로 이용자의 연령과 성별, 인종, 이념, 지지 정당을 추론했다. 여기에 인구조사와 미국선거연구(ANES) 자료를 결합해 수백만 명 규모의 합성 유권자(실제 사람 대신 데이터로 만든 가상의 유권자) 집단을 구성했다.

ElectionSim에서는 합성 유권자와 여러 차례 대화하거나 주별 선거 결과를 모의할 수 있다. 연구진은 최신 모델이 51개 지역 가운데 47곳의 승자를 맞혔으며, 접전지 15곳 중 12곳의 결과도 재현했다고 주장한다.

후속 모델인 SocioVerse는 실제 소셜미디어 이용자 1,000만 명 이상의 기록을 바탕으로 미국 대선과 같은 사회 현상을 모의한다. 개별 가상 계정을 만드는 데 그치지 않고, 소셜미디어 활동 기록을 실제 인구 규모에 가까운 대리 표본으로 바꾸는 모델이다. 미국의 한 정치 전문 기자는 이 모델이 인공 유권자 구성과 주별 선거 모의, 메시지 실험에 쓰이는 설득 체계로 발전할 수 있다고 해석했다.

상하이사회과학원과 상하이국제문제연구원(SIIS), 난징대, 상하이교통대 연구진이 개발한 ICSM은 합성 유권자를 이용해 메시지의 효과까지 시험했다. SIIS는 상하이시 산하 기관이며 당과 정부의 의사결정을 지원한다고 밝히고 있다.

연구진은 2019년 미국 지역사회조사의 인구 분포에 맞춰 합성 유권자를 구성한 뒤 접전주마다 300명씩 배치했다. 펜실베이니아에서는 개인소득세 인상을 지지하는 후보의 메시지를 처치군(메시지를 받은 집단)에 제시하고 대조군과 비교해 모두 600개의 관측치를 확보했다. 연구진은 메시지를 접한 처치군에서 우려가 커졌다고 해석했다. 실제 유권자에게 메시지를 보내지 않고 진행한 합성 A/B 테스트였다.

유권자의 선택인가, 언어모델의 자문자답인가

ElectionSim과 ICSM은 세 가지를 전제로 삼는다. 공개 게시물과 인구통계로 추론한 라벨이 실제 태도와 투표 성향을 대신할 수 있고, 언어모델이 라벨에 맞춰 사람과 비슷하게 응답하며, 응답을 합산하면 선거 결과와 메시지의 효과를 예측할 수 있다는 전제다. 그러나 이 과정에는 실제 응답자가 참여하지 않는다.

미국 뉴욕대 정치학자 제임스 비스비 연구진의 2024년 연구에서 ChatGPT 페르소나는 ANES 감정온도계의 평균값을 대체로 재현했지만 응답의 편차는 실제 조사보다 작았다. 회귀계수의 48%는 실제 조사 결과와 통계적으로 달랐으며, 이 가운데 32%는 계수의 부호도 반대였다. 같은 프롬프트에 대한 응답 분포도 모델 업데이트 이후 달라졌다.

선거 예측 분석가 G. 엘리엇 모리스가 검토한 합성 표본도 정확하지 않았다. 성능이 가장 좋은 모델에서도 인구 비율은 수 % 씩 어긋났고, 하위 집단에서는 평균 약 8%의 오차가 발생했다. ‘모른다’는 응답은 거의 나오지 않았다. 합성 표본의 오차와 무응답 비율은 실제 유권자의 특성보다 모델의 응답 성향에 좌우됐다.

이러한 연구는 외국 기관의 정책 분석에도 활용된다. 상하이교통대의 한 연구자가 수행한 연구는 트럼프 핵심 지지층의 유권자상을 구성하고 중국의 대미 정책에 과학적 근거를 제공한다는 목적을 명시했다. 후속 연구에서는 ANES와 시카고카운슬 설문을 결합해 관세, 동맹, 국제기구에 관한 미국인의 태도를 분석하고 중국의 대응을 평가하려 했다. 미국의 안보 연구자 네이선 할버스타트는 외국 기술이 유권자의 행동을 예측하고 대규모 조작에 이용될 경우 주권과 통치 체계가 위협받을 수 있다고 평가했다.

상대 정당 표심을 10% 뒤흔들다.. 캐나다·폴란드 대화형 AI의 설득력

펜실베이니아 실험에서는 동일한 합성 프로필을 처치군과 대조군에 배정해 메시지 효과를 측정했다. 현장에서 반응을 살피며 문안을 수정하는 대신 합성 표본으로 효과를 계산하고 성과가 나은 문안을 실제 대상에게 보낼 수 있게 됐다.

메시지를 전달할 수단도 갖춰졌다. 미국, 캐나다, 폴란드 선거를 대상으로 한 대화형 AI 실험에서 챗봇은 상대 진영 유권자의 태도와 투표 의향에 영향을 미쳤다. 캐나다와 폴란드에서는 변화가 약 10%에 달했고 미국에서도 기존 영상 광고보다 효과가 컸다. 다른 연구에서는 사후학습이 설득 효과를 최대 약 51%, 설득 문구를 지정하는 프롬프팅이 최대 약 27% 높였다. 전달 효과가 커질수록 합성 표본을 이용한 사전 시험의 효용도 커진다.

「Fake Plastic Voters」는 합성 포커스그룹의 용도를 두 가지로 구분한다.

Mode 1은 참여자 간 상호작용에서 의미를 찾는 방식이고 Mode 2는 메시지를 시험하고 수정하는 방식이다.
Mode 1에서는 아첨과 페르소나 이탈, 소수 의견 억압이 발생할 수 있어 인간 집단을 대체하기 어렵다.
Mode 2 역시 확인된 효과와 위험을 따져 제한적으로 사용해야 한다.

선거 문안 시험은 Mode 2에 해당하지만 반복해서 의존하면 사람이 자료를 해석하고 판단하는 능력이 떨어질 수 있다.

미국 밴더빌트대가 공개한 GoLaxy 자료에는 인플루언서 순위와 팔로워 프로필, 여론조사, 베팅, 선거자금, 접전주 정보를 결합한 미국 선거 모듈이 나온다. 이 모듈은 심리 분석과 동요층 선별, 대응 메시지 작성, 사람으로 위장한 계정을 이용한 배포, 효과 측정을 하나의 과정으로 묶었다. 자료에 따르면 이 기술은 중국의 국가안보, 군 정보 조직에 배치됐으며 미국 정치인과 언론, NGO, 학계 인사의 데이터베이스도 구축했다. 연구용 시뮬레이션과 국가 차원의 영향력 공작 도구는 인구 데이터와 페르소나를 만들고 메시지를 최적화한다는 공통된 설계를 사용한다.

가상 페르소나에 밀려나는 실제 유권자의 주권

소셜 로그 1억 7,000만 건과 실제 인구에 맞먹는 페르소나 집단, 펜실베이니아 메시지 시험, 대화형 AI, GoLaxy식 배포 장치는 하나의 공정으로 이어진다. 게시물을 대량으로 퍼뜨리는 데 그치지 않는다. 반응이 좋은 메시지를 골라 배포한 뒤 결과를 측정하고 다음 메시지에 반영한다. 할버스타트가 말한 주권의 스트레스 테스트는 이 순환 체계가 완성될 때 발생한다.

민주 선거에서 유권자를 설득하려면 비용이 들고 결과도 예측하기 어렵다. 과정이 외부에 공개될 가능성도 있다. 합성 유권자를 대상으로 한 A/B 테스트는 유권자가 알지 못하는 곳에서 적은 비용으로 여러 차례 진행할 수 있다. 모델이 반응의 차이를 실제보다 작게 계산하거나 효과를 정반대로 예측하더라도 현장 실험보다 빠르다는 이유로 쓰일 수 있다. 그러므로 방어 기준은 모델이 얼마나 정확한지가 아니라 부정확한 모델로도 감시, 성향 분석, 콘텐츠 생성, 배포, 결과 측정을 반복할 수 있는지에 두어야 한다.

선거 전략은 실제 유권자의 반응을 근거로 효과를 검증하고 그 결과에 책임을 물을 수 있어야 한다. 외국 기관이나 비공개 조직이 인구 규모의 소셜 로그와 페르소나 집단을 구축하는 행위는 국가 주권을 위협할 수 있다. 합성 응답을 실제 여론이나 대표성 있는 자료처럼 공개하거나 의사결정에 활용할 때도 규제와 투명성 확보가 필요하다. 보호해야 할 대상은 정확한 여론 수치만이 아니다. 정치적 의사를 결정하는 주체가 실험용 페르소나로 대체되지 않고 실제 유권자로 남아 있어야 한다.

출처

#지정학 #AI 정책