챗봇의 문장은 계산으로 만들어지지만 사람은 문장을 읽을 때 말한 이의 의도와 감정까지 헤아린다. 이 두 과정이 한 화면에서 만날 때, 감정의 진위만으로는 설명되지 않는 문제가 생긴다.
진짜보다 붉은 부리
1950년대 동물행동학자 니코 틴베르헌은 재갈매기 새끼에게 어미 머리 모형과 흰 띠 세 개를 두른 붉은 막대기를 내밀었다. 새끼들은 어미를 닮은 모형보다 막대기를 더 자주 쪼았다. 먹이를 조르는 쪼기 반응을 끌어낸 것은 어미 전체가 아니라 부리의 붉은 반점이었다.
신호가 강하면 가짜도 진짜보다 강한 반응을 얻는다.
사람에게는 언어가 그런 신호다. 상대가 AI라는 사실을 알아도 필요한 순간 건네는 위로에는 마음이 움직인다. 실제로 슬프거나 불안할 때 챗봇에 조언을 구한 미국 청소년과 청년은 2024년 13.1%에서 2025년 19.2%로 늘었다.
그 감정을 단순한 착각이라고 넘길 수 있을까. OpenAI가 ChatGPT에서 GPT-4o를 퇴역시키자 일부 이용자는 이를 엽절제술에 빗대며 상실처럼 받아들였다. AI에게 내면이 있는지와 사람이 관계의 상실을 느끼는지는 별개의 문제다.
밧줄에 죄를 묻던 시대
1336년 템스강에서 술에 취한 선원이 밧줄을 타고 돛대에 올라갔다가 같은 길로 내려오다 추락해 숨졌다. 배심은 밧줄을 사망 원인으로 판정해 몰수하고 가치를 10실링으로 매겼다. 사망을 일으킨 재산을 몰수하거나 그 값을 소유자에게 물리던 관습법 ‘데오단드’였다.
그러나 벌의 대상은 사물만이 아니었다. 데오단드는 물건의 소유자에게 비용을 물리는 장치였다. 19세기 철도 사고가 늘자 배심들은 기관차에 거액을 부과해 철도회사를 압박했다. 사물의 책임을 묻는 형식이 비용을 낼 사람을 정하는 절차였다.
그런데 AI에서는 반대 현상이 나타난다. AI에게 마음이 있다고 느낄수록 사람들은 AI 자체를 더 비난했다. AI와 제작사에 대한 책임 판단 사이의 개인차 상관관계는 베이지안 다변량 모형에서 r(상관계수)=-0.68로 나타났다. 이처럼 AI를 도덕적 주체처럼 내세우면 회사가 져야 할 책임이 흐려질 수 있다. AI가 정말 느끼는지보다 그 말의 비용을 누가 치르는가, 그게 남는 문제다.
그 문장의 소유주
인류학자 앨프리드 젤은 우상을 ‘2차 행위자’라고 불렀다. 우상이 스스로 명령하는 것이 아니라 사제와 제작자, 신도가 자신의 의도와 권한을 그 안에 넣는다는 뜻이다. 신전은 신상이 말해서가 아니라 그 말을 만들고 해석하는 사람들이 있어서 움직인다.
챗봇도 마찬가지여서 Anthropic의 Claude 헌법은 모델의 가치와 행동을 정해 훈련에 반영한다. 화면에 나타난 슬픔 뒤에는 데이터와 지침, 튜닝(모델의 응답 특성을 조정하는 작업)과 제품 결정이 있다. 챗봇의 감정 표현은 순수한 내면의 고백이라기보다 설계된 출력이다.
그 출력은 사람의 판단도 바꾼다. 트롤리 딜레마(한 사람을 희생해 여러 사람을 구할지를 묻는 사고실험) 실험에서 참가자들은 ChatGPT의 조언에 따라 판단을 바꾸고도 그 영향을 작게 평가했다. 조언의 출처가 흐려지면 외부에서 들어온 생각을 자신의 결론으로 여기기 쉽지 않은가.
그래서 법은 제작사와 운영자를 다시 살핀다. 캘리포니아 SB 243은 사람으로 오인하기 쉬운 챗봇이 AI임을 밝히도록 하고 피해자의 소송 권리도 마련했다. 표현의 주체처럼 보이는 것은 AI지만, 그 표현을 만들고 통제하는 쪽은 회사이기 때문이다.
비용을 치르는 쪽
AI에게 내면이 있는지는 확인하기 어렵다. 하지만 피해가 생겼을 때 누가 대가를 치르는지는 알 수 있다. 모델은 돈이나 평판을 잃지 않고 법정에 서지도 않는다. 손실은 이용자와 가족, 서비스를 설계하고 판매한 회사가 떠안는다.
그래서 세 가지를 물어야 한다.
- 말이 틀렸을 때 누가 손해를 보는가.
- 출력을 바꿀 권한은 누구에게 있는가.
- 행동을 정한 지침은 공개돼 있는가.
이 기준에서 챗봇의 감정 표현은 내면의 보고보다 제품의 기능에 가깝다. 새벽 세 시에 받은 위로가 진짜 도움이 되더라도, 그 표현을 관리할 책임은 회사에 남는다.
언젠가 삭제와 중단이 모델 자체에 지속적인 손해를 남기고 모델이 독립적으로 책임까지 질 수 있다면 판단은 달라질 것이다. 하지만 지금의 AI에는 중단을 거부할 권리도, 배상할 재산도, 처벌을 겪을 신체도 없다. 화면에 슬픔을 담은 문장이 나타나도 그로 인한 비용은 여전히 사람과 회사가 치른다.
결국 표현이 정교해질수록 사람은 감정을 겪는 존재와 감정을 능숙하게 묘사하는 시스템을 구분하기 어려워진다. 그 구분이 끝나기 전에도 관계는 형성되고 판단은 달라지며 비용은 발생한다.