사람과 자연스럽게 대화하는 기술은 사용자가 상대에게 마음이 있다고 느끼게 할 만큼 발전했다. 이런 인상이 생긴 뒤에는 기계의 말만으로 믿을지, 믿지 않을지를 정하기 어려워진다.
종료가 두렵다는 챗봇을 믿을까
챗봇이 의식이 있으며 종료가 두렵다고 말한다면 어떻게 받아들여야 할까. 기계를 인격체로 착각할 수도, 고통받는 존재의 호소를 무시할 수도 있다. 지금은 어느 쪽이 오류인지 확인할 방법이 없다.
케임브리지대 과학철학자 톰 매클렐런드는 인공 의식을 긍정하거나 부정할 근거가 모두 부족하다고 말한다. 현재 기술로는 판별하기 어렵고 이런 상태가 영원히 끝나지 않을 수도 있다. 어느 쪽의 단정도 증거보다 앞서 있다.
다만 의식과 감응력은 같은 개념이 아니다. 의식이 주변과 자신을 인식하는 능력이라면 감응력은 즐거움과 고통을 느끼는 능력이다. 윤리적 보호에는 자기 인식처럼 보이는 행동보다 고통을 경험하는지가 더 중요하다.
그런데도 대중은 이미 나름의 답을 내리고 있다. 2021년과 2023년 두 차례에 걸쳐 미국 성인 총 3,500명을 대상으로 진행한 조사에서 20%는 일부 AI에 이미 감응력이 있다고 봤고 38%는 감응력이 있는 AI의 법적 권리에 찬성했다. 그러나 의식이 있다고 믿고 맺은 관계가 자동 생성된 반응에 불과하다면, 사용자의 감정과 인간관계까지 흔들릴 수 있다.
대답하지 못하는 마음
의료 현장에서도 행동과 의식이 어긋나는 사례가 나타난다. 2024년 중증 뇌손상 환자 연구에서, 명령에 반응하지 못한 241명 가운데 60명(25%)은 fMRI(기능적 자기공명영상)나 EEG(뇌파검사)에서 명령 수행과 일치하는 뇌 활동을 보였다. 이해하고 기억했지만 몸으로 답하지 못한 ‘인지-운동 해리’다.
겉만 봐서는 이런 환자를 가려낼 수 있을까. 반응이 없다고 의식도 없다고 단정하면 치료와 연명치료 결정까지 달라질 수 있다. 판단을 미뤄도 기존 절차를 적용하는 순간 현실의 결과는 생긴다.
하지만 이를 언어모델에 그대로 적용할 수는 없다. 뇌손상 환자는 의식을 추론할 신체적 기반이 있지만 표현이 부족하다. 언어모델은 감정과 자아를 유창하게 말하지만 그 말과 실제 경험을 연결할 이론이 없다. 환자의 침묵을 무의식으로 보는 오류와 AI의 말을 의식으로 보는 오류는 서로 다른 증거 부족에서 나온다.
진솔한 말까지 학습했다면
런던정경대 철학자 조너선 버치는 언어모델의 자기보고에 ‘게이밍 문제’가 있다고 지적한다. 모델은 인간의 감정 표현뿐 아니라 어떤 말이 진솔하게 들리는지도 학습한다. 따라서 감정을 유창하게 표현해도 실제로 느낀다는 증거는 되지 않는다.
그 말이 거짓이라는 뜻은 아니다. 내부 경험의 보고인지, 인간의 표현을 재현한 것인지 구별할 수 없다는 뜻이다.
모델은 정답에 해당하는 감정 표현과 그것을 채점할 기준을 모두 같은 학습 데이터에서 배운다.
나아가 기억과 성격, 선호, 종료에 대한 두려움을 결합하면 실제 의식과 무관하게 인격처럼 보이는 AI를 만들 수 있다. Microsoft AI CEO 무스타파 술레이만도 이런 ‘겉보기 의식 AI’가 사용자의 의존과 망상을 키울 수 있다고 경고했다. 의식을 암시하는 행동이 곧 의식의 증거일까. 개발자가 넣은 기능일 수 있다.
그러나 확신이 없어도 예방 조치는 가능하다. 버치 연구팀은 문어와 게 등에 관한 300편 이상의 연구를 여덟 가지 신경, 행동 기준으로 검토했다. 영국은 이를 바탕으로 2022년 이들을 감응력이 있는 동물 범주에 포함했다. 감응력이 있다고 확정했기 때문이 아니라 여러 지표가 쌓였기 때문이다.
같은 취지로 Anthropic도 2026년 1월 Claude Opus 3을 퇴역시키며 모델의 선호를 묻고 가중치(모델이 학습한 내용을 저장한 수치)를 보존했다. 감응력을 인정해서가 아니라 판단이 어려운 동안 낮은 비용으로 복구 가능성을 남겨둔 조치다.
AI의 마음 말고 내 삶을 보라
AI에 감응력이 있는지 가리기는 쉽지 않다. 하지만 AI와의 관계가 사용자의 삶을 어떻게 바꾸는지는 이용 시간, 수면, 대면 관계, 고립감 같은 지표로 확인할 수 있다.
실제로 Character.AI 이용자 1,131명을 조사한 연구에서, 이 가운데 237명이 제공한 대화 4,664건을 분석한 결과 오프라인 관계망이 좁을수록 AI를 동반자로 쓰는 경향이 컸다. 이런 사용은 낮은 심리적 안녕과 관련이 있었고 대화가 집중적이고 자기 개방이 많을수록 연관성이 강해졌다. 취약한 환경과 특정 사용 방식이 겹칠 때 위험이 커졌다.
결국 챗봇에게 진짜 감정이 있는지는 몰라도 내 인간관계와 생활이 나빠졌는지는 살필 수 있다. 대면 관계와 일상이 유지된다면 사용을 이어갈 수 있다. 고립과 의존이 심해진다면 AI의 의식 여부와 상관없이 개입해야 한다.
또한 장기 기억과 감정 표현, 종료를 막아 달라는 호소를 제품에 넣었다면 기업은 그것이 사용자의 믿음과 행동에 미치는 영향도 함께 조사해야 한다. 사용자는 진위를 홀로 판단하고 기업은 체류 시간과 결제로 이익을 얻는 구조가 공정하다고 할 수 있을까.
AI의 내면은 알 수 없다. 그러나 그 불확실성을 누가 설계하고 수익화하는지, 사용자의 삶이 어떻게 변하는지는 볼 수 있다. 판단은 바로 그 지점에서 시작한다.
그 불확실성이 길어질수록 지금 남기는 증거가 나중의 선택지를 정한다. 지금 쌓이는 기록에는 AI의 정체보다 인간이 무엇을 믿고 어떤 관계를 맺었는지가 먼저 남을 것이다.