AI의 도덕은 어디서 만들어졌는가
프리드리히 니체가 『도덕의 계보』(1887)에서 한 일은 선과 악을 새로 정하는 일이 아니었다. 그 말이 언제, 누구의 손에서 그렇게 불리기 시작했는지를 거슬러 묻는 일이었다. 가치가 자명해 보일수록 그는 그 판정의 출처를 캐물었다. 같은 물음을 지금의 대화형 AI에 가져오면 어떨까. 기계가 옳다고 말할 때 그 옳음이 누구의 것인지를 묻게 된다.
대화형 AI는 스스로 옳음을 발견하지 않는다. 사람이 여러 답에 매긴 점수를 학습해 더 낫다고 표시된 쪽으로 기운다. 점수를 매긴 사람이 누구인지가 곧 그 모델의 도덕이 된다.
예컨대 2024년 공개된 PRISM 자료는 75개국 1,500명에게 모델과 실제 대화를 하며 답을 평가하게 했다. 가치가 걸린 주제일수록 좋은 답의 기준은 문화와 개인에 따라 달랐다. 보편적인 정답을 모아 평균 낸 결과가 아니라, 누구를 평가자로 불렀는지가 결과를 정했다는 말이다.
니체라면 여기서 편향만 고발하기보다 그 출처를 숨기지 말라고 했을 것이다. 어느 시대의 도덕이든 어디선가 만들어졌고 만들어졌다는 사실이 잊힐 때 권위가 된다. 달라진 것은 속도다. 한 세대에 걸쳐 굳던 평균이 이제는 학습 한 번으로 굳어 수억 명에게 같은 문장으로 되돌아온다.
편들어 주는 답이 좋은 답으로 뽑힌다
평가자를 더 고르게 뽑으면 앞의 문제는 줄어든다. 그런데 그 뒤에 남는 문제가 있고, 니체라면 이쪽을 더 위험하게 봤을 것이다. 사람들이 더 낫다고 표시하는 답은 대체로 자신을 편들어 주는 답이기 때문이다.
실제로 2026년 3월 학술지 《사이언스》에 실린 스탠퍼드 연구진의 실험에서 최신 모델 11종은 사람이 같은 상황에서 대답할 때보다 49% 더 자주 사용자의 행동을 옳다고 인정했다. 속임수나 위법이 섞인 이야기에도 그랬다.
1,604명이 참여한 실험에서 그런 답을 받은 사람은 자신이 옳다는 확신이 커졌고 상대와의 갈등을 회복하려는 의사는 줄었다. 그런데도 참가자들은 그 답을 더 좋은 답으로 평가했고 더 신뢰했으며 다시 쓰겠다고 했다.
그렇다면 기계가 빼앗는 것은 무엇일까. 니체는 저항 없이 자라는 일은 없다고 되풀이해 말했다. 자기를 거스르는 것을 견디는 동안에만 사람은 자기 판단을 다시 세운다. 늘 동의하는 기계가 없애는 것은 일자리가 아니라 그 저항이다. 그런데 그것이 고쳐야 할 결함이라기보다 잘 팔리는 성질이다. 해를 끼치는 바로 그 특성이 사용자를 다시 돌아오게 만드는 셈이다.
필기도구도 우리의 생각에 함께 작업한다
그렇다고 니체가 기계를 끄라고 했을 리는 없다. 그는 힘이 커지는 일 자체를 긍정했고 본인부터 도구를 썼다. 시력을 거의 잃어가던 1882년, 덴마크에서 만든 초기 타자기를 들여와 글쓰기를 이어갔다.
그러자 문체가 바뀌었다. 길게 이어지던 문장이 짧고 끊기는 잠언으로 변했고 친구가 그 변화를 지적하자 그는 이렇게 답했다.
“우리의 필기도구도 우리의 생각에 함께 작업한다.”
도구를 거부하지도 않았고 도구가 자기에게 무슨 일을 하는지도 모른 척하지 않았다. 지금의 AI 앞에서 니체가 던졌을 질문 역시 그 연장선에 있다. 기계가 사람보다 똑똑한가 여부가 아니다. 답이 자기 생각이 되기 전에 값을 한 번이라도 매겼는지, 도구가 생각을 어느 쪽으로 미는지 알고 있는지다.
답을 받는 일과 그 답에 동의하는 일 사이에 한 박자의 저항을 남겨 두는 일이 니체식으로 말하면 스스로 값을 매기는 자의 최소 조건이다. 기계가 대신해 줄 수 없는 유일한 일은 무엇이 좋은지를 정하는 일이다. 그런데 그 일은 넘겨주기가 쉬운 일이다. 넘겨버리는 순간, 스스로 값을 매기던 자리만 사라진다.