AI 이전에는 자유롭게 선택했다는 착각
인도 매체 Firstpost의 한 칼럼니스트는 인간이 자신의 생각과 선택을 온전히 만들어 낸다는 믿음을 의심한다. 사람은 질문하는 법을 배우기도 전에 언어와 계급, 가족의 습관, 종교관과 성공관을 물려받는다. 학교와 또래 집단, 미디어, 일상생활은 이렇게 형성된 사고방식에 계속 영향을 준다.
주어진 조건이 있다고 해서 인간의 주체성까지 부정할 수는 없다. 사람은 선택하고 판단하며 때로는 자신을 둘러싼 조건에 저항한다. 다만 누구도 자신이 선택하지 않은 조건에서 완전히 벗어나 자유를 행사할 수 없으며, 선택의 범위도 사람마다 다르다.
AI가 등장하기 전에도 인간의 자율성은 주변 환경의 영향을 받았다. AI는 조건을 새로 만든다기보다 기존 조건이 사람에게 영향을 미치는 범위와 속도를 바꾼다. 그러므로 조건의 존재 자체보다는 AI가 어떤 방식으로 사고와 선택에 영향을 주는지, 그 과정을 누가 통제하는지를 살펴봐야 한다.
선택의 마찰을 지운다, 하이퍼넛지
가족과 학교, 제도와 규범은 때로 개인을 강하게 압박했지만 그 영향은 대체로 눈에 보였다. 무엇에 맞서야 하는지 알 수 있었고 논쟁과 거부, 대항문화도 생겨났다. 이 과정에서 발생한 마찰은 자신의 판단을 돌아볼 여지를 남겼다. 인쇄술과 인터넷이 정보의 문턱을 낮춘 뒤에도 판단 능력까지 저절로 향상되지는 않았다.
알고리즘은 선택권을 그대로 둔 채 선택에 따르는 수고를 줄인다. 이용자가 좋아한 것을 학습해 취향에 맞는 결과를 내놓는다. 무언가를 발견했다는 느낌은 들지만 낯선 대상을 접할 기회는 줄어든다. 추천 화면에서 반복해서 만나는 대상은 새로운 세계보다 익숙한 취향에 가깝다.
법학자 카렌 영은 이를 ‘하이퍼넛지’(개인 데이터로 실시간 조정되는 선택 설계)로 설명한다. 구내식당에서 샐러드를 눈높이에 진열하는 방식은 모든 사람에게 같은 환경을 제공한다. 빅데이터를 활용한 추천은 사람마다 다른 반응을 반영하며 계속 바뀐다. 기존 선호에 맞는 항목을 제시할 뿐 아니라 선호가 형성되는 과정에도 영향을 준다.
Netflix 시청 80% 뒤에 숨은 선택의 감각
추천이 반복되면 관심이 특정 방향으로 좁아지고 생각의 범위도 달라진다. 같은 입장과 문체, 감정을 드러내는 방식이 거듭 노출되면 익숙한 내용을 깊이 있는 내용으로 여기기 쉽다. 추천 시스템은 이용자가 좋은 반응을 보인 콘텐츠를 계속 노출하는 것만으로도 이런 효과를 낸다. Netflix 시청의 약 80%가 추천의 영향을 받는다는 연구는 이용자가 직접 골랐다는 감각과 실제 노출 순서 사이의 차이를 보여준다.
잘 모르는 분야에서도 편향은 생긴다. 한 인지과학 연구진은 참가자에게 가상의 외계 생물 범주를 학습시켰다. 개인화된 단서를 받은 집단은 일부 특징만 살펴본 뒤 새로운 사례를 더 자주 틀렸고, 오답에도 더 큰 자신감을 보였다. 어느 나라의 영화를 처음 접한 사람이 상단에 노출된 액션물만 본 뒤 같은 장르를 계속 추천받으면, 일부 장르를 해당 국가의 영화 전체로 오해하기 쉽다.
피드는 이용자의 표현 습관에도 영향을 미친다. 탈중앙 소셜 플랫폼 Bluesky의 뉴스, 과학, 블랙스카이 피드 이용자를 비교한 준실험에서 노출 집단은 대조군보다 해당 피드의 문체와 의미 체계를 더 많이 따랐고, 표현도 더 격식 있게 바뀌었다. Netflix 창업자 리드 헤이스팅스는 Netflix가 YouTube뿐 아니라 수면과도 이용자의 시간을 두고 경쟁한다고 말했다. 플랫폼이 주로 측정하는 것도 이용자가 얼마나 신중하게 선택했는지가 아니라 얼마나 오래 머물렀는지다.
개인화 피드를 끄는 권리부터 보장하라
AI는 인간의 불완전한 판단을 바탕으로 가치관 형성에 훨씬 넓고 정밀하게 관여한다. 이 칼럼니스트는 소수 기업과 정부가 AI를 통제할 경우 영어권과 서구 제도의 관행, 참여율과 수익을 높이는 의견이 추천 결과와 답변에 더 많이 반영된다고 본다. 학습 데이터에 어떤 언어와 역사, 지식을 포함하거나 제외할지도 이들이 정한다.
AI의 확장성은 인도 오디샤나 멕시코 오아하카의 1세대 학습자에게 엘리트 교육기관에 준하는 지적 교류의 기회를 제공할 수 있다. AI의 위험과 효용은 기술 자체보다 운영 주체와 사업 구조에 좌우된다.
유럽연합 디지털서비스법은 추천에 적용하는 주요 기준을 쉬운 말로 공개하도록 규정한다. 초대형 플랫폼은 이용 기록에 따른 개인 분류를 사용하지 않는 추천 방식도 하나 이상 제공해야 한다. TikTok과 Facebook, Instagram 이용자는 개인화 피드를 끌 수 있다. 개인화, 비개인화, 혼합 추천 가운데 원하는 방식을 쉽게 고르고 일정한 간격으로 다시 선택하게 하자는 ‘메타 선택’도 비슷한 취지다.
보호해야 할 대상은 애초에 존재하지 않았던 완전한 자율성이 아니다. 투명성을 높이고 다양한 언어와 데이터를 반영하며 운영자의 책임과 이용자의 재선택권을 보장하면 이견과 비주류 지식을 접할 기회가 줄어드는 일을 막을 수 있다. 편향된 표본은 잘못된 확신을 낳기도 한다. 이런 규칙은 개인의 취향에 개입하려는 수단이 아니라 부족한 정보를 바탕으로 확신하는 일을 줄이는 장치다.
출처
- The fallacy of human agency and the perils of algorithmic conditioning — Firstpost
- Algorithms and Autonomy: Regulating Recommender Systems — Behavioural Public Policy Blog
- Algorithmic personalization of information can cause inaccurate generalization and overconfidence — Journal of Experimental Psychology: General
- The Netflix Recommender System — ACM TMIS
- The Regulation of Recommender Systems Under the DSA — DSA Observatory
- The impact of the Digital Services Act on digital platforms — European Commission
- Algorithmic Cultivation: How Social Media Feeds Shape User Language — arXiv