AI 과제 제출 15% 돌파.. 채점자는 학생이 썼는지 알 방법이 없다
토론 교육 전문가 스테판 바우샤드는 2026년 8월 발표한 「논문에는 적이 없다」에서 글쓰기가 사고를 형성한다는 전제를 받아들인다. 그러나 ChatGPT가 나온 뒤에는 제출된 글을 학생의 사고와 같다고 보기 어려워졌다. 채점자는 완성된 문장만 읽기 때문에 학생이 작성 과정에 얼마나 참여했는지 확인할 수 없다.
미국 공립학교와 차터스쿨(정부 예산으로 운영되는 자율형 학교)을 조사한 결과, 과제 전체를 AI로 작성한 학생은 2024년 11%에서 2025년 15%로 늘었다. 학생이 30명인 학급이라면 평균 4~5명이 AI가 작성한 과제를 제출하는 셈이다.
학교는 채점에도 AI를 쓰기 시작했다. 뉴올리언스의 차터스쿨 운영사 KIPP는 3~12학년 학생의 글을 EnlightenAI로 평가한다. 교사가 평가 기준에 맞춰 글 10편을 채점하면 AI가 이를 학습한 뒤 나머지를 처리한다. 학생과 학부모에게는 AI 사용 사실을 알리지 않는다.
AI 채점의 정확도에는 한계가 있다. 케임브리지대 연구진이 영국 대학의 심리학 에세이 761편을 최신 모델 여러 개로 평가한 결과, 사람이 매긴 학위 등급과 AI의 평가가 일치한 비율은 대학별로 35~65%였다. 모델은 논증보다 글의 길이와 어휘 수준, 문장의 복잡성에 더 민감하게 반응했다. 성적이 가장 높은 글과 가장 낮은 글에서는 오판도 잦았다. 작성자가 얼마나 사고했는지 알 수 없는 글을, 논증보다 문체에 좌우되는 AI가 채점한다.
예상치 못한 반론에 답할 준비가 되었는가.. 글 뒤에 숨을 수 없는 토론
토론의 첫 연설문도 논문처럼 아이디어를 고르고 자료를 조사한 뒤 여러 차례 문장을 다듬는다. 다만 준비할 때부터 자신의 주장뿐 아니라 상대가 제기할 반론까지 고려한다. 데이터센터의 물 사용을 비판한다면 국가 전체 사용량에서 차지하는 비중이 약 0.14%에 불과하다는 반박에 대비해야 한다. 이 경우 논지를 일반적인 물 사용 문제에 두기보다 노던 버지니아나 애리조나처럼 물이 부족한 지역에서 발생하는 피해로 좁힐 필요가 있다.
토론에는 답하지 않은 주장을 인정한 것으로 간주하는 ‘드롭 규칙’이 있다. 논문에서는 불편한 반론을 빼고 제출할 수 있지만 토론에서는 침묵도 판정 근거가 된다. 교차질의가 시작되면 상대는 출처와 표본, 연구 방법을 검토해 약점을 제시한다. 교수의 설명을 끌어내기 위한 질문과는 목적부터 다르다.
교육심리학자 디애나 쿤과 어맨다 크로웰은 중학생들에게 사회 쟁점을 주제로 구조화된 전자 대화를 수년간 진행하게 했다. 이들은 에세이 작성과 전체 토론을 연습한 비교집단보다 새로운 주제에 관해 혼자 에세이를 쓸 때 논증과 증거 판단에서 더 나은 성과를 냈다. 대화에서 익힌 논증 능력이 글쓰기에도 이어졌다.
인지과학자 위고 메르시에와 당 스페르베르는 인간의 추론 능력이 혼자 진리를 찾는 과정이 아니라 다른 사람과 주장을 만들고 평가하는 과정에서 발달했다고 설명한다. 혼자 푸는 과제에서는 추론에 서툴던 사람도 다른 사람과 논증할 때 더 나은 판단을 내리곤 한다. 이 현상은 두 사람의 설명과도 맞아떨어진다.
프로그래머이자 에세이스트 폴 그레이엄과 컴퓨터과학자 레슬리 램포트가 말했듯 글을 쓰려면 생각해야 한다. 바우샤드는 토론에서 상대의 반박을 예상하고 즉석에서 대응하는 부담까지 더해진다고 설명한다. 토론 교육자 스티븐 피츠패트릭도 AI가 토론 자료와 첫 연설문을 만들 수는 있어도 예상하지 못한 반론이나 용어 정의를 둘러싼 충돌, 논의의 틀이 바뀌는 상황까지 대신 처리하기는 어렵다고 봤다. 상대와 심판 앞에서는 미리 준비한 문장만 읽어서는 대응하기 어렵다.
소프트뱅크의 영상 평가.. 요코하마은행이 1분 영상을 받는 이유
한국 대학 입시에서 자기소개서는 폐지됐지만 논술전형은 다시 늘고 있다. 2028학년도 수도권 대학의 수시 논술전형 모집 인원은 1만1443명이다. 수시 모집에서 논술전형이 차지하는 비율도 2023학년도 10.7%에서 2028학년도 12.7%로 높아질 전망이다.
국가교육위원회와 일부 교육청은 서술형, 논술형 평가를 늘리는 동시에 AI를 활용해 채점 부담을 줄이고 있다. 전남, 광주, 서울교육청이 추진하는 ‘채움 AI’ 같은 사업이 대표적이다. 학생이 AI로 글을 쓰고 교육기관이 AI로 평가하는 환경에서는 완성된 글만으로 학생의 사고력을 판단하기 어렵다.
채용 시장에서는 이미 비슷한 문제가 나타났다. 표절 검사 서비스 기업 무하유가 실제 자기소개서를 분석한 결과, AI 작성이 의심되는 비율은 2025년 48.5%에서 64.4%로 올랐다. 모든 문항을 AI로 작성한 비율도 8.9%에서 20.6%로 증가했다. 지원자는 AI로 자기소개서를 작성하고 기업은 다시 AI로 작성 여부를 탐지하고 내용을 평가한다.
일본 기업들은 서류의 비중을 낮추고 있다. 제약회사 로토제약은 2027년 신입사원 채용부터 엔트리시트(일본식 입사지원서)를 폐지하고 모든 지원자를 직접 만나는 ‘엔트리 미트’를 도입한다. AI 사용을 막기 위해서가 아니라 지원자의 개성이 드러나지 않는 서류가 늘어서다. 소프트뱅크는 자기소개 영상을 받고 있으며, 요코하마은행은 서류 대신 1분 분량의 영상을 제출받는다.
중세 대학의 ‘랭글러’와 구두 논쟁.. 대규모 선발이 죽인 평가의 역사
학교가 글을 오랫동안 평가에 활용한 데에는 많은 학생을 적은 비용으로 반복해서 분류하기 쉽다는 사정도 있었다. 바우샤드에 따르면 교육은 검색과 유형 파악 능력, 며칠 동안 약점을 보완해 완성한 논문을 주로 평가해 왔다. AI의 등장은 비판적 사고뿐 아니라 이런 분류 방식에도 영향을 미친다.
AI는 논문 작성을 대신할 수 있지만 토론에서는 같은 공간에서 실시간으로 생각하고 답해야 한다. 학교는 그동안 논문을 기본 과제로 삼고 토론은 선택 활동으로 운영해 왔다. 중세 대학에서는 구두 논쟁인 ‘디스퓨테이션’이 시험이었으며, 케임브리지 수학 우등생을 뜻하는 ‘랭글러’라는 명칭에도 당시의 흔적이 남아 있다. 필기시험 중심의 제도는 대규모 평가를 위해 비교적 최근에 채택됐다.
과제를 설계할 때는 작성 과정을 관찰할 수 있는지, 학생이 논증의 약점을 직접 해명해야 하는지, 제한된 시간 안에 판단해야 하는지를 살펴야 한다. 교차질의와 즉석 반박, 구술 방어는 이 세 조건을 충족한다. 회의와 협상, 면접, 위기 대응에 필요한 사고 역시 대부분 시간 제약을 받는다.
논술과 리포트, 졸업논문을 없앨 필요는 없다. 긴 글을 구성하는 능력과 미묘한 의미를 표현하는 능력, 문장력은 토론만으로 평가하기 어렵기 때문이다. 다만 선발과 졸업 과정에서는 제출한 글을 구술로 방어하게 하고, 수업 토론과 교차질의형 면접도 평가에 포함할 수 있다. AI는 초안 작성과 딜레마 제시, 모의 토론 상대로 활용하되 최종 점수는 학생이 자신의 주장을 설명하고 수정하며 방어하는 과정에 부여한다.
출처
- A Paper Has No Opponent — Stefan Bauschard / Education Disrupted
- Blaming AI for Destroying Education Makes Me Want to Scream — Stefan Bauschard
- Writes and Write-Nots — Paul Graham
- Dialogic Argumentation as a Vehicle… — Kuhn & Crowell, Psychological Science
- Why do humans reason? — Mercier & Sperber, BBS
- Some New Orleans schools embrace AI for grading — Verite News
- AI not yet good enough to mark university essays — University of Cambridge
- AI cheating: What the data says — Vox
- AI Can Prep Your Case. It Can’t Save You at the Lectern — Stephen Fitzpatrick
- 지원자는 AI로 자소서 쓰고, 기업은 AI로 평가 — 전자신문
- “자소서 폐지”…생성형 AI 확산에 日 기업 채용 바뀐다 — 동아일보
- 生成AIで就活生のエントリーシートが均質化 — 아사히신문
- 2028학년도 입시 수도권 대학 논술전형 확대 — 주간경향