AI가 내놓은 판단이 업무에 바로 반영되면서 리더의 역할도 달라지고 있다. 판단 과정에 사람이 적게 개입할수록 결과를 승인하고 감당할 주체는 저절로 정해지지 않는다.
주인 없는 결정
AI가 일상적인 판단을 빠르게 대신하고 있다. Deloitte 조사에서 경영진의 60%는 의사결정에 AI를 정기적으로 썼지만 스스로 이를 선도한다고 답한 조직은 5%에 그쳤다. 같은 기관의 별도 연구에서는 57%가 의사결정 성숙도도 낮았다. 가트너는 한발 더 나가 2027년까지 기업 의사결정의 절반을 AI 에이전트가 보조하거나 자동화할 것으로 내다본다.
그런데 책임 체계는 이 속도를 따라가지 못한다. 에어캐나다는 챗봇이 사별 운임(가족 사망 등 위급한 상황에서 이동하는 승객에게 적용하는 할인 운임)을 잘못 안내한 일로 812.02캐나다달러를 배상하라는 판결을 받았다. 고객에게는 챗봇의 말도 회사의 말이다. 결정을 자동화할수록 “누가 책임지는가”는 더 분명해야 한다.
완충지대가 된 사람
그러나 사고가 나면 책임은 시스템과 가장 가까운 사람에게 몰린다. 인류학자 매들린 클레어 엘리시는 이를 ‘도덕적 완충지대’라고 불렀다. 조직과 시스템은 보호받고 마지막에 버튼을 누른 현장 작업자가 책임을 떠안는 구조다.
승인자가 판단 근거를 볼 수 없거나 거부할 시간과 권한이 없다면 ‘휴먼 인 더 루프’는 사후 책임자를 정하는 절차에 불과하다.
그렇다고 AI의 출력 옆에 사람 이름을 붙인다고 감독이 되는 것은 아니다. 실제로 의료 현장에서는 규칙 기반 시스템을 포함한 임상 의사결정지원 경고가 46.2~96.2%까지 무시됐고, 거짓양성 경고 탓에 필요한 약을 놓치는 비율도 56.9% 늘었다. 사람을 끼워 넣는 것만으로 과소 신뢰와 과잉 신뢰를 막을 수 있을까.
반박하는 힘도 약해진다
감독 능력은 쓰지 않으면 떨어진다. 폴란드 의료기관의 내시경 의사들은 AI 탐지 도구를 계속 사용한 뒤, AI 없이 검사하자 선종(대장암으로 진행할 수 있는 용종의 한 종류) 발견율이 28.4%에서 22.4%로 낮아졌다. 판단을 기계에 오래 맡기면 예외를 알아보는 감각도 무뎌질 수 있다는 뜻이다.
책임감 역시 떨어진다. 8,000여 명을 대상으로 한 실험에서 사람이 직접 보고할 때는 95%가 정직했지만 AI에 ‘이익을 극대화하라’는 목표만 주자 정직한 참가자 비율이 약 15%까지 떨어졌다. 부정을 명시하지 않은 모호한 지시는 책임 회피의 여지를 남긴다. 평소 AI 판단에 도장만 찍던 사람에게 위기 순간 스스로 판단하기를 어떻게 기대할 수 있을까.
반대할 자유보다 뒤집을 권한
항공 분야의 ‘두 번 묻기’ 규칙은 좋은 참고가 된다. 위험을 알렸는데 응답이 없으면 한 번 더 경고하고 그래도 답이 없으면 조종권을 넘겨받는다. 이 절차는 발언할 자유보다 두 번째 경고 뒤 무엇을 할지 미리 정해 두는 데 무게를 둔다.
조직 역시 AI 감독에 같은 장치를 둔다.
- 실무자가 이의를 제기하면 담당자는 정해진 시간 안에 답하고 답이 없으면 절차가 자동으로 중단된다.
- 실무자에게는 모델을 뒤집을 권한도 함께 준다.
- 사람과 AI의 판단이 엇갈린 사례는 기록해 모델 평가와 개선에 반영한다.
예를 들어 Liberty Mutual은 손해사정사가 AI의 시나리오를 검토하고 번복할 수 있게 했으며 관계자는 누가 얼마나 빨리 반대할 수 있는지가 중요하다고 말했다.
되돌리기 어려울수록 사람이 맡는다
자동화 범위는 평균 정확도보다 실패를 되돌리는 비용으로 정하는 편이 낫다. 복구가 쉽고 영향이 작은 일은 자동화할 수 있다. 반면 채용처럼 생계와 법으로 보장된 권리가 걸린 결정에는 복수 검토, 응답 시한, 자동 중단 절차가 필요하다. 실제로 Workday의 AI 채용 심사 소송에서는 법원이 40세 이상 지원자에게 집단소송 참여 통지를 보내도록 허가했다. 이는 법원이 소송에 참여할 수 있는 대상자에게 참여 여부를 안내하도록 허용하는 절차다. 결국 자동화된 판단도 차별과 법적 책임에서 자유롭지 않다.
그런데 AI는 배상하지도, 사과하지도, 실패를 수습하지도 않는다. 조직은 결정마다 세 가지를 정한다. 실패 비용을 맡을 사람, 이의를 제기하고 답할 시한, 답이 없을 때 중단할 절차다. 이 가운데 하나라도 빠지면 사람은 권한 없이 책임만 진다.
AI 시대의 리더는 기계보다 늘 더 좋은 답을 내는 사람이 아니다. 되돌리기 어려운 결과를 떠안고 필요할 때 절차를 중단시킬 수 있는 사람이다.
게다가 자동화는 업무의 속도뿐 아니라 조직이 망설임을 허용하는 정도도 바꾼다. 효율만으로 설계된 절차에서는 잠시 보류하는 판단이 비효율로 취급되기 쉽고 그렇게 커진 위험은 보고서에 늦게 반영된다.