벤치마크 점수에는 잡히지 않는 EU AI Act 10조

편향은 못 고쳐도, 보낼지 말지는 정할 수 있다

AI 거버넌스는 모델의 정확도와 편향, 설명 가능성, 공정성을 관리한다. 반면 AI 데이터 거버넌스는 모델에 사용할 수 있는 데이터의 범위를 정책과 통제로 정한다. 데이터 유출 방지 솔루션 업체 Strac에 따르면 벤더의 파운데이션 모델(사전학습된 범용 대규모 모델)에 내재된 편향은 고객사가 바로잡기 어렵지만, 고객 개인정보를 해당 모델에 전달할지는 통제할 수 있다.

문서에는 이러한 차이가 제대로 반영되지 않았다. IBM의 2026년 조사에 따르면 침해 사고를 겪은 조직의 68%는 AI 거버넌스 정책이 없거나 초안만 마련한 상태였다. 완성된 정책을 보유했다는 응답도 전년 37%에서 32%로 줄었다. AI 관련 침해를 겪은 조직의 92%에는 AI 접근 통제가 없었다. 전체 침해 조직 중 AI 시스템과 데이터에 접근 통제를 적용한 곳도 40%에 그쳤다.

승인되지 않은 도구가 관련된 섀도 AI(회사가 승인하지 않은 AI 도구의 사적 사용) 사고는 전체 침해 사고의 43%를 차지했다. 전년의 20%에서 두 배 넘게 늘어난 수치다. 평균 비용은 539만 달러로 전체 평균인 463만 달러보다 많았으며, 사고의 49%는 데이터 손실이나 유출로 이어졌다.

감시 체계를 갖춘 조직도 실제 차단 수단은 부족했다. 클라우드 보안 표준 단체 Cloud Security Alliance 조사에서 목적 제한과 킬 스위치, 네트워크 격리의 도입률은 모니터링 통제보다 15~20% 낮았다.

응답자의 63%는 에이전트의 목적을 제한하지 못했고, 92%는 운영 중인 에이전트의 신원을 모두 파악하지 못했다.
침해된 에이전트를 탐지하거나 격리할 수 있다고 확신하지 못한 응답자는 95%였다.

인벤토리가 없으면 보호 조치를 적용하기 어렵고, 규정 준수를 입증하거나 사고 증거를 보존하기도 어렵다.

프롬프트, 검색, 도구, 기억..

유출 경로는 프롬프트, 검색, 외부 도구, 장기 기억으로 나뉜다. 데이터 유출 탐지 업체 Cyberhaven과 브라우저 보안 업체 LayerX가 분석한 AI 상호작용 가운데 39.7%에 민감 데이터가 포함돼 있었다.

붙여넣기 하루 14회

기업 사용자의 77%는 프롬프트에 데이터를 붙여넣었다. 회사가 관리하지 않는 계정에 붙여넣는 횟수는 하루 평균 14회였고, 이 가운데 최소 3회가 민감 정보였다. 통제는 전송 버튼을 누르기 전에 이뤄져야 한다.

전송한 정보가 학습에 쓰이지 않아도 바로 삭제되지는 않는다. 주요 API는 남용 감시용 로그를 기본 30일간 보관한다. OpenAI의 무보존 옵션은 승인을 받은 고객만 이용할 수 있으며, 일부 기능에는 별도의 보존 조건이 적용된다.

Anthropic도 최상위 모델의 데이터를 30일간 보관한다. 다만 데이터 저장 위치를 고객의 클라우드로 바꾸는 방식을 제공했다.

권한보다 의미가 먼저

RAG는 사내 문서를 검색해 답변에 참고 자료로 쓰는 기술이다. 화면과 API에서는 사용자 권한을 확인하지만, 벡터 데이터베이스는 권한보다 의미가 비슷한 문서 조각을 먼저 찾는다.

EchoLeak은 숨겨진 지시가 포함된 이메일을 검색 자료에 넣는 방식으로 작동했다. 이후 사용자가 질문하면 OneDrive, SharePoint, Teams의 정보를 외부로 전송했다. 사용자 조작이 필요 없는 취약점으로, CVSS(취약점 심각도를 0~10으로 매기는 국제 표준 점수) 점수는 9.3이었다.

MCP 2만 개, 인증은 없다

MCP(AI 모델을 외부 도구, 데이터에 연결하는 표준 규약)로 연결한 외부 도구도 유출 경로가 될 수 있다. 인터넷 자산 조사 업체 Censys가 집계한 공개 MCP 서비스는 2026년 4월 1만2,520개에서 5월 2만1,000개 이상으로 늘었다. 여러 조사에서는 이 가운데 38~41%에 유효한 인증 절차가 없었다.

MCPTox 실험은 도구 설명에 악성 지시를 섞었다. 공격 성공률은 평균 36.5%였으며, 특정 모델에서는 72.8%에 달했다.

기억에 심는 명령

장기 기억에 저장된 악성 지시는 다음 세션에서도 작동한다. 애플리케이션 보안 표준 단체 OWASP는 이런 위험을 ASI06 ‘메모리, 컨텍스트 오염’으로 분류했다.

Trojan Hippo는 신뢰할 수 없는 도구를 한 번 읽게 해 악성 명령을 장기 기억에 저장했다. 이후 금융, 건강, 법률 관련 대화가 시작되면 정보를 외부로 유출했다.

검색으로 가져온 내용과 실행 지시는 분리해야 한다. 영속 메모리에 기록할 내용은 저장 전에 검증하고, 작업마다 참조할 문맥의 범위도 제한할 필요가 있다. 확인 화면에는 에이전트가 작성한 요약문이 아니라 실제로 실행될 원문을 표시해야 한다.

평가 점수만으로는 부족하다

EU AI Act 10조는 높은 평가 점수만으로는 부족하다고 규정한다. 데이터의 수집 과정과 출처, 주석, 정제, 갱신, 집계 방식뿐 아니라 데이터가 무엇을 나타낸다고 가정했는지도 문서화해야 한다. 데이터의 규모와 적합성을 평가하고 편향 검사 결과와 보완 조치도 기록해야 한다. 데이터셋은 해당 용도와 관련이 있어야 하며 대표성과 완전성, 적절한 통계적 특성을 갖춰야 한다.

Annex IV(부속서 4)에 따른 기술문서에는 학습, 검증, 테스트 데이터의 출처와 관리 방식이 포함된다. 사전학습 모델의 계보, 파인튜닝 단계, 라이선스, 데이터의 지리적, 시간적 범위, 수집, 주석 방법, 주석자 간 일치도도 기록 대상이다. 벤치마크 점수만으로는 이 항목들을 대신할 수 없다. 편향을 바로잡기 위해 민감 정보를 처리하려면 다른 수단이 없어야 한다. 정보 접근과 외부 공유를 제한하고 목적을 달성했거나 보존 기한이 끝나면 삭제해야 한다.

Digital Omnibus(EU 디지털 규제 일괄 개정안)는 Annex III에 해당하는 고위험 시스템의 준수 시점을 2027년 12월 2일로, Annex I 계열은 2028년 8월 2일로 연기했다. 다만 투명성 의무와 범용 AI 제공자의 의무, 금지 관행에 관한 규정은 이미 적용되고 있다. 데이터 출처와 계보, 주석 이력은 나중에 소급해서 작성하기 어렵다.

삭제와 보존에는 서로 다른 기준과 기한이 적용된다. 원본을 삭제해도 로그와 임베딩, 가중치, 하위 시스템에는 영향이 남는다. 가중치에 반영된 정보를 삭제하라는 요청을 어떻게 처리할지에 관한 유럽 개인정보보호이사회의 지침도 아직 없다. 한편 2026년 1월 미국 법원은 저작권 소송에서 OpenAI에 비식별 사용자 로그 2,000만 건의 표본을 제출하라고 명령했다. 사용자 삭제 요청과 조직의 보존 정책, 소송에 따른 보존 의무를 함께 고려해야 한다.

오탐 30%짜리 보안?

AI 도구를 파악하고 데이터를 분류하지 않으면 사고 뒤 누가 어떤 정보를 어느 도구에 입력했는지 확인하기 어렵다. 접근 통제와 신원 관리가 허술하면 RAG에서 자료가 필요 이상으로 공유되고 OAuth(계정 비밀번호 없이 다른 서비스에 권한을 위임하는 표준)에도 과도한 권한이 부여된다. 전송 구간을 보호하지 않으면 민감한 프롬프트가 외부로 넘어갈 수 있다. 감사 로그가 없으면 EchoLeak 같은 유출 사고도 확인하기 어렵다. 공급업체와 제품의 변경 이력을 관리하지 않으면 업데이트 뒤 MCP 도구의 동작이 예고 없이 달라지는 러그풀(신뢰를 쌓은 뒤 갑자기 동작을 바꾸는 수법) 위험도 놓치게 된다.

사용 현황을 파악하기 전에 차단부터 적용하면 정상 업무까지 방해한다. DLP(데이터 유출 방지) 운영 사례를 보면 정상적인 데이터 이동을 관찰하지 않고 차단한 경우 실패할 가능성이 가장 컸다. 오탐률이 30%에 이르는 정책은 보안 효과보다 지원 요청을 늘린다. 차단은 오탐률을 10% 아래로 낮춘 뒤 적용하는 편이 현실적이다.

90일 계획 가운데 첫 1~3주는 측정에 배정한다. 조직에서 사용하는 AI 도구를 모두 찾아 목록을 만들고, 사용량이 많은 다섯 가지 업무에서 데이터가 이동하는 경로를 기록한다. 여기서 확보한 기준선은 차단 규칙의 예외 목록을 정하는 근거가 된다. 4~7주에는 프롬프트에 포함된 민감 정보를 가리고 OAuth 권한을 축소한 뒤 고위험 도구를 차단한다. 합의를 얻으려면 실제 트래픽 중 영향을 받는 비율과 예외 적용 대상을 제시해야 한다.

8~12주에는 감사 로그를 GRC(거버넌스, 리스크, 컴플라이언스) 체계와 연동하고 EU AI Act 제10조, NIST AI RMF(미국 국립표준기술연구소의 AI 위험관리 프레임워크), ISO/IEC 42001의 요구사항에 맞춰 관리한다. 개인정보 영향평가를 실시하고 조달 심사 담당자도 교육한다. 실측 자료 없이 매핑 문서부터 만들면 정책은 선언에 그치고 기록할 근거도 남지 않는다.

평가에 실패하면 프롬프트나 모델을 바꿔 다시 측정할 수 있다. 반면 데이터 경로에서 발생한 문제는 로그와 메모리, 임베딩에 흔적을 남기며 법적 보존 명령과 충돌할 수도 있다. 평가는 평균적인 결과 분포를 측정하지만 정보 유출은 단 한 번으로도 성립한다. 첫 30일 안에 도구 목록과 데이터 경로를 확보하고, 측정 결과에 따라 차단 정책을 적용한 다음 평가 체계를 마련해야 한다. 사고가 나면 데이터의 이동 경로를 설명할 수 있어야 하며 모델 정확도만으로는 대응할 수 없다.

출처

#AI 안전 #AI 정책 #기업 AI #법·제도