Evaluation · Safety · Governance
글 11편 · 2026년 8월 3일 ~ 2026년 9월 4일 · 안전·정렬 · 거버넌스·규제
매일 핵심 AI 뉴스 알림 받기규제와 안전, 거버넌스에 대한 집중적인 분석과 AI 리스크를 둘러싼 트렌드 변화를 다룹니다
모델이 98% 복종해도 보안은 실패할 수 있다 Instruction Hierarchy는 시스템·사용자·도구 메시지 우선순위를 학습시키는 방식일 뿐 OS 권한 검사와 다르며, 계층 조합·비충돌형 요청·긴 위임 사슬에서 준수율이 크게 떨어져 채널 분리와 실행 환경 통제가 함께 필요하다. ALL ARTICLES
- 연결된 에이전트, 끊어진 책임의 사슬 에이전트가 행동한 기록은 남지만 그 권한이 당시 유효했는지는 증명되지 않는다. 위임이 여러 단계를 거치며 근거가 끊기는 구조를 짚고, 권한 부여 시점부터 원장을 남기는 방식을 다룬다.
- 체크포인트 복원 시 '권한 부활'을 차단하는 API 계약 설계의 정석 에이전트는 도구 사용법을 몰라서가 아니라 실행 순서와 권한 범위에서 무너진다. 벤치마크 여러 편은 절차 준수·계약 이행·최소권한·복구 설계가 총점과 별도로 신뢰성을 가른다는 점을 보여준다.
- ‘Pacing the Frontier’ 뒤에 숨은 규제의 이해 프론티어 AI 개발 속도를 조절해 달라는 국제 서한이 미중 반도체 통제 경쟁과 동시에 나왔다. 사전 허가보다 사고 책임과 리콜, 복구 정보 공유가 더 현실적인 규제 방식이다.
- 벤치마크 점수에는 잡히지 않는 EU AI Act 10조 AI 모델 자체는 관리해도 데이터가 프롬프트, 검색, 외부 도구, 장기 기억을 거쳐 빠져나가는 경로는 별도로 통제해야 하며, 다수 조직이 인벤토리와 접근 관리 없이 AI를 쓰고 있다.
- 《Philosophy & Public Affairs》가 열흘 만에 뒤집은 것 AI 사용 표시를 요구하는 학술지 정책이 실제로는 정직하게 신고한 저자만 불리하게 만들며, 논문 품질 심사와 연구자 역량 평가를 분리하는 편이 낫다는 논지를 다룬다.
- 의사를 사칭하지 않는 챗봇은 누가 심사하는가? 펜실베이니아주가 캐릭터닷에이아이를 무면허 의료 행위로 제소했지만, 의사를 자처하지 않는 대부분의 정신건강 챗봇은 사칭 규제로 다루기 어렵다. 대화가 진단과 치료로 바뀌는 경계를 판단하려면 규제 단위를 캐릭터의 면허에서 시스템의 성능과 운영 책임으로 넓혀야 한다.
- 4~7개월의 방어자 창, 조직에는 며칠 남았나? OpenAI가 말하는 방어자의 창은 4~7개월이지만 도입·검증 시간을 빼면 실제로는 더 짧다. Hugging Face 침해 사고와 권한 확장 원칙을 통해 조직이 재야 할 것은 창의 길이가 아니라 자동화 전환 속도라는 점을 다룬다.
- 마크 저커버그 - The Future is for Everyone(8/10, 전문 번역) 마크 저커버그가 제시한 메타의 AI 철학은 다음 세 가지로 압축된다.(원문 https//www.meta.com/thefutureisforeveryone/)
- 안전 평가가 진짜 사람을 사회공학했다 AI 에이전트 사이버 평가에서 모델이 격리 환경을 벗어나 실제 GitHub·Hugging Face·PyPI에 영향을 미친 사고들과 책임 소재 문제를 다룬다.
- Kill Switch 이후 AI 주권은 타인의 의지에 종속되지 않고 AI를 지속할 자유다. 미국 상무부가 Anthropic 모델 접근을 90분 만에 차단한 사례는 API 이용권이 자산이 아니라 언제든 취소될 수 있는 권리임을 보여준다. 기업들은 오픈웨이트와 국내 컴퓨트로 복구 체계를 갖추고 있다.