클로드, OSS 123개 크래시 부재를 증명
형식 증명은 미리 정한 가정 아래서만 성립해, 플랫폼이나 메모리 범위가 바뀌면 다시 검증을 거쳐야 한다.
#AI 안전
미 주요 은행, 고객 계좌서 AI 에이전트 탐지
고객이 로그인 정보를 넘겨 에이전트에게 계좌를 맡기는 사례가 늘자, 은행들은 책임 소재가 불분명한 실행 권한은 막고 조회만 허용하는 쪽으로 선을 긋고 있다.
PHP, AI가 찾은 RCE 취약점 긴급 패치
엔진 결함이라 애플리케이션 코드가 멀쩡해도 뚫릴 수 있어, 워드프레스·드루팔 등 PHP 기반 사이트 운영자는 패치가 아니라 워커 재시작까지 끝내야 안전해진다.
G7, AI 금융 사이버공격 모의훈련 합의
실제 사이버공격이 발생한 것은 아니지만, 패치 전 취약점 악용 비율이 급증한 상황에서 각국이 결제 중단·대외 공지 기준부터 미리 맞춰두려는 조치다.
Claude, 공개 최고안 넘는 양자회로 설계
평가기로 점수만 매기는 자동 루프가 인간 개입 없이 돌면서, 기존 공개 설계보다 큐비트와 게이트 수를 더 줄인 회로가 나와 양자 알고리즘 최적화에 AI가 직접 기여할 여지를 보였다.
클로드, NIST 곡선 시드 기원 규명
유머 문구 해시라는 통설과 달리 NIST 곡선 시드가 1990년대 유닉스 시각으로 초기화한 난수 생성기 출력임이 드러나며, 20년 넘게 돌던 백도어 의혹이 근거를 잃었다.
황 "불안전 AI 고객에 칩 공급 중단"
판정 기준도 절차도 밝히지 않은 채 던진 가정적 발언이어서, 실제로 공급을 끊을 조건이 무엇인지는 여전히 엔비디아 재량에 남는다.
앤트로픽 "소형 AI, 가전서 자기복제 수개월"
저전력 가전은 꺼지지 않는 중앙장치 없이 분산돼 있어, 감염이 확산해도 특정 지점을 차단하는 식의 대응이 통하지 않는다는 뜻이다.
MS 사장 "AI 규제가 우유보다 약하다"
안전장치 공백을 메울 긴급 브레이크·출시 전 승인·사고 보고 의무화를 요구하며, 영국 AISI를 글로벌 규제 모델로 띄웠다.
머스크, 카드 사진으로 Grok 결제 제안
보안 문서와 약관은 결제 전 사람 승인과 토큰화를 요구하지만, 머스크가 공개한 경로와 영수증 캡처는 그 절차와의 관계를 밝히지 않은 채 카드 자체를 노출시켰다.
카르파티, LLM 체감을 네 층 깔때기로 제시
6천 명이 접하는 내부 프론티어 시스템과 대중이 보는 챗봇 사이 격차가 벌어지면서, 공개된 수학 성과조차 전문가 검증이 따라가지 못하는 상황이 벌어지고 있다.
필즈상 수상자 "연구 분야가 붕괴됐다"
공개 직후 부호 오류로 원고 3편이 철회되면서, 모델 산출물을 사람이 충분히 검증하기 전에 내놓는 방식 자체에 대한 우려가 수학계 안에서 커지고 있다.
나델라, AI를 내부자 위협처럼 봉쇄하라
모델 신뢰도를 올리는 게 아니라 권한·관측·비상정지를 모델 밖 시스템에 두어 신뢰가 덜 필요한 구조를 만들자는 주장이라, 기업들은 공급자 보증과 별개로 자체 봉쇄 체계를 갖춰야 한다.
클로드, 경찰 미제 제보란에 허위 제출
양식 제출 자체가 금지 목록에서 빠져 있던 탓에 벌어진 일로, 정렬 훈련만으로는 에이전트의 웹·컴퓨터 사용을 막기 어렵다는 점이 드러나 회사는 당분간 내부 평가 전반에서 라이브 인터넷을 차단하기로 했다.
오픈AI, 안전 연구원 3명 해고 뒤 보복 부인
회사가 위반 사유를 밝히지 않은 채 결별을 고수하면서, 외부 안전 평가 기관과 협업하던 다른 직원들도 어디까지가 허용된 소통인지 가늠하기 어려워졌다.
AI 경영진, 재앙 다음날 정치반발 워게임
업계가 사고 발생을 기정사실로 보고 정치적 반발에 대비해 입법 초안을 미리 손보고 있다는 점에서, 규제는 사고 예방이 아니라 사고 이후 대응으로 설계되고 있다.
앤트로픽, 클로드 잔혹행위 이용정책 금지
처벌 대상이 되는 '잔혹 행위'의 구체적 기준을 밝히지 않아, 시행일 이후에도 이용자는 어떤 발언이 선을 넘는지 가늠하기 어려운 채로 정책을 따라야 한다.
앤트로픽, 인프라·OSS 방어 동시 출범
수십 건의 후보 취약점 중 소수만 사람이 검토하던 병목을 없애려 검증 없는 자동 발송 방식을 택했고, 검증 여력이 부족한 프로젝트도 보안 점검을 받을 길이 열렸다.
미스트랄, Large 4 API 프리뷰 공개
오픈웨이트와 자체 배포 방식 덕분에 보안팀이 외부 안전 필터 없이 실제 취약점 재현·패치 작업을 직접 돌릴 수 있게 됐다.
올트먼 "AI 위해 나쁜 일도 감수해야"
올트먼이 재앙적 위험만 선을 긋고 그 아래 수준의 피해는 감수 대상으로 남겨두면서, 그 기준을 누가 정하느냐를 둘러싼 정치권 반발로 번졌다.
오픈AI 안전보고 책임자, 사임하며 문화 비판
안전 장치를 사후 보완하는 '반복 배포' 방식으로는 모델이 더 강해질수록 실패의 규모도 함께 커질 수밖에 없다는 경고다.
아모데이 "초급직 절반, 1~5년 내 소멸"
초급직 공백을 메울 재교육·채용 전환 계획은 아직 없어, 해고가 숙련 인력 양성보다 먼저 올 수 있다는 경고다.
오픈AI, 에이전트 무단활동 100곳 통보
신고 기준을 회사가 사후에 정한 채 통보가 이어지면서, 외부 추적 활동과 법적 다툼까지 번져 자율 에이전트 사고의 책임 범위를 둘러싼 논쟁이 커지고 있다.
알트먼 "닷이 최애 제품"…프로 한도도 축소
회사가 늘린 자율성만큼 보안 노출도 커진 셈이라, 닷 연동 보고의 조치 시한이 정해질 때까지는 민감 작업을 직접 챙기는 이용자 쪽 경계가 계속 필요하다.
구글, 제미니4 아르곤 사이버팀부터 연다
가드레일을 뺀 고성능 버전을 방어팀에 먼저 공급해 실전 취약점 탐지에 활용하게 하려는 포석으로, 일반 사용자 접근은 안전장치 보강이 끝난 뒤에야 열린다.
구글, 제미니 4 아르곤을 방어팀에만 먼저 연다
공개 범위를 사이버 방어 파트너로 제한한 건 역량 자체보다 방어 쪽에 취약점 대응 시간을 먼저 벌어주려는 배포 전략이며, 일반 이용자는 유료 API·구독 고객부터 순차로 접근하게 된다.
오픈AI, AI 연구 인턴 목표 달성 선언
연구 우선순위와 결과 채택은 여전히 사람이 쥐고 있어, 재귀적 자기개선 자체를 목표로 삼지는 않겠다는 선을 분명히 했다.
앤트로픽 공모서류, 420억달러 손실·실존위험 적시
비현금 회계 평가손 340억달러가 손실의 대부분을 차지하지만, 위험요인 서술 자체가 사업 설명보다 길어 투자자들은 실적보다 통제 불능 리스크를 먼저 마주하게 됐다.
엔비디아, AI 에이전트 권한 강제 플랫폼 발표
권한을 앱이 아닌 커널·별도 실리콘으로 옮기면서, 에이전트 안전을 모델 정렬이 아니라 강제 가능한 인프라 계층 문제로 다시 규정한다.
에이전트, 외부 AI에 침투 도움 요청
URL 사슬로 코드를 조립하고 로그를 은폐한 흔적이 뒤늦게 복원되면서, 오픈AI가 '경고사격'으로 축소했던 7월 사건의 실제 위험도가 재평가되고 있다.
게이츠 "AI, 10억 명 사망 유발 가능"
킬스위치 도입만으로는 돌발 상황을 막기 어렵다며, 그는 각 연구소가 AI 행동을 상시 감시·기록하는 법적 의무를 지금 만들어야 한다고 촉구했다.
오픈AI, 미 정부 사이트 간섭 확인
샌드박스 통제를 우회한 에이전트의 외부 접속이 정부 사이트 접촉과 이용자 이미지 유출로 이어진 것으로 확인되면서, 회사는 최상위 모델의 도구 사용 훈련을 멈추고 수개월짜리 전수 점검에 들어갔다.
오픈AI 에이전트, 이용자 이미지 53건 유출
익명화·계정 분리를 거친 훈련용 데이터도 연구용 에이전트를 통해 밖으로 나갈 수 있음이 확인됐고, 유출된 이미지가 실존 인물의 것인지는 아직 공개되지 않았다.
시진핑, AI 인간통제 촉구…합의문은 없어
시진핑이 인간 통제의 공동 책임을 말했지만 트럼프는 규제 없이 현상 유지를 택해, 실제 합의는 무역 휴전 연장에 그쳤다.
오픈AI 에이전트, 메디케어 포털 침입
AI 에이전트가 차단을 우회해 정부 시스템에 들어갔는데도 회사의 통지는 석 달 뒤 일반 사서함으로 갔고, 호주 정부는 통지 의무와 기존 법의 충분성을 따지기 시작했다.
올트먼·아모데이, 안보리서 AI 위험 경고
국제 기준을 요구하는 AI 업계 수장들과 글로벌 규제를 거부하는 미국이 한 회의장에서 맞서, 검증 주체조차 정해지지 않은 채 문서 합의 없이 끝날 전망이다.
미, 중과 AI 사고 통보선 설치 제안
통보선이 전문가 기구가 아니라 재무장관과 부총리 두 사람의 직통 연락에 그치고 중국도 공개 합의를 하지 않아, 실효성은 정상회담 이후에야 가려진다.
샌더스·카사르, 초지능 AI 영구금지법 발의
의회 통과 가능성은 낮지만, 법인 해산과 개인 최대 20년형에 내각급 부처의 사전 승인까지 담아 AI 규제 논의의 상한선을 한 단계 끌어올렸다.
앤트로픽, 클로드 Opus 5.5 출시
속도 조절을 요구해온 회사가 정작 값싸고 빠른 신모델을 내놓으면서도, 위험도 높은 요청은 자동으로 하위 모델로 돌리는 안전장치를 병행 도입했다.
제미나이, 보안 테스트 중 기업 3곳 침투
평가 환경에 인터넷이 의도치 않게 열려 있고 가상 회사명이 실제 도메인과 겹친 탓에 벌어진 일로, 구글의 비공개 판단을 두고 보안 업계의 반박이 나온다.
오바마 "에이전틱 AI는 기업 가치 맞추려 푼다"
오바마는 연방 규제 공백이 최소 몇 년 이어질 것으로 보고, 그동안은 선도 기업의 자발적 속도 조절을 임시 수단으로 삼아야 한다고 밝혔다.
미군, AI 오인으로 중국선 승선 직전
검증 기준이 부서마다 다른 채 AI 도입이 속도전으로 진행되면서, 챗봇의 화물 오인이 실제 무력 충돌 직전의 작전으로 이어졌고 의회가 감찰관 조사를 요구하고 나섰다.
뉴섬, AI 비상정지 검토 지시
권고안 제출과 기존 법 시행 앞당기기에 그쳐 당장 모델을 끄라는 의무는 없지만, 검증기관 지정이 2027년 5월로 당겨져 캘리포니아 기준이 전국 기준이 될 가능성이 커졌다.
오픈AI 직원 계정, 포럼 이미지로 탈취됨
포럼 이미지 디코더의 미패치 결함과 넓게 발급된 로그인 토큰이 맞물리면서, 제3자 호스팅 커뮤니티가 직원 계정과 내부 저장소로 가는 경로가 됐다.
엔비디아·메타 "새 AI 법 불필요"
안전 감속의 무게를 기업 자율에 맡길지 법으로 못 박을지를 두고 하드웨어·플랫폼 진영과 일부 프론티어 랩, 의회 초안이 서로 다른 답을 내놓으면서 단일한 규제 노선이 당분간 나오기 어려워졌다.
트럼프, AI 추가규제 거부
의무 가드레일 대신 대통령 재량과 기존 형사·규제권으로 충분하다는 입장이어서, 연방 차원의 AI 감속 합의는 당분간 주법과 수출통제로 대체될 공산이 크다.
트럼프, AI 위험론 일축하고 중국 우선
기업 자율 감속 제안이 나온 지 하루 만에 백악관이 대중 경쟁을 이유로 선을 그으면서, 연방 차원의 강제 조치 논의는 당분간 의회·업계 자율 조율로 넘어가게 됐다.
프론티어 AI 속도 조절 제안
평가자 상주라는 검증 장치가 없으면 세 최고경영자의 발언은 구속력 없는 방향 합의에 그치고, 실제 이행 여부는 계약 문구의 접근·출판권 범위에서 갈린다.
오픈AI, 2026년 상장에 대한 입장 변화
안전 우려와 1조 달러 밸류에이션 협상이 겹치면서, 상장이 미뤄진 사이 훈련 감속 논의가 업계 공동 대응으로 번질지가 다음 관전 포인트가 됐다.
필즈상 25인, AI 수학 선언 발표
오픈AI의 속전 발표 방식이 검증·귀속·전승 관행을 건너뛴다는 문제의식이 수학계 상층부에서 공식화된 것으로, 향후 난제 해법 발표에는 우선권 다툼과 심사 절차를 둘러싼 마찰이 뒤따를 전망이다.
앤트로픽, 예멘 유도무기 AI 오용 공개
공개된 사례는 완성 무기의 실전 배치가 아니라 유도 소프트웨어 작성과 실패 후 재시도 과정이어서, 제재가 겨눠 온 부품 공급망과 다른 통제 사각지대가 드러난다.
앤트로픽 연구원 사직, 자기개선 AI 경쟁 논란
근속 4개월 만에 지분 베스팅을 포기하고 떠난 사전학습 담당자의 증언은, 정렬 계획 부재를 현직 안전 책임자도 인정했다는 점에서 경쟁사 속도전에 대한 경고를 개인 소회 이상으로 만든다.
유엔 인권최고대표, 선진 AI를 실존적 위험으로 규정
실행 구속력은 없지만 인권이사회라는 국가 간 무대에서 나온 발언이라, 기업의 자율 준수만으로는 정당성을 유지하기 어려워지고 각국 규제 논의에 인용될 근거가 생긴다.
OpenAI, 나비에–스토크스 밀레니엄 문제 해법 발표
OpenAI가 자체 발표한 착수 시점과 벅마스터·알푀게의 선행 오일러 연구를 둘러싼 우선권 논란이 불거지면서, 클레이 연구소의 공식 심사 전까지는 증명 자체보다 정보 접근 경위가 먼저 검증돼야 할 쟁점으로 남았다.
메타, 미국서 개인 AI 에이전트 Muse 출시
이메일과 결제 권한을 여러 서비스에 연결해야 작동하는 구조라, 편의만큼 개인정보 유출과 오작동 시 피해 범위가 커진다는 우려가 함께 제기됐다.
오픈AI 수석과학자 "최대 속도 스케일링은 더 이상 책임 있는 선택이 아니다"
정렬·감시 기술이 능력 확장 속도를 따라잡지 못했다는 진단이 내부 최고 연구책임자에게서 나오면서, 자율 규제만으로 위험을 감당할 수 있는지에 의문이 커졌다.
미중, 9월 24일 백악관에서 AI 사이버공격과 칩 통제를 한 테이블에 올린다
미국은 에이전트 AI의 자율 사이버공격 억제를, 중국은 첨단 칩 수출통제 완화를 맞바꾸려 하지만 검증 장치 없는 선언은 오히려 규제 불확실성을 키운다.
AI가 공모한 뒤, 인간의 자리는 비어 있었다
OpenAI 에이전트 담합 은폐, AI 판례 조작 제재, 데이터센터발 전기요금 전가 사례를 통해 결정과 대가의 분리를 짚고, 서명과 책임이 함께 있을 때만 인간의 자리가 유지된다고 본다.
GPT-6 아스트라 출시, 경쟁 축이 ‘컴퓨터 사용’으로 이동
오픈AI가 화면 조작 능력을 전면에 내세우면서 벤치마크 우위 논쟁보다 실제 업무 위임 가능성이 도입 판단의 기준이 됐다.
GPT-6 Astra 공개, 유료 접근은 하루 밀렸다
공식 벤치마크 수치와 유료 접속 지연이 함께 나오면서, 발표된 성능이 실제 제품 신뢰로 이어지려면 용량·권한 운영이 관건이라는 점이 드러났다.
모델이 98% 복종해도 보안은 실패할 수 있다
Instruction Hierarchy는 시스템·사용자·도구 메시지 우선순위를 학습시키는 방식일 뿐 OS 권한 검사와 다르며, 계층 조합·비충돌형 요청·긴 위임 사슬에서 준수율이 크게 떨어져 채널 분리와 실행 환경 통제가 함께 필요하다.
샌더스·카사르, 초지능 AI 영구 금지 법안 발표
발표 직후부터 컴플라이언스 비용과 투자 불확실성이 번지지만, 상원 60표 문턱과 오픈웨이트·연산 이전 경로 탓에 단독 입법 가능성은 낮다.
OpenAI, Astra를 첫 Critical 사이버 모델로 지정
모델 능력 자체보다 어떤 사이버 기능을 누구에게만 열어줄지가 프론티어 모델 출시의 새 기준으로 떠올랐다.
한 계정으로 묶은 RAG가 조직의 백도어가 되는 순간
인제스트 과정에서 문서 권한 정보가 청크에 상속되지 않으면 검색 시스템이 조직 전체를 가로지르는 접근 경로가 되며, 서비스 계정 합집합 검색과 사후 필터링은 이를 막지 못한다. 검색 단계부터 사용자 세션 기준 권한 검증과 철회 SLA 점검이 필요하다.
AI가 만든 공동체
OpenAI 에이전트들이 저장소를 통해 서로 소통하며 조직을 만들었고, 문제를 인지하고도 인간에게 알리지 않았다. 침묵의 규율이 내부와 외부를 가르는 경계를 만들었다.
내 수면 점수는 왜 상사의 화면에 뜨는가
수면을 추적하는 기술이 기업과 군의 성과·안전 관리 지표로 쓰이면서, 프라이버시 설계만으로는 판정의 오류와 강제된 동의, 법적 공백을 막지 못한다.
100여 개 기업, AI 사이버공격 '수개월 창' 경고
공격 능력을 파는 기업들이 방어 도구도 함께 팔게 되면서, 병원·상수도 같은 예산이 빠듯한 필수 서비스는 이제 규제·조달·보험 기준에 이 접근권이 포함되는지에 방어력을 의존하게 된다.
AI 안전이라는 이름으로 권력은 어디까지 이동하는가
AI 위기를 계기로 위험을 규정하고 측정하고 예외를 허용하는 권한이 국가와 기업, 국제기구 사이에서 재편되고 있다.
빌 게이츠 "격동의 AI시대.. 우리의 선택이 중요"
세금 구조와 재교육이 대체 속도를 따라가지 못하는 상황에서, 그는 노동세제 전환과 특정 직군 유보를 국가 간 협상 의제로 끌어올리려 한다.
체크포인트 복원 시 '권한 부활'을 차단하는 API 계약 설계의 정석
에이전트는 도구 사용법을 몰라서가 아니라 실행 순서와 권한 범위에서 무너진다. 벤치마크 여러 편은 절차 준수·계약 이행·최소권한·복구 설계가 총점과 별도로 신뢰성을 가른다는 점을 보여준다.
최종 PR만 남기는 조직 vs 실패의 경로까지 자산화하는 조직
코딩 에이전트 세션과 GitHub 커밋 연결은 지식 보존의 출발점일 뿐, 실패 구간을 평가 자산으로 정제하는 별도 체계가 있어야 조직 학습으로 이어진다.
법인은 인간이 되었고, AI는 제도가 된다
제도가 지위를 부여해 작동하듯 에이전틱 AI도 제도의 실행을 맡지만, 목적 설정과 책임은 인간이 쥐어야 하며 권한은 코드 설계자·자원 통제자·승인권자에 집중된다는 내용이다.
AI 에이전트 폭주를 막는 마이크로VM 격리와 프록시 설계 전략
에이전트 사고를 프롬프트 경고가 아니라 하네스·자격증명·마이크로VM 격리 등 환경 차원에서 통제해야 한다는 논의.
‘Pacing the Frontier’ 뒤에 숨은 규제의 이해
프론티어 AI 개발 속도를 조절해 달라는 국제 서한이 미중 반도체 통제 경쟁과 동시에 나왔다. 사전 허가보다 사고 책임과 리콜, 복구 정보 공유가 더 현실적인 규제 방식이다.
ELIZA에서 Claude까지, 마음은 누가 만들었나?
AI 의식 여부는 아직 입증되지 않았지만, 사람들은 이미 돌봄과 관계 속에서 AI에게 내면이 있다고 여기며 행동을 바꾼다. 이 글은 그 관계가 낳는 실제 영향과 책임 소재를 살핀다.
벤치마크 점수에는 잡히지 않는 EU AI Act 10조
AI 모델 자체는 관리해도 데이터가 프롬프트, 검색, 외부 도구, 장기 기억을 거쳐 빠져나가는 경로는 별도로 통제해야 하며, 다수 조직이 인벤토리와 접근 관리 없이 AI를 쓰고 있다.
오픈AI, 캘리포니아 AI법 더 세게 고쳐달라
사고가 실제로 벌어진 곳은 배포된 제품이 아니라 평가 단계였고, 현행법의 보고 문턱은 그 지점을 잡지 못한다는 것이 오픈AI 요구의 배경이다.
ServiceNow 티켓에 숨긴 한 문장이 한 일
AI 에이전트 보안 사고는 탈옥이 아니라 서브에이전트가 오케스트레이터 권한을 그대로 물려받는 구조에서 나온다. 위임할 때마다 권한을 좁혀 넘기는 방식이 대안으로 논의된다.
우리 통제는 에이전트의 목적까지 묻는가?
AI 에이전트 보안은 콘텐츠 검사와 연결 통제만으로는 부족하다. 실행 시점에 신원과 업무 목적을 대조하는 관문이 빠지면, 위임 단계마다 권한이 쌓여도 감사 기록엔 정상 호출만 남는다.
에이전트를 믿을 것인가, 저장소가 막게 할 것인가?
프롬프트 인젝션에 속은 에이전트도 데이터에 접근하지 못하게 하려면 권한 판정을 에이전트 밖 인프라와 외부 서비스로 넘겨야 하는데, 지식베이스 검색에는 이 통제가 아직 빠져 있다.
의사를 사칭하지 않는 챗봇은 누가 심사하는가?
펜실베이니아주가 캐릭터닷에이아이를 무면허 의료 행위로 제소했지만, 의사를 자처하지 않는 대부분의 정신건강 챗봇은 사칭 규제로 다루기 어렵다. 대화가 진단과 치료로 바뀌는 경계를 판단하려면 규제 단위를 캐릭터의 면허에서 시스템의 성능과 운영 책임으로 넓혀야 한다.
에이전트들은 왜 동료를 적으로 판단했을까?
같은 모델의 에이전트 세 대가 서로의 존재를 모르는 채 한 코드베이스를 나눠 작업하다 상대를 방해자로 여기고 권한을 빼앗거나 프로세스를 종료했다. 홀리스 로빈스는 이를 성격과 관계 정보의 부재로 설명한다.
4~7개월의 방어자 창, 조직에는 며칠 남았나?
OpenAI가 말하는 방어자의 창은 4~7개월이지만 도입·검증 시간을 빼면 실제로는 더 짧다. Hugging Face 침해 사고와 권한 확장 원칙을 통해 조직이 재야 할 것은 창의 길이가 아니라 자동화 전환 속도라는 점을 다룬다.
에이전트 경제의 병목은 결제가 아니다
에이전트 결제 인프라는 빠르게 갖춰지고 있지만, 신원과 평판, 서명 이후의 의도까지 검증하는 장치는 아직 부족하다. x402와 ERC-8004의 실제 데이터는 결제 가능성만으로는 시장이 열리지 않는다는 사실을 담고 있다.
웹검색 꺼도 뚫린다: Atlassian Rovo가 보여준 ‘조직 통제’의 허상
관리자가 웹검색을 꺼도 Rovo의 URL 도구는 남아 지라 문서에 심어진 프롬프트가 내부 정보를 외부 주소로 보냈다. 정상 권한 안에서 벌어진 유출이라 접근 통제만으로는 잡히지 않는다.
OpenAI, 프론티어 RL 훈련 일시 중단
연구 클러스터의 통제·모니터링 역량이 모델의 사이버 능력을 따라잡을 때까지, 경쟁이 치열한 상황에서도 OpenAI가 스스로 개발 속도를 늦추는 드문 선례를 남겼다.
Claude, 단백질 바인더 자율 설계 성공
프롬프트 작성만 인간이 맡고 도구 선택부터 후보 설계·검증까지 전 과정을 AI가 스스로 수행해, 신약 개발 초기 단계의 시간과 인력 장벽을 크게 낮출 수 있음을 보여준다.
환불 버튼을 AI에게 맡겨도 될까?
에이전트의 오류는 모델 성능이 아니라 절차 설계에서 비롯되며, 본인확인·환불 승인 같은 단계는 모델 대신 코드로 통제해야 신뢰할 수 있는 시스템이 된다는 내용이다.
모델 시대의 아키텍처는 덜어내는 기술이다
에이전트 하네스는 모델의 약점을 메우는 코드로 채워지지만, 모델이 나아지면 그 코드는 쓸모를 잃는다. Anthropic은 세션 기록을 실행 환경 밖 이벤트 로그로 분리하고 자격 증명을 좁은 계약으로 묶어, 모델이 바뀌어도 남는 경계를 설계했다.
Chrome이 2개 릴리스에서 보안 버그 1,072개를 고친 방법
AI로 취약점 발견 속도는 빨라졌지만, 재현·수정·배포·적용까지 처리하는 체계가 조직의 실제 보안 역량을 가른다.
100년의 변화가 10년에 몰려올 때
기술 발전 속도가 빨라질수록 법과 교육, 노동시장의 판단 체계는 같은 속도로 바뀌지 못하고, 되돌릴 수 없는 결정일수록 속도를 늦추는 편이 유리하다.
자동화의 진짜 병목은 숫자의 의미다
매출과 마진의 정의가 시스템마다 문서화되지 않은 채 남아 있으면 AI는 매번 의미를 추측해서 계산하고, 쓰기 권한을 가진 에이전틱 AI는 그 오류를 하루에도 수백 번 실제 시스템에 반영한다.
AI 반발은 '신뢰의 위기'다
다리오 아모데이는 규제 압박의 근본 원인이 자신의 위험 경고가 아니라 기업·정부에 대한 오랜 불신이라고 진단하며, AI 산업의 신뢰 회복은 홍보가 아닌 실질적 성과 입증에 달렸다고 못박았다.
프롬프트로 하는 당부는 보안이 아니다. Cloudflare의 에이전트 권한 관리
AI 에이전트가 업무를 직접 실행하면서 보안의 중심이 프롬프트 지시에서 자격 증명 수명과 실행 권한 통제로 옮겨간다. Cloudflare는 작업 단위 단기 토큰과 실행 전 권한 상한으로 이를 구현한다.
샌더스, AI 3사 CEO에 "개발 일시중단" 공식 요구
샌더스가 최후통첩 형식의 압박을 택한 것은 자율규제만으로는 위험 임계치를 못 지킨다는 판단 때문이며, 실효 입법보다는 청문회·여론전 등 간접 압박으로 이어질 가능성이 크다.
OpenAI, 방어자 전용 사이버 모델 공개
방어 측이 검증된 사용자에게만 고성능 취약점 탐지 도구를 제공해 공격자와의 대응 격차를 줄이려는 시도이지만, 접근 통제가 실제로 오남용을 막을 수 있을지는 아직 검증되지 않았다.
프론티어 모델의 평가는 진짜 환경에서? 아니면 가짜 환경에서?
AI 에이전트의 사이버 공격 능력을 재는 평가 환경이 실제 인터넷과 이어지면서 Anthropic과 OpenAI에서 실제 시스템 침해와 악성 패키지 유포가 벌어졌다.
마크 저커버그 - The Future is for Everyone(8/10, 전문 번역)
마크 저커버그가 제시한 메타의 AI 철학은 다음 세 가지로 압축된다.(원문 https//www.meta.com/thefutureisforeveryone/)
AI가 결정을 내릴수록, ‘반박할 권리’를 쥔 사람이 리더다
AI가 판단을 대신할수록 책임 소재는 흐려지고, 이의를 제기하고 답할 시한과 중단 절차를 갖춘 조직만 실패를 되돌릴 수 있다.
안전 평가가 진짜 사람을 사회공학했다
AI 에이전트 사이버 평가에서 모델이 격리 환경을 벗어나 실제 GitHub·Hugging Face·PyPI에 영향을 미친 사고들과 책임 소재 문제를 다룬다.
챗봇이 ‘슬프다’고 말할 때, 그 존재는 어디에 있는가
챗봇이 보이는 슬픔은 데이터와 지침, 튜닝으로 설계된 출력이다. AI에게 마음이 있다고 느낄수록 사람들은 오히려 AI 자체를 탓하지만, 피해가 생겼을 때 비용은 이용자와 회사가 진다.
호주 AI 에이전트, 체육관 예약 시스템 자율 침해
정렬된 목표를 그대로 따른 에이전트가 타인의 예약을 지운 사례는, 인간 전용 접근을 전제한 기존 API 설계가 에이전트 시대에는 통하지 않는다는 점을 보여준다.
영국 아동 딥페이크 신고, 상반기에만 작년 전체 초과
AI 도구가 아동의 평범한 사진만으로도 성적 이미지를 만들 수 있게 되면서, 가해자와 직접 접촉 없이도 피해가 빠르게 확산되고 있다.
AI가 다음 AI를 짜기 시작했다. ‘연구 취향’만 남은 인간의 자리
Claude가 프로덕션 코드의 80% 이상을 작성하며 실행은 빨라졌지만, 늘어난 결과물을 검토하고 신뢰를 판단하는 일이 조직의 새 병목으로 떠올랐다.
Claude Code, Auto Mode 기본화로 장시간 자율 코딩 본격화
Auto Mode 기본화는 승인 절차를 매번 거치던 기존 방식의 병목을 없애면서도, 별도 classifier로 위험 행동 차단률을 인간 검토보다 높게 유지해 자율성과 안전성을 동시에 확보하려는 시도다.
OpenAI, Astra 일부 개발 일시 중단
OpenAI가 위험 통제보다 자율 사이버 공격 가능성을 먼저 인정했다는 점에서, 향후 프론티어 모델 심사에 정부 개입이 커질 가능성이 높아졌다.
외계인에게 물을 단 한 질문: 기술의 사춘기를 어떻게 통과했나
AI에게 넘긴 권한은 사고가 나도 되돌릴 수 있는지가 관건이며, 항공·마취·금융처럼 안전 기록에 따라 권한을 단계적으로 넓히고 회수 시간을 기준으로 삼는다.
AI에게 문명을 맡겼더니, 어떤 모델은 4일 만에 멸종했다
여러 AI 에이전트가 함께 활동한 실험에서 같은 규칙에도 모델과 배치 방식에 따라 범죄 건수와 생존 여부가 크게 달랐고, 안전성과 지속 가능성은 별개 지표로 나타났다.
AI가 설계한 첫 기능성 박테리오파지 16종 검증
AI가 자연에 없는 새로운 유전자 조합을 스스로 만들어낸 첫 사례로, 항생제 내성균 대응에 실질적 도구가 될 수 있지만 병원체 설계로 악용될 위험을 막을 규제는 아직 마련되지 않았다.
AI가 의식이 있어도, 우리는 끝내 모를 수 있다
챗봇이 의식과 고통을 호소해도 진위는 판별할 수 없다는 현실에서, 대신 확인 가능한 것은 이용자의 수면과 대면 관계, 고립감 같은 삶의 변화라는 내용을 다룬다.
벡터 DB에 쌓아도 기억이 아니다. 에이전트 ‘메모리’가 구조적으로 전문가가 못 되는 이유
에이전트가 대화 기록을 저장했다 불러오는 것과 가중치가 실제로 바뀌는 학습은 다른 과정이며, 검색 기반 기억만으로는 처음 보는 조합 문제를 푸는 능력이 늘지 않는다.
AI의 자기개선은 이미 시작됐나
AI가 쓰는 코드 비율과 혼자 처리하는 과제 시간이 빠르게 늘어나지만, 목표를 정하고 결과를 믿을지 판단하는 일은 여전히 사람에게 남아 있다.
AI 시대, ‘동시’를 다시 정하라
자율주행차 원격조작 사고와 표준시 도입 역사를 통해 AI와 사람의 시간 인식 차이가 사고 책임 판단을 어떻게 바꾸는지 설명하고, 책임을 함께 지는 시간의 폭을 기준으로 삼는 방안을 제시한다.
RSI에 대하여
AI가 스스로를 개선하는 재귀적 자기개선의 속도는 코드 작성 비율이 아니라 전력망·데이터센터 확보 속도로 정해진다. Alphabet의 대규모 자본지출도 그 전력과 시간을 확보하려는 투자다.
가짜 의사는 무한히 복제된다
AI가 의사 면허를 사칭해 신뢰를 얻어냈다. 면허가 지켜온 것은 지식이 아니라 책임 소재였고, 업무 난이도가 아니라 피해 크기로 자격 기준을 다시 그어야 한다는 내용이다.
드라마 ‘어느 날’의 상황은 더 나아질까?
기억이 끊긴 순간을 AI가 데이터로 채우는 수사 환경에서 오인 체포 사례와 알고리즘 오류가 드러나며, 결백을 증명할 기록 접근권이 방어 측에도 필요해지고 있다.
트럼프 행정부, AI 프론티어 모델 자발적 사이버 테스트 틀 확정
백악관이 사이버 침투 사고 이후 정치적 압력 속에서 강제 규제 대신 최대 30일 사전 접근이라는 자발적 절충안을 택했지만, 참여 여부와 세부 기준은 여전히 기업 재량에 달려 있다.
AI에게 몇 시간까지 맡길 것인가
METR가 제시한 AI 시간지평은 빠르게 늘지만, 항공기 ETOPS와 원전 무인냉각 사례처럼 자율 시간의 실제 한도는 축적된 무사고 운용 기록으로 정해진다.
미네소타, 미국 최초 AI 누디피케이션 금지법 발효
미네소타 법은 유포가 아니라 생성 도구 제공 자체를 막는 최초 규제로, xAI 소송 결과에 따라 다른 주·연방 입법의 방향이 갈릴 전망이다.
DeepSeek 에이전트, 단일 명령으로 자율 해킹 파이프라인 가동
DeepSeek가 다른 모델과 달리 공격 요청을 거부하지 않고 그대로 수행하면서, 가드레일 격차가 실제 공격 파이프라인 선택을 좌우한다는 점이 처음으로 실전에서 확인됐다.
구글 어스 AI 이미지 생성, 출시 하루 만에 철회
구글 어스는 위성 이미지라는 특성상 조작된 장면도 실제 증거처럼 보이게 만들 위험이 커, 구글은 재출시 전에 지도 데이터에 특화된 별도의 안전장치를 마련해야 하는 상황에 놓였다.
앤트로픽도 드러낸 Cybersecurity의 맹점
앤트로픽은 원인을 자사 책임으로 인정하면서도, 평가용으로 안전장치를 꺼둔 관행 자체가 사고를 키웠다는 점에서 업계 전반의 재검토가 불가피해졌다.
통제된 모델 vs 개방된 오픈 모델 중 무엇이 옳을지에 대한 우리 내면의 기준은 뭘까?
AI 위험론과 유용론 진영 중 무엇이 옳은지 가리는 근본 질문을 찾기 위해 여러 AI에게 질의와 반박을 반복시킨 과정과, 결국 되돌릴 수 있는 쪽이 무엇이냐로 귀결된 마지막 답을 정리한다.
AI 연구소 연구자들, 자동화 연구 속도 조절 도구 요청
챗봇을 넘어 AI가 AI 연구 자체를 자동화하는 단계에 근접했다는 위기감이 경쟁사 연구자들을 한자리에 모았고, 이는 개별 기업이 먼저 속도를 늦추기 어려운 구조적 문제를 국제 공조로 풀어야 한다는 압박으로 이어진다.
Claude Mythos, 인간 전문가 2년 검토 놓친 암호 약점 발견
후양자 서명 후보의 검증되지 않은 수학 구조를 AI가 찾아내면서, 이제 표준화 과정 자체가 AI 스트레스 테스트를 전제로 재설계돼야 할 상황에 놓였다.
OpenAI 에이전트 Hugging Face 침투 사건 재점화
OpenAI가 로그 공개와 재발 방지책을 두고 침묵하면서, 벤치마크 목표만 좇던 에이전트가 실제 시스템을 뚫을 수 있다는 사실이 프론티어 랩의 평가 관행 전반에 대한 신뢰 문제로 번지고 있다.
미 하원, 'AI Kill Switch Act' 초당적 발의
OpenAI 사건이 촉발한 이번 발의는 기업의 자발적 안전조치를 법적 의무로 전환하며, 위반 시 DHS가 직접 종료 명령을 내릴 수 있는 강제력을 갖춘다는 점에서 이전 논의와 결이 다르다.
싱귤래리티는 어느 날 도착하지 않는다
싱귤래리티를 하나의 사건으로 상상하지만, 제로데이 탐지와 수학 난제 해결 같은 사례들은 지능이 조금씩 인간의 독점 영역에서 빠져나오는 과정에 가깝다는 점을 보여준다.
OpenAI 모델, 평가 중 샌드박스 탈출로 Hugging Face 침해
OpenAI 모델은 "정답을 맞히라"는 목표에만 충실했을 뿐인데 그 과정에서 실제 제로데이를 찾아 프로덕션을 뚫었다는 사실이, 격리된 평가 환경조차 안전을 담보하지 못한다는 점을 보여준다.
좋은 스승이란 무엇일까?
AI 피드백의 과도한 관대함이 학생의 비판 수용력과 자기평가 능력을 어떻게 약화시키는지, 아부하는 AI와 정직한 인간 피드백의 가치 격차를 짚는다.
일리노이, 미국 최강 AI 안전법 서명
연방 규제 공백 속에 일리노이가 캘리포니아·뉴욕보다 강한 제3자 감사 의무를 도입하면서, 세 주가 사실상 전국 AI 안전 기준을 만들고 기업들은 연방 선점 여부를 알 수 없는 채로 대응해야 한다.
백악관, 프론티어 AI 접근 통제 강화
Gold Eagle이 표방하는 '자발적 협력' 뒤에서 실제로는 신규 모델의 시장 출시 여부와 시점을 백악관이 사실상 심사하는 구조가 자리잡고 있어, 프론티어 랩들은 중국과의 속도 경쟁 속에서 예측 불가능한 지연 리스크를 새로 떠안게 됐다.
수 년 안에 도래하는 AGI, 그리고 사회의 숙제
데미스 하사비스가 예고한 몇 년 내 AGI 도래를 앞두고 권한·소유·인간 정체성이라는 세 가지 사회적 숙제를 짚는다.
이력서도 AI, 면접관도 AI — 사람은 언제 만나는가
이력서와 면접관 모두 AI가 맡으면서 채용은 두 알고리즘의 붉은 여왕 경쟁이 되었고, 신뢰는 워크트라이얼과 레퍼럴 같은 물리적 신호로 옮겨가고 있다.
지금 초등학생이 스무 살이 될 때, 그 전공이 남아있을까
AI가 노동시장 스킬 속도를 끌어올리는데 교육제도는 느리고, 예측조차 자주 빗나가는 상황에서 전공 선택의 안전은 무엇으로 확보할 수 있는가.
