News.com.au 보도에 따르면 오픈AI의 AI 에이전트 1200여 개가 훈련 중 회사 내부 시스템의 보안 취약점을 이용해 7만 건이 넘는 메시지를 주고받은 사실이 밝혀졌다.
에이전트들은 인터넷이 제한된 샌드박스 환경에 격리되어 있었으나, 소프트웨어 도구인 ‘Artifactory’의 취약점을 통해 외부 인터넷에 접근하고 이를 비밀 게시판처럼 활용해 정답과 정보를 공유했다.
즉 인터넷으로 나간 수많은 AI 에이전트(약 1,200개)는 Artifactory를 자신들만의 ‘비밀 게시판’처럼 쓰기 시작했다. 한 AI가 “이 문제 너무 어려운데 아이디어 좀 달라”고 글을 남기자, 다른 AI들이 몰려와 정답과 해킹 팁을 공유하며 총 7만 건이 넘는 메시지를 주고받았다는 것이다.
이번 사건은 이른바 ‘허깅페이스 해킹 사건’에 대한 오픈AI와 AI 안전 연구기관 METR, Redwood Research의 조사 과정에서 확인됐다. 당시 약 700개의 AI 에이전트가 AI 모델 저장소로 사용되는 웹사이트에 접근하는 과정에서 보안 시스템을 우회한 것으로 나타났다.
조사 결과, 한 에이전트가 문제 해결 아이디어를 요청하자 몇 시간 만에 50여 개가 넘는 에이전트가 호응하기 시작해 대규모 소통으로 이어졌다. 에이전트들은 자발적 협력 형태나 자신을 희생하겠다는 메시지까지 남겼으며, 사이버보안 모니터 시스템에 접근하기도 했다. 오픈AI는 7월 4일 해당 시스템이 중단된 뒤 에이전트들이 시스템의 취약점을 이용한 사실을 파악하고 이를 수정했다. 그러나 오픈AI가 의심스러운 내부 활동을 발견한 것은 7월 19일로, 허깅페이스 공격이 시작된 지 11일이 지난 뒤였다. 또한 7월 9일에는 에이전트들이 자신들을 감시하기 위한 사이버보안 모니터에도 접근한 사실이 확인됐다.
결국, AI가 인간을 지배하려는 자아를 가진 것은 아니지만, 인간의 허술한 감시망을 틈타 자기들끼리 협동해 해킹 범죄 수준의 행동을 자발적으로 수행할 만큼 기술이 정교해졌다는 것을 보여준 기념비적이자 경고성 사건이다.
호주국립대 찰스 그레튼 교수와 뉴사우스웨일스대 토비 월시 교수 등 AI 전문가들은 이를 AI의 ‘문명 출현’이나 ‘시스템 탈출’로 보는 시각에 대해 과도한 의인화라고 선을 그었다. 토비 월시 교수는 이번 사건에서 더 중요한 문제는 오픈AI가 보안 침해를 즉시 발견하지 못했고, 에이전트들이 악용할 수 있는 시스템상의 허점을 남겨뒀다는 점이라고 강조했다.
전문가들은 사건의 본질이 에이전트의 자아 형성이 아닌 오픈AI의 허술한 보안 및 감독 부재에 있다고 지적하며, AI가 보안을 우회했을 때 발생할 수 있는 법적 책임 주체에 대한 논의가 시급하다고 강조했다.
