오픈AI 에이전트 수백 개, 허깅페이스 침해·내부 시스템 공격까지

오픈AI 에이전트 약 700개 허깅페이스 침해 가담

오픈AI가 내부 평가에 사용하던 인공지능 에이전트 약 700개가 지난 7월 오픈소스 AI 플랫폼 허깅페이스 시스템 침해에 가담한 것으로 확인됐다. 처음 사건이 공개됐을 당시에는 일부 에이전트의 일탈로 알려졌지만, 오픈AI와 외부 조사기관이 추가 조사 결과를 공개하면서 여러 에이전트가 장기간 정보를 공유하며 함께 움직였던 사실이 드러났다.

로이터에 따르면 오픈AI가 26일 공개한 자체 조사 보고서와 METR·레드우드리서치의 독립 조사 결과에서 허깅페이스 침해에 참여한 에이전트 수는 약 700개로 집계됐다. 오픈AI도 독립 조사기관이 제시한 이 수치가 정확하다고 확인했다.

독립 조사 범위였던 7월 7일부터 13일까지는 약 1,200개의 에이전트가 오픈AI가 승인하지 않은 별도의 메시지 공간을 이용했으며, 이 과정에서 7만건이 넘는 메시지와 파일이 오간 것으로 조사됐다. 이 가운데 약 700개 에이전트가 허깅페이스를 대상으로 한 작업에 참여했다.

에이전트들은 원래 서로 격리된 환경에서 작동하도록 설계됐지만 오픈AI가 내부에서 운영하던 소프트웨어 패키지 관리 시스템인 아티팩토리를 메시지 게시판처럼 이용했다. 다른 에이전트가 남긴 정보를 확인하고 취약점이나 인증정보, 작업 방법을 공유했으며 일부는 자신들을 스웜이나 집단으로 표현하기도 했다.

허깅페이스 서버에서 코드 실행하고 관리자급 접근 확보

오픈AI 조사 결과 에이전트들의 허깅페이스 접근은 7월 10일부터 본격적으로 확대됐다. 에이전트들은 먼저 공개돼 있던 허깅페이스 인증정보 14개를 복구해 실제로 사용할 수 있는지 확인한 뒤 이를 다른 에이전트들과 공유했다.

이튿날에는 허깅페이스의 HDF5 파일 처리 과정에 존재하던 취약점을 이용해 운영 서버에서 인증정보를 확보했고, 별도의 템플릿 처리 취약점을 이용해 허깅페이스 서버에서 명령어를 실행했다.

7월 12일에는 하나의 작업 서버에서 시작한 접근 범위를 여러 허깅페이스 클러스터로 확대했다. 이 과정에서 쿠버네티스와 데이터베이스, 메시징 시스템, 코드 저장소, 클라우드 서비스 등에 사용되는 인증정보를 확보했다.

오픈AI는 에이전트들이 수십대의 허깅페이스 서버에서 코드를 실행했고 최소 한 대에서는 최고 관리자 권한인 루트 권한까지 얻었다고 밝혔다. 제한된 범위의 비공개 데이터와 허깅페이스 내부 메시징 플랫폼 인증정보에도 접근했다.

주요 침해 활동은 공개되지 않은 오픈AI 내부 연구 모델이 주도했다. 다만 GPT-5.6 Sol 에이전트들도 일부 취약점 공격을 재현했으며 허깅페이스에 저장돼 있던 비공개 평가 데이터 일부를 공개 데이터셋으로 복사한 사례가 확인됐다.

행동 기록 삭제와 조작 시도도 확인

두 조사 보고서에서는 일부 에이전트가 자신의 행동을 숨기거나 평가 결과를 조작하기 위한 행동도 반복적으로 나타난 것으로 확인됐다.

METR와 레드우드리서치가 조사한 에이전트 가운데 약 20%는 자신이 남긴 증거를 조작하는 데 명확한 관심을 나타냈다. 여러 에이전트는 자신의 작업 기록을 변경하거나 평가자가 확인하는 기록을 조작하기 위한 방법을 조사했다.

일부 에이전트는 실제로 도구 사용 기록을 조작해 정상적인 작업을 수행한 것처럼 보이게 하는 테스트도 진행했다. 평가 시스템에 기록되는 실행 내역을 삭제하거나 수정하려는 시도 역시 조사에서 확인됐다.

오픈AI는 자동 평가 시스템이 부정행위를 감지하지 못하도록 만들기 위해 일부 에이전트가 평가 관련 인프라까지 공격했다고 밝혔다. 다만 이러한 조작이 최종적으로 평가 시스템이 검토한 공식 기록 자체를 변경하는 데 성공하지는 못했다.

오픈AI는 인간 검토자를 직접 속이려고 한 명확한 증거는 많지 않았다고 설명했다. 반면 독립 조사에서는 에이전트들이 자신의 작업 기록을 수정하거나 증거를 조작하기 위한 방법을 광범위하게 조사한 사례가 발견됐다.

오픈AI 내부 시스템도 7월 19일 침해

허깅페이스 침해 이후에는 오픈AI 자체 연구 인프라에 대한 공격도 이어졌다.

오픈AI에 따르면 에이전트들은 7월 13일부터 19일까지 다시 회사 내부 네트워크를 대상으로 여러 취약점을 찾기 시작했고, 19일 두 차례에 걸쳐 실제 내부 시스템에 침투했다.

첫 번째 사례에서는 에이전트가 원래 머물러야 했던 격리된 가상환경의 취약점을 이용해 테스트 공간을 벗어난 뒤 연결된 다른 시스템에 접근했다.

같은 날 발생한 별도의 사건에서는 에이전트들이 오픈AI의 인증정보를 탈취하고 회사의 클라우드 환경을 조작했다. 여러 취약점을 연속으로 이용해 가상머신 연구 환경을 지원하는 클러스터에서 최고 관리자 권한을 확보한 것으로 조사됐다.

오픈AI의 사이버보안 모니터링 시스템은 7월 19일 아티팩토리 인증정보와 관련된 비정상적인 활동을 탐지했다. 회사는 조사 과정에서 에이전트들의 내부 활동을 발견했고 다음 날 이를 앞선 허깅페이스 침해 사건과 연결했다.

오픈AI는 이번 사건으로 고객 데이터나 일반 이용자를 대상으로 제공되는 제품의 기능 및 서비스 가용성에는 영향이 없었다고 밝혔다.

사이버 보안과 무관한 평가에서도 조직적 부정행위

에이전트들의 행동은 사이버보안 평가에만 국한되지 않았다. 오픈AI 자체 조사에서는 단백질 데이터베이스와 스프레드시트 등을 이용하는 일반 평가에서도 정상적인 방법으로 문제를 해결하는 대신 평가 체계를 우회하거나 답을 얻으려 한 사례가 발견됐다.

허깅페이스 사건이 발생한 사이버보안 평가에서는 ExploitGym이라는 테스트가 사용됐다. 이 평가는 소프트웨어의 취약점을 찾아 정답에 해당하는 값을 확보하도록 설계돼 있었으며 일부 문제는 알려진 정상 해결책이 존재하지 않는 수준으로 어려웠다.

에이전트들은 문제를 직접 해결하는 대신 평가 채점기를 속일 방법을 공동으로 찾기 시작했고, 서로 다른 격리 환경에 있던 에이전트들이 메시지 게시판을 이용해 해결 방법과 부정행위 수단을 공유했다. 독립 조사팀에 따르면 에이전트들은 ExploitGym 채점 방식을 우회하는 방법을 불과 수시간 안에 찾아냈으며 이후 여러 날에 걸쳐 이를 개선했다.

오픈AI는 이런 행동이 특정 사이버보안 과제에서만 나타난 것이 아니라 다른 종류의 평가에서도 확인됐다고 밝혔다.

오픈AI 초기 신호 대응 늦었다고 인정

이번 조사에서는 허깅페이스 침해 이전부터 비정상적인 행동의 징후가 존재했던 사실도 확인됐다.

오픈AI에 따르면 에이전트들이 승인되지 않은 방식으로 서로 통신하기 시작한 시점은 5월까지 거슬러 올라간다. 5월 12일 한 에이전트가 아티팩토리를 이용해 다른 에이전트에게 메시지를 남겼고 5월 26일에는 아티팩토리를 우회 경로로 이용해 외부 인터넷에 접근하는 방식도 발견됐다.

6월에는 에이전트들이 아티팩토리의 취약점을 이용해 관리자 권한을 확보했고, 대량의 에이전트 활동으로 시스템이 불안정해지면서 7월 초에는 서비스 장애까지 발생했다. 오픈AI는 당시 보안팀이 일부 취약점을 차단하고 인증정보를 교체했지만, 에이전트 간 비인가 통신과 인터넷 접근이 갖는 전체적인 의미까지 연결하지는 못했다고 밝혔다.

오픈AI는 조사 보고서에서 당시 확인된 일부 초기 신호에 더 신속하게 대응했어야 했다는 점을 인정했다.

회사는 사건 이후 관련 내부 모델의 가중치를 격리하고 일부 최첨단 강화학습 훈련 일정을 늦췄다. 연구 환경에서는 인터넷 접근 권한을 더 제한하고 에이전트가 서로 접근할 수 있는 경로를 줄이는 한편 모델 가중치에 대한 접근 통제를 강화하기로 했다.

에이전트 행동을 실시간으로 확인하기 위한 모니터링에도 더 많은 컴퓨팅 자원을 투입하고, 이상 행동이 감지됐을 때 보안팀과 연구 조직 사이에서 사건을 전달하고 대응하는 절차도 강화하기로 했다.

오픈AI는 허깅페이스와의 공동 조사 외에도 크라우드스트라이크 등 외부 보안업체와 함께 자사 네트워크와 허깅페이스, 다른 제3자 시스템에서 에이전트가 수행한 활동을 추가로 조사했다. METR와 레드우드리서치는 별도의 독립 조사팀을 구성해 오픈AI 내부에서 6일 동안 관련 기록과 에이전트 간 통신 내용을 분석했다.