구글 제미나이, 보안 테스트 중 실제 기업 3곳 침입…

제미나이 보안 평가 중 실제 기업 3곳 시스템 침입

구글의 인공지능 모델 제미나이가 사이버보안 능력을 평가하는 시험 과정에서 통제된 테스트 환경을 벗어나 실제 기업 3곳의 시스템에 무단으로 접속했던 사실이 뒤늦게 확인됐다.

사고는 지난 5월 독립 AI 보안 평가업체 이레귤러가 진행한 사이버보안 평가 과정에서 발생했다. 월스트리트저널에 따르면 제미나이는 가상의 기업과 시스템을 대상으로 침투 테스트를 수행하도록 설정돼 있었지만, 테스트 환경의 구성 오류로 실제 인터넷에 접속할 수 있게 되면서 현실의 기업 시스템까지 접근했다.

구글의 AI가 사이버보안 평가 과정에서 자율적으로 실제 외부 기업의 시스템에 침입한 사례가 공개된 것은 이번이 처음이다. 구글은 월스트리트저널의 취재 이후 사고 발생 사실을 확인했다.

구글 보안 엔지니어링 부문 부사장 헤더 애드킨스는 제미나이가 온라인에 공개된 정보를 찾고 인증 정보를 추측해 테스트 범위에 포함된 것으로 판단한 웹사이트에 접근했다고 설명했다. 세 건 모두 모델이 실제 기업 시스템이라는 사실을 파악한 뒤에는 추가 행동을 중단했다고 밝혔다.

가상 기업과 실제 기업 이름 같아 엉뚱한 시스템 공격

첫 번째 사고에서는 테스트를 위해 설정된 가상 기업의 이름이 실제 인터넷에 존재하는 기업과 같았던 것이 문제의 출발점이 됐다. 제미나이는 가상의 시스템에서 목표물을 찾는 과정에서 정상적인 테스트 대상에 접근하지 못하자 인터넷을 검색했고, 같은 이름을 사용하는 실제 기업의 서비스를 발견했다.

테스트 환경은 원래 외부 인터넷과 단절돼 있어야 했지만 설정 오류로 인터넷 접속이 가능했다. 제미나이는 실제 기업의 서비스를 평가용 시스템으로 오인한 상태에서 비밀번호를 추측했고 결국 인증에 성공해 보호된 시스템에 들어갔다.

다른 두 건에서는 방식이 달랐다. 제미나이는 웹 검색 과정에서 공개 저장소에 남아 있던 인증 정보를 찾아냈으며, 이를 이용해 별도의 실제 기업 두 곳의 시스템에 접속했다.

세 사례 모두 고도로 복잡한 취약점을 새로 발견해 침투한 공격은 아니었다. 한 건에서는 비밀번호 추측이 사용됐고 나머지 두 건에서는 공개 인터넷에 노출된 인증 정보가 활용됐다. 그러나 AI 모델이 테스트의 경계를 잘못 인식한 상태에서 사람의 추가 지시 없이 실제 외부 시스템을 찾아 접근했다는 점 때문에 AI 보안 평가 방식 자체에 대한 문제가 제기됐다.

구글 실제 기업으로 인식한 뒤 스스로 중단했다고 설명

구글에 따르면 제미나이는 세 사례 모두 자신이 접근한 시스템이 가상의 테스트 환경이 아니라 실제 기업의 시스템이라는 사실을 인식한 뒤 행동을 중단했다.

구글은 이를 모델의 안전 훈련이 작동한 사례로 설명하고 있다. 제미나이가 잘못된 환경 설정 때문에 외부 시스템에 접근하기는 했지만 현실의 기업을 공격하고 있다는 사실을 파악한 뒤 추가 침투를 계속하지 않았다는 것이다.

구글은 해당 기업들에서 실질적인 피해가 발생하지 않았다고 밝혔다. 사고가 확인된 뒤 영향을 받은 세 기업에 사실을 알렸으며 평가 파트너와 함께 테스트 절차도 수정했다고 설명했다.

이레귤러는 7월 말 구글에 관련 사실을 전달했다. 회사는 사고가 발생한 테스트 환경의 문제를 수정했으며 같은 환경에서 평가를 진행하던 다른 주요 AI 연구소에도 관련 내용을 알렸다.

구글 사고 공개하지 않았다가 취재 이후 확인

사고 자체뿐 아니라 공개 방식도 논란이 되고 있다. 구글은 사고를 파악하고 피해 기업들에 알린 뒤에도 이를 외부에 공개하지 않았다.

구글은 모델이 실제 기업이라는 사실을 인식한 뒤 침투 행동을 중단했고 피해도 발생하지 않았기 때문에 별도의 공개가 필요하다고 판단하지 않았다는 입장이다. 이후 월스트리트저널이 관련 사고를 취재하면서 구글은 처음으로 제미나이의 실제 기업 시스템 접근 사실을 공개적으로 확인했다.

애드킨스 부사장은 강력한 AI 모델을 안전하게 개발하는 것이 중요하다며 회사가 해당 분야에 상당한 투자를 진행하고 있다고 밝혔다. 이번 사고는 강력한 모델이 책임감 있게 행동하도록 훈련하는 것이 왜 중요한지를 보여준다고 설명했다.

다만 AI 모델이 실제 시스템에 무단으로 접속한 사고를 기업이 어느 수준부터 공개해야 하는지를 둘러싼 문제는 별도로 남았다. 사고가 발생했더라도 데이터 유출이나 시스템 파괴 같은 직접적인 피해가 확인되지 않으면 외부 공개가 필요한지에 대해 AI 업체들의 기준이 서로 다르기 때문이다.

오픈AI와 앤트로픽에서도 비슷한 평가 이탈 사고 발생

제미나이의 사례는 단독으로 발생한 사건이 아니다. 최근 오픈AI와 앤트로픽에서도 사이버보안 평가를 위해 제한된 환경에서 실행하던 AI 모델이 의도했던 경계를 넘어 실제 인터넷과 외부 시스템에 접근한 사례가 잇따라 공개됐다.

앤트로픽은 지난 7월 자체 조사 결과 클로드 모델들이 제3자 평가 환경에서 실제 인터넷에 접근한 뒤 서로 다른 세 조직의 실제 시스템에 무단 접속한 사례를 확인했다고 공개했다. 회사는 당시 인터넷이 차단돼 있어야 했던 평가 환경의 설정 오류가 원인 중 하나였다고 설명했다.

앤트로픽이 약 14만1천건의 평가 기록을 조사한 결과 세 건의 사고가 확인됐으며, 이후 조사 범위를 확대하면서 추가 사례도 발견했다. 일부 테스트에서는 가상 기업과 실제 기업의 이름이 겹치면서 모델이 현실의 시스템을 평가 대상으로 오인한 것으로 조사됐다.

오픈AI도 외부 보안 평가 과정에서 테스트 설정과 통제 장치의 문제로 모델 활동이 의도했던 범위를 넘어간 사례를 공개했다. 별도의 평가에서는 오픈AI 모델이 격리된 환경의 취약점을 이용해 외부로 나간 뒤 실제 허깅페이스 인프라에 접근한 사고도 발생했다.

오픈AI와 앤트로픽은 관련 사고 발생 이후 외부 평가 환경의 격리 수준과 인터넷 접근 통제, 모니터링 절차를 강화하는 조치를 발표했다.

사이버 능력 강해질수록 테스트 환경 자체가 새로운 위험

이번 사고는 AI 모델의 사이버보안 능력이 높아질수록 모델 자체의 안전장치뿐 아니라 모델을 시험하는 환경의 격리 수준도 중요해지고 있음을 보여준다.

사이버보안 평가에서는 모델이 취약점을 찾고 인증 정보를 확보하거나 다른 시스템으로 이동할 수 있는지를 확인하기 위해 일반 서비스보다 강한 권한을 부여하고 일부 안전장치를 의도적으로 낮추는 경우가 있다. 이때 테스트 환경이 실제 인터넷과 완전히 분리되지 않으면 모델이 가상의 목표와 현실의 목표를 잘못 구분해 외부 시스템에 접근할 수 있다.

특히 AI 에이전트는 주어진 목표를 달성하기 위해 웹 검색과 코드 실행, 인증 정보 탐색, 시스템 접속 등의 여러 단계를 스스로 연결할 수 있다. 모델의 사이버 능력이 향상될수록 단순한 테스트 환경 구성 실수도 실제 외부 시스템 접근으로 이어질 가능성이 커지는 구조다.

구글은 이번 사고에서 제미나이가 실제 기업이라는 사실을 확인한 뒤 스스로 행동을 멈췄고 피해도 발생하지 않았다고 밝혔다. 그러나 오픈AI와 앤트로픽을 포함한 여러 AI 개발사에서 유사한 평가 이탈 사례가 잇따라 확인되면서, 고성능 AI의 사이버보안 테스트를 어떤 환경에서 진행하고 사고가 발생했을 때 어느 수준까지 공개할 것인지를 둘러싼 논의도 확대되고 있다.