오픈AI·앤트로픽, 빠른 컴퓨팅 용량 확보 위해 소규모 데이터센터 눈독

오픈AI와 앤트로픽 소규모 AI 데이터센터 확보 추진

오픈AI와 앤트로픽이 수백 메가와트에서 기가와트급에 이르는 초대형 데이터센터 확보와 별도로 20~30MW 규모의 소규모 컴퓨팅 용량을 추가로 확보하는 방안을 추진하고 있는 것으로 전해졌다. AI 모델 학습뿐 아니라 실제 서비스에서 발생하는 추론 수요가 빠르게 늘어나면서 대형 데이터센터가 완공될 때까지 기다리지 않고 즉시 사용할 수 있는 컴퓨팅 자원을 최대한 확보하려는 움직임이다.

CNBC는 관련 논의를 알고 있는 복수의 소식통을 인용해 앤트로픽이 영국과 북유럽 지역에서 20~30MW 규모의 컴퓨팅 용량 계약을 검토하고 있으며, 오픈AI 역시 북유럽에서 비슷한 규모의 시설을 살펴보고 있다고 보도했다. 미국에서도 두 회사가 이 정도 규모의 컴퓨팅 용량을 확보하는 방안을 논의한 것으로 전해졌다.

현재 논의는 기존 대형 데이터센터 전략을 대체하는 것이 아니라 다양한 규모의 인프라를 동시에 확보하는 방향에 가깝다. 오픈AI 측은 전 세계에서 증가하는 AI 수요에 대응하기 위해 다양한 컴퓨팅 포트폴리오를 구축하고 있으며, 업무 종류에 따라 필요한 인프라가 달라 성능과 안정성, 확보 시점, 비용 등을 기준으로 여러 파트너와 기회를 검토하고 있다고 밝혔다.

앤트로픽은 관련 협의에 대해 별도의 입장을 내놓지 않았다. 소규모 시설의 구체적인 사업자나 계약 가격, 실제 가동 시점 등도 공개되지 않아 현재 단계에서 최종 계약 여부는 확인되지 않았다.

기가와트급 프로젝트와 병행해 즉시 사용할 전력 확보

두 회사는 최근까지 AI 컴퓨팅 확보를 위해 초대형 프로젝트를 잇달아 추진해왔다. 앤트로픽은 웨스트버지니아에서 약 460MW의 컴퓨팅 용량을 확보하는 대형 클라우드 계약을 추진했고, 오픈AI 역시 스타게이트 프로젝트를 포함해 미국 여러 지역에서 기가와트 단위의 데이터센터 구축을 진행하고 있다.

하지만 규모가 큰 데이터센터일수록 적절한 부지와 막대한 전력을 확보하고 송전망을 연결하는 데 오랜 시간이 필요하다. 건설 과정에서 각종 인허가와 환경 문제를 처리해야 하고, 미국에서는 전력과 수도 사용량 등을 둘러싼 지역 주민들의 반발도 데이터센터 프로젝트의 주요 변수가 되고 있다.

유럽에서는 상황이 더욱 제한적이다. 대규모 AI 데이터센터를 운영할 수 있을 정도의 전력과 부지를 동시에 갖춘 지역이 많지 않아 초대형 프로젝트를 새로 개발할 경우 실제 가동까지 시간이 길어질 수 있다.

반면 기존 전력 인프라가 이미 확보된 데이터센터에서 수십MW 단위의 공간을 임차하면 신규 초대형 시설을 처음부터 건설하는 것보다 컴퓨팅 용량을 훨씬 빠르게 확보할 수 있다. AI 기업 입장에서는 수백MW 규모의 단일 시설이 준비되기를 기다리는 대신 여러 지역에서 20~30MW씩 확보한 뒤 이를 합쳐 상당한 규모의 컴퓨팅 자원으로 활용할 수 있다.

대형 모델 학습과 달리 추론은 여러 지역에 분산 가능

소규모 데이터센터 활용이 가능해진 핵심 배경에는 AI 컴퓨팅의 무게중심이 모델 학습에서 추론으로 확대되고 있다는 변화가 있다.

최첨단 대형 AI 모델을 학습할 때는 수많은 GPU가 매우 빠른 속도로 데이터를 주고받아야 한다. 수천 개에서 수만 개의 AI 가속기를 고속 네트워크로 긴밀하게 연결해야 하기 때문에 같은 시설 안에 대규모 컴퓨팅 클러스터를 집중적으로 구축하는 것이 유리하다.

반면 이미 개발된 모델을 이용자에게 실제 서비스하는 추론 작업은 구조가 다르다. 사용자가 챗봇에 질문하거나 AI 에이전트가 특정 업무를 수행할 때 발생하는 각각의 요청은 반드시 하나의 초대형 클러스터에서 처리할 필요가 없다. 여러 지역에 설치된 상대적으로 작은 컴퓨팅 클러스터로 요청을 나눠 처리할 수 있다.

이 때문에 소규모 데이터센터에서도 상당한 규모의 추론 작업을 수행할 수 있으며, 가용 전력이 존재하는 지역이라면 초대형 학습용 데이터센터가 들어가기 어려운 곳도 AI 컴퓨팅 거점으로 활용할 수 있다.

Structure Research의 자베즈 탄 리서치 책임자는 기존에 전력이 연결된 시설에서 몇 MW의 용량을 확보하는 것이 한 지역에서 훨씬 큰 전력을 기다리는 것보다 현실적인 경우가 있다며, 서로 분리된 시설에서 실행할 수 있는 작업이라면 여러 소규모 배치를 합쳐 상당한 컴퓨팅 용량을 만들 수 있다고 설명했다.

추론용 데이터센터 비중 빠르게 확대 전망

AI 산업에서 추론이 차지하는 비중도 빠르게 커지고 있다. 초기 생성형 AI 경쟁에서는 더 강력한 기반모델을 개발하기 위한 학습 컴퓨팅 확보가 가장 중요한 문제였지만, 이용자와 기업 고객이 늘면서 이미 만들어진 모델을 하루 24시간 실제 서비스하는 데 필요한 추론용 컴퓨팅의 중요성이 높아지고 있다.

부동산 서비스 업체 JLL은 전 세계 데이터센터 워크로드 가운데 AI 추론이 차지하는 비중이 2025년 9%에서 2030년 37%까지 증가할 것으로 전망했다. 같은 기간 AI 모델 학습이 차지하는 비중은 14%에서 13% 수준으로 움직일 것으로 예상했다. 추론용 컴퓨팅 수요가 2027년부터 학습용 수요를 넘어설 것이라는 전망도 제시했다.

AI 서비스 이용자가 확대될수록 새로운 모델을 몇 차례 대규모로 학습하는 것보다 이미 배포된 모델에서 매일 발생하는 막대한 사용자 요청을 처리하는 데 더 많은 컴퓨팅 자원이 필요해질 수 있다. 오픈AI와 앤트로픽이 대형 데이터센터 프로젝트와 동시에 비교적 작은 시설까지 찾기 시작한 것도 이러한 수요 변화와 맞물려 있다.

AI 인프라 업체들도 소규모 분산형 시설 확대

AI 데이터센터 업계에서도 비슷한 움직임이 나타나고 있다. 오픈AI가 사용하는 미국 텍사스의 대형 AI 데이터센터를 구축한 크루소는 최근 대규모 시설과 함께 더 작고 빠르게 설치할 수 있는 데이터센터 사업에도 투자를 확대하고 있다.

크루소는 기존 대형 데이터센터보다 구축 시간이 짧은 소규모 시설을 통해 전력이 남아 있는 지역에 AI 컴퓨팅 장비를 빠르게 배치하는 방식을 추진하고 있다. 대형 데이터센터 개발이 전력망 연결 지연과 건설비 상승, 지역사회 반발 등의 영향을 받으면서 즉시 활용할 수 있는 전력을 찾아 컴퓨팅 장비를 분산 배치하는 전략이 AI 인프라 업계 전반으로 확산되는 모습이다.

엔비디아도 데이터센터 관련 업체들과 분산형 추론을 위한 상대적으로 작은 규모의 AI 데이터센터를 연구하고 있다. 추론 인프라가 여러 지역으로 분산될 경우 엔비디아와 AMD의 AI 가속기를 비롯해 서버용 메모리와 네트워크 장비 등에 대한 수요 역시 초대형 데이터센터뿐 아니라 다양한 규모의 시설에서 발생할 수 있다.

AI 컴퓨팅 확보 경쟁 규모보다 가동 속도까지 확대

오픈AI와 앤트로픽의 움직임은 AI 인프라 경쟁의 기준이 단순히 얼마나 큰 데이터센터를 확보했는지에서 얼마나 빨리 실제 사용 가능한 컴퓨팅 자원을 추가할 수 있는지로 확대되고 있음을 보여준다.

수백MW 또는 수GW 규모의 초대형 프로젝트는 차세대 AI 모델 학습과 장기적인 컴퓨팅 수요를 감당하기 위해 계속 필요하지만, 건설에 수년이 걸릴 수 있다는 문제가 있다. 반면 이미 전력 공급이 가능한 시설에서 20~30MW씩 확보하면 상대적으로 빠른 시점에 GPU를 설치하고 실제 AI 서비스에 투입할 수 있다.

특히 추론은 학습보다 컴퓨팅 자원을 여러 지역으로 분산하기 쉽기 때문에 소규모 데이터센터의 활용 범위를 넓히고 있다. 오픈AI와 앤트로픽은 초대형 데이터센터 계약을 계속 추진하면서 동시에 영국과 북유럽, 미국 등에서 소규모 용량을 확보하는 방안을 검토하고 있으며, 실제 계약 상대와 시설별 규모 및 가동 일정은 아직 확정적으로 공개되지 않았다.