엔비디아, 역대 최대 104큐비트 양자컴퓨팅 시뮬레이션…큐비트 90% 절감 방식 검증

엔비디아, 역대 최대 104큐비트 양자컴퓨팅 시뮬레이션…큐비트 90% 줄이는 방식 검증

엔비디아가 유럽 최대 슈퍼컴퓨터를 활용해 역대 최대 규모인 104큐비트 내결함성 양자컴퓨팅 시뮬레이션을 수행했다. 양자컴퓨터의 오류 정정에 필요한 물리 큐비트 수를 기존 방식보다 최대 90% 줄이는 기술을 실제와 같은 노이즈 환경에서 검증했다는 설명이다.

엔비디아는 19일(현지시간) 독일 베를린에서 열린 ‘GTC 베를린 2026’에서 독일 서부 노르트라인베스트팔렌주에 있는 율리히연구소 산하 율리히 슈퍼컴퓨팅센터(JSC)와 함께 자사 GPU 기반 슈퍼컴퓨터 ‘주피터(JUPITER)’로 이 같은 시뮬레이션을 진행했다고 발표했다. 엔비디아는 이번 작업이 지금까지 이뤄진 내결함성 양자 프로세서 시뮬레이션 가운데 가장 포괄적인 규모라고 밝혔다.

‘매직 스테이트 배양’ 실제 노이즈 환경서 검증

이번 시뮬레이션은 ‘매직 스테이트 배양(Magic State Cultivation)’을 대상으로 했다. 매직 스테이트는 양자컴퓨터가 기존 컴퓨터로는 흉내 낼 수 없는 연산을 할 때 소모되는 자원으로, 오류가 정정된 고품질 매직 스테이트를 만드는 데 막대한 큐비트가 필요하다. 일부 추정에 따르면 양자컴퓨터 용량의 최대 95%가 매직 스테이트를 만드는 데 쓰일 수 있다.

매직 스테이트 배양은 칩의 작은 영역에서 하나의 상태를 순수하게 길러내는 방식으로, 기존의 다단계 증류 방식보다 물리 큐비트 부담을 최대 90% 줄일 수 있다.

엔비디아는 큐비트를 제어할 때 생기는 오류를 반영한 현실적인 하드웨어 노이즈 환경에서 이 방식이 작동하는지 확인했다. 시뮬레이션에는 위상이 일정하게 어긋나는 결맞음 위상 노이즈와 큐비트가 계산에 쓰이는 두 상태(0과 1)를 벗어나 세 번째 상태로 빠져나가는 누설 현상까지 반영됐다. 앞서 율리히 슈퍼컴퓨팅센터는 노이즈가 없는 이상적인 조건에서 50큐비트를 시뮬레이션한 바 있다.

연구진은 거리 3의 컬러 코드에서 거리 7의 컬러·표면 혼합 코드로 상태를 옮기는 과정을 오류 탐지 장치와 함께 구현했다. 이 과정에는 기존의 단순화된 시뮬레이션 기법으로는 계산할 수 없는 연산과 노이즈가 포함돼 있다.

구글 윌로우 실험 뒷받침

이번 시뮬레이션은 구글 퀀텀 AI가 제시한 매직 스테이트 배양 이론을 보완하고, 구글의 양자 프로세서 ‘윌로우’ 실험을 토대로 한 것이다. 구글은 지난 15일 윌로우에서 매직 스테이트 배양을 구현해 기존 상태 주입 방식보다 오류를 약 40배 줄이고 논리 상태 충실도 약 99.99%를 달성했다고 발표했다. 1만 번 가운데 오류가 1번 정도에 그치는 수준이다.

구글은 당시 실험에서 거리 3의 컬러 코드에서 거리 5의 표면 코드로 상태를 옮기는 과정을 시연했다. 이 방식은 구글 연구진인 크레이그 기드니와 노아 셔티, 코디 존스가 2024년 이론으로 제시했다. 윌로우는 구글이 2024년 12월 공개한 105큐비트 양자 칩이다. 구글 퀀텀 AI는 지난 3월 비트코인과 이더리움 서명의 기반인 256비트 타원곡선 암호를 깨는 데 물리 큐비트 50만개 미만이 필요하다는 연구도 내놨다.

GH200 8,192개 동원…35조개 진폭 계산

주피터는 지난해 9월 가동을 시작한 유럽 최초의 엑사스케일 슈퍼컴퓨터다. 이번 시뮬레이션에는 엔비디아의 GH200 그레이스 호퍼 슈퍼칩 8,192개가 동원됐다. 연구진은 계산을 단순화하지 않고 양자 상태 전체를 추적하는 ‘상태 벡터’ 방식으로 시뮬레이션을 진행했다.

세 가지 상태를 가질 수 있는 단위 5개를 8비트에 묶어 담는 방식으로 전체 상태를 45비트로 인코딩했으며, 이를 통해 약 35조2,000억개의 복소수 진폭을 추적했다. 이를 위해 GPU 1개당 64GiB씩, 모두 약 512TiB의 분산 GPU 메모리가 쓰였다. 상태 벡터 방식은 큐비트가 하나 늘 때마다 필요한 메모리가 두 배로 커져, 시뮬레이션 규모를 키우기가 매우 어렵다.

소프트웨어로는 엔비디아의 오픈소스 양자 컴퓨팅 플랫폼 CUDA-Q의 내결함성 논리 계층과 양자 시뮬레이션 라이브러리 cuQuantum이 활용됐다. 개발은 미국에 있는 엔비디아 가속 양자 연구센터(NVAQC)의 GB200 NVL72 시스템에서 이뤄졌다. 연구진은 GPU 4개에서 시작해 수백 개로 규모를 키운 뒤 주피터로 옮겨 시뮬레이션을 수행했고, 몇 주 걸리던 작업 기간을 며칠로 줄였다.

젠슨 황 “유용한 양자컴퓨터에는 극도로 복잡한 내결함성 시스템 필요”

엔비디아는 이 같은 시뮬레이션을 통해 연구자들이 하드웨어를 직접 만들기 전에 양자 프로세서 설계의 성능을 예측하고 개선할 수 있다고 설명했다. 이를 통해 신약 개발과 금융 모델링, 소재 과학 분야에서 실용적인 양자컴퓨터의 상용화를 수년 앞당길 수 있다는 것이 엔비디아의 설명이다. 엔비디아는 이번 성과가 유용한 양자컴퓨터 자체가 아니라 시뮬레이션 분야의 이정표라고 밝혔다.

젠슨 황 엔비디아 최고경영자(CEO)는 “유용한 양자컴퓨팅에는 엄청나게 복잡한 내결함성 시스템이 필요할 것”이라고 말했다. 크리스텔 미헬젠 율리히 슈퍼컴퓨팅센터 소장은 “엔비디아와 협력해 이 같은 역량을 양자컴퓨팅에 적용하고 있다”고 밝혔다.

엔비디아는 지난해 3월 미국 보스턴에 엔비디아 가속 양자 연구센터 설립을 발표했고, 같은 해 10월에는 양자 프로세서와 GPU를 연결하는 기술 ‘NVQLink’를 공개하는 등 양자컴퓨팅 분야를 넓혀 왔다. 황 CEO는 지난해 1월 유용한 양자컴퓨터가 나오기까지 15~30년이 걸릴 수 있다고 말해 양자컴퓨팅 관련주가 급락하기도 했지만, 이후 같은 해 3월 연례 개발자 행사에서 ‘퀀텀 데이’를 열고 양자컴퓨팅 기업 경영진들과 토론에 나섰다.

업계의 양자컴퓨팅 경쟁도 속도를 내고 있다. IBM은 2029년까지 논리 큐비트 200개를 갖춘 오류 내성 양자컴퓨터 ‘스탈링’을 내놓겠다는 계획을 밝혔다. 립부 탄 인텔 CEO는 지난 12일 양자컴퓨팅이 3~5년 안에 주류가 될 것이라고 말했다. 양자컴퓨팅 기업 아이온큐는 같은 날 사이버보안 기업 엘리시티를 최대 13억달러에 인수하기로 했다.

엔비디아 주가는 19일 1.38% 오른 217.09달러에 마감했다. 엔비디아는 같은 날 자사주 매입 한도를 1,500억달러 늘리고 AI 에이전트 안전 플랫폼을 새로 공개했다.