마이크로소프트 CEO, “AI 안전 중요하지만 소수 기업이 기준을 독점해선 안 돼”

나델라 초지능은 인간 통제 아래 있어야

사티아 나델라 마이크로소프트 CEO가 초지능 AI 개발은 인류에게 실질적인 도움을 주고 인간의 통제 아래 있다는 원칙을 전제로 해야 한다고 밝혔다. 최근 AI 업계에서 첨단 모델의 개발 속도를 조절하고 안전성 평가를 강화해야 한다는 목소리가 커지는 가운데, 나델라는 이러한 움직임을 지지하면서도 안전 기준과 첨단 AI 생태계를 소수 기업이나 기관이 독점해서는 안 된다고 강조했다.

나델라는 13일 소셜미디어를 통해 “우리가 구축하는 AI가 인류를 돕지 않고 인간의 통제 아래 있지 않다면 초지능을 추구할 가치가 없다”고 밝혔다. 그는 AI 정렬을 개발 목표의 핵심에 두기 위한 연구와 집중, 신중한 속도 조절을 환영한다며 최근 AI 업계에서 본격화된 안전 논의에 동참했다.

최근 논쟁은 다리오 아모데이 앤트로픽 CEO가 프런티어 AI의 성능 향상 속도를 늦추고 안전성을 검증할 시간을 확보해야 한다고 주장하면서 확대됐다. 아모데이는 외부 평가자가 AI 기업 내부에 들어가 실제 훈련과 배포, 안전장치가 약속대로 작동하는지를 확인하는 ‘내장형 평가자’ 도입 등을 제안했다.

샘 올트먼 오픈AI CEO를 비롯한 주요 AI 업계 인사들도 최첨단 AI의 속도 조절 필요성에 동의한다는 입장을 잇달아 내놓았다. 나델라 역시 내장형 평가자를 포함해 안전 논의를 선언적인 수준에서 실제 작동하는 제도로 전환하기 위한 메커니즘 개발을 지지한다고 밝혔다.

안전 체계 소수 기업이 통제해서는 안 돼

나델라는 다만 AI 안전 체계 자체가 소수의 기업과 조직에 의해 좌우되는 구조에는 반대했다. 초지능 개발과 안전 기준을 둘러싼 의사결정에는 AI 기업뿐 아니라 각국 정부와 학계, 산업계 등 광범위한 주체가 참여해야 한다는 입장이다.

그는 AI 생태계 전반에서 폭넓은 대표성이 확보돼야 한다며 국가와 분야를 가로지르는 참여 구조를 강조했다. AI 개발 속도를 조절하고 안전성을 높이는 과정이 특정 프런티어 모델 개발사 몇 곳의 합의만으로 결정돼서는 안 된다는 것이다.

아모데이가 제시한 내장형 평가자 역시 이런 논의의 한 축이다. 외부 평가자가 일반적인 출시 전 테스트보다 더 깊은 수준의 접근권한을 갖고 실제 안전 절차와 사고 대응, 훈련 과정 등을 확인하도록 하는 구상이다. 나델라는 이러한 방식뿐 아니라 AI 안전 약속을 실제로 검증할 수 있도록 만드는 더 폭넓은 제도적 장치를 환영한다고 밝혔다.

마이크로소프트는 이달 공개한 책임 있는 AI 관련 정책에서도 신뢰할 수 있고 안전한 AI의 광범위한 활용을 회사 전략의 핵심으로 제시했다. 나델라의 이번 발언은 프런티어 AI의 개발 속도를 무조건 높이는 것보다 인간의 통제와 검증 체계를 함께 강화하되, 그 통제 권한 역시 개방된 구조로 설계해야 한다는 방향을 보다 구체적으로 제시한 것이다.

폐쇄형과 오픈소스 모델 함께 발전해야

나델라는 안전성 강화가 AI 생태계의 폐쇄로 이어져서는 안 된다고 강조했다. AI의 경제적·사회적 혜택이 국가와 지역사회, 기업 전반에 확산되려면 폐쇄형 모델과 오픈소스 모델이 함께 성장할 수 있는 프런티어 생태계가 필요하다는 주장이다.

그는 AI 확산을 가속하는 동시에 그 혜택을 폭넓게 분산해야 한다며, 기업과 개발자가 AI 스택의 각 계층에서 다양한 선택권을 가질 수 있어야 한다고 밝혔다. 한두 개의 모델 제공업체가 기술과 지식을 사실상 독점하는 구조 대신 여러 형태의 모델과 플랫폼이 공존해야 한다는 설명이다.

기업의 데이터와 자체 지식에 대한 통제권도 별도로 강조했다. 나델라는 각 기업이 업무 과정에서 쌓아온 고유하고 암묵적인 지식을 완전히 통제할 수 있어야 하며 특정 AI 모델 제공업체에 의존하지 않고 자체적인 지속 학습 체계를 구축할 수 있어야 한다고 말했다.

기업이 자체 데이터를 이용해 모델을 지속적으로 개선하고, 필요하면 지식을 직접 모델과 가중치에 반영할 수 있어야 한다는 것이다. 나델라는 이를 조직별 ‘지속 학습 루프’ 또는 ‘힐 클라이밍 머신’으로 표현했다.

마이크로소프트가 제시한 방향은 크게 세 가지로 정리된다.

• AI 스택 전반에서 폭넓은 접근성과 모델 선택권을 보장한다.
• 기업이 자체 학습 체계와 데이터, 모델 및 가중치를 직접 통제할 수 있도록 한다.
• 마이크로소프트 자체 MAI 모델에는 별도의 행동강령을 적용하고 외부 의견을 수렴한다.

자체 MAI 모델 행동강령 공개 예고

나델라는 마이크로소프트가 직접 개발하는 MAI 모델의 기반 원칙을 담은 ‘행동강령’을 공개하고 대중의 의견을 받겠다고 밝혔다. 해당 문서는 마이크로소프트의 자체 AI 모델이 어떤 기준과 행동 원칙에 따라 설계되고 운영되는지를 규정하는 기반 체계가 될 예정이다.

마이크로소프트 AI는 현재 자체 모델 개발에서 인간 중심의 초지능을 목표로 내세우고 있다. 회사는 이를 인간이 통제할 수 있고 인간에게 봉사하는 첨단 AI 시스템으로 정의하고 있으며 안전과 보안, 평가를 자체 모델 개발의 주요 가치에 포함하고 있다.

나델라의 발언은 최근 AI 업계에서 불거진 개발 속도 조절 논쟁에 동의하면서도 안전성 확보가 시장과 기술을 폐쇄하는 방향으로 작동해서는 안 된다는 점을 강조한 것으로 이어졌다. 그는 AI가 인간의 통제 아래 있어야 한다는 원칙과 함께, 안전 체계 역시 소수 단체가 장악해서는 안 되며 국가와 학계, 산업계 등 다양한 참여자가 함께 검증하는 구조가 필요하다고 밝혔다.

마이크로소프트는 이에 맞춰 AI 스택 전반의 접근성과 선택권, 기업의 자체 학습 체계와 모델 통제권을 확대하는 한편 자체 MAI 모델의 행동강령을 공개해 외부 의견을 수렴할 예정이다.