마이크로소프트, 차세대 기반모델 'MAI-Base-2' 사전학습 완료

마이크로소프트가 자체 기반모델 'MAI-Base-2'의 사전학습을 완료했다고 발표했습니다. 이 모델은 매개변수 2조8000억 개 규모의 혼합전문가(MoE) 구조로, 요청 1건을 처리할 때 실제로 활성화되는 매개변수는 800억 개입니다. 마이크로소프트는 비공개로 진행한 자체 평가에서 다른 오픈웨이트 모델들을 모두 앞섰고, 경쟁 모델인 '딥시크-V4-프로-베이스'보다 적은 연산량으로 이 모델을 완성했다고 주장했습니다. 회사의 AI 책임자는 내부적으로 비교 대상이 된 오픈AI의 기반모델을 약 4분의 1 수준의 연산량으로 앞섰다고 언급한 것으로 전해졌습니다. 다만 이런 비교는 공개된 벤치마크가 아니라 마이크로소프트 자체의 비공개 테스트 결과에 근거한 것이어서, 외부에서 독립적으로 검증되기 전까지는 참고 자료로 받아들일 필요가 있습니다. 대형 기업들의 자체 기반모델 개발 경쟁이 한층 가열되고 있음을 보여주는 소식입니다.

출처: Business Insider (The Neuron 인용)