SKT 정예팀, 초거대 AI ‘A.X K1’ 기술 보고서 공개…수학·코딩서 딥시크V3.1 능가

[더파워 이설아 기자] 국내 통신사 가운데 처음으로 500B(5,190억개) 이상 매개변수를 탑재한 초거대 AI 모델이 공식 성능 지표를 공개했다.

SK텔레콤은 7일 정예팀이 개발한 초거대 AI 모델 ‘A.X K1(에이닷엑스 케이원)’의 기술 보고서를 오픈소스 플랫폼 허깅페이스에 업데이트했다고 밝혔다.

SK텔레콤 정예팀은 약 4개월이라는 비교적 짧은 기간 동안 1,000개 규모 GPU만으로 519B 매개변수 모델을 완성했다. 스케일링 이론을 적용해 총 학습 가능 연산량에 맞춰 최대 모델 크기를 수학적으로 설계하고, 약 10조개(10T)의 학습 데이터를 투입해 개발 효율을 극대화한 것이 특징이다. 이번 개발에는 정부 지원 없이 자체 조달한 GPU 자원만 활용한 것으로 전해졌다.

이번에 공개된 보고서에는 A.X K1과 함께 글로벌에서 널리 활용되는 초거대 모델인 ‘딥시크-V3.1’(685B), ‘GLM-4.6’(357B) 등과의 벤치마크 비교 결과가 담겼다. 수학 능력을 평가하는 AIME25 벤치마크에서 A.X K1은 89.8점을 기록해 딥시크-V3.1(88.4점) 대비 약 102% 수준의 성능을 보였다. 미국 수학 올림피아드 기출로 구성된 AIME25는 창의적 추론과 복잡한 계산 능력을 요구하는 지표다.

코딩 역량을 측정하는 LiveCodeBench에서도 우위를 보였다. A.X K1은 영어 기준 75.8점, 한국어 기준 73.1점을 기록해 각각 69.5점, 66.2점을 받은 딥시크-V3.1 대비 약 109%, 110% 수준의 성능을 나타냈다. LiveCodeBench는 미리 노출되지 않은 최신 코딩 문제로 AI의 실시간 문제 해결 능력을 테스트하는 벤치마크다.

모델 구조 측면에서 A.X K1은 519B 파라미터 중 약 33B만 선택적으로 활성화하는 전문가 혼합(MoE, Mixture of Experts) 방식을 채택했다. 입력마다 일부 전문가 모듈만 동작하도록 설계해 대형 모델의 훈련 안정성과 연산 효율을 동시에 확보했다는 설명이다. 한 번에 처리 가능한 문맥 길이는 128K 토큰으로, 한국어 기준 약 10만 단어 분량에 해당해 장편 소설이나 기업 연간보고서 한 권도 한 번에 분석할 수 있는 수준이다.

학습 데이터는 웹 텍스트, 코드, 이공계(STEM) 데이터, 추론 데이터 등 다양한 고품질 자료를 활용했다. 특히 한국어 특화 PDF 문서를 파싱해 학습용 데이터로 재구성하고, 난이도에 따라 데이터를 단계적으로 주입하는 커리큘럼 학습 기법도 적용해 수학·코딩 등 고난도 영역에서의 성능을 끌어올렸다.

SK텔레콤은 A.X K1이 현재 구조를 유지한 채로도 추가 연산 자원과 데이터를 투입하면 성능을 더 높일 수 있는 확장 여력이 크다고 보고 있다. 회사는 연내 이미지·영상 등까지 아우르는 멀티모달 기능을 모델에 추가하고, 매개변수 규모도 조(兆) 단위로 키우는 후속 개발을 진행한다는 계획이다.

이설아 더파워 기자 news@thepowernews.co.kr