크래프톤, 감정·억양 읽는 음성 AI 공개…한국어 성능 1위

[더파워 류동우 기자] 사람의 말을 문자로 바꾸지 않고 목소리에 담긴 감정과 억양까지 분석해 음성으로 답하는 인공지능 모델이 공개됐다. 크래프톤은 210억개 매개변수 규모의 음성 인공지능 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 오픈소스 플랫폼 허깅페이스에 공개했다고 밝혔다.

A.X K2 Raon-Speech는 매개변수 300억개 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가는 음성 인식과 합성, 음성 이해, 음성·텍스트 질의응답, 도구 호출 등 6개 영역에서 이뤄졌으며 한국어 24개와 영어 22개 등 총 46개 벤치마크가 활용됐다.

이 모델은 SK텔레콤의 소형 언어 모델 ‘A.X K2’에 크래프톤이 자체 학습한 음성 인코더와 음성 코덱을 결합한 구조다. 음성 인코더는 사람의 목소리를 인공지능이 처리할 수 있는 정보로 바꾸고, 코덱은 모델이 생성한 답변을 자연스러운 음성으로 복원한다.

기존 음성 대화 시스템은 이용자의 말을 문자로 변환한 뒤 답변을 만들고 이를 다시 음성으로 합성하는 방식이어서 말투와 감정, 억양 정보가 사라질 수 있었다. A.X K2 Raon-Speech는 음성 정보를 직접 처리해 이용자의 의도뿐 아니라 목소리에 담긴 표현까지 반영한 답변을 생성하도록 설계됐다.

이번 모델은 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 프로젝트에 참여한 SK텔레콤 정예팀의 2차 성과 가운데 하나다. 크래프톤은 차세대 멀티모달 모델 연구를 맡고 있으며 지난 4월에는 음성 언어와 실시간 음성 대화, 음성 합성, 비전 인코더 등 ‘라온’ 인공지능 모델 4종을 오픈소스로 공개했다.

크래프톤은 이번에 확보한 음성 인공지능 기술을 이용자와 함께 게임을 플레이하는 인공지능 캐릭터 ‘CPC’ 개발에 활용할 계획이다. 이용자의 목소리와 의도를 파악하고 게임 상황에 맞는 말투와 음성으로 반응하는 캐릭터를 구현한다는 구상이다.

이강욱 크래프톤 최고인공지능책임자는 “음성 인공지능 파운데이션 기술을 지속해서 연구하고 고도화한 결과”라며 “게임에 필요한 인공지능 기술을 발전시켜 새로운 이용자 경험을 만드는 데 활용하겠다”고 말했다.

류동우 더파워 기자 rdw2026@thepowernews.co.kr