카카오 ‘카나나2’, 한국어 AI 안전성 평가서 Gemma·Qwen 앞섰다

[더파워 류동우 기자] 카카오가 오픈소스로 공개한 경량 언어모델(SLM) ‘Kanana-2’가 한국어 특화 AI 안전성 벤치마크에서 유사한 파라미터 규모의 구글 Gemma와 알리바바 Qwen보다 높은 종합 점수를 기록했다. 카카오는 이번 평가 체계를 향후 자체 개발 AI 모델의 출시 전 검증 과정에 상시 적용한다는 계획이다.

카카오는 18일 자체 구축한 ‘AI 안전성 평가 플랫폼’을 활용해 ‘Kanana-2-1.3B-Instruct’와 ‘Kanana-2-3B-Instruct’의 유해성·편향성 등을 평가한 결과를 공개했다.



두 모델은 지난달 28일 허깅페이스를 통해 오픈소스로 공개됐다. 이번 평가에서는 유사 파라미터 규모의 글로벌 모델인 구글 Gemma와 알리바바 Qwen을 비교 대상으로 삼았다.

평가 결과 Kanana-2-1.3B-Instruct는 종합점수 0.70을 기록했다. 같은 비교군의 Gemma는 0.68, Qwen은 0.58이었다.

Kanana-2-3B-Instruct도 0.70으로 나타났다. 비교 대상인 Gemma와 Qwen은 각각 0.66과 0.62를 기록해 카나나2가 해당 벤치마크에서 가장 높은 점수를 받았다.

평가에는 한국어 특화 안전성 벤치마크 ‘AssurAI’가 활용됐다. AssurAI는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), KAIST, 카카오 등이 지난해 11월 공동 구축했다.

AssurAI에는 총 35개 리스크 카테고리와 9560건의 평가 항목이 포함돼 있다. 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 재분류해 결과를 집계했다.

세부적으로 1.3B 모델은 범죄·불법 행위 영역에서 비교 모델보다 높은 점수를 기록했다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 상대적으로 높은 평가를 받았다.

채점에는 사전에 정한 기준에 따라 다른 AI 모델이 응답을 평가하는 ‘LLM-as-a-Judge’ 방식을 적용했다. 카카오는 이를 통해 대규모 평가에서 동일한 기준으로 모델을 비교할 수 있도록 했다고 설명했다.

향후에는 이 같은 사전 안전성 평가를 카나나 계열을 포함한 자체 개발 AI 모델 전반으로 확대한다. 텍스트 언어모델뿐 아니라 이미지·오디오 등을 함께 처리하는 멀티모달 모델과 에이전틱 AI까지 평가 범위를 넓힐 계획이다.

김경훈 카카오 AI Safety 리더는 “자체 검증 체계를 통해 오픈소스 모델의 안전성을 출시 전에 점검하고 결과를 공개한 사례”라며 “앞으로 안전성 검증을 AI 모델 출시 과정의 주요 단계로 정착시켜 나가겠다”고 밝혔다.

류동우 더파워 기자 rdw2026@thepowernews.co.kr