카카오, 멀티모달 AI ‘눈’ 공개…비전 인코더 2종 오픈소스

[더파워 류동우 기자] 카카오가 멀티모달 AI에서 이미지 정보를 해석하는 ‘눈’ 역할을 하는 비전 인코더 2종을 자체 개발해 오픈소스로 공개했다. 한국어 문자 인식과 문서 이해, 고해상도 이미지 처리 성능을 강화하고 경량 모델까지 함께 선보여 온디바이스 활용 가능성도 넓혔다.

카카오는 자체 개발한 ‘Kanana-2-vision-encoder’ 2종을 허깅페이스에 공개했다고 21일 밝혔다. 이번에 공개한 모델은 4억2600만 파라미터 규모의 ‘medium’과 9800만 파라미터 규모의 ‘tiny’로, 지난 13일 열린 ‘if(kakao)26’에서 공개 계획을 예고한 바 있다.

비전 인코더는 이미지 속 사물과 문자, 위치, 형태 등 시각적 특징을 추출해 언어모델에 전달하는 기술이다. 이를 통해 AI는 메뉴판의 글자와 가격을 읽거나 문서의 내용과 배치를 파악하고, 이미지 속 상황에 대한 질문에 답할 수 있다.

카카오는 일반 시각 질의응답, 영어 문자 인식·문서 이해, 한국어 문자 인식·문서 이해, 이미지 내 위치 파악·세밀한 인식 등을 포함한 9개 영역 42개 벤치마크에서 두 모델의 성능을 평가했다. 회사 측에 따르면 구글 ‘SigLIP 2’, 메타 ‘Perception Encoder’, 애플 ‘AIMv2’, 알리바바 ‘Qwen3.5-ViT’ 등 주요 글로벌 비전 인코더와 비교해 두 모델 모두 높은 성능을 기록했다.

특히 tiny 모델은 파라미터 수가 1억개 미만인 경량 모델임에도 4억개 이상 규모의 글로벌 모델과 비교해 경쟁력 있는 성능을 보였다고 카카오는 설명했다. 이미지 내 위치 파악과 한국어 시험, 한국어 문자 인식·문서 이해 영역에서는 성능 격차가 더욱 두드러졌다는 설명이다.

카카오는 자체 개발한 ‘Kanana-2’ 언어모델을 비전 인코더 학습에 활용해 학습 효율을 기존보다 약 4배 높였다고 밝혔다. 고해상도 이미지 처리에 최적화된 구조를 적용해 글로벌 주요 비전 인코더 대비 처리 지연 시간도 60% 이상 줄였으며, 지식 증류와 경량화 기술을 활용해 medium과 tiny 두 모델로 개발했다.

두 모델은 연구·개발뿐 아니라 상업적 활용도 가능한 ‘카나나 오픈 라이선스’로 공개된다. 카카오는 국내외 연구자와 기업이 멀티모달 AI 기술을 서비스와 제품 개발에 활용할 수 있도록 접근성을 높인다는 계획이다.

카카오는 현재 비전 인코더와 언어모델, 시각·음성 처리 모듈 등 옴니 언어모델 ‘Kanana-o’를 구성하는 기술을 자체 개발하고 있다. 이번 비전 인코더를 시작으로 다른 구성요소도 순차적으로 공개할 예정이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "최근 에이전틱 AI 시대를 맞아 PC나 모바일 화면을 직접 이해하고 조작하는 컴퓨터 유즈 기술이 주목받으면서 고해상도 이미지를 정확하게 분석하는 비전 인코더의 역할이 커지고 있다"며 "앞으로도 자체 AI 모델의 경쟁력을 높이고 관련 기술을 공개해 AI 생태계 발전에 기여할 것"이라고 말했다.

류동우 더파워 기자 rdw2026@thepowernews.co.kr