[더파워 류동우 기자] AI가 영상을 만들 때 움직임이 거의 없는 장면과 정보가 복잡한 장면에 똑같은 연산량을 쓰지 않도록 하는 기술이 나왔다. 카카오는 영상 내용에 따라 필요한 토큰 수를 AI가 스스로 조절하는 방식으로 비디오 생성 모델의 학습 속도를 6.9배, 생성 처리속도를 3.2배 높였다고 설명했다.
카카오는 AI 영상 생성 과정의 방대한 연산량과 계산 비용을 줄이기 위한 적응형 토큰화 기술 ‘KATok(Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation)’을 개발해 ‘ECCV 2026’에서 발표한다고 9일 밝혔다.
ECCV는 CVPR, ICCV와 함께 세계 3대 컴퓨터 비전 학회로 꼽힌다. 올해 행사는 오는 12일까지 스웨덴에서 열리며, 연구를 주도한 이연경 카카오 리서치 엔지니어가 현지시간 10일 포스터 세션에서 논문을 발표한다.
이번 기술의 핵심은 모든 영상에 같은 수의 토큰을 배정하던 기존 방식에서 벗어난 것이다. AI가 각 장면의 시공간적 복잡도를 판단해 실제 필요한 만큼만 토큰을 사용하도록 설계했다.
기존 영상 토큰화 기술은 영상 내용과 관계없이 고정된 비율로 데이터를 압축했다. 배경이 정지해 있거나 움직임이 거의 없는 장면에서도 많은 토큰을 생성하면서 연산 자원을 불필요하게 사용하는 문제가 있었다.
KATok은 움직임이 많거나 정보량이 큰 복잡한 영역에는 더 많은 토큰을 배정한다. 반대로 변화가 적거나 단순한 영역에서는 중복된 토큰을 제거해 전체 연산량을 낮춘다.
사람이 영상마다 토큰 수를 직접 설정할 필요도 없다. 영상 자체의 복잡도를 AI가 분석해 필요한 토큰을 선택하기 때문에 장면별로 연산 자원을 다르게 배분할 수 있다.
카카오가 진행한 실험에서는 KATok이 기존 밀집형 토큰화(Dense Tokenizer) 방식보다 적은 토큰을 사용하면서도 고품질 영상을 재구성하는 결과를 보였다.
효율 차이는 비디오 생성 모델 전체에 적용했을 때 더 커졌다. 카카오에 따르면 최적화된 토큰 표현을 적용한 결과 기존 방식과 비교해 영상 생성 모델의 학습 속도는 약 6.9배, 영상 생성 처리속도는 약 3.2배 향상됐다.
최근 AI 영상 기술이 짧은 저해상도 콘텐츠에서 고해상도·장시간 비디오 생성으로 확대되면서 연산량과 비용은 주요 난제로 떠오르고 있다. 영상 길이와 해상도가 높아질수록 처리해야 할 데이터와 토큰이 크게 증가하기 때문이다.
카카오는 이번 연구에서 토큰 압축 단계만 개선하는 데 그치지 않고 압축된 토큰을 실제 비디오 생성 모델과 연결했다. 이를 통해 ‘압축-생성’으로 이어지는 전체 파이프라인의 연산 효율과 영상 품질을 함께 확보하는 데 초점을 맞췄다.
향후에는 KATok을 더 높은 해상도와 장시간 비디오 생성 환경으로 확대할 계획이다. 다양한 AI 비디오 생성 모델에 적용할 수 있는지도 검증해 대규모 영상 생성의 기반 기술로 발전시킨다는 구상이다.
최동진 카카오 어플라이드 AI 모델 성과리더는 "고해상도·장시간 영상처럼 연산량이 급증하는 환경일수록 KATok의 연산 절감 효과는 더욱 커질 것"이라며 "다양한 AI 비디오 생성 모델과의 범용성을 검증해 연산량을 줄이면서도 화질을 유지하는 대규모 비디오 생성 기반 기술로 발전시키겠다"고 말했다.
