카카오가 생성형 AI 기술의 안전성과 신뢰성을 높이기 위해 자체 개발한 AI 가드레일 모델 3종을 국내 최초로 오픈소스로 공개하며, 신뢰할 수 있는 AI 생태계 조성에 나섰다.
카카오는 27일, 생성형 AI의 위험 요소를 사전에 탐지·차단할 수 있는 AI 가드레일 모델 ‘Kanana Safeguard(카나나 세이프가드)’를 개발하고, 이를 포함한 총 3종의 모델을 오픈소스 형태로 공개한다고 밝혔다. 이 모델들은 모두 아파치 2.0(Apache 2.0) 라이선스를 적용해 상업적 이용과 수정·재배포가 자유롭다.
최근 생성형 AI 서비스의 확산과 함께 혐오 표현, 개인정보 유출, 악의적 프롬프트 등 유해 콘텐츠에 대한 사회적 우려가 커지는 가운데, 카카오는 기술적 대응 수단 마련의 필요성을 인식하고 AI 가드레일 모델 개발에 착수했다. 글로벌 빅테크 기업들 또한 유사한 방식으로 위험 감지 기능을 강화하고 있는 상황이다.
‘Kanana Safeguard’는 카카오가 자체 개발한 한국어 언어모델 ‘Kanana’를 기반으로 제작됐으며, 한국어 및 한국 문화에 특화된 자체 데이터셋을 활용해 높은 탐지 정확도를 확보했다. 특히 AI 모델 성능을 나타내는 F1 스코어 기준에서 글로벌 모델을 능가하는 성과를 기록하기도 했다.
이번에 오픈소스로 공개한 모델은 총 3가지로, 각각의 모델은 리스크 유형에 따라 유해성 및 위험성에 대한 효과적 탐지가 가능하다. ▲사용자의 발화 또는 AI의 답변에서 증오, 괴롭힘, 성적 콘텐츠 등에 대한 유해성을 탐지하는 ‘Kanana Safeguard’ ▲개인 정보나 지식재산권 등 법적 측면에서 주의가 필요한 요청을 탐지하는 ‘Kanana Safeguard-Siren’ ▲AI 서비스를 악용하려는 사용자의 공격을 탐지하는 ‘Kanana Safeguard-Prompt’이며, 모두 허깅페이스(Hugging Face)를 통해 다운로드 할 수 있다.
카카오는 안전한 AI 생태계의 구축에 기여하고자 ‘Kanana Safeguard’에 상업적 이용과 수정 및 재배포 등이 자유롭게 가능한 아파치2.0(Apache 2.0) 라이선스를 적용했다. 향후 지속적인 업데이트를 통해 모델을 고도화 할 예정이다.
카카오 김경훈 AI Safety 리더는 “생성형 AI의 등장 이래, 기술의 발전과 더불어 AI 윤리와 안전성에 대한 중요성이 국내외에서 점차 부각되고 있다”며 “책임감 있는 AI 구축에 대한 인식을 널리 확산시키고, 사회적 가치를 고려한 기술 개발이 이어질 수 있도록 선제적인 대응을 이어갈 계획”이라고 말했다.
