[더파워 이경호 기자] 한국산업은행 미래전략연구소가 최근 발간한 KDB리포트에 따르면 생성형 인공지능(AI) 확산으로 허위 콘텐츠 생성과 유통에 따른 사회적 부작용이 커지면서 주요국이 AI 생성물 표시제를 강화하고 있다.
보고서는 국내에서도 올해 1월부터 AI 생성물 표시 의무가 시행됐지만, 규율 대상이 AI 사업자 중심에 머물러 이용자와 유통자의 표시 삭제·변조를 막는 데 한계가 있다고 분석했다.
AI 생성물 표시제는 콘텐츠가 AI로 만들어졌다는 사실을 이용자가 알 수 있도록 표시하는 제도다. 워터마크, 문구, 메타데이터 등을 통해 소비자가 콘텐츠의 진위를 판단할 수 있도록 돕는 장치로, 생성형 AI가 정보 생산과 유통 과정에 깊숙이 들어오면서 제도적 중요성이 커지고 있다.
보고서는 생성형 AI의 대중화로 비전문가도 이미지, 음성, 영상, 텍스트 등을 손쉽게 합성할 수 있게 됐다고 봤다. 실제 지난해 4월 새로 생성된 영문 웹페이지 90만개 가운데 74.2%가 AI 생성 콘텐츠를 포함한 것으로 조사되는 등 콘텐츠 제작 과정에서 AI 활용이 빠르게 보편화되고 있다.
허위 콘텐츠 확산도 문제로 지적됐다. 국내 딥페이크 범죄 관련 경찰 신고 건수는 2021년 156건에서 2024년 964건으로 6배 이상 증가했다. 해외에서는 도널드 트럼프 전 미국 대통령이 경찰에 연행되는 것처럼 조작된 이미지가 유포돼 유권자 혼란을 일으킨 사례가 있었고, 국내에서도 AI로 합성한 동물원 늑대 목격 사진이 실제 신고로 이어져 재난 문자 발송과 수색 인력 배치가 이뤄진 사례가 제시됐다.
/한국산업은행 미래전략연구소
주요국은 AI 생성물 표시 의무를 강화하는 방식으로 대응하고 있다. 중국은 지난해 9월부터 AI 생성물의 생산, 이용, 유통 전 과정을 규율하는 표시제를 시행하고 있다. AI 서비스 제공자에게는 사용자가 쉽게 알아볼 수 있는 명시적 표시와 파일 메타데이터에 정보를 남기는 암시적 표시 의무를 함께 부과하고, 이용자와 유통자에게도 표시 유지 의무를 적용한다.
미국은 주별 규제를 중심으로 제도를 도입하고 있다. 캘리포니아, 뉴욕, 뉴멕시코, 오하이오 등 10여개 주가 선거용 딥페이크 광고 표시 의무제를 시행 중이다. 특히 캘리포니아주는 일정 규모 이상의 생성형 AI 제공자를 대상으로 AI 생성물 출처 표시, 무료 탐지 도구 제공, 라이선스 계약 시 표시 기능 유지 의무를 부과했다.
캘리포니아 제도는 표시가 삭제되거나 위조될 가능성을 고려해 검증 시스템 구축을 요구한다는 점에서 주목된다. 단순히 AI 생성물임을 표시하는 데 그치지 않고, 유통 과정에서 표시가 사라졌을 때도 제3자가 확인할 수 있는 장치를 마련하도록 한 것이다.
유럽연합(EU)은 AI 생성·조작 여부를 기계가 읽을 수 있는 방식으로 표시하도록 하는 제도를 오는 8월 시행할 예정이다. AI 서비스 제공자와 이용자 모두에게 표시 의무를 부과하되, 범죄 수사 목적이나 예술적 저작물 일부에 해당하는 경우에는 예외를 둬 규제 효율성과 표현의 자유를 함께 고려했다.
/한국산업은행 미래전략연구소
국내에서는 올해 1월부터 AI 기본법에 따라 AI 생성물 표시 의무가 시행됐다. AI 사업자가 생성형 AI나 딥페이크 프로그램을 사용한 결과물을 제공하는 경우 이용자가 이를 명확히 인식할 수 있도록 표시해야 한다. AI 사용이 명백하거나 내부 업무 처리 목적처럼 사전 고지가 불필요한 경우, 예술적 표현물에 해당하는 경우에는 예외가 적용될 수 있다.
다만 보고서는 국내 제도가 AI 사업자를 중심으로 설계됐다는 점을 한계로 봤다. AI를 직접 개발·제공하는 사업자나 다른 AI를 제품·서비스에 연계해 제공하는 사업자는 표시 의무 대상이지만, AI 생성물을 이용하거나 다시 유통하는 일반 이용자와 플랫폼 유통자에 대한 표시 유지 의무는 상대적으로 부족하다는 것이다.
이 경우 AI 생성물 표시가 삭제되거나 변조된 뒤 온라인 플랫폼에서 다시 퍼질 때 진위 확인이 어려워질 수 있다. 선거용 딥페이크나 허위 광고처럼 일부 영역에는 처벌 규정이 있지만, 일반 이용자와 유통자의 부당 사용을 사전에 막는 데는 한계가 있다는 지적이다.
기술적 보완 필요성도 제기됐다. 보고서는 AI 생성 이미지와 영상의 픽셀이나 주파수 영역에 AI 생성 흔적을 삽입해 사후 검증할 수 있는 장치를 마련할 필요가 있다고 봤다. 플랫폼 사업자와 콘텐츠 소비자가 AI 생성 여부를 직접 확인할 수 있는 검증 프로그램과 메타데이터 조회 기능도 대안으로 제시했다.
제도적으로는 AI 생성물의 표시 정보를 임의로 삭제·변조하거나, 진위 여부를 오인하게 하는 방식으로 재유통하는 행위를 제한할 장치가 필요하다고 분석했다. SNS 등 콘텐츠 플랫폼에서 의심 게시물 신고와 AI 생성 허위 콘텐츠 삭제·차단 절차를 마련하는 방안도 검토 과제로 꼽혔다.
AI 생성물 표시제는 허위 콘텐츠를 완전히 차단하는 제도는 아니다. 그러나 콘텐츠가 어떤 방식으로 만들어졌는지, 출처와 생성 여부를 확인할 수 있게 해 이용자의 판단을 돕는 최소한의 안전장치라는 점에서 의미가 있다.
보고서는 국내 AI 생성물 표시제가 실효성을 높이기 위해서는 생성 단계의 표시 의무뿐 아니라 유통 단계의 검증 체계와 표시 유지 책임을 함께 설계해야 한다고 봤다. 생성형 AI가 여론 형성, 금융 범죄, 행정 대응 등 사회 전반에 영향을 미치는 만큼 표시제의 실효성은 AI 산업 신뢰와도 직결될 것으로 보인다.
