[더파워 최희남 기자] 카이스트 문화기술대학원 석사과정에 재학 중인 손호열 연구자가 오디오·음악·음성 분야에 인공지능(AI)을 접목한 연구로 주목받고 있다.
손 연구자는 AI 오디오 도메인을 중심으로 다양한 프로젝트를 수행해 왔으며, 글로벌 데이터 사이언스 플랫폼 캐글(Kaggle)에서 세계 랭킹 1위를 기록한 바 있다.
또한 수화 인식 모델 분야에서도 실제 활용 가능성을 갖춘 성과를 내며 기술적 역량과 사회적 확장성을 동시에 보여주고 있다.
손 연구자의 이력에서 특히 눈길을 끄는 지점은 출발점이다. 그는 고등학교 시절 문과 계열에서 공부했지만 수학에 대한 흥미를 바탕으로 고려대학교 통계학과에 진학했고, 이후 컴퓨터학과를 이중전공하며 AI 분야로 연구 영역을 넓혀왔다. 특정 분야의 지식보다 문제를 풀 수 있는 일반적 방법론에 매력을 느꼈던 경험이 현재의 연구 기반으로 이어졌다는 설명이다.
◇문과에서 AI 연구자로… 방법론 위에 쌓아 올린 확장 AI 개발에 대한 본격적인 관심은 학부 과정에서 딥러닝을 접하면서 시작됐다. 이론 중심의 학문이 실제 문제 해결 도구로 이어질 수 있다는 점을 체감하면서, 코딩 역시 단순한 기술 습득이 아니라 현실의 문제를 풀어내는 수단으로 받아들이게 됐다고 밝혔다.
그는 코딩이 즐거워진 순간에 대해, 정답이 정해진 문제를 반복해서 푸는 과정이 아니라 실제 세계의 문제를 해결할 수 있다는 가능성을 느낀 때였다고 설명했다.
통계학과와 컴퓨터학과를 병행하는 과정은 결코 쉽지 않았지만, 손 연구자는 무조건 버티기보다 자신이 진짜 관심을 느끼는 강의와 주제에 집중하는 방식으로 학업을 이어갔다고 전했다. 억지로 모든 것을 붙드는 것보다, 관심 있는 분야를 중심으로 몰입의 밀도를 높이는 전략이 자신에게 더 현실적인 방법이었다는 것이다.
◇캐글 1위와 수화 인식 성과… 축적의 시간이 만든 결과 손 연구자는 실력 향상 과정에서 캐글의 역할도 크게 평가했다. 단순한 경쟁을 넘어, 상위권 참가자들의 코드와 아이디어가 활발하게 공유되는 학습 문화가 성장의 발판이 됐다는 것이다.
특히 스스로 실험하고 검증하는 과정을 반복하면서 자신만의 문제 해결 방식이 형성됐고, 이는 결국 상위권 성과로 이어졌다고 전했다.
세계 1위에 오른 경험에 대해서는 오랜 시간의 축적 끝에 얻은 결과라고 회고했다. 초기에는 성과가 빠르게 나와 자신감이 생기기도 했지만, 이후 경쟁이 치열해지면서 시행착오와 정체의 시간을 길게 겪었다는 것이다. 그럼에도 꾸준히 도전하며 돌파구를 찾았고, 최종적으로 리더보드 1위에 이름을 올린 순간은 정상에 도달한 듯한 강한 성취감으로 남았다고 밝혔다.
특히 수화 인식 모델 관련 성과는 기술적 의미를 넘어 사회적 측면에서도 주목된다. 손 연구자는 수화 인식이 누구에게나 필요성과 가치를 직관적으로 전달할 수 있는 분야라는 점에서 더욱 뜻깊게 느껴졌다고 설명했다.
실제 현장에서 활용될 수 있는 기술을 만드는 경험은 연구자로서의 방향성을 더욱 분명하게 해줬다는 평가다.
그는 AI 개발자의 창의력에 대해서도 독자적인 관점을 제시했다. 흔히 창의력을 특별한 재능으로 인식하지만, 실제로는 자기만의 생각을 오랜 시간 축적하고 발전시키는 과정에서 비롯된다는 것이다.
결과가 바로 나타나지 않는 시간조차 훗날을 위한 아이디어 축적의 시간이 될 수 있다는 점에서, 성과 이전의 축적을 견디는 힘이 중요하다고 강조했다.
손호열/더파워(사진제공)
◇“멀티모달 LLM과 오디오 토큰 연구… ‘도구로서의 AI’에 주목” 현재 손 연구자는 멀티모달 LLM 기반 연구를 수행하며, 특히 오디오 정보를 대형언어모델이 이해할 수 있도록 변환하는 오디오 토큰(코덱) 관련 연구에 집중하고 있다.
또한 멀티모달 환경에서 에이전틱(agentic) 프레임워크가 결합될 때 발생하는 가능성에도 주목하고 있다.
이는 향후 오디오·음악·음성 기술 전반에서 새로운 응용 가능성을 열 수 있는 연구로 평가된다.
AI와 창작의 관계에 대해서는, 생성 그 자체보다 인간을 보조하는 도구로서의 역할에 더 큰 의미를 두고 있다.
손 연구자는 생성형 AI가 완전히 새로운 소리를 창조하기보다는 기존 데이터의 패턴을 기반으로 작동하는 한계를 갖고 있다고 보며, 오히려 사람이 창작 과정에서 반복적이고 시간이 많이 소요되는 작업을 덜어주는 방향이 더 현실적이고 유의미하다고 보고 있다.
손 연구자는 앞으로 오디오·음악 분야에서 기술적 파급력을 갖는 모델이나 시스템을 만들어 많은 사람들이 실질적으로 활용하고 즐길 수 있도록 하는 것을 목표로 하고 있다. 신디사이저가 음악 산업의 흐름을 바꿨듯, 기술이 새로운 창작 환경을 열어주는 계기를 만들고 싶다는 포부다.
한편 손 연구자의 이야기는 이른바 천재의 번뜩임보다 오랜 시간의 축적에 더 가까운 성장 서사로 읽힌다. 현실 문제를 풀 수 있는 도구로서 AI를 이해하고, 성과가 보이지 않는 시간에도 꾸준히 아이디어를 쌓아온 과정이 오늘의 결과를 만들었다는 점에서, 그의 메시지는 AI를 공부하는 학생들과 연구자들에게도 깊은 울림을 전하고 있다.
“창의력은 어느 날 갑자기 생기는 것이 아니라, 오래 고민하고 끝까지 밀어붙인 사람에게서 나온다.”
손 연구자의 이 말은 기술의 시대에도 결국 중요한 것은 사람의 축적된 사유와 집요한 실행력임을 다시금 보여준다.
