[더파워 한승호 기자] AI가 학습 중심에서 추론 중심으로 빠르게 옮겨가면서 기존 GPU-HBM 조합만으로는 모든 워크로드를 효율적으로 처리하기 어렵다는 문제의식이 커지고 있다. SK하이닉스가 이에 대응해 HBF와 PIM, SALT-KV를 앞세우며 AI 메모리 포트폴리오를 넓히고 있다.
SK하이닉스는 지난 15일부터 17일까지 미국 캘리포니아주 산타클라라에서 열린 ‘AI Infra Summit 2026’에 참가해 차세대 AI 메모리 솔루션을 공개했다고 17일 밝혔다.
이번 행사는 데이터·모델, 컴퓨트, 데이터 이동, AI 데이터센터, 피지컬 AI 등 5개 분야를 중심으로 최신 기술 흐름과 향후 발전 방향을 논의하는 자리다. 행사 참가자는 약 6000명으로 지난해보다 두 배가량 늘었다.
SK하이닉스도 전시 부스 규모를 지난해보다 두 배 확대했다. ‘뉴 스펙트럼(New Spectrum)’을 슬로건으로 내걸고 HBF와 PIM, SALT-KV 등 AI 추론 시대를 겨냥한 메모리 기술을 전면에 배치했다.
가장 눈에 띄는 기술은 HBF(High Bandwidth Flash)다. AI 활용 무게중심이 학습에서 추론으로 옮겨가면서 고대역폭을 제공하는 HBM과 대용량 저장이 가능한 SSD 사이에 새로운 메모리 계층이 필요하다는 판단에서 개발되고 있다.
HBF는 HBM처럼 TSV 기술을 적용해 기존 스토리지의 대용량 특성을 유지하면서 대역폭을 높이는 차세대 낸드 솔루션이다. SK하이닉스는 장문 콘텍스트 등 대용량 데이터를 처리하는 AI 추론 환경에서 HBF가 새로운 역할을 할 수 있다고 보고 있다.
PIM(Processing-In-Memory)은 메모리 내부에 연산 기능을 넣어 프로세서와 메모리 사이의 데이터 이동을 줄이는 기술이다. 데이터 이동 과정에서 발생하는 병목현상인 ‘메모리 월’을 완화하면서 성능과 전력 효율을 높이는 것이 목표다.
전시장에서는 SK하이닉스의 AiM 칩과 이를 기반으로 한 AiMX 카드, AiMX가 탑재된 서버가 함께 공개됐다. 실제 대규모언어모델(LLM) 서비스를 통해 PIM 적용에 따른 성능 변화를 확인할 수 있는 체험도 마련됐다.
메모리 자원을 보다 효율적으로 배치하는 SALT-KV 기술도 선보였다. SALT-KV는 LLM의 KV 캐시를 문맥 단위로 나눈 뒤 재사용 가치와 저장 비용을 분석해 데이터를 HBM·D램·SSD 가운데 적합한 계층에 배치하는 방식이다.
세션 발표 중인 임의철 담당(Solution AT)
SK하이닉스는 SALT-KV를 적용한 서버와 함께 LLM으로 게임을 생성하고 실행하는 데모도 공개했다. 한정된 고성능 메모리를 모든 데이터에 사용하는 대신 데이터 성격에 따라 저장 위치를 달리해 자원 활용도를 높이는 것이 핵심이다.
기술 전략은 발표 세션에서도 이어졌다. 임의철 SK하이닉스 Solution AT 담당은 지난 16일 ‘AI 인프라의 새로운 스펙트럼 PIM, HBF & More’를 주제로 발표하며 AI 워크로드 다변화에 따른 메모리 기술 방향을 소개했다.
임 담당은 "초저지연 에이전트 서비스부터 비용 효율성이 중요한 장문 콘텍스트 서비스까지 AI 워크로드가 다양해지면서 기존의 GPU-HBM 구조만으로는 새로운 요구사항을 충족하기 어려워지고 있다"며 "SK하이닉스는 변화한 워크로드에 맞춰 하드웨어와 소프트웨어를 아우르는 새로운 솔루션으로 PIM과 HBF, SALT-KV를 준비하고 있다"고 말했다.
이어 "고대역폭과 대용량을 동시에 갖춘 HBF와 빠른 디코딩 성능을 겨냥한 PIM, KV 캐시의 특성과 재활용 가능성을 고려하는 SALT-KV는 AI 시스템의 효율을 높일 수 있는 대안"이라고 설명했다.
SK하이닉스는 "이번 AI Infra Summit 2026을 통해 PIM·HBF·SALT-KV 등 차세대 AI 메모리 솔루션과 AI 인프라 혁신 방향을 공유했다"며 "앞으로도 AI 시대의 다양한 요구에 대응할 수 있도록 기술 경쟁력을 강화해 나가겠다"고 밝혔다.
