[더파워 이설아 기자] 기업들의 AI 활용이 모델 개발을 넘어 실제 서비스 적용 단계로 확대되면서 고성능 연산 인프라 확보 경쟁도 한층 치열해지고 있다.
삼성SDS는 자사 클라우드 ‘SCP(삼성 클라우드 플랫폼)’를 통해 엔비디아의 최신 GPU인 ‘B300(Blackwell Ultra)’ 기반 GPUaaS(GPU 구독형 서비스)를 국내 최초로 출시했다고 23일 밝혔다.
이번 ‘SCP B300 GPUaaS’ 출시는 최근 기업들이 AI 모델 개발을 넘어 실제 서비스에 적용하는 ‘AI 추론’ 단계로 진입하면서 급증하는 고성능 컴퓨팅 수요에 대응하기 위한 차원이다. 삼성SDS는 최신 GPU를 클라우드 기반으로 제공해 기업들이 초기 대규모 투자 없이도 고성능 AI 인프라를 활용할 수 있도록 한다는 방침이다.
B300 GPU는 12단 HBM3E(고대역폭메모리)를 탑재해 GPU당 288GB의 메모리 용량과 초당 8TB의 대역폭을 제공한다. 이에 따라 복잡한 연산이 필요한 AI 추론 영역에서 H100 대비 메모리 용량은 3.6배, 대역폭은 2.4배 향상됐다고 회사는 설명했다. 대규모 언어모델(LLM) 실행 과정에서 GPU 연산 속도와 메모리 데이터 전송 속도 차이로 발생하는 병목 현상도 개선할 수 있게 됐다.
삼성SDS는 앞서 2021년 A100, 2023년 H100 기반 GPUaaS를 선보이며 클라우드 기반 GPU 인프라 운영 경험을 축적해왔다. 이번 B300 서비스 출시로 AI 전용 인프라 수요에 보다 선제적으로 대응하고, GPUaaS 생태계 확대에도 속도를 낸다는 계획이다.
회사는 ‘SCP B300 GPUaaS’를 도입한 고객이 고용량 메모리를 바탕으로 거대 AI 모델을 보다 효율적으로 처리할 수 있을 것으로 기대하고 있다. AI 에이전트와 이미지·영상·코드 생성 및 분석 등 고성능이 필요한 AI 서비스에서 지연 시간을 줄일 수 있다는 설명이다. 구독형 모델을 적용해 필요한 만큼 사용하고 비용을 지불하는 방식인 만큼 초기 투자 부담을 낮추고 비용 효율화도 가능하다고 덧붙였다.
삼성SDS는 GPU 수급이 어려운 상황에서도 SCP를 통해 엔비디아 최신 아키텍처를 즉시 도입할 수 있고, 자사 보안 역량이 결합된 클라우드 환경에서 민감한 기업 데이터도 처리할 수 있다고 설명했다. 여기에 AI 모델 적용 시 별도 인프라 사용료 없이 사용한 토큰 양만큼만 비용을 지불하는 ‘서버리스 추론 서비스’와 코드와 데이터를 입력하면 자동으로 AI를 분산 학습시키는 ‘AI 학습 서비스’도 올해 3분기 출시할 계획이다.
이호준 삼성SDS 클라우드서비스사업부장 부사장은 “SCP가 보유한 자원 최적화와 에너지 절감 등 GPU 효율화 역량을 바탕으로 대기업, 중견·중소기업, 공공기관 등 AI를 업무에 적용하려는 고객에게 국내 최초 B300 GPU 서비스를 제공해 AX 전환을 적극 지원하겠다”고 말했다.
이설아 더파워 기자 seolnews@thepowernews.co.kr
