[IT 동아] 추론 AI 시대 ‘메모리’가 승부처··· 하이퍼엑셀, 생태계 확장에 가속 페달

[IT동아 남시현 기자] AI 반도체 기술 기업 하이퍼엑셀이 AI 인프라 기술 기업 애니브릿지와 함께 AI 인프라 공동 기술 개발 및 협력을 위한 업무협약을 체결했다. 하이퍼엑셀은 대규모 언어모델(LLM) 추론에 특화된 AI 반도체 LPU(LLM Processing Unit)을 개발 중이며 올해 말에서 내년 초를 목표로 1세대 제품인 베르다(Bertha) 양산을 준비 중이다.

애니브릿지는 GPU를 포함한 다양한 AI 가속기에 LLM 추론을 효율적으로 제공하도록 돕는 LLM 서빙 런타임 소프트웨어를 개발 중이다. 두 기업 모두 협력을 통해 AI 가속기 인프라 시장에서의 저변을 확대하고, 서버 시장에 대한 확장성을 높여나갈 예정이다. 한편 하이퍼엑셀은 애니브릿지를 포함해 MHS·TDS 이노베이션과도 업무협약을 체결하며 생태계 확장에 속도전을 벌이고 있는데 그 배경을 짚어봤다.

하이퍼엑셀 LPU는 LLM의 특정 계산 패턴을 처리하도록 설계된 LLM 전용 AI 가속기다. 설계 측면에서는 연산 처리 성능을 높이는 것보다도 메모리 대역폭을 낭비하지 않는 것이 중요하다는 점을 강조한다.

예를 들어 OPT-1.3B 모델을 구동할 때 엔비디아 H100의 HBM 대역폭은 28.5%만 활용되며, 30B 모델을 활용해도 69.9%만 활용한다. 즉 빠른 메모리를 활용하는 것보다 메모리가 최대 효율로 동작하게끔 만드는 것이 더 효율적이라는 접근법이다. 이를 위해 메모리를 연산기에 직접 연결하고 가중치를 공급하는 스트림라인 메모리 액세스(SMA)라는 기술을 활용한다.

또한 대형모델을 처리할 때 일반 가속기는 통신 및 동기화를 거쳐 병렬로 연결해야 하나 LPU는 연산과 통신을 겹쳐서 진행해 다수의 장치를 활용해도 더 빠르게 작업을 처리한다. 1세대 반도체는 서버용 PCIe 카드 형태인 베르다 500, 에이전트 AI 실행에 최적화된 M.2 폼팩터 기반의 LPU 가속기 카드인 베르다 100으로 나뉘며 빠르면 올해 하반기 양산을 목표로 하고 있다.

베르다 500은 현재 성능 전반과 내부 기판까지 공개된 상태며 1.5GHz 동작을 목표로 하고 있으며 열설계전력은 250W 수준으로 공랭식을 지원한다. 실행 성능은 FP16 기준 384테라플롭스의 연산 성능과 FP8 기준 768테라플롭스를 제공하며 FP4 및 INT 4 처리도 지원한다. 메모리는 초당 546GB의 LPDDR5X를 활용해 높은 전력 소모대 성능비와 저렴한 메모리 비용을 모두 갖췄다. 메모리 크기는 128GB에서 최대 256GB로 구성되며, 256MB SRAM도 갖췄다.

다만 하이퍼엑셀을 포함한 거의 모든 AI 가속기 기업은 ▲ 전용 소프트웨어 구축 ▲ 호환성 확보 ▲ 생태계 구축 세 가지 문제를 해결해야 한다. 아무리 이상적이고 좋은 제품이더라도 세 가지 조건을 확보하지 못하면 시장에 진입하기 어렵다. 하이퍼엑셀은 자체적으로 ‘하이퍼덱스’라는 LPU용 소프트웨어 스택을 구축 중이며 허깅페이스 API와 vLLM API, 파이토치, ONNX 등 표준 AI 프레임워크 및 서빙 환경을 지원하며 활용 폭을 넓혀가고 있다.

여기에 힘을 보태기 위해 최근에는 다양한 기술 기업들과 손을 잡고 있다. 대표적으로 지난해 12월에는 데이터센터용 데이터 처리 장치 DPU를 개발 중인 망고부스트와 데이터센터 및 운영 효율 개선을 위한 기술 협력 체계 구성에 들어갔고, 올해 2월에는 사물인터넷 및 임베디드 플랫폼 선도 기업 어드밴텍(Advantech)과도 엣지 AI 및 컴퓨팅 생태계 확보를 목표로 손을 잡았다. 4월에는 반도체 신뢰성 평가 업체 큐알티(QRT)와도 양산 품질 확보 협력으로 양해각서를 체결했다.

올해 하반기부터는 직접적인 생태계 및 관련 기술 기업들과의 협력 방안 마련에 속도를 붙이고 있다. 지난 7월 27일, 하이퍼엑셀은 GPU 이외의 다른 AI 가속기를 통합해 LLM을 효율적으로 운영하는 AI 인프라 소프트웨어를 개발 중인 애니브릿지와 양해각서를 체결했다. 애니브릿지는 박종세 한국과학기술원 전산학부 교수를 중심으로 권영진 교수, 허재혁 교수가 참여한 기술 창업팀이며 AI 반도체 기업 삼바노바의 공동 창업자이자 스탠퍼드대 교수인 쿤레 올루코툰(Kunle Olukotun)가 자문위원으로 있다.

기술적으로는 GPU, NPU, PIM(프로세싱 인 메모리) 등 서로 다른 AI 반도체의 사용법과 통신 방식을 소프트웨어가 통일하고, 작업 특성에 따라 가장 적합한 가속기에 연산을 자동 배분하는 방식이다. 해당 기술을 응용하면 기존에 GPU를 활용하고 있는 조건에서도 LPU를 추가로 배치하거나 더 효율적으로 동시에 활용할 수 있다.

아울러 8월 4일에는 산업용 열관리 및 냉각 설루션을 구축하는 MHS와도 업무협약을 맺었다. MHS는 열유동, 구조, 동역학 해석 등을 지원하는 통합 CAE(컴퓨터 응용 공학) 소프트웨어 및 기술 지원 기업이다. MHS는 베르다 개발 초기부터 평가 보드용 방열판을 제공하는 등 협력해 왔으며, 초박형 마이크로 채널 기반의 액체 냉각 기술인 MACS를 베르다에 적용 중이다. AI 반도체의 발열을 잘 제어하면 동작 속도를 높여 전반적인 작업 효율을 끌어올릴 수 있으며, 거시적 측면에서는 냉각 등에 필요한 소비전력을 줄여 총소유비용을 낮추고 더 많은 컴퓨팅 자원을 배치할 수 있다.

11일에는 티디에스이노베이션(TDS Innovation)과도 손을 잡았다. 티디에스이노베이션은 실리콘 공정의 한계를 극복하기 위한 2차원 반도체용 박막 증착 장비를 개발 중인 기업이다. 직접적인 생태계 확보보다는 차세대 AI 반도체 기술을 확보하고 상호 발전하기 위한 협력으로 볼 수 있다.

AI 반도체 시장의 흐름은 이미 AI 모델을 구축하는 학습에서 실제 서비스 구현을 위한 추론 효율 경쟁으로 전환 중이다. AI 에이전트와 리즈닝 모델의 등장이 토큰 사용을 가속화하며 더 많은 AI 인프라를 요구하고 있어서다. 작년부터는 학습한 LLM을 얼마나 더 저렴하게 서비스할 수 있는지에 대한 ‘추론 경제성’이 주요 경쟁 논리로 자리 잡았으며, 여전히 엔비디아가 이 시장을 잡고 있다. 슈퍼컴퓨팅 시장을 노렸던 세레브라스가 추론용도로 전환한 세레브라스 클라우드로 선전하는 것도 높은 토큰 생성 속도 덕분이다.

지난 몇 달간 최근 RTX PRO 6000의 가격 상승 추세에서 이런 논리가 잘 드러난다. RTX PRO 6000의 공식 출시가격은 약 8500달러(약 1205만 원)였는데 최근에는 1만 6000달러(약 2268만 원)까지 상승했다. 메모리 가격 상승과 공급 부족이 주요 원인이긴 하나 시장 자체에서 96GB의 대용량의 GDDR7을 저렴하고 효과적인 추론 시스템으로 보기 시작하면서 수요가 몰린 것이다. 따라서 앞으로는 GDDR, LPDDR 등을 추론에 활용하는 제품에 대한 주목도가 꾸준히 상승할 것이다.

처음부터 LPDDR을 기반으로 높은 전력 효율과 낮은 단가, 고용량 메모리를 무기로 내세운 하이퍼엑셀 입장에서는 긍정적인 환경이다. 다만 이 조건이 성공하기 위해서는 LPU 자체의 높은 하드웨어 완성도는 물론 소프트웨어와 연관 생태계 전반의 구성도 잘 갖춰져야 한다. 연이은 업무협약은 이런 맥락에서 진행되는 것이며 앞으로 생태계 확장에 더 많은 공을 들일 것으로 보인다.

IT동아 남시현 기자 (sh@itdonga.com)