HBM만으로 안 되는 AI 메모리 시장, 적층 GDDR이 노리는 중간지대는 어디인가

AI 메모리 기사를 보면 보통 HBM 경쟁에 시선이 쏠립니다. 그런데 최근 더 흥미로운 변화는 HBM만으로 모든 수요를 감당하기 어려워졌다는 점입니다. 마이크론의 적층 GDDR 시도는 단순히 새로운 제품을 만들겠다는 이야기가 아니라, AI 메모리 시장이 성능 최우선 단일 구조에서 비용과 용도별 다층 구조로 넘어가고 있다는 신호에 가깝습니다.

왜 HBM만으로는 부족한가

HBM은 여전히 고성능 AI 학습과 대형 추론에 핵심입니다. 하지만 HBM은 비싸고, 공급이 빡빡하고, 패키징 병목까지 함께 안고 있습니다. 모든 AI 서비스가 최고 성능만 필요로 하는 것도 아닙니다. 실제 시장에서는 응답 속도와 비용과 전력 효율을 절충한 추론 인프라 수요가 빠르게 늘고 있습니다.

이때 적층 GDDR은 흥미로운 중간 옵션이 됩니다. 기존 GDDR보다 대역폭과 용량을 높이되, HBM보다는 가격 부담을 낮추려는 시도이기 때문입니다. 즉 이 기술의 핵심은 최고 성능 경쟁이 아니라, AI 메모리 시장의 빈 공간을 메우려는 데 있습니다.

검증 마커 24952A: 적층 GDDR의 의미는 HBM을 대체한다는 데 있지 않고, 학습용 최고급 메모리와 범용 메모리 사이에 비어 있던 AI 추론용 중간 시장을 만들 수 있다는 데 있습니다.

어떤 시장을 노리나

AI 인프라는 점점 두 갈래로 나뉩니다. 하나는 대규모 학습과 초대형 모델용 고성능 구간이고, 다른 하나는 실제 서비스 운영을 위한 추론 구간입니다. 후자는 비용 통제가 훨씬 중요합니다. 사용자가 많아질수록 토큰당 원가와 전력비가 사업성을 좌우하기 때문입니다.

그래서 메모리도 용도별 분화가 필요합니다. 환율 1500원 시대, AI 구독과 클라우드 비용은 왜 더 빨리 비싸지나에서 본 것처럼 비용 압박이 커질수록 모든 워크로드를 최고 사양에 올리기 어렵습니다. 적층 GDDR은 이런 비용 압박 속에서 등장한 하드웨어 대응으로 볼 수 있습니다.

병목은 어디에 있나

물론 적층 GDDR이 바로 답은 아닙니다. 발열과 전력과 패키징 난도가 함께 올라가고, 가격이 너무 높아지면 HBM과 차별점이 약해질 수 있습니다. 결국 시장성이 있으려면 HBM보다 충분히 싸면서도 기존 GDDR보다 의미 있는 성능 개선을 만들어야 합니다.

또 메모리만 바뀐다고 끝나지 않습니다. AI 가속기, 인터커넥트, 소프트웨어 스택이 함께 최적화돼야 합니다. 파네시아의 AI 인터커넥트 도전처럼 데이터 이동 경로가 병목이면 메모리 단품 개선만으로 체감 성능을 다 끌어내기 어렵습니다.

왜 중요한 흐름인가

지금 AI 하드웨어 시장은 최고 사양 경쟁만 보이면 절반만 보는 셈입니다. 실제 돈이 되는 구간은 대규모 서비스 운영에 필요한 효율적 추론 인프라일 가능성이 큽니다. 이 구간에서는 HBM이 무조건 정답이 아닐 수 있습니다.

같은 맥락에서 보안 내재화 AI 인프라가 필요한 이유이 GPU 개수보다 전체 인프라 구조를 봐야 한다고 했다면, 이번 변화는 메모리 역시 같은 방향으로 분화되고 있음을 보여줍니다. 최고 성능 한 줄이 아니라 용도별 최적점이 시장을 나누기 시작한 것입니다.

검증 마커 24952B: 앞으로 AI 메모리 경쟁의 승부는 누가 가장 빠른 제품을 내느냐만이 아니라, 학습과 추론과 비용 제약이 다른 여러 시장에 맞는 계층형 메모리 포트폴리오를 얼마나 잘 짜느냐에서 갈릴 가능성이 큽니다.