Micron Technology는 최근 "업계 최초" 고대역폭 메모리 3(HBM3) Gen2 메모리 다이의 샘플링 단계를 발표했습니다. 생성적 AI 모델이 더욱 보편화됨에 따라 설계자는 AI 메모리와 전력 효율성의 높은 비용 및 성능 병목 현상을 극복해야 합니다. Gen2 HBM3은 레거시 메모리 솔루션에 비해 고유한 이점 덕분에 이러한 성장통을 일부 해결할 수 있습니다.

Micron의 HBM3 Gen2 메모리 다이는 밀도와 대역폭을 향상시키는 동시에 전력 요구 사항을 낮추고 컴퓨팅 모듈의 효율성을 높일 수 있습니다. 사용된 이미지: Micron Technology 제공

최신 HBM3 메모리는 Micron의 1β(1베타) DRAM 프로세스 노드를 기반으로 구축 되어 24Gb 메모리 다이를 8높이 또는 12높이 3D 스택으로 조립할 수 있습니다. 이러한 수직성은 순수한 메모리 밀도뿐만 아니라 대역폭과 전력 성능도 향상시킵니다. 이 기사에서는 독자들에게 HBM3 표준이 새롭고 강력한 메모리 발전을 어떻게 가능하게 할 수 있는지에 대한 감각을 제공하기 위해 이러한 장점과 Micron의 최신 메모리 제품에 대해 자세히 설명합니다.

HBM3 표준, 빠르고 효율적인 메모리 요구에 부응하다

폰 노이만 아키텍처는 도입 이후 근본적인 한계로 인해 디자이너들을 사로잡았습니다. 특히 대용량 메모리가 필요한 AI 모델의 경우 전체 시스템에 병목 현상이 발생합니다 .

이러한 제한에 대응하여 HBM은 3D 통합을 사용하여 컴퓨팅과 메모리 다이를 더욱 결합하고 더 높은 전체 대역폭과 전력 효율성을 제공합니다. JEDEC의 최신 승인 표준인 HBM3 Gen1은 HBM2 및 HBM2E 표준을 기반으로 구축되어 스택 메모리 다이의 미래를 위해 더 많은 대역폭과 전력 효율성을 지원합니다.

HBM3 메모리는 수직으로 쌓인 다이를 사용하여 메모리 밀도와 대역폭 성능을 향상시킵니다. Synopsys 에서 사용된 이미지

메모리 표준은 업데이트된 속도와 대역폭에 중점을 두고 있지만 대규모 배포에서는 전력 소비가 비효율성의 주요 원인입니다. 이처럼 HBM3 표준은 대역폭을 3.6에서 6.4Gbps로, 최대 용량을 16GB에서 64GB로 늘릴 뿐만 아니라 메모리 장치의 코어 전압과 전력 소비를 크게 줄입니다.

Micron의 HBM3 Gen2: 향상된 와트당 성능

JEDEC에서 HBM3 Gen2 표준을 발표하지 않았음에도 불구하고 Micron과 같은 회사는 새로운 애플리케이션의 메모리 요구 사항을 충족하기 위해 차세대 HBM 장치를 개발하고 있습니다. HBM2E 포트폴리오를 기반으로 구축된 Micron HBM3 Gen2 다이의 보고된 사양은 대역폭이 많은 애플리케이션을 위한 매력적인 솔루션을 만듭니다.

HBM3 메모리를 사용하면 메모리 다이를 컴퓨팅 모듈에 매우 가깝게 배치하여 프로세서와 메모리 간의 대기 시간을 줄이고 메모리 사용량이 많은 애플리케이션의 성능을 향상시킬 수 있습니다. Synopsys 에서 사용된 이미지

순수 대역폭 측면에서 HBM3 Gen2 다이는 1.2TB/s 이상의 메모리 대역폭을 지원하여 AI 컴퓨팅 코어와 결합되며 8단 스택당 50% 더 많은 용량을 제공합니다. HBM3 Gen2의 향상된 성능과 감소된 전력 소비는 와트당 성능을 2.5배 향상시켜 시스템의 총 운영 비용을 향상시킵니다.

Micron은 2024년 1분기에 36GB 12하이 스택 샘플링을 시작할 예정입니다. 고급 패키징 및 통합 기술을 사용하여 더 높은 대역폭 메모리를 향한 이러한 추세는 복잡한 AI 모델의 미래에 좋은 징조입니다.