NVIDIA가 GTC 2022에서 호퍼(Hopper)라는 새로운 GPU 아키텍처를 쓴 H100 GPU를 발표했습니다. TSMC 4nm 공정으로 만들어 800억개의 트랜지스터를 집적했으며 FP8에서 4페타플롭스, FP16에서 2페타플롭스, TF32에서 1페타플롭스의 성능을 냅니다. 

 

 

H100은 HBM3 메모리를 사용합니다. 3TB/s의 메모리 대역폭, 용량은 80GB입니다. 텐서 코어를 트랜스포머 엔진으로 바꿔 부동소수점 연산 성능을 대폭 높였습니다. 그리고 컨피덴셜 컴퓨팅을 지원해 메모리 공간을 분리하면서 데이터를 보호합니다. DPX 명령을 지원해 새로운 최적화 프로그래밍이 가능하고, 2세대 멀티 인슈런스 GPU로 GPU의 기능을 최대 7개로 분리해 7개의 가상 GPU 머신을 운용 가능합니다. 

 

 

H100은 4세대 NVLink를 써서 대역폭을 900GB/s로 늘리고 PCIe 5.0을 지원해 128GB/s의 연결이 가능합니다. SMX 형태의 모듈에선 TDP가 700W로 늘었습니다. 

 

 

 

그리고 H100 GPU를 8개 탑재한 DGX H100을 발표했습니다. FP8에서 32페타플롭스, FP64에서 500테라플롭스의 성능을 냅니다.

 

 

이 DGX H100을 32개 조합한 DGX 슈퍼POD는 FP8에서 1엑사플롭스의 성능을 달성했습니다.