NVIDIA는 코드네임 호퍼 아키텍처를 쓴 HPC용 GPU, H100을 3분기부터 출시합니다.
H100은 하드웨어 설계부터 소프트웨어, 플랫폼 수준까지 여러 부분에서 성능 향상을 위해 노력한 점이 돋보이는 GPU입니다.
H100은 암페어 아키텍처인 A100의 후속작입니다. A100과 H100을 비교하면 크게 달라진 점은 아래 7가지입니다.
-내부 연산 유닛 증가. 108개에서 132개로
-L1 데이터 캐시가 192KB에서 256KB, L2 캐시가 40MB에서 50MB로 증가
-FP8을 지원하는 4세대 텐서 코어
-FP32나 FP64의 FMA(Fused Multiply Add)가 2배 빨라짐
-스레드 블럭 클러스터를 도입한 쿠다
-TMA 비동기 데이터 전송을 도입
-4세대 NVSwitch를 지원해 최대 256개의 GPU 연결
GPU의 AI 학습 성능을 끌어올리고, 이를 다수 연결해 성능을 확장할 수 있는 GPU 되겠습니다.
| GA100 | GH100 | |
|---|---|---|
| SM | 128 | 144 |
| GPC | 8 | 8 |
| GPC 1개의 SM 수 | 16 | 18 |
| 텐서 코어 | 3세대 | 4세대 |
| GPU 전체의 텐서 코어 | 512 | 576 |
| 메모리 컨트롤러 | 12xHBM2(512bit) | 12xHBM3(51b2it) |
| 트랜지스터 수 | 542억 | 800억 |
| GPU 다이 사이즈 | 826제곱mm | 814제곱mm |
| 제조 공정(TSMC) | 7nm N7 | 4N (NVIDIA 커스텀) |
풀 스펙 기준으로 비교한 표입니다. 실제 출시되는 제품은 수율을 높이기 위해 저기서 일부를 비활성화합니다. H100의 SM은 132개입니다. 다이 크기는 다소 줄었으나 제조 공정이 대폭 바뀌었기에 더 많은 트랜지스터를 넣을 수 있었습니다.
| 제품 | NVIDIA A100 | NVIDIA H100 SXM5 | NVIDIA H100 PCIe |
|---|---|---|---|
| GPU 아키텍처 | NVIDIA Ampere | NVIDIA Hopper | NVIDIA Hopper |
| GPU 다이 코드네임 | GA100 | GH100 | GH100 |
| 폼 팩터 | SXM4 | SXM5 | PCIe Gen 5 |
| SM | 108 | 132 | 114 |
| TPC | 54 | 66 | 57 |
| FP32 코어/SM | 64 | 128 | 128 |
| FP32 코어/GPU | 6,912 | 16,896 | 14,592 |
| FP64 코어/SM(텐서 제외) | 32 | 64 | 64 |
| FP64 코어/GPU(텐서 제외) | 3,456 | 8,448 | 7,296 |
| INT32 코어/SM | 64 | 64 | 64 |
| INT32 코어/GPU | 6,912 | 8,448 | 7,296 |
| Tensor 코어/SM | 4 | 4 | 4 |
| Tensor 코어/GPU | 432 | 528 | 456 |
| GPU 부스트 타임 | 1,410MHz | 조정 중 | 조정 중 |
| 최대 FP8 Tensor TFLOPS FP16 Accumulate 활성화 시*1 | N/A | 2,000/4,000*2 | 1600/3200*2 |
| 최대 FP8 Tensor TFLOPS FP32 Accumulate 활성화 시*1 | N/A | 2,000/4,000*2 | 1600/3200*2 |
| 최대 FP16 Tensor TFLOPS FP16 Accumulate 활성화 시*1 | 312/624*2 | 1,000/2,000*2 | 800/1600*2 |
| 최대 FP16 Tensor TFLOPS FP32 Accumulate 활성화 시*1 | 312/624*2 | 1,000/2,000*2 | 800/1600*2 |
| 최대 BF16 Tensor TFLOPS FP32 Accumulate 활성화 시*1 | 312/624*2 | 1,000/2,000*2 | 800/1600*2 |
| 최대 TF32 Tensor TFLOPS*1 | 156/312*2 | 500/1,000*2 | 400/800*2 |
| 최대 FP64 Tensor TFLOPS*1 | 19.5 | 60 | 48 |
| 최대 INT8 Tensor TOPS*1 | 624/1248*2 | 2,000/4,000*2 | 1,600/3,200*2 |
| 최대 FP16 TFLOPS(Tensor 미사용 시)*1 | 78 | 120 | 96 |
| 최대 BF16 TFLOPS (Tensor 미사용시)*1 | 39 | 120 | 96 |
| 최대 FP32 TFLOPS (Tensor 미사용시)*1 | 19.5 | 60 | 48 |
| 최대 FP64 TFLOPS(Tensor 미사용 시)*1 | 9.7 | 30 | 24 |
| 최대 INT32 TOPS*1 | 19.5 | 30 | 24 |
| 텍스처 유닛 | 432 | 528 | 456 |
| 메모리 인터페이스 | HBM2(5120-bit) | HBM3(5120-bit) | HBM2e(5120-bit) |
| 메모리 용량 | 40GB | 80GB | 80GB |
| 메모리 데이터 속도 | 1215MHz DDR | 조정 중 | 조정 중 |
| 메모리 대역폭 | 1,555GB/s | 3,000GB/s | 2,000GB/s |
| L2 캐시 (다이 전체) | 40MB | 50MB | 50MB |
| 공유 메모리 크기/SM | 최대 164KB로 설정 가능 | 최대 228KB로 설정 가능 | 최대 228KB로 설정 가능 |
| 레지스터 파일 크기/SM | 256KB | 256KB | 256KB |
| 레지스터 파일 크기/GPU | 27,648KB | 33,792KB | 29,184KB |
| TDP*1 | 400W | 700W | 350W |
| *1 NVIDIA H100의 스펙은 바뀔 수 있음 | |||
NVIDIA는 GPU를 GPC(GPU Processing Cluster), SM(Streaming Multiprocessor), Lanes으로 나누고 있습니다. A100과 H100 모두 8개의 GPC로 구성됐으나, GPC 당 SM의 숫자는 16개에서 18개로 늘었습니다. 이에 따라 캐시 용량도 늘었습니다.
텐서 코어는 4세대가 됐습니다. V100부터 처음 도입된 가속기로 MMA 연산을 수행합니다. 이 텐서 코어를 사용해 FMA(Fused Multiply Add) 같은 복잡한 연산을 보통의 부동소수점 연산 유닛보다 빠르게 수행합니다. 또 텐서 코어의 숫자도 512개에서 576개로 늘었습니다. H100은 FP8을 지원하며 연산 성능이 두배로 개선됐습니다.
A100까지는 FP64, FP32, FP16, INT8까지 지원했으나 이번에 FP8을 지원합니다. 최근 AI 연산에서는 FP8이나 INT8 처럼 정밀도를 낮춰서 연산하는 경우가 늘었기 때문입니다. 이렇게 해도 정확도가 크게 문제되진 않는다네요.
FP8은 E5M2(지수가 5비트, 가수가 2비트)와 E4M3(지수가 4비트, 가수가 3비트)의 두 가지 포맷을 지원합니다. 나머지 1비트는 부호입니다. E4M3를 많이 쓰지만 E5M2도 수요가 있기에 하위 호환성을 위해 추가했습니다. 그리고 작동 속도가 두배로 늘어나면서 FP8 기준으로 최대 6배의 효과를 낼 수 있다고 합니다.
텐서 코어와 소프트웨어를 조합해 트랜스포머 엔진이라는 소프트웨어 엔진을 도입했습니다. 소프트웨어가 자동으로 정밀도를 FP8로 낮출 지를 정해 연산 시간을 줄입니다. 물론 이걸 꺼서 정밀도를 유지하는 것도 가능합니다.
FP8 기준 6배의 성능
쿠다 프로그래밍 모델도 개선됐습니다. 데이터가 로컬리티의 레이턴시를 줄이고 비동기 실행을 지원합니다.
스레드 블럭 클러스터를 추가했습니다. GPC를 클러스터 단위로 설정해, 하나의 데이터를 하나의 GPC에 속한 SM에서 처리하도록 묶음으로서 캐시 낭비를 줄이고 대역폭과 대기 시간을 절약합니다. 코어의 숫자가 적었을 땐 이렇게 할 필요가 많지 않았지만 지금은 코어의 숫자가 늘어나면서 클러스터 단위의 설정이 중요해졌다고 합니다.
비동기 실행에서는 TMA(Tensor Memory Accelerator)를 SM에 내장해 GPU 연산과 메모리 전송을 비동기 수행해 GPU 전체 성능을 강화합니다.
NVLink는 GPU와 GPU를 연결하는 인터커넥트입니다. 다수의 GPU를 1개의 GPU처럼 활용해 성능을 높일 수 있습니다. 4세대로 발전하면서 대역폭이 링크당 25GB/s로 늘어나고 NV스위치도 3세대로 발전해 64포트 양방향에서 1TB/s의 대역폭을 냅니다.
기존의 A100은 인피니밴드로 연결했지만 H100은 NVLink로 연결해 더욱 효율적입니다.
여기에 인피니밴드를 더하면 구성을 더욱 늘릴 수 있습니다.
https://pc.watch.impress.co.jp/docs/column/ubiq/1397801.html
