인텔은 2019년에 하바나를 인수해 하바나 가우디를 자사 라인업에 편입시켰습니다. 가우디의 신형 모델인 가우디 2에서 비전 언어 모델인 브릿지타워를 미세 조정하면 NVIDIA의 A100보다 2.5배, H100보다 1.4배 빠른 속도로 처리해 낸다고 합니다.
이런 속도 향상은 하드웨어 가속 데이터 로딩 시스템에서 비롯된 것입니다. AI 모델 미세 조정의 경우 이 부분에서 병목 현상이 일어나며, 비전 언어 모델은 더더욱 그렇습니다. 이미지 디코딩과 이미지 확대 등에서 CPU가 작업을 처리할 동안 HPU(GPU)가 멈춰 있는 게 문제인데요. 여기에선 CPU의 사용량을 낮추는 최적화 작업을 통해 성능을 높였습니다.
| Device | dataloader_num_workers=0 |
dataloader_num_workers=1 |
dataloader_num_workers=2 |
|---|---|---|---|
| Gaudi2 HPU | 601.5 samples/s | 747.4 samples/s | 768.7 samples/s |
| H100 GPU | 336.5 samples/s | 580.1 samples/s | 602.1 samples/s |
| A100 GPU | 227.5 samples/s | 339.7 samples/s | 345.4 samples/s |
https://huggingface.co/blog/bridgetower
