H100 특징
Hopper 아키텍처 기반의 H100 GPU는 1장 당 NVL 타입은 94GB, SXM 타입은 80GB의 메모리 용량을 지원하며, 메모리 대역폭은 초 당 3.9TB/s 의 속도를 지원, LLM 학습 및 추론, 서비스 속도를 최대한 끌어 올렸습니다.
H100은 매개 변수가 조 단위인 언어 모델을 해결하기 위한 4세대 Tensor 코어와 FP8 정밀도를 갖춘 트랜스포머 엔진을 탑재하여 이전 세대보다 GPT-3(175B) 모델의 훈련 속도를 최대 4배까지 높입니다.
FP8 연산 성능은 3,341 TFLOPS, FP16은 1,671 TFLOPS 까지 가능합니다.
멀티 인스턴스 GPU (MIG) 기능으로 1장의 물리적인 GPU를 7개까지 분할하여 사용할 수 있습니다.
H100 GPU의 가장 큰 특징 중에 하나는 H200 처럼, 단품으로 구매가 가능하며, 원하는 만큼의 수량을 탑재하여 GPU 서버를 구매할 수 있습니다.
H100 탑재 GPU 서버 가격
H100 8장 탑재 GPU 서버는 대략 5~6억 원(부가세 별도), 4장 탑재는 3~4억 원(부가세 별도), 2장 탑재는 1~2억 원(부가세 별도) 정도로 공급됩니다.
대략적인 평균 가격으로 실제 견적 및 계약 시 달라질 수 있습니다.
최근, 글로벌하게 AI 비지니스 확산되고 있고, 국내 또한 기업 및 공공기관의 AI R&D, 프로젝트 및 정부 지원 과제가 폭발적으로 증가함에 따라 GPU 서버 수요가 증가하고 가격 또한 가파르게 상승하고 있습니다.
H100 GPU 제품은 단종으로, 26년 4월 현재, H100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
대체 및 업그레이드 제품: DGX H200, L40S, RTX 6000 등
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
H100 탑재 GPU 서버 구매 가이드
NVIDIA H100 GPU 단품 가격은 대략 4,000 ~ 4,000만원(부가세 별도) 정도로 공급되며, 단품으로 판매 및 공급이 가능합니다.
또한, B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 GPU 서버를 구매할 수 있습니다.
구매 옵션 2가지 (x8장 탑재 시)
DGX H100은 GPU x 8장이 탑재됩니다.
NVIDIA가 직접 설계 및 제조한 NVIDIA DGX H100 서버 구매 또는, HPE, Dell, 슈퍼마이크로 등 서버에 8장 탑재 GPU 서버 구매, 2가지 중 선택할 수 있습니다.
H100 GPU 사양
항목
사양
아키텍처
Hopper
GPU 메모리
94 GB
메모리 대역폭
3.9 TB/s
FP4 연산 성능
미 지원
FP8 연산 성능
3,341 TFLOPS
FP16 연산 성능
1,671 TFLOPS
FP32 연산 성능
60 TFLOPS
상호 연결
NVLink 4세대 (600 GB/s)
MIG 기술*
~7 MIGS @ 12GB each
호스트 보조 연결
PCIe 5.0 (128GB)
전력 소모량
350~400W
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 7개의 독립적인 인스턴스로 분할하여 사용하는 기능입니다.
-
본 사양표는 NVL / PCIe 타입 H100 GPU 1개당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.