H200 GPU 특징
H200 1장 당 141GB의 고용량 메모리와 4.8 TB/s의 압도적인 메모리 대역폭을 통해 초 거대 LLM 모델 학습 및 추론 속도를 극대화합니다.
Hopper 아키텍처 기반의 4세대 Tensor Core와 트랜스포머 엔진을 통해 3,341 TFLOPS 의 FP8 연산 성능 및 1,671 TFLOPS 의 FP16 연산 성능을 제공합니다.
멀티 인스턴스 GPU (MIG) 기능으로 1장의 물리적인 GPU를 논리적으로 7개까지 분할하여 사용할 수 있습니다.
1장 당 전력 소모량은 600~700W이며, NVLink 대역폭은 최대 900GB/s 까지 끌어올려 데이터 처리 속도를 높였습니다.
H200 GPU의 가장 큰 특징 중에 하나는 B200, B300과 달리, 단품으로 구매가 가능하며, 원하는 만큼의 수량을 탑재하여 GPU 서버를 구매할 수 있다는 것입니다.
H200 탑재 GPU 서버 가격
H200 x 8장 탑재 GPU 서버 가격은 대략 10억 원(부가세 별도), 4장 탑재는 3~4억 원(부가세 별도), 2장 탑재는 2억 원(부가세 별도) 정도의 가격으로 공급됩니다.
대략적인 평균 가격으로, 실제 견적 및 계약 시, 제조사, 사양 등에 따라 달라질 수 있습니다.
GPU 서버 가격은 동일한 사양이더라도 HPE, Dell, 슈퍼마이크로 등 서버 벤더 / 제조사에 따라 차이가 있을 수 있습니다.
최근, 부품 수요 및 공급이 불안정, 특히 메모리 / 반도체 가격의 폭등으로 인하여 GPU 서버 가격이 가파르게 상승하고 있습니다.
NVIDIA 프로그램에 가입하면, NVIDIA가 직접 설계 및 제조한 DGX 시리즈 (DGX Rubin NVL8, DGX B300, DGX B200, DGX H200 등) 구매 시, 최대 30% 까지 할인을 받을 수 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
H200 탑재 GPU 서버 구매 가이드
NVIDIA H200 GPU 단품 가격은 대략 5,000 ~ 6,000만원(부가세 별도) 정도로 공급되며, 단품으로 판매 및 공급이 가능합니다.
또한, B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 GPU 서버를 구매할 수 있습니다.
구매 옵션 2가지 (x8장 탑재 시)
NVIDIA가 직접 설계 및 제조한 DGX H200은 GPU 8장이 탑재됩니다.
NVIDIA DGX H200 서버 구매 또는, HPE, Dell, 슈퍼마이크로 등 서버에 8장을 탑재하여 GPU 서버 구매, 2가지 중 선택할 수 있습니다.
H200 GPU 사양
항목
사양
아키텍처
Hopper
GPU 메모리
141 GB HBM3e
메모리 대역폭
4.8 TB/s
FP4 연산 성능
미 지원
FP8 연산 성능
3,341 TFLOPS
FP16 연산 성능
1,671 TFLOPS
FP32 연산 성능
60 TFLOPS
상호 연결
NVLink 4세대 (900 GB/s)
호스트 보조 연결
PCIe 5.0 (128GB)
MIG*
~7 MIGs @16.5GB each
전력 소모량
~600W
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 7개의 인스턴스로 분할하여 사용하는 기능입니다.
-
본 사양표는 NVL / PCIe 타입 GPU H200 1개 당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.