NVIDIA DGX H100 특징
엔비디아 DGX H100은 NVIDIA가 직접 설계 및 제조한 AI 전용 GPU 서버입니다.
H100 Tensor Core 8장 탑재, 총 640GB GPU 메모리가 제공되며, 112 코어 듀얼 CPU, 시스템 메모리 총 2TB, 스토리지는 OS 1.92TB x 2장, 데이터 저장용으로 3.84TB x 8장이 탑재됩니다.
NVLink 4세대 기반으로 GPU 간 양방향 대역폭은 초 당 7.2TB/s를 지원합니다.
FP8 연산 성능은 32PFLOPS, FP16은 16PFLOPS 입니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: H100 x 8장이 탑재된 NVIDIA 직접 제조 DGX H100 전면 모습
NVIDIA DGX H100 가격
엔비디아 H100은 단종으로, 대체 및 업그레이드 제품의 탑재수량별 GPU 서버 가격 정보를 제공합니다.
(단위: 원 / 부가세 별도)
구분
공급 가격
제조사
Tip : 항목을 클릭하면 CPU, 메모리, 스토리지 등 상세 사양 페이지로 이동합니다. *RTX 6K: RTX Pro 6000 Blackwell 서버 에디션
엔비디아 H100 GPU 제품은 단종으로, 26년 7월 현재, H100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
대체 및 업그레이드 제품: DGX H200, L40S, RTX 6000 등
단종되기 전, NVIDIA DGX H100 x 8 GPU 서버 1대 가격은 대략 5억 원(부가세 별도) 정도로 공급이 가능했었고, 원하는 수량 만큼 탑재하여 GPU 서버를 구매할 수 있었습니다.
NVIDIA 프로그램에 가입 시,
NVIDIA가 직접 설계 및 제조한 DGX 시리즈,
DGX Rubin NVL8, DGX B300, DGX B200, DGX H200 등 제품 구매 시, 최대 30% 까지 할인을 받을 수 있습니다.
최근, 메모리 / 반도체 가격 상승 및 전 세계적인 AI 비지니스 확산으로 인하여 GPU 서버 가격 또한 상승하는 추세에 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
최단 24시간, 최대 48시간 내 견적서를 보내드립니다.
NVIDIA H100 탑재 GPU 서버 구매 가이드
엔비디아 H100 GPU 제품은 단종으로, 26년 4월 현재, H100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
단종 되기 전에, NVIDIA H100 GPU 단품 가격은 대략 4,000 ~ 5,000만원(부가세 별도) 정도로 공급되었고, 단품으로 판매 및 공급이 가능했습니다.
또한, B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재하여 GPU 서버를 구매할 수 있었습니다.
단종 전에, 구매 옵션 2가지 (x8장 탑재 시),
NVIDIA 직접 제조 NVIDIA DGX H100 구매 또는, HPE, Dell 등 서버에 8장 탑재 GPU 서버 구매, 2가지 중 선택할 수 있었습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: H100 x 8장이 탑재된 NVIDIA 직접 제조 DGX H100 내부 및 전면 모습
H200 성능, H100 대비 얼마나 더 좋아졌나요?
엔비디아 H100 (80GB) 대비 H200 (141GB)의 사양과 핵심 성능을 비교합니다. 동일한 컴퓨팅 연산 유닛을 공유하므로 기본 연산 최고 성능은 같으나, 세계 최초로 차세대 HBM3e 메모리를 탑재하여 메모리 집약적인 LLM 추론 영역을 대폭 강화했습니다.
메모리 용량: 80GB -> 141GB로 76% 증가 (약 1.76배), 단일 GPU에 담을 수 있는 LLM 모델의 파라미터 수가 늘어나 더 큰 규모의 LLM을 분할 없이 적재 및 구동할 수 있습니다.
메모리 대역폭: 3.35 TB/s -> 4.8 TB/s로 43% 증가 (약 1.43배), 데이터 병목 현상이 해결되어 실시간 사용자 응답 속도(tps)를 크게 단축했습니다.
AI 연산 속도 (FP8/FP16): 3,958 TFLOPS / 1,979 TFLOPS로 사양상 동일 (변동 없음), 기존 H100 코드를 수정 없이 그대로 사용하면서도 메모리 최적화 효과를 즉시 누릴 수 있습니다.
실질 AI 추론 속도 (LLM 생성이 속도): Llama2 70B 모델 기준 H100 대비 최대 2배 향상 (100% 증가), 고성능 LLM 서비스를 운영할 때 동일 시간에 더 많은 대화를 끊김 없이 처리할 수 있습니다.
에너지 효율성: 소비 전력은 동일하게 700W를 유지하면서 추론 성능을 2배로 올려 전력 대비 처리 능력이 비약적으로 상승했습니다.
엔비디아 GPU, 어떤 제품을 선택해야 하나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가능 LLM 크기
전력소모량 비교표
추론 성능(TPS) 비교표
학습 가능 LLM 크기
RAG 시스템 구축
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
2가지 타입 GPU 비교
엔비디아 H100, 어떤 서버에 탑재할 수 있나요?
NVIDIA가 인증한 서버 제조사, HPE, Dell, Supermicro, Gigabyte, ASUS 등 서버에 탑재할 수 있습니다.
HPE ProLiant DL380 시리즈 서버
HPE ProLiant DL380 시리즈 서버는 전 세계적으로 가장 많이 팔리는 베스트셀러 서버 제품 중 하나로, NVIDIA GPU를 탑재할 수 있는 AI 최적화 서버입니다.
탑재할 수 있는 NVIDIA GPU 제품:
H200 141GB, H100 94GB, L40S 48G, A100 80GB, RTX Pro 6000 Blackwell 등
Dell PowerEdge R770 시리즈 서버
Dell PowerEdge R770은 전 세계적으로 가장 많이 팔리는 베스트셀러 서버 제품 중 하나로, NVIDIA GPU를 탑재할 수 있는 AI 최적화 서버입니다.
탑재할 수 있는 NVIDIA GPU 제품:
H200 141GB, H100 94GB, L40S 48G, A100 80GB, RTX Pro 6000 Blackwell 등
NVIDIA 직접 설계 및 제조, DGX 시리즈 가격 및 구매 가이드
NVIDIA가 직접 설계 및 제조한 DGX 시리즈는 AI 전용 완제품 GPU 서버로 엔비디아 스타트업 프로그램 가입 시, 최대 30% 까지 할인을 받을 수 있습니다.
NVIDIA DGX Rubin NVL8
탑재수 량별 GPU 서버 사양 및 가격표
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여 고객사 및 파트너의 AI 비지니스를 지원합니다.
파트 #A. NVIDIA 직접 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
NVIDIA DGX B200, B300 시리즈 등은 엔비디아가 직접 설계 및 제조한 AI 전용 완제품 GPU 서버입니다.
엔비디아 스타트업 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
자세한 사항은 각 제품 상세 페이지, 최대 48시간 내 견적서 제공 및 실시간 문의하기를 참고 바랍니다.
파트 #B. HPE, Dell 등 벤더 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
* RTX 6K : RTX Pro 6000 Blackwell Server Edition
NVIDIA GPU 서버 2가지 타입 비교
NVIDIA GPU 서버는 제조사 기준으로 크게 2가지 타입으로 분류됩니다.
하나는 엔비디아가 직접 제조하는 완제품 GPU 서버이고, 또 하나는 HPE, Dell 등 벤더가 제조하는 제품입니다.
두 가지 타입의 GPU 서버는 가격, 확장성, 기술지원 등 여러가지 부분에서 상당한 차이를 보입니다.
최근, NVIDIA는 운영체제(OS), CPU 등 주요한 부품을 직접 제조하는 AI 풀 스택기업으로 도약하고 있습니다.
퀀텀브릭스는 GPU 서버를 합리적인 가격으로 공급합니다.
자주 묻는 질문(FAQs)
문의하기
메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
퀀텀브릭스는 고객사 및 파트너의 AI 비지니스 확산을 빠르게 지원합니다.
NVIDIA DGX H100 사양
항목
사양
GPU 탑재 수량
H100 (80GB) X 8장
CPU 코어 수
총 112 코어 / 인텔 8480C
FP4 연산 성능
미 지원
FP8 연산 성능
32 PFLOPS
GPU 메모리
총 640 GB (개당 80GB)
NVLink 대역폭
총 7.2 TB/s (양방향, 4세대)
시스템 메모리
2TB (최대 4TB)
스토리지(OS)
2x 1.9TB NVMe M.2
스토리지(내부)
8x 3.84TB NVMe U.2
네트워킹
최대 400Gb/s (ConnectX-7)
전력 소비
~10.2 kW
폼 팩터
8U Rackmount
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.
-
본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.