NVIDIA H100 특징
Hopper 아키텍처 기반의 엔비디아 H100 GPU는 1장 당 NVL 타입은 94GB, SXM 타입은 80GB의 메모리 용량을 제공합니다.
GPU 메모리 대역폭은 초 당 1.9TB/s, 최신 3세대 NVLink 기반으로 GPU 간 대역폭은 600 GB/s 입니다.
4세대 Tensor 코어와 FP8 정밀도를 갖춘 트랜스포머 엔진을 탑재, 이전 세대보다 최대 4배까지 속도와 성능을 높였습니다.
FP8 연산 성능은 3,341 TFLOPS, FP16은 1,671 TFLOPS 입니다.
멀티 인스턴스 GPU (MIG) 기능으로 1장의 물리적인 GPU를 7개까지 논리적으로 분할하여 사용할 수 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
#이미지: H100 x 8장이 탑재된 NVIDIA 직접 제조 DGX H100 내부 구조
NVIDIA H100 탑재 GPU 서버 가격
엔비디아 H100은 단종으로, 대체 및 업그레이드 제품의 탑재수량별 GPU 서버 가격 정보를 제공합니다.
(단위: 원 / 부가세 별도)
구분
공급 가격
제조사
Tip : 항목을 클릭하면 CPU, 메모리, 스토리지 등 상세 사양 페이지로 이동합니다. *RTX 6K: RTX Pro 6000 Blackwell 서버 에디션
엔비디아 H100 GPU 제품은 단종으로, 26년 7월 현재, H100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
대체 및 업그레이드 제품: H200, L40S, RTX 6000 등
단종되기 전, H100 8장 탑재 GPU 서버는 대략 4~6억 원(부가세 별도), 4장 탑재는 2~3억 원(부가세 별도), 2장 탑재는 1~2억 원(부가세 별도) 정도로 공급이 가능했습니다.
대략적인 평균 가격으로 제조사, 사양, 환율 등 여러가지 조건에 따라 실제 공급 가격이 차이가 있었습니다.
최근, 최근, 메모리 / 반도체 가격 상승 및 전 세계적인 AI 비지니스 확산으로 인하여 GPU 서버 가격 또한 상승하는 추세에 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
최단 24시간, 최대 48시간 내 견적서를 보내드립니다.
NVIDIA H100 탑재 GPU 서버 구매 가이드
엔비디아 H100 GPU 제품은 단종으로, 26년 4월 현재, H100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
단종되기 전, H100 GPU 단품 가격은 대략 4,000 ~ 5,000만원(부가세 별도) 정도로, 단품으로 판매 및 공급이 가능했었습니다.
또한, 루빈(Rubin), B200, B300과 달리, 원하는 만큼 수량을 HPE, Dell 등 서버에 탑재할 수 있었습니다.
단종 전, 구매 옵션 2가지 (x8장 탑재 시)
NVIDIA가 직접 설계 및 제조한 NVIDIA DGX H100 구매 또는, HPE, Dell 등 서버에 8장 탑재 GPU 서버 구매, 2가지 중 선택할 수 있었습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
H200(x2장) 탑재 서버와 H100(x 2장) 서버 성능 비교
메모리 용량: H100 2장의 합산 용량은 160GB, H200 2장은 282GB로 약 76% 더 큽니다. 잘게 쪼개어 올리던 대형 LLM 모델을 가볍게 올릴 수 있습니다.
메모리 대역폭: H100 2장의 합산 대역폭은 6.7 TB/s, H200 2장은 9.6 TB/s로 약 43% 더 넓습니다. 초당 데이터 공급 속도가 대폭 증가, 실시간 서비스에서 사용자 응답 속도가 더 빠릅니다.
연산 성능 (FP8/FP16): 연산 성능은 각각 합산 7,916 TFLOPS / 3,958 TFLOPS로 수치상 동일합니다.
실질 AI 추론 및 처리량: Llama2 70B 등 언어 모델을 돌릴 시 H200 2장 서버가 H100 2장 서버 대비 최대 2배의 빨라서, 훨씬 더 많은 동시 대화 요청을 안정적으로 처리합니다.
소비 전력 (TDP): H100 2장과 H200 2장 모두 최대 소비 전력은 1,400W(700W 곱하기 2)로, 전력량은 똑같지만 실질 처리 효율을 2배 가까이 뽑아낼 수 있습니다.
H200 성능, H100 대비 얼마나 더 좋아졌나요?
엔비디아 H100 (80GB) 대비 H200 (141GB)의 사양과 핵심 성능을 비교합니다. 동일한 컴퓨팅 연산 유닛을 공유하므로 기본 연산 최고 성능은 같으나, 세계 최초로 차세대 HBM3e 메모리를 탑재하여 메모리 집약적인 LLM 추론 영역을 대폭 강화했습니다.
메모리 용량: 80GB -> 141GB로 76% 증가 (약 1.76배), 단일 GPU에 담을 수 있는 LLM 모델의 파라미터 수가 늘어나 더 큰 규모의 LLM을 분할 없이 적재 및 구동할 수 있습니다.
메모리 대역폭: 3.35 TB/s -> 4.8 TB/s로 43% 증가 (약 1.43배), 데이터 병목 현상이 해결되어 실시간 사용자 응답 속도(tps)를 크게 단축했습니다.
AI 연산 속도 (FP8/FP16): 3,958 TFLOPS / 1,979 TFLOPS로 사양상 동일 (변동 없음), 기존 H100 코드를 수정 없이 그대로 사용하면서도 메모리 최적화 효과를 즉시 누릴 수 있습니다.
실질 AI 추론 속도 (LLM 생성이 속도): Llama2 70B 모델 기준 H100 대비 최대 2배 향상 (100% 증가), 고성능 LLM 서비스를 운영할 때 동일 시간에 더 많은 대화를 끊김 없이 처리할 수 있습니다.
에너지 효율성: 소비 전력은 동일하게 700W를 유지하면서 추론 성능을 2배로 올려 전력 대비 처리 능력이 비약적으로 상승했습니다.
엔비디아 GPU, 어떤 제품을 선택해야 하나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가능 LLM 크기
전력소모량 비교표
추론 성능(TPS) 비교표
학습 가능 LLM 크기
RAG 시스템 구축
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
2가지 타입 GPU 비교
엔비디아 H200, H100, 어떤 서버에 탑재할 수 있나요?
NVIDIA가 인증한 서버 제조사, HPE, Dell, Supermicro, Gigabyte, ASUS 등 서버에 탑재할 수 있습니다.
HPE ProLiant DL380 시리즈 서버
HPE ProLiant DL380 시리즈 서버는 전 세계적으로 가장 많이 팔리는 베스트셀러 서버 제품 중 하나로, NVIDIA GPU를 탑재할 수 있는 AI 최적화 서버입니다.
탑재할 수 있는 NVIDIA GPU 제품:
H200 141GB, H100 94GB, L40S 48G, A100 80GB, RTX Pro 6000 Blackwell 등
Dell PowerEdge R770 시리즈 서버
Dell PowerEdge R770은 전 세계적으로 가장 많이 팔리는 베스트셀러 서버 제품 중 하나로, NVIDIA GPU를 탑재할 수 있는 AI 최적화 서버입니다.
탑재할 수 있는 NVIDIA GPU 제품:
H200 141GB, H100 94GB, L40S 48G, A100 80GB, RTX Pro 6000 Blackwell 등
NVIDIA 직접 설계 및 제조, DGX 시리즈 가격 및 구매 가이드
NVIDIA가 직접 설계 및 제조한 DGX 시리즈는 AI 전용 완제품 GPU 서버로 엔비디아 스타트업 프로그램 가입 시, 최대 30% 까지 할인을 받을 수 있습니다.
NVIDIA DGX Rubin NVL8
탑재수량별 GPU 서버 사양 및 가격표
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급하여 고객사 및 파트너의 AI 비지니스를 지원합니다.
파트 #A. NVIDIA 직접 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
NVIDIA DGX B200, B300 시리즈 등은 엔비디아가 직접 설계 및 제조한 AI 전용 완제품 GPU 서버입니다.
엔비디아 스타트업 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
자세한 사항은 각 제품 상세 페이지, 최대 48시간 내 견적서 제공 및 실시간 문의하기를 참고 바랍니다.
파트 #B. HPE, Dell 등 벤더 제조 제품
* Tip: 항목을 클릭하면 사양 및 가격으로 이동합니다.
* RTX 6K : RTX Pro 6000 Blackwell Server Edition
NVIDIA GPU 서버 2가지 타입 비교
NVIDIA GPU 서버는 제조사 기준으로 크게 2가지 타입으로 분류됩니다.
하나는 엔비디아가 직접 제조하는 완제품 GPU 서버이고, 또 하나는 HPE, Dell 등 벤더가 제조하는 제품입니다.
두 가지 타입의 GPU 서버는 가격, 성능, 기술지원 등 여러가지 부분에서 상당한 차이를 보입니다.
이제, NVIDIA는 GPU를 포함, 운영체제(OS), CPU 등 주요한 부품을 직접 제조하는 AI 풀 스택기업으로 도약하고 있습니다.
퀀텀브릭스는 GPU 서버를 합리적인 가격으로 공급합니다.
자주 묻는 질문(FAQs)
NVIDIA H100 성능 및 사양
항목
사양
아키텍처
Hopper
GPU 메모리
94 GB
메모리 대역폭
3.9 TB/s
FP4 연산 성능
미 지원
FP8 연산 성능
3,341 TFLOPS
FP16 연산 성능
1,671 TFLOPS
FP32 연산 성능
60 TFLOPS
상호 연결
NVLink 4세대 (600 GB/s)
MIG 기술*
~7 MIGS @ 12GB each
호스트 보조 연결
PCIe 5.0 (128GB)
전력 소모량
350~400W
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 7개의 독립적인 인스턴스로 분할하여 사용하는 기능입니다.
-
H100 SXM 타입은 80GB, NVL은 94GB, DGX H100은 총 용량만 640GB로 표기, 8장으로 나누면 80GB 입니다.
-
본 사양표는 NVL / PCIe 타입 H100 GPU 1개당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.