타입 #01.
엔비디아 직접 제조 GPU 서버
NVIDIA는 GPU를 제조 및 공급하는 기업이지만, 완제품 GPU 서버도 직접 설계 및 제조합니다.
NVIDIA가 직접 설계 및 제조한 AI 전용 GPU 서버인 DGX 시리즈에는 운영체제, CPU, 메모리, 스토리지 등 모든 부품이 탑재됩니다.
최근 NVIDIA는 운영체제 (DGX OS)는 물론, 인텔과 AMD처럼, CPU (Vera, Grace 등)도 제조합니다.
이제, NVIDIA는 단순히 GPU 제조 기업이 아니라, AI GPU 서버 및 인프라를 공급하는 AI 인프라 풀 스택 기업입니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
타입 #02.
HPE, Dell 등 벤더 제조 제품
수십년 동안 전통적인 서버의 최강자, HPE, Dell 등 벤더들도 GPU 서버를 설계, 제조 및 공급합니다.
서버 벤더들은 NVIDIA로부터 GPU를 공급 받아 최적화된 GPU 서버 및 인프라를 공급합니다.
HPE ProLiant, Dell PowerEdge 등 서버에 NVIDIA GPU를 탑재할 수 있습니다.
슈퍼마이크로(Supermicro), 기가바이트(Gigabyte), 에이수스(ASUS) 등 벤더들 또한 합리적인 가격으로 GPU 서버를 제조 및 공급합니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
2가지 타입의 GPU 서버는, 가격에서 차이가 있나요?
NVIDIA 직접 제조 제품과 벤더 제조 GPU 서버 제품의 외관 모습 및 가격을 비교합니다.
외관모습
NVIDIA DGX H200 전면 이미지, 화려한 골드 인테리어 외관에 NVIDIA 로고가 박혀 있습니다.
가격
NVIDIA 직접 설계 및 제조한 DGX H200 (H200 x 8장 탑재)은, 대략 10억 원(부가세별도) 정도로 공급됩니다.
NVIDIA 프로그램에 가입하면, DGX 시리즈 구매 시, 최대 30%까지 할인을 받을 수 있습니다.
외관모습
Dell PowerEdge XE7740 전면 이미지, 서버 외관에 익숙한 Dell 로고가 박혀 있습니다.
가격
HPE, Dell 등 서버에 H200 x 8장을 탑재한 GPU 서버 가격은 사양 등에 따라 수백만원에서 수천만원까지 차이가 있습니다.
따라서, DGX H200 가격 대비, 더 높거나 낮을 수도 있습니다.
각 부품의 사양 변경은 가능하나요?
NVIDIA 직접 제조 제품과 벤더 제조 GPU 서버 제품의 사양 변경 가능 여부를 비교합니다.
B200 x 8장 탑재 DGX B200 서버 이미지
NVIDIA DGX 시리즈는 운영체제, GPU, CPU, 메모리, 스토리지, NIC 등 모든 부품을 최적화하여 제조한 완제품 AI GPU 서버입니다.
따라서, 사양 변경이 일부 가능하지만 대체적으로 제한이며, 따라서 도입 및 구매 가격의 변동폭이 다소 적습니다.
NVIDIA AI Enterprise 소프트웨어에 포함된 주요 10개 툴 및 솔루션
NVIDIA DGX 시리즈에는 AI Enterprise 소프트웨어가 기본으로 제공됩니다.
NVIDIA Run:ai: AI 인프라의 인프라 관리 및 GPU 오케스트레이션을 담당하며 동적 GPU 할당을 지원합니다.
NVIDIA NIM: 클라우드 및 데이터 센터 전반에 AI 모델을 쉽고 안전하게 배포할 수 있는 최적화된 마이크로서비스입니다.
NVIDIA NeMo: 생성형 AI 모델의 데이터 구축, 학습, 미세조정(Fine-tuning) 및 에이전트 개발을 지원하는 프레임워크입니다.
NVIDIA Omniverse: 물리적으로 정확한 디지털 트윈 및 가상 공장 시뮬레이션을 구현하는 피지컬 AI 플랫폼입니다.
NVIDIA Dynamo-Triton: 고성능 대규모 AI 모델의 동적 추론 배포 및 처리를 최적화하는 서빙 소프트웨어입니다.
TensorRT / TensorRT-LLM: 딥러닝 및 대규모 언어 모델의 추론 속도를 대폭 향상시키는 하드웨어 가속 최적화 컴포넌트입니다.
NVIDIA vGPU: 하드웨어 가상화를 통해 여러 가상 머신(VM)에서 GPU 자원을 효율적으로 분할하여 사용할 수 있게 합니다.
PyTorch / TensorFlow Enterprise: 기업 환경에서 안정적으로 사용할 수 있도록 엔터프라이즈급 지원이 추가된 핵심 딥러닝 프레임워크입니다.
RAPIDS: 데이터 전처리, 머신러닝 학습 및 데이터 분석 과정을 GPU 가속으로 가속화하는 오픈소스 라이브러리 세트입니다.
Triton Inference Server: 다양한 프레임워크 기반의 AI 모델을 다중 GPU 및 CPU 환경에서 동시에 서빙할 수 있는 프로덕션용 추론 서버입니다.
상기 외 약 100여 개의 필수 AI 툴 및 솔루션이 포함됩니다.
프로덕션 AI 개발 및 배포를 가속화하고 최적화
NVIDIA AI 엔터프라이즈는 완벽하게 지원되는 프로덕션 레디 상용 소프트웨어 제품군으로, 고급 GPU 오케스트레이션 및 인프라 관리와 함께 AI 개발을 위한 마이크로서비스, 프레임워크 및 라이브러리를 제공합니다.
NVIDIA 직접 설계 및 제조, DGX 시리즈 가격 및 구매 가이드
엔비디아가 직접 설계 및 제조한 DGX 시리즈는 AI 전용 완제품 GPU 서버입니다.
NVIDIA DGX Rubin NVL8
엔비디아 GPU 1장에 얼마나 큰 LLM 모델을 올릴 수 있나요?
NVIDIA GPU 1장에 올릴 수 있는 LLM 모델의 크기는 메모리 용량을 기준으로 계산됩니다.
메모리 용량 / 대역폭 비교표
파인튜닝 가 능 LLM 크기
추론 성능(TPS) 비교표
학습 가능 LLM 크기
연산 성능(FLOPS) 비교표
추론 가능 LLM 크기
문의하기
메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
퀀텀브릭스는 고객사 및 파트너의 AI 비지니스 확산을 빠르게 지원합니다.