RTX 6000 GPU 특징
NVIDIA RTX Pro 6000 Blackwell GPU는 96GB GDDR7 고대역폭 메모리 용량을 탑재했고, 메모리 대역폭은 1,792 GB/s 의 속도로 빠른 데이터 처리 속도를 제공합니다.
5 PFLOPS 의 FP4 연산 성능 지원으로, AI 학습 및 추론의 성능을 극대화 했고, FP8 연산 성능은 2 PFLOPS, FP16은 1 PFLOPS, RT 코어 성능은 380 TFLOPS에 달합니다.
MIG 기술을 통해 1개의 물리적인 GPU를 최대 4개까지 분할해서 사용할 수 있습니다.
NVIDIA RTX Pro 6000 Blackwell GPU는 서버 / 데이터 센터 에디션과 워크 스테이션 에디션을 제공합니다.
RTX 6000 탑재 GPU 서버 가격
RTX 6000 x 8장 탑재 GPU 서버 1대 가격은 대략 2억 원(부가세 별도), 4장 탑재는 1억 원(부가세 별도), 2장 탑재는 8천만 원(부가세 별도) 정도의 가격으로 공급됩니다.
대략적인 평균 가격으로, 실제 견적 및 계약 시, 제조사, 사양 등에 따라 달라질 수 있습니다.
최근, 글로벌하게 AI 비지니스 확산되고 있고, 국내 또한 기업 및 공공기관의 AI R&D, 프로젝트 및 정부 지원 과제가 폭발적으로 증가함에 따라 GPU 서버 수요가 증가하고 가격 또한 가파르게 상승하고 있습니다.
또한, 최근 메모리, 하드디스크 등 부품 가격의 폭등으로 GPU 서버 가격이 꾸준히 오르고 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
RTX 6000 탑재 GPU 서버 구매 가이드
NVIDIA RTX Pro 6000 Blackwell GPU 단품 가격은 대략 1,500 ~ 2,000만원(부가세 별도) 정도로 공급됩니다.
RTX Pro 6000은 단품으로 구매가 가능하며 원하는 수량만큼 서버 또는 워크스테이션에 탑재하여 GPU 서버 / 워크스테이션을 구매할 수 있습니다.
RTX Pro 6000은 서버 에디션과 워크 스테이션 에디션 그리고 Max-Q 워크스테이션 에디션, 3가지 타입의 제품으로 공급됩니다.
NVIDIA RTX Pro 6000 Blackwell GPU는 이미 단종된 A100 GPU를 대체하는 제품으로 인기가 높으며, 가장 많이 팔리는 NVIDIA GPU 제품들 중 하나입니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급, 고객사 / 파트너의 AI 비지니스를 지원합니다.
RTX 6000 종류 3가지
Server Edition
서버 인프라에 맞춘 600W 전력 설계 모델, 팬이 없는 수동 냉각(Passive) 구조로 서버 랙의 외부 공조 시스템을 활용, MIG 기능을 통해 1개의 GPU를 최대 4개로 분할 사용 가능합니다.
주요 활용 분야: LLM(대규모 언어 모델) 추론, 분산 렌더링 서버, 가상 워크스테이션(vWS) 인프라 구축 등
Workstation Edition
최대 600W의 고출력을 사용하는 성능 우선 모델, 플로우 스루(Flow-through) 듀얼 팬 설계로 개별 카드의 냉각 효율을 극대화하여 단일 연산 성능이 가장 높습니다.
주요 활용 분야: 미디어/엔터테인먼트, 8K 실시간 렌더링, 시뮬레이션, 하이엔드 3D 디자인 및 개인용 AI 개발용 등
Max-Q Workstation Edition
300W로 전력을 제한하여 효율을 극대화한 저전력 모델, 블로워(Blower) 팬 방식을 채택해 뜨거운 공기를 외부로 배출, 카드 길이가 짧아 1대의 시스템에 4-Way 이상 장착이 용이합니다.
주요 활용 분야: 고밀도 AI 연산, 다중 GPU를 활용한 모델 학습(Fine-tuning), 온프레미스 AI 추론 서버 등
RTX 6000, A100을 대체할 수 있습니까?
더 큰 VRAM 용량: A100(80GB)보다 큰 96GB GDDR7 메모리를 탑재하여 더 큰 모델을 단일 카드에 올릴 수 있습니다.
추론 성능: 최신 FP4 정밀도를 지원, AI 추론 시 A100 대비 약 2~3배 이상 빠른 속도를 보여줍니다.
최신 기술 지원: PCIe Gen5를 지원하며, 5세대 Tensor 코어를 통해 최신 생성형 AI 알고리즘에 최적화되어 있습니다.
NVLink 대역폭: A100은 NVLink(600GB/s)를 지원하여 수십 대를 묶어 학습할 때 유리합니다. 반면 RTX 6000 Blackwell은 PCIe 슬롯을 통해 통신하므로, 모델을 학습(Training)할 때는 병목 현상이 발생합니다.
메모리 대역폭: A100은 HBM2e 메모리를 사용하여 대역폭이 약 1.9TB/s 정도, RTX 6000 Blackwell은 GDDR7을 사용해 약 1.7TB/s 수준입니다.
RTX 6000 GPU 사양
항목
사양
아키텍처
Blackwell
GPU 메모리
96 GB GDDR7
메모리 대역폭
1,792 GB/s
FP4 연산 성능
5 PFLOPS
FP8 연산 성능
2 PFLOPS
FP16 연산 성능
1 PFLOPS
TF32 연산 성능
234 TFLOPS
RT 코어 성능
380 TFLOPS
MIG 기술*
4개 까지 분할(개당 24 GB)
상호 연결
NVLink 미 지원
호스트 보조 연결
PCIe 5.0x16
전력 소모량
300 ~ 600W
네트워킹
ConnectX-7 (~400Gbps)
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 4개의 인스턴스로 분할하여 사용할 수 있습니다.
-
본 사양표는 RTX Pro 6000 Blackwell Server Edition 1개 당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.