메모리 용량과 대역폭, 왜 중요하나요?
GPU 메모리 용량의 1차적인 역할은 올릴 수 있는 LLM 모델의 크기를 결정합니다.
메모리 용량이 충분하면 원하는 크기의 LLM 모델을 적재할 수 있으며, 학습을 시작할 수 있습니다.
더불어, 메모리 대역폭은 데이터를 처리하는 속도에 영향을 미칩니다.
메모리 대역폭이 높으면, 학습 및 추론 시간을 단축시킬 수 있어 AI R&D 및 프로젝트 비용을 절감할 수 있습니다.
추론 속도 또한 빨라지므로 고객이 만족하는 AI 서비스를 제공할 수 있습니다.
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.

#이미지: H200 GPU 8장이 탑재된 HGX H200 x 8 GPU 보드
비교표 목록
* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 상단으로 올라옵니다.
#01. NVIDIA GPU 1장 당 메모리(VRAM) 용량 비교표
NVIDIA GPU 제품별로 1장 당 기준으로 메모리 용량(VRAM)과 메모리 타입을 비교합니다.
1. 루빈(Rubin) : B300의 1장 당 메모리 용량 288GB와 동일하며, 루빈 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
2. B300 : DGX GB300 NVL72 데이터시트 기준으로 1장 당 279GB, HGX B300은 270GB, DGX B300은 총 메모리 용량만 2.1TB로 표기, DGX B300 User Guide는 1장 당 288GB로 표기되어 있으며, B300 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
3. B200 : 데이터 시트 기준으로, DGX GB200 NVL72 는 186GB, HGX B200은 180GB, DGX B200은 총 용량만 1,440GB로 표기, 8장으로 나누면 180GB 이며, B200 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
4. H200 : HGX/SXM 및 NVL/PCIe 2가지 타입 모두 141GB 동일, DGX H200도 1장 당 141GB로 모두 동일하며, 더 자세한 사항은 H200 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
5. H100 : HGX/SXM 타입은 80GB, NVL은 94GB, DGX H100은 총 용량만 640GB로 표기, 8장으로 나누면 80GB 이며, 더 자세한 사항은 H100 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
6. A100 : HGX/SXM 타입과 NVL/PCIe 타입, 2가지 모두 메모리 용량이 80GB로 동일하며, 더 자세한 사항은 A100 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
7. L40S : NVL/PCIe 타입만 공급되며, 48GB 입니다. 자세한 사항은 L40S 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
8. RTX Pro 6000 Blackwell : NVL/PCIe 타입으로만 공급되며, 3가지 에디션 모두 96GB 입니다. 더 자세한 사항은 RTX 6000 탑재 GPU 서버 가격 및 구매 가이드를 참고 바랍니다.
9. 본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
10. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
#02. NVIDIA GPU 1장 당 메모리 대역폭(TB/s) 비교표
NVIDIA GPU 제품별 1장 당 기준으로 메모리 타입 및 대역폭(TB/s)을 비교합니다.
1. B200, B300, 루빈(Rubin) : DGX / HGX / SXM 타입 GPU 1장 당 기준입니다.
2. H200, H100, A100, L40S, RTX 6000 Blackwell : NVL / PCIe 타입 GPU 1장 당 기준입니다.
3. RTX Pro 6000 Blackwell Server Edition은 1.5TB/s, 워크 스테이션 에디션은 1.7TB/s 입니다.
4. 1 TB/s: 5GB 고화질(HD) 영화 200편을 1초만에 통째로 옮길 수 있는 속도입니다.
5. 본 도표는 NVIDIA 홈페이지 및 데이터시트를 참고하여 작성됐습니다.
6. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
#03. NVIDIA GPU 제품별 NVLink 대역폭 비교표
NVIDIA GPU 제품별 1장 당 기준으로 NVLink 지원 여부와 NVLink 및 GPU 간 대역폭 및 속도를 비교합니다.
1. 루빈(Rubin) : HGX Rubin 및 DGX Rubin NVL8 모두 1장 당 3.6TB/s 입니다.
2. B300 : GB300 NVL72는 총 130TB/s, HGX 300은 1장 당 1.8TB/s, DGX B300은 1장 당 1.8TB/s 입니다.
3. B200 : GB200 NVL72는 총 130TB/s, HGX 200은 1장 당 1.8TB/s, DGX B200은 1장 당 1.8TB/s 입니다.
4. H200 : HGX(SXM) 및 NVL(PCIe), 2가지 타입 모두 900GB/s, DGX H200은 미 표기입니다.
5. H100 : HGX(SXM) 및 NVL(PCIe), 2가지 타입 모두 900GB/s, DGX H100은 미 표기입니다.
6. A100 : HGX(SXM) 및 NVL(PCIe), 2가지 타입 모두 600GB/s 입니다.
7. L40S : NVLink 미 지원, PCIe Gen4 기준으로 64GB/s 입니다.
8. RTX 6000 Blackwell: NVLink 미 지원, PCIe Gen5 기준으로 128GB/s 입니다.
9. 본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.
10. 탑재수량별 GPU 서버 가격표 | 실시간 문의하기 | 48시간 내 견적서 제공 서비스를 참고 바랍니다.
메모리 용량, 대역폭에 대해서 질문이 더 있으세요?
질문, 요청 등 메세지를 남겨주시면 빠르게 답변 드립니다.
대략적인 가격은 탑재수량별 GPU 서버 가격 페이지를 참고 바랍니다.
퀀텀브릭스는 고객사 및 파트너의 AI 비지니스를 지원합니다.