NVIDIA GPU 메모리 용량 및 대역폭 비교

엔비디아 GPU 제품별 메모리 용량 및 대역폭을 비교합니다.

견적요청하기

메모리 용량, 적재할 수 있는 LLM 모델 크기를 결정합니다.

엔비디아 GPU 메모리 용량의 1차적인 역할은 올릴 수 있는 LLM 모델의 크기를 결정합니다.

메모리 크기가 충분하면 원하는 크기의 LLM 모델을 적재할 수 있으며 학습을 시작할 수 있습니다. 더불어, GPU 메모리 대역폭은 데이터를 처리하는 속도에 영향을 미칩니다.

메모리 대역폭이 높으면, 학습 시간이 단축시킬 수 있어 AI R&D 및 프로젝트 비용을 절감할 수 있습니다.

추론 속도 또한 빨라지므로 고객이 만족하는 AI 서비스를 제공할 수 있습니다.

퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.

탑재수량별 GPU 서버 가격

#이미지: H200 GPU 8장이 탑재된 HGX H200 메인 보드 전면 이미지

비교표 목록

#01. NVIDIA GPU 1장 당 메모리 용량 비교

#02. NVIDIA GPU 1장 당 메모리 대역폭 비교

#03. NVIDIA GPU NVLink 대역폭 비교

* Tip: 목록을 클릭하면 해당 비교표로 이동, TOP 버튼을 클릭하면 상단으로 올라옵니다.

#01. NVIDIA GPU 1장 당 메모리(VRAM) 용량 비교표

엔비디아 GPU 제품 1장 당 기준으로 메모리 용량을 비교합니다.

구분

메모리 타입

메모리 용량

Rubin

HBM4

288 GB

B300

HBM3e

288 GB

B200

HBM3e

180 GB

H200

HBM3e

141 GB

H100

HBM3e

94 GB

A100

HBM2e

80 GB

L40S

GDDR6

48 GB

RTX 6K*

GDDR7

96 GB

<참고사항>

Rubin(루빈) 및 B300의 1장 당 메모리 용량은 하드웨어 물리적 최대 용량 기준으로 288GB 동일합니다.

GB300 NVL72 데이터시트 기준으로 279GB, HGX B300은 270GB, DGX B300은 총 메모리 용량만 2.1TB로 표기, DGX B300 User Guide 문서에는 1장 당 288GB로 표기되어 있습니다.

B200은 데이터 시트 기준으로, GB200 NVL72 는 186GB, HGX B200은 180GB, DGX B200은 총 용량만 1,440GB로 표기, 8장으로 나누면 180GB 입니다.

H200은 SXM 및 NVL 2가지 타입 모두 141GB, DGX H200도 141GB로 모두 동일합니다.

H100 SXM 타입은 80GB, NVL은 94GB, DGX H100은 총 용량만 640GB로 표기, 8장으로 나누면 80GB 입니다.

A100은 SXM 타입과 NVL 타입의 메모리 용량이 80GB로 동일 합니다.

L40S는 NVL 타입으로만 공급되며, 48GB 입니다.

RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)은 NVL 타입으로만 공급되며, 3가지 에디션 모두 96GB 입니다.

본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.

전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.

#02. NVIDIA GPU 1장 당 메모리 대역폭(TB/s) 비교표

엔비디아 GPU 제품 1장 당 기준으로 메모리 대역폭 및 데이터 전송 속도를 비교합니다.

구분

메모리 타입

대역폭 / 전송속도

Rubin

HBM4

22.0 TB/s

B300

HBM3e

8.0 TB/s

B200

HBM3e

8.0 TB/s

H200

HBM3e

4.8 TB/s

H100

HBM3e

3.9 TB/s

A100

HBM2e

1.9 TB/s

L40S

GDDR6

0.864 TB/s

RTX 6K*

GDDR7

1.597 TB/s

<참고사항>

B300, B200, Rubin(루빈) : DGX / HGX / SXM 타입 GPU 1장 당 기준입니다.

H200, H100, A100, L40S, RTX 6K(RTX Pro 6000 Blackwell)은 NVL / PCIe 타입 GPU 1장 당 기준입니다.

L40S : 864GB/s를 반올림하여 0.9TB/S 입니다.

RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB) : 서버 에디션은 1.5TB/s(1,597GB/s), 웍스테이션 에디션은 1.7TB/S(1,792GB/s) 입니다.

1 TB/s: 5GB 고화질(HD) 영화 200편을 1초만에 통째로 옮길 수 있습니다.

본 도표는 NVIDIA 홈페이지 및 데이터시트를 기준으로 작성됐습니다.

전체 GPU 서버 가격 페이지 또는 견적 요청 시 48시간 내 제공 페이지를 참고 바랍니다.

#03. NVIDIA GPU 제품별 NVLink 지원 여부 및 속도 비교표

엔비디아 GPU 제품 1장 당 기준으로 NVLink 지원 여부 및 GPU 간 대역폭 및 속도를 비교합니다.

구분

대역폭 / 전송속도

인터페이스

Rubin

3.6 TB/s

NVLink 6세대

B300

1.8 TB/s

NVLink 5세대

B200

1.8 TB/s

NVLink 5세대

H200

0.9 TB/s

NVLink 4세대

H100

0.9 TB/s

NVLink 4세대

A100

0.6 TB/s

NVLink 3세대

L40S

0.064 TB/s

미 지원 / PCIe 4

RTX 6K*

0.128 TB/s

미 지원 / PCIe 5

<참고사항>

B300은 GB300 NVL72는 총 130TB/s, HGX 300은 개 당 1.8TB/s, DGX B300은 개 당 1.8TB/s 입니다.

B200은 GB200 NVL72는 총 130TB/s, HGX 200은 개 당 1.8TB/s, DGX B200은 개 당 1.8TB/s 입니다.

H200 SXM 및 NVL 2가지 타입 모두 900GB/s, DGX H200은 미 표기이며, 900GB/s 으로 추정됩니다.

H100 SXM 및 NVL 2가지 타입 모두 900GB/s, DGX H100은 미 표기이며, 900GB/s 으로 추정됩니다.

A100 SXM 및 NVL 2가지 타입 모두 600GB/s 입니다.

L40S는 NVLink 미 지원, PCIe Gen4 기준으로 64GB/s 입니다.

RTX 6K* : RTX Pro 6000 Blackwell Server Edition (96GB)는 NVLink 미 지원, PCIe Gen5 기준으로 128GB/s 입니다.

NVLink 미 지원 시, PCIe P2P(Peer-to-Peer) 방식으로 PCIe 버스 상에서 GPU 간 직접 데이터 전송을 지원합니다.

NVIDIA L40S 및 RTX Pro 6000 Blackwell GPU는 물리적 NVLink를 지원하지 않습니다. 하지만 ConnectX-8 SuperNIC 및 BlueField-3 DPU 기반의 초고속 네트워크 아키텍처를 통해 GPU 간 데이터 통신 병목을 해결하고 대규모 클러스터 확장이 가능하도록 설계 및 구축할 수 있습니다.