A100 GPU 특징
Ampere 아키텍처 기반의 A100 GPU는 1장 당 80GB의 HBM2e 메모리 용량을 지원하며, 메모리 대역폭은 초 당 1,935GB/s (SXM은 2,039 GB/s) 까지 지원, LLM 학습 및 추론, 서비스 속도를 최대한 끌어 올렸습니다.
Tensor Float(TF32)를 갖춘 NVIDIA A100의 Tensor 코어는 코드를 변경할 필요 없이 이전 세대 NVIDIA Volta보다 최대 20배 높은 성능과 더불어 자동 혼합 정밀도 및 FP16으로 성능이 추가로 2배나 향상됩니다.
INT8 연산 성능은 624 TOPS, FP16은 312 TFLOPS 까지 가능합니다.
멀티 인스턴스 GPU (MIG) 기능으로 1장의 물리적인 GPU를 7개까지 분할하여 사용할 수 있습니다.
A100 GPU의 가장 큰 특징 중에 하나는 H100 및 H200 GPU 처럼, 단품으로 구매가 가능하며, 원하는 만큼의 수량을 탑재하여 GPU 서버를 구매할 수 있습니다.
A100 탑재 GPU 서버 가격
A100 8장 탑재 GPU 서버 가격은 대략 3~4억 원(부가세 별도), 4장 탑재는 2억 원(부가세 별도), 2장 탑재는 1억 원(부가세 별도) 정도로 공급됩니다.
대략적인 평균 가격으로 실제 견적 및 계약 시, 제조사 및 사양 등에 따라 달라질 수 있습니다.
최근, 글로벌하게 AI 비지니스 확산되고 있고, 국내 또한 기업 및 공공기관의 AI R&D, 프로젝트 및 정부 지원 과제가 폭발적으로 증가함에 따라 GPU 서버 수요가 증가하고 가격 또한 가파르게 상승하고 있습니다.
A100 GPU 제품은 단종으로, 26년 4월 현재, A100이 탑재된 모든 GPU 서버는 사실 상 공급이 불가능합니다.
대체 및 업그레이드 제품: H200, L40S, RTX 6000 등
퀀텀브릭스는 합리적인 가격으로 GPU 서버를 공급합니다.
A100 탑재 GPU 서버 구매 가이드
A100 GPU 사양
항목
사양
아키텍처
Ampere
GPU 메모리
80 GB HBM2e
메모리 대역폭
1.935 GB/s
FP4 연산 성능
미 지원
INT8 연산 성능
624 TOPS
FP16 연산 성능
312 TFLOPS
TF32 연산 성능
156 TFLOPS
상호 연결
NVLink 3세대 (600 GB/s)
MIG 기술*
~7 MIGs @ 10GB
호스트 보조 연결
PCIe 4.0 (64GB/s)
전력 소모량
300W
<참고 사항>
-
FP, TF 등 연산 성능은 희소성(Sparsity)을 적용한 기준이며, 밀집(Dense) 기준에서는 약 50% 수준의 성능을 보입니다.
-
MIG(Multi-Instance GPU): 하나의 물리적인 GPU를 최대 7개의 인스턴스로 분할하여 사용할 수 있는 기능입니다.
-
본 사양표는 PCIe / NVL 타입 A100 GPU 1개 당 수치이며, NVIDIA 홈페이지 및 데이터시트를 기준으로 작성했습니다.
-
NVIDIA GPU 서버 및 제품 선택을 위해, 연산 성능 비교표, 추론 성능 비교표, 메모리 용량 및 대역폭 비교표 등을 참고 바랍니다.