NVIDIA DGX System
NVIDIA DGX 시스템은 첨단 GPU와 고속 네트워킹, 최적화된 AI 소프트웨어가 통합된 엔터프라이즈 AI 인프라 플랫폼입니다.
NVIDIA DGX GB300 NVL72
AI 추론시대를 위해 설계된 랙 스케일 아키텍처
NVIDIA DGX GB300 NVL72는 완전 수냉식 랙 스케일 설계를 특징으로 하며, 72개의 NVIDIA Blackwell Ultra GPU와 36개의 Arm® 기반 NVIDIA Grace™ CPU를 단일 플랫폼에 통합하여 테스트 시간 확장 추론에 최적화되어 있습니다. NVIDIA Quantum-X800 InfiniBand 또는 Spectrum™-X 이더넷과 ConnectX®-8 SuperNIC을 함께 사용하는 DGX GB300 NVL72 기반 AI 팩토리는 NVIDIA Hopper™ 플랫폼 대비 50배 더높은 추론 모델 추론 성능을 제공합니다 .
AI 팩토리를 전례 없는 수준으로 확장
- DeepSeek R1 ISL = 32K, OSL = 8K, FP4 Dynamo 분할 기능을 갖춘 DGX GB300 NVL72.
- FP8 인플라이트 배칭 기능을 갖춘 H100 예상 성능은 변경될 수 있습니다.
NVIDIA DGX GB300 NVL72 플랫폼으로 차원이 다른 AI 추론 성능을 경험해 보세요. DGX GB300 NVL72는 Hopper 대비 사용자 응답성(사용자당 TPS)이 10배,
처리량(메가와트(MW)당 TPS)이 5배 향상되었습니다. 이러한 발전은 AI 팩토리의 전체 생산량을 50배나 증가시키는 놀라운 성과로 이어집니다.
NVIDIA DGX GB300 NVL72
AI 추론
테테스트 시간 확장 및 AI 추론은 서비스 품질과 처리량을 극대화하는 데 필요한 컴퓨팅 성능을 증가시킵니다. NVIDIA Blackwell Ultra의 Tensor 코어는 Blackwell GPU 대비 2배 향상된 어텐션 레이어 가속화와 1.5배 더 많은 초당 AI 컴퓨팅 부동 소수점 연산(FLOPS)을 갖추고 있습니다.
288GB의 HBM3e
높아진 메모리 용량이 배치 크기와 처리량 성능을 극대화합니다. NVIDIA Blackwell Ultra GPU는 1.5배 더 큰 HBM3e 메모리와 추가된 AI 컴퓨팅을 함께 제공하여 가장 긴 컨텍스트 길이에 대한 AI 추론 처리량을 향상합니다.
NVIDIA Blackwell 아키텍처
NVIDIA Blackwell 아키텍처는 가속 컴퓨팅 분야에서 획기적인 발전을 이루어, 비교할 수 없는 성능, 효율성, 규모의 새로운 시대를 열었습니다.
NVIDIA ConnectX-8 SuperNIC
NVIDIA ConnectX-8 SuperNIC의 입출력(IO) 모듈은 2개의 ConnectX-8 장치를 호스팅하여, NVIDIA GB300 NVL72의 각 GPU에 초당 800기가비트(Gb/s)의 네트워크 연결을 제공합니다. 또한 NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X 이더넷 네트워킹 플랫폼을 통해 동급 최고의 원격 직접 메모리 액세스(RDMA) 기능을 제공하여 최고 수준의 AI 워크로드 효율성을 실현합니다.
NVIDIA 그레이스 CPU
NVIDIA Grace CPU는 최신 데이터센터 워크로드를 위해 설계된 획기적인 프로세서입니다. 오늘날의 주요 서버 프로세서에 비해 2배 높은 에너지 효율로 탁월한 성능과 메모리 대역폭을 제공합니다.
5세대 NVIDIA NVLink
가속 컴퓨팅의 잠재력을 최대한 활용하려면 모든 GPU 간의 원활한 통신이 필요합니다. 5세대 NVIDIA NVLink™는 AI 추론 모델의 지속확장 성능을 구현하는 스케일업형 상호 연결 기술입니다.
| 구성 | 72개의 NVIDIA Blackwell Ultra GPU, 36개의 NVIDIA Grace CPU |
|---|---|
| NVLink 대역폭 | 130TB/초 |
| GPU 메모리 대역폭 | 최대 21TB | 최대 576TB/s |
| CPU 메모리 대역폭 | LPDDR5x를 탑재한 최대 18TB SOCAMM | 최대 14.3TB/s |
| CPU 코어 수 | 2,592개의 Arm Neoverse V2 코어 |
| FP4 텐서 코어 | 1,400 | 1,100² FLOPS |
| FP8/FP6 텐서 코어 | 720 FLOPS |
|---|---|
| INT8 텐서 코어 | 23 FLOPS |
| FP16/BF16 텐서 코어 | 360 FLOPS |
| TF32 텐서 코어 | 180 FLOPS |
| FP32 | 6 FLOPS |
| FP64/FP64 텐서 코어 | 100 Tera FLOPS |
1. 사양은 예비 정보이며, 변경될 수 있습니다. 별도의 언급이 없는 한 모든 Tensor Core 사양에는 sparsity(희소성) 가 포함되어 있습니다.
2. Sparsity(희소성) 미적용 기준.
NVIDIA DGX GB200 NVL72
생성형 AI의 새로운 시대를 지원합니다.
DGX GB200 NVL72는 랙 스케일 수냉식 설계로 Grace CPU 36개와 Blackwell GPU 72개를 연결합니다. 72개의 GPU로 구성된 NVLink 도메인은 단일 대용량 GPU처럼 작동하며, 30배 더 빠른 실시간 조 단위 매개변수를 갖는 대용량 언어 모델(LLM) 추론을 제공합니다. GB200 Grace Blackwell Superchip은 NVIDIA DGX GB200 NVL72 의 핵심 구성 요소로, 두 개의 고성능 NVIDIA Blackwell Tensor Core GPU와 NVIDIA Grace™ CPU를 NVIDIA NVLink™-C2C 상호연결을 사용하여 두 개의 Blackwell GPU에 연결합니다.
NVIDIA GPU, CPU, 네트워킹 및 AI 소프트웨어 기술
블랙웰 아키텍처
NVIDIA Blackwell 아키텍처는 가속 컴퓨팅
분야에서 획기적인 발전을 이루어, 탁월한
성능, 효율성, 확장성을 갖춘 새로운 시대의
컴퓨팅을 선도합니다.
NVIDIA Grace CPU
NVIDIA Grace CPU 은 AI, 클라우드,
HPC(고성능 컴퓨팅) 애플리케이션을
실행하는 최신 데이터센터를 위해 설계된
획기적인 프로세서입니다.
현재 최고의 서버 프로세서 대비 2배의
에너지 효율로 뛰어난 성능과 메모리
대역폭을 제공합니다.
5세대 NVIDIA NVLink
엑사스케일 컴퓨팅과 수조 개의 매개변수를
가진 AI 모델의 잠재력을 최대한 활용하려면
서버 클러스터의 모든 GPU 간에 빠르고
원활한 통신이 필요합니다. 5세대 NVLink는
수조 개 및 수조 개의 매개변수를 가진 AI
모델의 가속화된 성능을 구현하는
스케일업형 상호 연결 기술입니다.
NVIDIA Networking
데이터센터의 네트워크는 분산된 AI 모델 훈련과 생성형 AI 성능을 뒷받침하는 핵심 기반으로, AI 발전과 성능을 촉진하는 데 매우 중요한 역할을 합니다. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum™-X800 Ethernet, NVIDIA® BlueField®-3 DPU는 수백, 수천 개의 Blackwell GPU에서 효율적인 확장성을 구현하여 애플리케이션 성능을 최적화합니다.
| 항목 | DGX GB200 NVL72 | GB200 Grace Blackwell Superchip |
|---|---|---|
| 컨피규레이션 | 36 Grace CPU : 72 Blackwell GPUs | 1 Grace CPU : 2 Blackwell GPU |
| FP4 코어1 | 1,440 PFLOPS | 40 PFLOPS |
| FP8/FP6 코어1 | 720 PFLOPS | 20 PFLOPS |
| INT8 Tensor 코어1 | 720 POPS | 20 POPS |
| FP16/BF16 Tensor 코어1 | 360 PFLOPS | 10 PFLOPS |
| TF32 Tensor 코어 | 180 PFLOPS | 5 PFLOPS |
| FP32 | 5,760 TFLOPS | 160 TFLOPS |
| FP64 | 2,880 TFLOPS | 80 TFLOPS |
| FP64 Tensor 코어 | 2,880 TFLOPS | 80 TFLOPS |
| GPU 메모리 대역폭 | 최대 13.4TB HBM3e | 576TB/s | 최대 372GB HBM3e | 16TB/s |
| NVLink 메모리 대역폭 | 130TB/s | 3.6TB/s |
| CPU 코어 수 | 2,592 Arm® Neoverse V2 코어 | 72 Arm Neoverse V2 코어 |
| CPU 메모리 대역폭 | 최대 17TB LPDDR5X | 최대 18.4TB/s | 최대 480GB LPDDR5X | 최대 512GB/s |
1. 희소성 포함.
NVIDIA DGX B300
AI 추론을 위한 AI 팩토리의 기반
NVIDIA DGX™ B300은 생성형 AI의 컴퓨팅 수요를 충족하도록 맞춤 제작된 AI 인프라 솔루션입니다. NVIDIA Blackwell Ultra GPU를 기반으로 하는 DGX B300은 최신 데이터센터에 원활하게 맞도록 설계된 새로운 폼 팩터에서 이전 세대보다 11배 향상된 추론 및 4배 향상된 훈련 성능을 제공합니다. NVIDIA MGX™ 와 기존 엔터프라이즈 랙과 호환되며 풀스택 소프트웨어와 함께 AI 배포를 간소화하고 효율화하여 모든 기업이 하이퍼스케일러처럼 운영할 수 있도록 지원합니다.
추론 시대를 위한 AI 팩토리
LLM 추론을 위한 실시간 파워하우스
Blackwell Ultra GPU를 기반으로 하는 DGX B300은
엔터프라이즈에 대형 언어 모델(LLM) 학습 및 추론을
가속화할 수 있는 단일 플랫폼을 제공합니다. 192PFLOPS의
추론 성능을 제공하여 모든 기업이 하이퍼스케일러처럼
운영할 수 있습니다.
효율적이고 지속 가능한 혁신
여러 전력 옵션 중에서 선택할 수 있는 DGX B300은
가장 에너지 효율적인 AI 슈퍼컴퓨터로 설계되어
탁월한 에너지 효율과 와트당 성능을 제공합니다.
혁신적인 인프라 표준
DGX B300은 최신 데이터센터에 맞게 재설계되었으며 최초로
NVIDIA MGX 랙에 배포 가능해졌습니다. 이 새로운
업계 표준은 데이터센터 엔지니어링의 변화를 가속화하고 있으며
획기적인 성능과 효율을 그 어느 때보다 쉽게 달성
할 수 있도록 지원합니다.
| GPU | NVIDIA Blackwell Intel® Xeon® 6776P 프로세서 |
|---|---|
| CPU | 듀얼 Intel® Xeon® 프로세서 |
| 총 GPU 메모리 | 2.1TB |
| 성능 | 72 PFLOPS FP8 학습 144 PFLOPS FP4 추론 |
| 네트워킹 | 8개의 OSFP 포트(8개의 NVIDIA ConnectX-8 VPI 지원) >최대 800Gb/s NVIDIA InfiniBand/이더넷 2개의 듀얼 포트 QSFP112 NVIDIA BlueField®-3 DPU >최대 400Gb/s NVIDIA InfiniBand/이더넷 |
| 관리 네트워크 | 1GbE 온보드 네트워크 인터페이스 카드(NIC)(RJ45) 1GbE 호스트 베이스보드 관리 컨트롤러(BMC)(RJ45) |
|---|---|
| 스토리지 | OS: 2개의 1.9TB NVMe M.2 내부 스토리지: 8개의 3.84TB NVMe E1.S |
| 전력 소비 | ~14kW |
| 소프트웨어 | NVIDIA AI Enterprise(최적화된 AI 소프트웨어) NVIDIA Mission Control NVIDIA DGX OS(운영 체제) Red Hat Enterprise Linux/Rocky/Ubuntu 지원 |
| 엔터프라이즈 지원 | 3년간 비즈니스 표준 하드웨어 및 소프트웨어 지원 |
1. 사양은 예비 정보이며, 변경될 수 있습니다. 별도의 언급이 없는 한 모든 Tensor Core 사양에는 sparsity(희소성) 가 포함되어 있습니다.
2. Sparsity(희소성) 미적용 기준.
NVIDIA DGX B200
훈련, 미세 조정 및 추론을 위한 통합 AI 플랫폼
NVIDIA DGX™ B200은 AI 여정의 모든 단계에서 규모와 관계없이 기업을 위한 개발에서 배포로 전환하는 파이프라인용 통합 AI 플랫폼입니다. 5세대 NVIDIA® NVLink™로 상호 연결된 8개의 NVIDIA Blackwell GPU를 탑재한 NVIDIA DGX B200은 이전 세대 시스템보다 3배 높은 훈련 성능과 15배 높은 추론 성능을 제공합니다. DGX B200은 NVIDIA Blackwell 아키텍처를 활용하여 거대 언어 모델(LLM), 추천 시스템 및 챗봇 등의 다양한 워크로드를 처리할 수 있어 AI 혁신을 가속화하고자 하는 기업에 이상적입니다.
추론 시대를 위한 AI 팩토리
개발에서 배포로 전환하는 파이프라인용 단일 플랫폼
기업이 훈련부터 fine-tuning, 추론에 이르기까지 AI 파이프
라인의 모든 단계에서 복잡한 AI 데이터세트를 처리하려면
막대한 양의 컴퓨팅 성능이 필요합니다. 기업은 NVIDIA DGX
B200을 통해 워크플로우를 가속화하도록 구축된
단일 플랫폼으로 개발자를 지원할 수 있습니다.
AI 성능의 강자
컴퓨팅 분야의 발전을 위한 NVIDIA Blackwell 아키텍처를
기반으로 한 DGX B200은 DGX H100보다 3배 높은 훈련
성능과 15배 높은 추론 성능을 제공합니다.
NVIDIA DGX BasePOD™ 및 NVIDIA DGX SuperPOD™를
기반으로 DGX B200은 모든 워크로드에 최첨단 성능을 제공합니다.
검증된 인프라 표준
NVIDIA DGX B200은 완벽하게 최적화된 하드웨어
및 소프트웨어 플랫폼으로,NVIDIA Mission Control과
NVIDIA AI Enterprise 소프트웨어를 포함한 NVIDIA AI
소프트웨어 스택 전체와
다양한 서드파티가 지원하는 에코시스템,
NVIDIA 전문 서비스팀의 전문가 지원을 제공합니다.
| GPU | 8개의 NVIDIA Blackwell GPU |
|---|---|
| GPU 메모리 | 총 1,440GB, 64TB/s HBM3e 대역폭 |
| 성능 | 72PFLOPS 훈련 및 144PFLOPS 추론 |
| 소비 전력 | 최대 14.3kW |
| CPU | Intel® Xeon® Platinum 8570 프로세서 2개 총 112개 코어, 2.1GHz(기본), 4GHz(최대 부스트) |
| 시스템 메모리 | 최대 4TB |
| 네트워킹 | 4개의 OSFP 포트(8개의 단일 포트 NVIDIA ConnectX-7 VPI 지원) >최대 400Gb/s NVIDIA InfiniBand/이더넷 2개의 듀얼 포트 QSFP112 NVIDIA BlueField-3 DPU >최대 400Gb/s InfiniBand/이더넷 |
| 관리 네트워크 | 10Gb/s 온보드 NIC(RJ45) 100Gb/s 듀얼 포트 이더넷 NIC(RJ45) 호스트 베이스보드 관리 컨트롤러(BMC) |
|---|---|
| 스토리지 | OS: 2x 1.9TB NVMe M.2 내부 스토리지: 8x 3.84TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise(최적화된 AI 소프트웨어) NVIDIA Mission Control (NVIDIA Run:ai 기술 기반 AI 데이터센터 운영 및 오케스트레이션) NVIDIA DGX OS / Ubuntu (운영 체제) |
| 랙 장치(RU) | 10 RU |
| 시스템 크기 | 높이: 444mm(17.5인치) 너비: 482.2mm(19.0인치) 길이: 897.1mm(35.3인치) |
| 작동 온도 | 5~30°C(41~86°F) |
| 엔터프라이즈 지원 | 하드웨어 및 소프트웨어에 대한 3년 엔터프라이즈 비즈니스-표준 지원 연중무휴 24시간 엔터프라이즈 지원 포털 액세스 현지 업무 시간 중 실시간 상담원 지원 |
NVIDIA DGX H200
AI 팩토리 인프라의 최적 표준
NVIDIA DGX™ H200으로 비즈니스 혁신과 최적화의 지평을 넓혀보세요. DGX 플랫폼의 일부인 DGX H200은 NVIDIA DGX SuperPOD™ 및 DGX BasePOD™의 기반이 되는 AI 강자로 NVIDIA H200 Tensor코어 GPU의 획기적인 성능으로 가속화 되었습니다.
가장 완벽한 AI 팩토리
AI 우수 센터의 핵심
NVIDIA Base Command™ , NVIDIA AI Enterprise
소프트웨어 제품군, NVIDIA DGXperts의 전문가 조언이
포함된 완벽하게 통합된 하드웨어 및 소프트웨어 솔루션인
NVIDIA DGX H200을 기반으로 AI Center of Excellence를
구축하세요.
장벽을 허물고 AI를 확장해 보세요
NVIDIA DGX H200 아키텍처를 통해 32PFLOPS의
AI 성능과 이전 세대보다 2배 빠른 네트워킹, 그리고 고속 확장성을
경험해 보세요. 이 솔루션은 생성 AI, 자연어 처리, 딥 러닝
추천 모델을 포함한 대규모 워크로드에 최적화되어 있습니다.
나만의 맞춤형 AI 인프라
온프레미스, 동시 위치, 관리형 서비스 제공업체에서의
대여 등 비즈니스에 적합한 다양한 방법으로 DGX H200의 성능을
경험하세요. 또한 DGX-Ready Lifecycle Management를 통해,
조직은 예측 가능한 재무 모델을 확보하여 최첨단 배포를 유지할 수 있습니다.
| GPU | 8개의 NVIDIA H200 Tensor Core GPU |
|---|---|
| GPU 메모리 | 총 1,128GB의 GPU 메모리 |
| 성능 | 32petaFLOPS FP8 |
| NVIDIA NVSwitch | 4개 |
| 네트워킹 | 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI > Up to 400Gb/s InfiniBand/Ethernet 2x dual-port QSFP112 NVIDIA ConnectX-7 VPI > Up to 400Gb/s InfiniBand/Ethernet |
| 관리 네트워크 | 10Gb/s 온보드 NIC(RJ45) 100Gb/s 듀얼 포트 이더넷 NIC(RJ45) 호스트 베이스보드 관리 컨트롤러(BMC) |
| 시스템 메모리 | 2TB |
| System Power Usage | 최대 ~10.2kW |
|---|---|
| CPU | 듀얼 Intel® Xeon® Platinum 8480C 프로세서 총 112코어, 2.00GHz(기본), 3.80GHz(최대 부스트) |
| 저장 | OS: 2×1.9TB NVMe M.2 내부 저장소: 8×3.84TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise(최적화된 AI 소프트웨어) NVIDIA Base Command NVIDIA DGX OS Red Hat Enterprise Linux/Rocky/Ubuntu 지원 |
| 시스템 무게 | 287.6lb (130.45kgs) |
| 시스템 크기 | 높이: 14.0인치(356mm) 너비: 19.0인치(482.2mm) 길이: 35.3인치(897.1mm) |
| 작동 온도 | 5~30°C (41~86°F) |
NVIDIA DGX SuperPOD
고유한 AI 수요를 위한 맞춤형 시스템
NVIDIA DGX SuperPOD™는 가장 까다로운 AI 학습 및 추론 워크로드를 위한 민첩하고 확장 가능한 성능을 갖춘 선도적인 AI 인프라를 제공합니다. NVIDIA DGX™ 플랫폼 에서 NVIDIA Blackwell 기반 컴퓨팅 옵션을 선택할 수 있는 DGX SuperPOD는 단순한 하드웨어의 집합이 아니라, 업계 최고의 컴퓨팅, 스토리지, 네트워킹, 소프트웨어 및 인프라 관리 기능을 모두 포함하는 풀스택 데이터센터 플랫폼으로, 서로 연동하여 대규모 환경에서 최대 성능을 제공하도록 최적화되어 있습니다.
세계 최초의 턴키 AI 데이터 센터
풀스택 AI 인프라
즉시 실행할 수 있는 턴키 AI 슈퍼컴퓨터는
고성능 컴퓨팅, 네트워킹, 스토리지 및
소프트웨어 통합을 통해 최적화된 설계를
제공합니다
개발자 생산성 극대화
엔터프라이즈급 클러스터 및 워크로드 관리,
컴퓨팅, 스토리지 및 네트워크 인프라를
가속화하는 라이브러리와 AI 워크로드에
최적화된 운영 체제를 포함합니다.
테스트 및 검증된 솔루션
DGX SuperPOD
실제 엔터프라이즈 AI 워크로드를 사용하여
광범위한 테스트를 거쳐 가장 극한까지
확장하였으므로 애플리케이션 성능에 대해
걱정하실 필요가 없습니다.
AI 및 인프라 전문성 및 서비스
인프라 수명 주기 전반에 걸쳐 지침과 지원을
제공하며, 풀스택을 포함한 전문가를
이용하여 AI 워크로드를 최고 성능으로
실행할 수 있도록 지원합니다.
NVIDIA DGX BasePod
엔터프라이즈 AI 팩토리를 위한 인프라 토대
AI는 헬스케어에서 제조, 금융 서비스에 이르는 모든 산업 분야의 주요 업무용 사용 사례를 지원합니다. NVIDIA DGX™ 플랫폼의 일부로서 NVIDIA DGX BasePOD™는 기업이 AI 인프라를 구축하고 확장할 수 있는 레퍼런스 아키텍처를 제공합니다.
NVIDIA DGX BasePOD로 주요 업무용 AI 사용 사례 지원
NVIDIA는 기업이 엔터프라이즈에 가장 중요한 AI 사용 사례를 배포하는 것을 더 쉽고 빠르며 비용 효율적으로 만들었습니다.
NVIDIA DGX BasePOD 레퍼런스 아키텍처의 성능, 확장성 및 관리 용이성과 NVIDIA AI Enterprise 소프트웨어 제품군의 업계 맞춤형
소프트웨어 및 도구를 결합하여 기업은 이 검증된 플랫폼을 기반으로 자체 AI 우수 센터를 구축할 수 있습니다.
헬스케어 및 생명과학
이미지 주석을 가속화하고, 게놈
시퀀싱 워크플로우를 가속화하고,
연구 혁신을 촉진하는 AI
애플리케이션을 만드세요.
금융 서비스
대화형 AI, 알고리즘 트레이딩,
사기 감지 등 임무 수행에 중요한
AI 사용 사례를 배포합니다.
에너지
시뮬레이션을 통해 우물 계획을
최적화하고, AI 기반 컴퓨터
비전으로 운영을 개선하고,
재생 에너지 생산을 예측합니다.
통신
AI를 활용하여 고객 경험을 개선하고,
복잡한 네트워크 운영을 최적화하고,
데이터에서 비즈니스 통찰력을 추출하여
운영을 최적화하세요.
대규모 언어 모델 (LLM)
일상적인 작업의 자동화부터 창의적인
콘텐츠 생성까지, 귀하의
산업에 맞는 생성적 AI 모델을
빠르게 훈련하고 맞춤화하세요.