DGX GB200 NV72
컴퓨팅의 새로운 시대를 여는 Blackwell 수냉식 랙 스케일 아키텍처
NVIDIA GB200 NVL72는 NVIDIA® NVLink®가 연결된 수냉식 랙 스케일 아키텍처로
Grace CPU 36개와 Blackwell GPU 72개를 연결합니다.
NVIDIA GB200 NVL72의 핵심 구성 요소인 GB200 Grace Blackwell 슈퍼칩은
두 개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA® NVLink®-C2C 인터커넥트를
사용하여 두 개의 Blackwell GPU에 NVIDIA Grace CPU를 연결합니다.
NVIDIA GB200 NVL72는 차세대 Tensor 코어로 마이크로스케일링 형식을 새롭게 도입하여
정확도를 높이고 처리량을 늘렸으며, 방대한 용량의 단일 GPU로 사용되기 때문에
조 단위 파라미터 대규모 언어 모델(LLM)에서도 30배 빠른 실시간 추론 속도를 자랑합니다.
NVIDIA GB200 NVL72는 NVIDIA® NVLink®가 연결된 수냉식 랙 스케일 아키텍처로
Grace CPU 36개와 Blackwell GPU 72개를 연결합니다.
NVIDIA GB200 NVL72의 핵심 구성 요소인 GB200 Grace Blackwell 슈퍼칩은
두 개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA® NVLink®-C2C 인터커넥트를
사용하여 두 개의 Blackwell GPU에 NVIDIA Grace CPU를 연결합니다.
NVIDIA GB200 NVL72는 차세대 Tensor 코어로 마이크로스케일링 형식을 새롭게 도입하여
정확도를 높이고 처리량을 늘렸으며, 방대한 용량의 단일 GPU로 사용되기 때문에
조 단위 파라미터 대규모 언어 모델(LLM)에서도 30배 빠른 실시간 추론 속도를 자랑합니다.
NVIDIA GB200 NV72
❯ NVIDIA Grace CPU 36개 탑재
❯ NVIDIA Blackwell GPU 72개 탑재
❯ 최대 13.5TB의 HBM3e 지원
❯ 최대 30.5TB의 고속 액세스 메모리
❯ NVLINK 도메인:
- 초당 130테라바이트(TB/s)의 저지연 GPU 통신
- 최대 17테라바이트(TB)의 LPDDR5X 메모리 (오류 보정 코드 포함)
LLM 추론
GB200 NVL72는 2세대 트랜스포머 엔진으로 FP4 AI를 구현했으며, 여기에 5세대 NVLink까지 결합되면 조 단위 파라미터
언어 모델의 실시간 추론 성능이 30배 더 빨라집니다. 또한 GB200 NVL72는 방대한 용량의 단일 72-GPU 랙에서 NVLink와
수냉 방식을 사용하여 통신 병목현상도 해결할 수 있습니다.
LLM 훈련
GB200 NVL72는 더욱 빨라진 2세대 트랜스포머 엔진이 탑재되어 FP8 정밀도를 구현할 뿐만 아니라 대규모 언어 모델의
훈련 속도가 무려 4배나 더 빠릅니다. 이러한 성능은 5세대 NVLink로 한층 더 향상되어 초당 1.8테라바이트(TB/s)의 GPU간
양방향 인터커넥트, InfiniBand 네트워킹, NVIDIA Magnum IO 소프트웨어를 제공합니다.
에너지 효율이 높은 인프라
수냉식 GB200 NVL72 랙은 컴퓨팅 밀도를 높이고, 사용 공간을 줄이는 데 유용할 뿐만 아니라 NVLink 도메인 아키텍처를 통해
대역폭이 높고 지연 시간이 낮은 GPU 통신을 지원합니다. GB200은 NVIDIA H100 공냉식 인프라와 비교하면 동일한 컴퓨팅 파워로
25배 빠른 성능을 자랑하는 동시에 물 사용량도 줄일 수 있습니다.
데이터 처리
데이터베이스는 대용량의 엔터프라이즈 데이터를 처리하고 분석하는 데 매우 중요한 역할을 합니다.
GB200은 NVIDIA Blackwell 아키텍처에서 고대역폭 메모리 성능, NVLink-C2C, 전용 압축해제 엔진을 이용하여 CPU와 비교했을 때
주요 데이터베이스 쿼리의 속도를 18배까지 높여 TCO를 5배 절감합니다.
NVIDIA DGX B200
훈련, 미세 조정 및 추론을 위한 통합 AI 플랫폼
NVIDIA DGX™ B200은 NVIDIA Blackwell GPU 및 고속 상호 연결 기술을 통해
생성형 AI의 새로운 장을 여는 통합 AI 플랫폼입니다.
8개의 Blackwell GPU가 탑재되어 1.4TB의 GPU 메모리와 초당 64테라바이트(TB/s)의
메모리 대역폭으로 독보적인 생성형 AI 성능을 제공하는 DGX B200은 모든 엔터프라이즈의
AI 워크로드를 처리할 수 있도록 특별히 설계되었습니다.
NVIDIA DGX B200를 이용하는 엔터프라이즈의 개발자는 워크플로 가속화를 지원하는
단일 통합 플랫폼을 활용할 수 있습니다. NVIDIA DGX B200는 차세대 생성형 AI의
강력한 기능을 통해 엔터프라이즈가 일상 운영과 고객 경험에 AI를 결합할 수 있도록 하며,
거대 언어 모델, 추천 시스템, 챗봇 등 다양한 워크로드를 처리할 수 있어
AI혁신을 가속화하려는 기업에게 이상적입니다.
훈련, 미세 조정 및 추론을 위한 통합 AI 플랫폼
NVIDIA DGX™ B200은 NVIDIA Blackwell GPU 및 고속 상호 연결 기술을 통해
생성형 AI의 새로운 장을 여는 통합 AI 플랫폼입니다.
NVIDIA DGX B200를 이용하는 엔터프라이즈의 개발자는 워크플로 가속화를 지원하는
단일 통합 플랫폼을 활용할 수 있습니다. NVIDIA DGX B200는 차세대 생성형 AI의
강력한 기능을 통해 엔터프라이즈가 일상 운영과 고객 경험에 AI를 결합할 수 있도록 하며,
거대 언어 모델, 추천 시스템, 챗봇 등 다양한 워크로드를 처리할 수 있어
AI혁신을 가속화하려는 기업에게 이상적입니다.
NVIDIA DGX B200
❯ 8개의 NVIDIA Blackwell GPU 탑재
❯ 1.4TB의 GPU 메모리 공간
❯ 72 페타플롭스의 훈련 성능
❯ 144 페타플롭스의 추론 성능
❯ NVIDIA 네트워킹
❯ 듀얼 5세대 Intel® Xeon® Scalable 프로세서
❯ NVIDIA DGX BasePOD 및 NVIDIA DGX SuperPOD의 기반
❯ NVIDIA AI Enterprise 및 NVIDIA Base Command™ 소프트웨어 포함
개발에서 배포까지의 파이프라인을 위한 단일 플랫폼
NVIDIA DGX B200를 이용하는 엔터프라이즈의 개발자는 워크플로 가속화를 지원하는 단일 통합 플랫폼을 활용할 수 있습니다.
DGX B200는 차세대 생성형 AI의 강력한 기능을 통해 엔터프라이즈가 일상 운영과 고객 경험에 AI를 결합할 수 있도록 합니다.
강력한 AI성능/p>
혁신적인 NVIDIA Blackwell 아키텍처의 발전을 기반으로 하는 DGX B200 은 DGX H100 대비 3배의 훈련 성능과
15배의 추론 성능을 제공합니다. NVIDIA DGX POD ™ 참조 아키텍처의 기반인 DGX B200은 NVIDIA DGX BasePOD™ 및
NVIDIA DGX SuperPOD™에 대한 고속 확장성을 제공하여 턴키 AI 인프라 솔루션에서 최고의 성능을 제공합니다.
입증된 인프라 표준
DGX B200은 완전하게 최적화된 하드웨어 및 소프트웨어 플랫폼으로, 완전한 NVIDIA AI 소프트웨어 스택, 에코시스템,
NVIDIA 전문 서비스의 전문가 조언이 포함되어 있어 AI를 이용해 거대하고 복잡한 비즈니스 문제를 해결하는 데 도움을 줍니다.
NVIDIA Base Command의 지원
NVIDIA Base Command는 DGX 플랫폼을 지원하여 엔터프라이즈급 오케스트레이션 및 클러스터 관리, 컴퓨팅,
스토리지 및 네트워크 인프라를 가속화하는 라이브러리, AI 워크로드에 최적화된 운영 체제를 포함하는 입증된 플랫폼을
이용해 DGX 인프라에 잠재된 가능성을 최대한 구현할 수 있습니다.
또한 DGX 인프라는 AI 개발 및 배포 간소화를 위해 최적화된 소프트웨어 제품군인 NVIDIA AI Enterprise를 포함합니다.
NVIDIA DGX H200
비즈니스 혁신과 최적화를 지원하는 AI 인프라의 표준
DGX H200은 NVIDIA가 자랑하는 DGX 플랫폼을 구성할 뿐만 아니라
NVIDIA DGX SuperPOD 와 DGX BasePOD 를 기반으로 개발 되었으며,
획기적인 NVIDIA H200 Tensor 코어 GPU와 Intel® Xeon® 플래티넘 프로세서까지 탑재되어
AI의 성장 동력이라고 해도 과언이 아닙니다.
DGX H200은 AI 처리량을 극대화하도록 설계되어 기업에게 매우 정교하고, 체계적이고,
확장 가능한 플랫폼을 제공하기 때문에 자연어 처리, 추천 시스템, 데이터 분석 문제를 해결하는 데
효과적입니다.
또한 온프레미스 환경에서 사용할 수 있으며, 광범위한 액세스 및 배포 옵션도 제공하여
고도의 AI 문제를 해결하는데 필요한 성능을 제공합니다.
비즈니스 혁신과 최적화를 지원하는 AI 인프라의 표준
DGX H200은 NVIDIA가 자랑하는 DGX 플랫폼을 구성할 뿐만 아니라
NVIDIA DGX SuperPOD 와 DGX BasePOD 를 기반으로 개발 되었으며,
획기적인 NVIDIA H200 Tensor 코어 GPU와 Intel® Xeon® 플래티넘 프로세서까지 탑재되어
AI의 성장 동력이라고 해도 과언이 아닙니다.
DGX H200은 AI 처리량을 극대화하도록 설계되어 기업에게 매우 정교하고, 체계적이고,
확장 가능한 플랫폼을 제공하기 때문에 자연어 처리, 추천 시스템, 데이터 분석 문제를 해결하는 데 효과적입니다.
또한 온프레미스 환경에서 사용할 수 있으며, 광범위한 액세스 및 배포 옵션도 제공하여
고도의 AI 문제를 해결하는데 필요한 성능을 제공합니다.
NVIDIA DGX H200
❯ 1,128GB의 GPU 메모리를 탑재한 NVIDIA H200 GPU 8개
GPU당 NVIDIA® NVLink® 연결 18개, 900GB/s의 GPU 간 양방향 대역폭
❯ NVIDIA NVSwitch™ 4개
GPU 간 양방향 대역폭 7.2TB/s, 이전 세대 대비 1.5배 증가
❯ NVIDIA ConnectX®-7 400Gb/s 네트워크 인터페이스 10개
1TB/s의 최대 양방향 네트워크 대역폭
❯ 듀얼 Intel Xeon Platinum 8480C 프로세서,
총 112개 코어 및 2TB 시스템 메모리
초고도 AI 작업을 위한 강력한 CPU
❯ 30TB NVMe SSD
최대 성능을 위한 고속 스토리지
AI Center of Excellence
세계 최초의 특수 목적 AI 인프라 포트폴리오를 구성하는 DGX H200은 기업의 AI Center of Excellence의 핵심입니다.
또한 완전히 최적화된 하드웨어/소프트웨어 플랫폼으로 새로운 NVIDIA AI 소프트웨어 솔루션을 위한
NVIDIA Enterprise Support, 에코시스템, NVIDIA 전문 서비스를 통한 전문가 자문 등이 포함되어 다양하고 복잡한
비즈니스 문제를 AI를 활용해 해결할 수 있습니다.
대규모 AI를 가로막는 장애물 해결
NVIDIA DGX H200은 NVIDIA H200 Tensor 코어 GPU 8개와 Intel Xeon 프로세서 2개를 탑재하여 AI 규모 및 성능의 한계를
허물었습니다. 또한 32 petaFLOPS의 AI 성능, NVIDIA ConnectX®-7 스마트 네트워크 인터페이스 카드(SmartNICs)가 탑재되어
DGX A100과 비교했을 때 2배 더 빨라진 네트워킹 속도, 그리고 NVIDIA DGX SuperPOD와 DGX BasePOD를 위한
고속 확장성을 제공합니다. 그 밖에도 1,128GB의 GPU 메모리로 한층 더 강력해져 생성형 AI, 자연어 처리, 딥 러닝 추천 모델 등
아무리 크고 복잡한 AI 훈련 및 추론 작업도 간단히 처리합니다.
NVIDIA Base Command 탑재
NVIDIA Base Command는 DGX 플랫폼에 탑재되어 기업들이 혁신적인 NVIDIA 소프트웨어를 최대한 이용할 수 있도록 지원합니다.
또한 AI 개발 및 배포를 간소화할 수 있는 소프트웨어 제품군을 제공하는 NVIDIA AI Enterprise는 DGX 시스템에 최적화되어
있습니다. NVIDIA NIM 추론 마이크로서비스는 속도, 사용 편의성, 관리 용이성, 보안 기능을 제공하여 모델 배포를 최적화합니다.
기업의 요건을 고려한 최고의 인프라
DGX H200은 직접 관리를 위해 온프레미스 환경에 설치할 수도 있고, NVIDIA DGX-Ready 데이터 센터에서
코로케이션(co-location) 설치도 가능하며, NVIDIA 인증 서비스 공급업체를 통한 액세스도 지원합니다.
NVIDIA DGX H100
세계적으로 입증된 엔터프라이즈 AI
NVIDIA DGX™ H100으로 혁신과 최적화의 영역을 확대하세요.
NVIDIA의 전설적인 DGX 시스템의 최신 버전이자 NVIDIA DGX SuperPOD™의 토대인 DGX H100은
NVIDIA H100 Tensor 코어 GPU의 획기적인 성능으로 가속화된 AI 강자입니다.
NVIDIA의 전설적인 DGX 시스템의 최신 버전이자 NVIDIA DGX SuperPOD™의 토대인 DGX H100은
NVIDIA H100 Tensor 코어 GPU의 획기적인 성능으로 가속화된 AI 강자입니다.
AI 혁신 센터의 초석
DGX H100은 세계 최초 특수 목적 AI 인프라의 4세대로서
새로운 NVIDIA AI 소프트웨어 솔루션 제품군 지원, 풍부한 서드파티 지원 에코시스템, NVIDIA 전문 서비스에서 제공하는
전문가 자문이 포함된 고도로 최적화된 하드웨어와 소프트웨어 플랫폼을 제공합니다.
대규모로 AI의 한계를 뛰어넘다
NVIDIA DGX H100은 NVIDIA DGX SuperPOD를 위한 6배 더 빠른 성능, 2배 더 빠른 네트워킹, 고속 확장성을 지원합니다.
차세대 아키텍처는 자연어 처리 및 딥 러닝 추천 모델과 같은 초대규모 워크로드에서 그 강력함을 드러냅니다.
사용자 요건을 충족하는 동급 최고의 인프라
DGX H100은 직접 관리할 수 있는 온프레미스 설치는 물론, NVIDIA DGX 지원 데이터센터에 공동 배치,
NVIDIA DGX Foundry에 임대 및 NVIDIA 인증 관리형 서비스 공급업체를 통한 접근도 가능합니다.
또한 조직은 DGX 지원 라이프사이클 관리를 통해 최첨단 배포를 유지할 수 있는 예측 가능한 금융 모델을 확보할 수 있습니다.
NVIDIA DGX A100
NVIDIA A100 기반의 세계 최초 AI 시스템
NVIDIA DGX™ A100은 모든 AI 워크로드를 위한 유니버셜 시스템으로, 세계 최초의
5페타플롭스 AI 시스템을 통해 유례없는 컴퓨팅 밀도, 성능, 유연성을 제공합니다.
NVIDIA A100 Tensor 코어 GPU를 탑재한 DGX A100은 기업이 NVIDIA AI 전문가의
직접적인 지원과 함께 훈련에서 추론, 분석에 이르기까지 배포하기 쉬운
통합 AI 인프라를 구축할 수 있게 합니다.
NVIDIA DGX ™ A100은 데이터 사이언스 팀을 위한 AI 슈퍼컴퓨팅 으로, 세계 최초의 5페타플롭스 AI 시스템을 통해 유례없는 컴퓨팅 밀도, 성능 및 유연성을 제공합니다.
NVIDIA DGX A100은 세계에서 가장 최첨단의 가속기인 NVIDIA A100 Tensor 코어 GPU를 탑재하여 엔터프라이즈 기업들이 NVIDIA AI 전문가의 직접적인 지원과 함께 트레이닝에서 추론, 분석에 이르기까지 배포하기 쉬운 통합 AI 인프라를 구축할 수 있게 합니다.
모든 AI 워크로드를 위한 유니버설 시스템
분석에서 트레이닝과 추론에 이르기까지 NVIDIA DGX A100은 모든 AI 인프라를 위한 유니버설 시스템입니다.
컴퓨팅 밀도에 새로운 기준을 제시합니다.
6U 폼 팩터에 5페타플롭스의 AI 성능을 갖추고, 레거시 인프라 사일로를 모든 AI 워크로드에 사용 가능한 단일 플랫폼으로 대체합니다.
DGXperts: AI 전문가의 지원
NVIDIA DGXperts는 지난 10년간 쌓은 풍부한 경험으로 고객이 DGX 투자 가치를 극대화하도록 지원하는
16,000명 이상의 AI 전문가로 구성된 글로벌 팀입니다.
가장 빠른 솔루션 구축
NVIDIA DGX A100은 NVIDIA A100 Tensor 코어 GPU를 탑재한 세계 최초의 시스템입니다.
8개의 A100 GPU와 최대 640GB의 GPU 메모리 통합 를 탑재한 이 시스템은 전례없는 가속을 제공하며 NVIDIA CUDA-X™ 소프트웨어와
엔드 투 엔드 NVIDIA 데이터센터 솔루션 스택에 모두 완전히 최적화되어 있습니다.
전례없는 데이터 센터 확장성
NVIDIA DGX A100은 최대 500GB/s의 양방향 대역폭으로 작동하는 내장형 Mellanox 네트워킹을 탑재합니다.
이는 DGX A100을 엔터프라이즈의 확장 가능한 AI 인프라 청사진인 NVIDIA DGX SuperPOD™와 같은 대규모 AI 클러스터의
기초 빌딩 블록으로 만드는 많은 기능 중 하나입니다.
❶ 총 640GB의 GPU 메모리를 탑재한 NVIDIA A100 GPU 8개
GPU당 NVLink 12개 GPU 간 대역폭 600GB/s
❷ 세대 NVSWITCH 6개
양방향 대역폭 4.8TB/s 이전 세대보다 2배 더 증가
❸ Mellanox ConnectX-6 VPI HDR InfiniBand/200GB 이더넷 10개
최대 500GB/s의 양방향 대역폭
❹ 듀얼 64코어 AMD CPU 및 2TB 시스템 메모리
3.2배 더 많은 코어로 가장 집약적인 AI 작업 처리
❺ 30 TB GEN4 NVME SSD
최대 50GB/s의 대역폭 Gen3 NVME SSD보다 2배 빠른 속도
NVIDIA DGX SuperPOD
세계 최초의 턴키 AI 데이터센터 솔루션
NVIDIA DGX SuperPOD™는 IT가 모든 사용자와 워크로드에 저하 없는 성능을 제공할 수 있도록 하는 AI 데이터센터 인프라 플랫폼 입니다.
DGX SuperPOD는 업계에서 입증된 결과와 함께 가장 까다로운 AI 및 고성능 컴퓨팅(HPC) 워크로드에 대해 선도적인 가속 인프라와 민첩하고 확장 가능한 성능을 제공합니다.
NVIDIA DGX SuperPOD™는 IT가 모든 사용자와 워크로드에 저하 없는 성능을 제공할 수 있도록 하는 AI 데이터센터 인프라 플랫폼 입니다.
NVIDIA 데이터센터 둘러보기
NVIDIA 데이터센터에서 TOP500 상위 계층의
AI 슈퍼컴퓨터와 DGX SuperPOD 래퍼런스 아키텍처에
제공한 것과 동일한 청사진에 기반한 Green500 슈퍼컴퓨팅
리스트를 살펴보세요.
NVIDIA 데이터센터에서 TOP500 상위 계층의 AI 슈퍼컴퓨터와 DGX SuperPOD 래퍼런스 아키텍처에 제공한 것과 동일한 청사진에 기반한 Green500 슈퍼컴퓨팅 리스트를 살펴보세요.
테스트를 거쳐 입증된 DGX superPOD
DGX SuperPOD는 단순히 NVIDIA의 방식으로 만든 AI 인프라가 아닙니다.
모든 구현 사항은 NVIDIA의 전용 수락 클러스터에서 검증됩니다.
고객의 디자인이 미리 복제되어 성능 결과의 모음이 생성됩니다.
그러므로 DGX SuperPOD가 현장에 배포되면 정확히 의도한 대로 실행됩니다.
항상 발전하는 소프트웨어
저희 엔지니어들은 DGX SuperPOD를 지원하는 소프트웨어를 항상 혁신 및 개선하고 있습니다.
저희는 고객이 요청한 날짜보다 항상 더 빠르고 효율적으로 시스템이 실행되도록 지속적으로 업데이트해드립니다.
DGX SuperPOD는 프로비저닝 및 라이프사이클 관리, 모니터링, 텔레메트리, 기록, 알림, 스케줄링을 위한
동급 최고의 인프라 관리 소프트웨어인 NVIDIA Base Command Manager를 선보입니다.
NVIDIA에서 수천 개의 시스템을 관리하기 위해 사용하는 똑같은 소프트웨어입니다.
전담 전문가 및 서비스
DGX SuperPOD에는 전담 전문가와 설치부터 인프라 관리, 워크로드 확장과
간소화된 프로덕션 AI 전체에 이르는 넓은 범위의 전문 서비스가 포함됩니다.
귀하의 IT 팀원들에게 SuperPOD를 관리하는 방법을 교육해 드리니 운영 실력 차에 대해서는 걱정하실 필요가 없습니다.
또한 DGX 기반이기 때문에 AI에 능숙한 실무자들로 이루어진 세계 최대 팀 DGXpert에 에 바로 연결할 수 있는 전용 액세스 권한이 주어집니다.
엔터프라이즈를 위한 완전한 라이프사이클 솔루션
NVIDIA DGX SuperPOD는 원활하게 제공되는 동급 최고의 컴퓨팅, 소프트웨어 도구, 전문 지식, 지속적 혁신을 통해
인프라 대신 인사이트에 집중하고 싶어 하는 조직에 턴키 AI 데이터센터 솔루션을 제공합니다.
모든 엔터프라이즈는 비즈니스에 AI를 적용함으로써 플랫폼 복잡성과 씨름할 필요 없이 판도를 뒤흔들 애플리케이션을 만들 수 있습니다.
NVIDIA DGX BasePOD
NVIDIA는 전 세계적으로 현장에서 입증된 AI 배포지식과
NVIDIA DGX SATURNV를 모든 엔터프라이즈가 활용할 수 있는
복제 가능하고 검증된 디자인으로 구축한 경험을 통해 독보적인 입지를 굳히고 있습니다.
NVIDIA DGX BasePOD는 NVIDIA DGX™를 기반으로 구축된 통합 AI 인프라 디자인에
컴퓨팅, 네트워킹, 스토리지, 전력, 냉각 등의 모범 사례를 한데 모은 래퍼런스 아키텍처입니다.
NVIDIA는 전 세계적으로 현장에서 입증된 AI 배포지식과 NVIDIA DGX SATURNV를 모든 엔터프라이즈가 활용할 수 있는
복제 가능하고 검증된 디자인으로 구축한 경험을 통해 독보적인 입지를 굳히고 있습니다.
