La piattaforma di calcolo IA leader mondiale.
IA, simulazionin complesse e set di dati massicci richiedono più GPU con connessioni estremamente veloci e stack software completamente accelerato. La piattaforma di supercomputing IA NVIDIA HGX™ mette insieme tutta la potenza delle GPU NVIDIA, NVLink®, il networking di NVIDIA e stack software con IA completamente ottimizzata e calcolo ad alte prestazioni (HPC) per fornire le massime prestazioni applicative e accelerare i tempi di analisi.
NVIDIA HGX B200 e HGX B100 integrano le GPU NVIDIA Blackwell Tensor Core con interconnessioni ad alta velocità per spingere il data center nella nuova era del computing accelerato e dell'IA generativa. Come piattaforma scale-up accelerata con prestazioni di inferenza fino a 15 volte superiori rispetto alla generazione precedente, i sistemi HGX basati su Blackwell sono progettati per i carichi di lavoro di IA generativa, analisi dei dati e HPC più esigenti.
NVIDIA HGX include opzioni di networking avanzate, a velocità che raggiungono i 400 gigabit al secondo (Gb/s), grazie a NVIDIA Quantum-2 InfiniBand e Spectrum™-X Ethernet per le massime prestazioni con l'IA. La HGX include anche le unità di elaborazione dati (DPU) NVIDIA® BlueField®-3 per abilitare il cloud networking, lo storage componibile, la sicurezza zero-trust e l'elasticità di calcolo della GPU in cloud IA iperscalabili.
Prestazioni previste soggette a modifica. Latenza token-to-token (TTL) = 50 millisecondi in tempo reale, latenza primo token (FTL) = 5 s, lunghezza sequenza di input = 32.768, lunghezza sequenza di output = 1.028, 8 GPU NVIDIA HGX™ H100 a otto vie con raffreddamento ad aria vs. 1 GPU HGX B200 a otto vie con raffreddamento ad aria, per il confronto delle prestazioni della GPU.
HGX B200 raggiunge prestazioni in inferenza fino a 15 volte superiori rispetto alla precedente generazione NVIDIA Hopper™ per modelli di grandi dimensioni come GPT-MoE-1.8T. Il Transformer Engine di seconda generazione utilizza la tecnologia personalizzata Blackwell Tensor Core abbinata ai framework innovativi TensorRT™-LLM e Nemo™ per accelerare l'inferenza sui modelli linguistici di grandi dimensioni (LLM) e MoE (Mixture-of-Experts).
Prestazioni previste soggette a modifica. Scalabilità 32.768 GPU, cluster 4.096 x HGX H100 a 8 vie con raffreddamento ad aria: rete 400G InfiniBand (IB), cluster 4.096 x 8 vie HGX B200 con raffreddamento ad aria: rete 400G IB.
Il Transformer Engine di seconda generazione, con virgola mobile a 8 bit (FP8) e nuove precisioni, consente un training 3 volte più veloce per modelli linguistici di grandi dimensioni come GPT-MoE-1.8T. Questa innovazione è completata da NVLink di quinta generazione, con 1,8 TB/S di interconnessione GPU-GPU, rete InfiniBand e software NVIDIA Magnum IO™ . Insieme, queste soluzioni garantiscono una scalabilità efficiente per le imprese e i cluster di GPU computing di grandi dimensioni.
Il data center è la nuova unità di calcolo e la rete svolge un ruolo fondamentale per la scalabilità delle prestazioni applicative. Insieme a NVIDIA Quantum InfiniBand, la HGX offre prestazioni ed efficienza di livello mondiale e assicura il pieno utilizzo delle risorse di calcolo.
Per i data center cloud IA che impiegano reti Ethernet, la HGX è l'opzione ideale per l'uso con la piattaforma di rete NVIDIA Spectrum-X, che alimenta le massime prestazioni IA su Ethernet. Con switch NVIDIA Spectrum™-X e DPU BlueField-3, offre risultati coerenti e prevedibili per migliaia di processi IA simultanei in ogni ordine di grandezza, grazie all'utilizzo ottimale delle risorse e all'isolamento delle prestazioni. Inoltre, Spectrum-X abilita la multi-tenancy cloud avanzata e la sicurezza zero-trust. Come design di riferimento, NVIDIA ha progettato Israel-1, un supercomputer IA generativo iperscalabile costruito con server Dell PowerEdge XE9680 basati sulla piattaforma NVIDIA HGX a otto GPU, DPU BlueField-3e switch Spectrum-X.
Piattaforma NVIDIA Quantum-2 InfiniBand: Switch Quantum-2, adattatore ConnectX-7, DPU BlueField-3 |
Piattaforma NVIDIA Spectrum-X: Switch Spectrum-4, BlueField-3 SuperNIC |
Piattaforma NVIDIA Spectrum Ethernet: Switch Spectrum, adattatore ConnectX, DPU BlueField |
|
---|---|---|---|
Training su deep learning | Ottimale | Migliore | Standard |
Simulazione scientifica | Ottimale | Migliore | Standard |
Analisi dei dati | Ottimale | Migliore | Standard |
Inferenza su deep learning | Ottimale | Migliore | Standard |
NVIDIA HGX è disponibile in schede di base singole con quatto o otto GPU H200 o H100 oppure con otto GPU Blackwell. Questa potente combinazione di hardware e software pone le basi per la piattaforma di supercomputing IA definitiva.
HGX B200 | HGX B100 | |
---|---|---|
GPUs | HGX B200 8-GPU | HGX B100 8-GPU |
Form factor | 8x NVIDIA B200 SXM | 8x NVIDIA B100 SXM |
FP4 Tensor Core | 144 PFLOPS | 112 PFLOPS |
FP8/FP6 Tensor Core | 72 PFLOPS | 56 PFLOPS |
INT8 Tensor Core | 72 POPS | 56 POPS |
FP16/BF16 Tensor Core | 36 PFLOPS | 28 PFLOPS |
TF32 Tensor Core | 18 PFLOPS | 14 PFLOPS |
FP32 | 640 TFLOPS | 480 TFLOPS |
FP64 | 320 TFLOPS | 240 TFLOPS |
FP64 Tensor Core | 320 TFLOPS | 240 TFLOPS |
Memoria | Fino a 1,5TB | Fino a 1,5TB |
NVIDIA NVLink | Quinta generazione | Quinta generazione |
NVIDIA NVSwitch™ | Quarta generazione | Quarta generazione |
Banda NVSwitch GPU-GPU | 1,8 TB/s | 1,8 TB/s |
Banda totale aggregata | 14,4 TB/s | 14,4 TB/s |
* HGX H200 | ||||
---|---|---|---|---|
4-GPU | 8-GPU | |||
GPUs | HGX H200 4-GPU | HGX H200 8-GPU | ||
Fattore di forma | 4x NVIDIA H200 SXM | 8x NVIDIA H200 SXM | ||
FP8/FP6 Tensor Core | 16 PFLOPS | 32 PFLOPS | ||
INT8 Tensor Core | 16 POPS | 32 POPS | ||
FP16/BFLOAT16 Tensor Core | 8 PFLOPS | 16 PFLOPS | ||
TF32 Tensor Core | 4 PFLOPS | 8 PFLOPS | ||
FP32 | 270 TFLOPS | 540 TFLOPS | ||
FP64 | 140 TFLOPS | 270 TFLOPS | ||
FP64 Tensor Core | 270 TFLOPS | 540 TFLOPS | ||
Memoria | Fino a 564 GB | Fino a 1.1 TB | ||
NVLink | Quarta generazione | Quarta generazione | ||
NVSwitch | N/D | Terza generazione | ||
Banda GPU-GPU NVSwitch | N/D | 900GB/s | ||
Banda totale aggregata | 3,6 TB/s | 7,2 TB/s |
* HGX H100 | ||||
---|---|---|---|---|
4-GPU | 8-GPU | |||
GPUs | HGX H100 4-GPU | HGX H100 8-GPU | ||
Fattore di forma | 4x NVIDIA H100 SXM | 8x NVIDIA H100 SXM | ||
HPC and AI compute (FP64/TF32/FP16/FP8/INT8)* | 268TF/4PF/8PF/16PF/16 POPS | 535TF/8PF/16PF/32PF/32 POPS | ||
FP8/FP6 Tensor Core | 16 PFLOPS | 32 PFLOPS | ||
INT8 Tensor Core | 16 POPS | 32 POPS | ||
FP16/BFLOAT16 Tensor Core | 8 PFLOPS | 16 PFLOPS | ||
TF32 Tensor Core | 4 PFLOPS | 8 PFLOPS | ||
FP32 | 270 TFLOPS | 540 TFLOPS | ||
FP64 | 140 TFLOPS | 270 TFLOPS | ||
FP64 Tensor Core | 270 TFLOPS | 540 TFLOPS | ||
Memory | Fino a 320 GB | Fino a 640 GB | ||
NVLink | Quarta generazione | Quarta generazione | ||
NVSwitch | N/D | Terza generazione | ||
NVLink Switch | N/D | N/D | ||
Banda GPU-GPU NVSwitch | N/D | 900GB/s | ||
Banda totale aggregata | 3,6 TB/s | 7,2 TB/s |
* Con densità
Scopri di più sulla GPU NVIDIA H200 Tensor Core.