A plataforma de computação de IA líder mundial.
IA, simulações complexas e conjuntos de dados massivos exigem múltiplas GPUs com interconexões extremamente rápidas e um stack de software totalmente acelerado. A plataforma de supercomputação de IA NVIDIA HGX™ reúne todo o poder das GPUs NVIDIA, NVLink ®, redes NVIDIA e stacks de software de IA e computação de alto desempenho (HPC) totalmente otimizadas para fornecer o mais alto desempenho de aplicações e gerar insights mais rápidos.
A NVIDIA HGX B200 e o HGX B100 integram GPUs NVIDIA Blackwell Tensor Core com interconexões de alta velocidade para impulsionar o data center para uma nova era de computação acelerada e IA generativa. Como uma plataforma de expansão acelerada de primeira linha com até 15 vezes mais desempenho de inferência do que a geração anterior, os sistemas HGX baseados na Blackwell são projetados para as mais exigentes cargas de trabalho de IA generativa, análise de dados e HPC.
O NVIDIA HGX H200 combina GPUs H200 Tensor Corecom interconexões de alta velocidade para oferecer desempenho, escalabilidade e segurança extraordinários para cada data center. Configurações de até oito GPUs oferecem aceleração sem precedentes, com impressionantes 32 petaFLOPS de desempenho para criar a plataforma de servidor de expansão acelerada mais poderosa do mundo para IA e HPC.
Tanto a HGX H200 quanto a HGX H100 incluem opções de rede avançadas, em velocidades de até 400 gigabits por segundo (Gb/s), utilizando NVIDIA Quantum-2 InfiniBand e Spectrum™ -X Ethernet para o mais alto desempenho de IA. HGX H200 e HGX H100 também incluem unidades de processamento de dados (DPUs) NVIDIA® BlueField®-3 para permitir rede na nuvem, armazenamento combinável, segurança de confiança zero e elasticidade de computação de GPU em nuvens de IA em hiperescala.
Desempenho projetado sujeito a alterações. Latência token a token (TTL) = 50 milissegundos ( ms ) em tempo real, latência do primeiro token (FTL) = 5s, comprimento da sequência de entrada = 32.768, comprimento da sequência de saída = 1.028, 8 GPUs NVIDIA HGX™ H100 de oito vias refrigerado vs. 1x HGX B200 de oito vias refrigerado a ar, por comparação de desempenho da GPU.
A HGX B200 alcança desempenho de inferência até 15 vezes maior em relação à geração anterior do NVIDIA Hopper™ para modelos massivos como o GPT-MoE-1.8T. O Transformer Engine de segunda geração usa tecnologia personalizada Blackwell Tensor Core combinada com inovações TensorRT™ -LLM e Framework Nemo™ para acelerar a inferência para grandes modelos de linguagem(LLMs) e modelos de mistura de especialistas ( MoE ).
Desempenho projetado sujeito a alterações. Escala de 32.768 GPU, cluster refrigerado a ar HGX H100 de oito vias 4.096x: rede InfiniBand (IB) 400G, cluster refrigerado a ar HGX B200 de 4.096x 8 vias: rede IB 400G.
O Transformer Engine de segunda geração, com ponto flutuante de 8 bits (FP8) e novas precisões, permite um treinamento notável 3 vezes mais rápido para grandes modelos de linguagem como GPT-MoE-1.8T. Essa inovação é complementada pelo NVLink de quinta geração com 1,8TB/s de interconexão GPU a GPU, rede InfiniBand e software NVIDIA Magnum IO™. Juntos, eles garantem escalabilidade eficiente para empresas e extensos clusters de computação GPU.
O data center é a nova unidade de computação e a rede desempenha um papel fundamental no dimensionamento do desempenho das aplicações nele. Emparelhado com NVIDIA Quantum InfiniBand, a HGX oferece desempenho e eficiência de classe mundial, o que garante a utilização total dos recursos de computação.
Para data centers na nuvem de IA que implantam Ethernet, a HGX é melhor usada com a plataforma de rede NVIDIA Spectrum-X, que proporciona o mais alto desempenho de IA em Ethernet de 400Gb/s. Apresentando switches NVIDIA Spectrum™-4 e DPUs BlueField-3, o Spectrum-X oferece resultados consistentes e previsíveis para milhares de trabalhos simultâneos de IA em todas as escalas por meio da utilização ideal de recursos e isolamento de desempenho. O Spectrum-X permite multilocação avançada na nuvem e segurança de confiança zero. Como design de referência para o NVIDIA Spectrum-X, a NVIDIA projetou o Israel-1, um supercomputador de IA generativa em hiperescala construído com servidores Dell PowerEdge XE9680 baseados na plataforma NVIDIA HGX H200 ou H100 de oito GPUs, DPUs BlueField-3 e Spectrum-4. comuta.
Plataforma NVIDIA Quantum-2 InfiniBand: Switch Quantum-2, Adaptador ConnectX-7, DPU BlueField-3 |
Plataforma NVIDIA Spectrum-X: Switch Spectrum-4, DPU BlueField-3, licença Spectrum-X |
Plataforma Ethernet NVIDIA Spectrum: Switch Spectrum, Adaptador ConnectX, DPU BlueField |
|
---|---|---|---|
Treinamento de Deep Learning | Excelente | Ótimo | Bom |
Simulação Científica | Excelente | Ótimo | Bom |
Análise de Dados | Excelente | Ótimo | Bom |
Inferência de Deep Learning | Excelente | Ótimo | Bom |
NVIDIA HGX está disponível em placas de base únicas com quatro GPUs H200 ou H100 ou oito GPUs H200, H100, B200 ou B100. Essas poderosas combinações de hardware e software estabelecem a base para um desempenho de supercomputação de IA sem precedentes.
HGX B200 | HGX B100 | |
---|---|---|
GPU | 8 GPUs HGX B200 | 8 GPUs HGX B100 |
Formato | 8 NVIDIA B200 SXM | 8 NVIDIA B100SXM |
HPC e IA (FP64/TF32/FP16/FP8/FP4)* | 320TF/18PF/36PF/72PF/144PF | 240TF/14PF/28PF/56PF/112PF |
Memória | Até 1,5 TB | Até 1,5 TB |
NVIDIA NVLink | Quinta geração | Quinta geração |
NVIDIA NVSwitch™ | Quarta geração | Quarta geração |
NVSwitch GPU para GPU | 1,8TB/s | 1,8TB/s |
Largura de Banda Agregada Total | 14,4TB/s | 14,4TB/s |
* HGX H200 | ||||
---|---|---|---|---|
4 GPUs | 8 GPUs | |||
GPU | 4 GPUs HGX H200 | 8 GPUs HGX H200 | ||
Formato | 4 NVIDIA H200 SXM | 8 NVIDIA H200 SXM | ||
HPC e IA (FP64/TF32/FP16/FP8/INT8)* | 268TF/4PF/8PF/16PF/16 POPS | 535TF/8PF/16PF/32PF/32 POPS | ||
Memória | Até 564GB | Até 1,1TB | ||
NVLink | Quarta geração | Quarta geração | ||
NVSwitch | N/D | Terceira geração | ||
NVSwitch GPU para GPU | N/D | 900 GB/s | ||
Largura de Banda Agregada Total | 3,6TB/s | 7,2TB/s |
* HGX H100 | ||||
---|---|---|---|---|
4-GPU | 8-GPU | |||
GPU | 4 GPUs HGX H100 | 8 GPUs HGX H100 | ||
Formato | 4 NVIDIA H100 SXM | 8 NVIDIA H100SXM | ||
HPC e IA (FP64/TF32/FP16/FP8/INT8)* | 268TF/4PF/8PF/16PF/16 POPS | 535TF/8PF/16PF/32PF/32 POPS | ||
Memória | Até 320GB | Até 640GB | ||
NVLink | Quarta geração | Quarta geração | ||
NVSwitch | N/D | Terceira geração | ||
NVLink Switch | N/D | N/D | ||
NVSwitch GPU para GPU | N/D | 900 GB/s | ||
Largura de Banda Agregada Total | 3,6TB/s | 7,2TB/s |
* Com escassez
Saiba mais sobre a GPU NVIDIA H200 Tensor Core.