Servidores dedicados NVIDIA A100 H100 empresariais

Ambas são aceleradores de data center construídos para aritmética em modelos grandes: memória HBM empilhada com ECC, Tensor Cores visados pelos principais frameworks e GPU Multi-Instância para dividir uma placa entre seus próprios trabalhos. A A100 é Ampere com Tensor Cores de terceira geração; a H100 é Hopper com Tensor Cores de quarta geração e o Transformer Engine para precisão FP8. Nenhuma das placas possui codificador de vídeo por hardware, portanto nenhuma é a escolha certa para transcodificação.

Como as placas PCIe que instalamos, a A100 tem 6.912 núcleos CUDA, 40 GB de HBM2 a 1.555 GB/s ou 80 GB de HBM2e a 1.935 GB/s, consome 250 ou 300 W e se conecta em PCIe Gen 4. A H100 tem 80 GB de HBM2e a 2.039 GB/s, consome 350 W e se conecta em PCIe Gen 5. Os números da H100 citados em outros lugares com memória HBM3 descrevem o módulo SXM5, que precisa de uma placa-base HGX que nenhum dos nossos servidores usa.

Dentro de uma máquina, cada placa pode ser particionada em até sete instâncias isoladas de GPU Multi-Instância, cada uma com sua própria computação, memória e cache. Ambas as placas também possuem um conector de ponte NVLink, mas nenhuma ponte está no formulário de pedido: duas placas em um servidor se comunicam via PCIe, a menos que uma ponte seja cotada, então pergunte antes de fazer o pedido se o trabalho precisar de uma. Entre servidores, o link é a porta Ethernet de cada máquina, e as configurações multi-GPU e multi-nó têm sua própria página.

Uma máquina já montada em rack com a placa é entregue em cerca de 30 minutos após a verificação do pagamento. Quando instalamos uma placa que temos em estoque, leva de 4 a 24 horas; uma placa que precisamos comprar leva de cinco a dez dias úteis, ou de dez a quinze quando o acelerador está sob alocação, e você é informado antes de pagar.