A100 · H100 · Serveurs GPU NVIDIA

Serveurs dédiés NVIDIA A100 H100 d'entreprise

Serveurs bare metal avec une NVIDIA A100 (40 ou 80 Go) ou une H100 80 Go, toutes deux en cartes d'extension PCIe, pour l'entraînement d'IA, l'inférence et le calcul haute performance. Une machine déjà en rack avec sa carte est livrée en quelques minutes ; toute autre configuration est montée ou commandée, et datée avant que vous ne payiez.

SLA de disponibilité Support entreprise

Spécifications des GPU NVIDIA A100 et H100

Accélérateurs GPU de qualité entreprise conçus pour l'entraînement d'IA, l'inférence et le calcul scientifique.

Comparez les spécifications techniques pour choisir la configuration optimale selon les besoins de votre charge de travail.

NVIDIA A100

Le GPU A100 offre des performances, une évolutivité et une fiabilité exceptionnelles pour les charges d'entraînement et d'inférence d'IA. Bâti sur l'architecture Ampere avec des Tensor Cores avancés pour le calcul accéléré à l'échelle de l'entreprise.

Architecture

Ampere

Mémoire vidéo

40 Go HBM2 ou 80 Go HBM2e

Cœurs CUDA

6 912

Bande passante maximale

1 555 Go/s (40 Go), 1 935 Go/s (80 Go)

Puissance maximale

250 W (40 Go), 300 W (80 Go)

Interface de bus

PCIe Gen 4 x16

Encodeurs vidéo NVENC

Aucun (5 décodeurs NVDEC)

NVIDIA H100

Hopper, la génération qui suit Ampere, dans sa forme de carte d'extension PCIe : la H100 qui s'adapte aux serveurs que nous construisons. Le module SXM5 avec HBM3 se monte sur une carte de base HGX, et aucun de nos châssis n'en accepte, donc ses chiffres ne s'appliquent pas ici.

Architecture

Hopper

Mémoire vidéo

80 Go HBM2e

Bande passante maximale

2 039 Go/s

Puissance maximale

350 W

Interface de bus

PCIe Gen 5 x16

Encodeurs vidéo NVENC

Aucun (7 décodeurs NVDEC)

Infrastructure IA d'entreprise pour les charges exigeantes

Serveurs dédiés NVIDIA A100 et H100 propulsés par les architectures Ampere et Hopper, optimisés pour l'entraînement d'IA à grande échelle, l'inférence de LLM et les applications de calcul scientifique.

Architecture Ampere

Bâtie sur un procédé 7 nm avec 54 milliards de transistors, l'architecture NVIDIA Ampere offre des performances révolutionnaires pour l'entraînement d'IA et les charges HPC.

Mémoire à large bande passante

Mémoire empilée sur chaque carte que nous montons : HBM2 à 1 555 Go/s sur l'A100 40 Go, HBM2e à 1 935 Go/s sur l'A100 80 Go et à 2 039 Go/s sur la H100, toutes avec ECC.

Accélération IA

Les Tensor Cores avancés offrent jusqu'à 20 fois plus de performances que les générations précédentes pour l'entraînement de deep learning et les charges d'inférence.

GPU multi-instance

Partitionnez chaque GPU en jusqu'à sept instances isolées avec des ressources de calcul, de mémoire et de cache dédiées pour une utilisation multi-locataire optimale.

Connectivité NVLink

Les deux cartes portent un connecteur de pont NVLink. Aucun pont n'est sur le formulaire de commande, donc deux cartes dans un même serveur communiquent via PCIe sauf si un pont est devisé ; demandez avant de commander si le travail en a besoin.

Fiabilité entreprise

GPU de qualité centre de données avec mémoire ECC, fonctions RAS avancées et support entreprise pour les déploiements de production critiques.

FAQ sur les serveurs GPU NVIDIA A100 H100

Questions fréquentes sur le déploiement et la gestion de serveurs dédiés accélérés par GPU NVIDIA A100 H100 d'entreprise pour l'entraînement d'IA, l'inférence et le calcul haute performance.

Qu'est-ce qui rend les GPU NVIDIA A100 et H100 adaptés aux charges d'IA d'entreprise ?

Ce sont tous deux des accélérateurs de centre de données conçus pour l'arithmétique sur de grands modèles : mémoire HBM empilée avec ECC, Tensor Cores ciblés par les principaux frameworks, et GPU multi-instance pour répartir une carte entre vos propres travaux. L'A100 est Ampere avec des Tensor Cores de troisième génération ; la H100 est Hopper avec des Tensor Cores de quatrième génération et le Transformer Engine pour la précision FP8. Aucune des deux cartes n'a d'encodeur vidéo matériel, donc aucune n'est le bon choix pour le transcodage.

Comment les GPU A100 et H100 se comparent-ils en performances et capacités ?

En tant que cartes PCIe que nous montons, l'A100 a 6 912 cœurs CUDA, 40 Go de HBM2 à 1 555 Go/s ou 80 Go de HBM2e à 1 935 Go/s, consomme 250 ou 300 W et se connecte en PCIe Gen 4. La H100 a 80 Go de HBM2e à 2 039 Go/s, consomme 350 W et se connecte en PCIe Gen 5. Les chiffres de la H100 cités ailleurs avec de la mémoire HBM3 décrivent le module SXM5, qui nécessite une carte de base HGX qu'aucun de nos serveurs n'utilise.

Quelles fonctionnalités de connectivité et d'évolutivité d'entreprise sont disponibles ?

Dans une même machine, chaque carte peut être partitionnée en jusqu'à sept instances GPU multi-instance isolées, chacune avec son propre calcul, sa mémoire et son cache. Les deux cartes portent aussi un connecteur de pont NVLink, mais aucun pont n'est sur le formulaire de commande : deux cartes dans un même serveur communiquent via PCIe sauf si un pont est devisé, donc demandez avant de commander si le travail en a besoin. Entre serveurs, le lien est le port Ethernet de chaque machine, et les configurations multi-GPU et multi-nœuds ont leur propre page.

Combien de temps faut-il pour livrer un serveur A100 ou H100 ?

Une machine déjà en rack avec la carte est livrée dans un délai d'environ 30 minutes après vérification du paiement. Lorsque nous montons une carte que nous avons en stock, cela prend de 4 à 24 heures ; une carte que nous devons acheter prend de cinq à dix jours ouvrés, ou de dix à quinze lorsque l'accélérateur est en allocation, et vous êtes prévenu avant de payer.