NVIDIA L40S · Ada Lovelace
Serveur dédié L40S 48 Go de mémoire ECC, trois encodeurs AV1, root sur votre propre système d’exploitation.
Un serveur dédié L40S est une machine physique équipée d’un GPU NVIDIA L40S transmis au système d’exploitation que vous installez, facturé au mois. Le prix complet le plus bas est de $532.67 par mois, pour Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps avec le GPU installé.
- Locataire unique
- Passthrough PCIe
- Port non mesuré
- AV1 NVENC
- Sans engagement
Le L40S est le GPU que nous installons pour les charges mixtes : inférence et ajustement fin de LLM, rendu par lancer de rayons et encodage vidéo matériel sur un seul GPU. Cette page donne les chiffres de sa fiche technique, le prix de chaque plateforme qui l’accepte, la liaison PCIe qu’il reçoit sur chacune, et les cas où un A100 ou un H100 convient mieux.
Fiche technique
Caractéristiques du NVIDIA L40S
Le L40S est un GPU de centre de données PCIe passif à double emplacement sur l’architecture Ada Lovelace, de la même famille de puces AD102 que la RTX 6000 Ada, avec mémoire ECC et une limite de carte de 350 W. NVIDIA indique ses chiffres Tensor deux fois, en dense et avec parcimonie structurée ; le tableau donne les deux et précise lequel est lequel.
| Caractéristique | NVIDIA L40S |
|---|---|
| Architecture | Ada Lovelace |
| Mémoire GPU | 48 Go GDDR6 avec ECC |
| Bande passante mémoire | 864 Go/s |
| Cœurs CUDA | 18 176 |
| Tensor Cores | 568, quatrième génération |
| RT Cores | 142, troisième génération |
| Interface | PCIe 4.0 x16 |
| Puissance de la carte | 350 W |
| Calcul | Dense, et avec parcimonie |
|---|---|
| FP32 | 91,6 TFLOPS |
| TF32 Tensor | 183 TFLOPS 366 avec parcimonie |
| FP16 / BF16 Tensor | 362 TFLOPS 733 avec parcimonie |
| FP8 Tensor | 733 TFLOPS 1 466 avec parcimonie |
| INT8 Tensor | 733 TOPS 1 466 avec parcimonie |
| RT Core | 212 TFLOPS |
| Moteurs vidéo | 3 NVENC, 3 NVDEC, encodage et décodage AV1 |
| MIG / NVLink | Aucun |
Le L40S prend également en charge le logiciel NVIDIA vGPU et le démarrage sécurisé avec racine de confiance matérielle, et il est prêt pour la norme NEBS niveau 3. Sur nos serveurs, le GPU complet est attribué à votre système d’exploitation ; le diviser avec vGPU relèverait donc de votre propre licence et de votre propre hyperviseur.
Extrait du catalogue de commande
Prix des serveurs L40S, avec la machine dans laquelle le GPU est installé
Le L40S est disponible sur 2 plateformes. Chaque ligne correspond à la facture mensuelle complète de la machine la moins chère sur l’une d’elles : processeur, mémoire, les disques avec lesquels le formulaire de commande s’ouvre, un port non mesuré et une adresse IPv4, plus le GPU. Configurer ouvre cette plateforme avec le L40S sélectionné, où vous ajoutez de la mémoire, des disques ou un port plus rapide.
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
Le L40S est un GPU PCIe 4.0. Sur une plateforme PCIe 3.0, la liaison fonctionne à 16 Go/s dans chaque sens au lieu de 32, ce qui ralentit le chargement des poids et le transfert des lots depuis la mémoire de l’hôte, mais pas le travail qui reste dans la mémoire de 864 Go/s propre au GPU. Une configuration avec GPU installé paie des frais d’installation uniques de $29. Payer 3, 6 ou 12 mois d’avance donne jusqu’à 15% de remise, et le prix n’augmente pas au renouvellement.
L40S vs A100 vs H100
L40S, A100 ou H100 : les trois GPU de centre de données que nous installons
Les A100 et H100 embarquent de la HBM avec plus du double de bande passante et des connecteurs NVLink, et ils n’ont pas d’encodeur vidéo. Le L40S a moins de bande passante mémoire, ajoute des RT Cores et trois moteurs NVENC, et coûte moins cher par mois. Tous trois sont les versions PCIe, la seule forme que nos châssis acceptent.
| Caractéristique | L40S | A100 80 Go | H100 80 Go PCIe |
|---|---|---|---|
| Architecture | Ada Lovelace | Ampere | Hopper |
| Mémoire GPU | 48 Go GDDR6, ECC | 80 Go HBM2e, ECC | 80 Go HBM2e, ECC |
| Bande passante mémoire | 864 Go/s | 1 935 Go/s | 2 039 Go/s |
| FP8 | Oui | Non | Oui |
| RT Cores | 142 | Aucun | Aucun |
| Encodage vidéo | 3 NVENC avec AV1 | Aucun | Aucun |
| NVLink | Non | Connecteur pont | Connecteur pont |
| GPU multi-instance | Non | Jusqu’à 7 | Jusqu’à 7 |
| Puissance de la carte | 350 W | 300 W | 350 W |
| Interface | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Ligne GPU, par mois | $449 | $899 | $1,599 |
| Serveur complet à partir de | $532.67 | $972.47 | $1,682.67 |
Choisissez l’A100 ou le H100 lorsqu’un modèle a besoin de plus de 48 Go sur un seul GPU, lorsque l’entraînement est limité par la bande passante mémoire, ou lorsque deux GPU doivent échanger des données via NVLink. Les deux sont disponibles sur les serveurs A100 et H100.
Charges de travail
Ce qu’un serveur GPU NVIDIA L40S exécute bien
Commencez par la mémoire. Les poids, le cache KV et l’environnement d’exécution doivent tenir dans 48 Go ; une tâche qui n’y tient pas n’est pas sauvée par une puce plus rapide.
IA
Inférence et ajustement fin
Servir des modèles 13B en 16 bits avec de la marge, 30B en 8 bits ou 70B en 4 bits avec un contexte court, et l’ajustement fin LoRA ou QLoRA. Les Tensor Cores FP8 accélèrent l’inférence lorsque votre environnement d’exécution prend en charge le FP8.
Graphisme
Rendu et 3D
Des RT Cores pour les moteurs de rendu qui les utilisent via OptiX, comme Blender Cycles, et 48 Go pour les scènes qui épuisent la mémoire d’un GPU grand public de 24 Go.
Vidéo
Encodage et transcodage
Trois moteurs NVENC et trois NVDEC avec AV1, pour que FFmpeg, OBS ou un transcodeur encode en matériel et laisse les cœurs CUDA au reste du pipeline.
Les poids du modèle tiendront-ils dans 48 Go ?
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
Poids uniquement. « Tient » signifie que la moitié de la taille des poids reste libre pour le cache KV et l’environnement d’exécution. « Juste » charge, mais une invite longue ou un second utilisateur peut faire dépasser les 48 Go. Pour un modèle donné, l’hébergement LLM indique la machine, et pour les chaînes en direct en matériel, les serveurs de transcodage GPU exécutent Flussonic ou Wowza sur le GPU.
Inclus
L40S bare metal : ce que vous contrôlez et comment c’est facturé
Pas de machine virtuelle ni de GPU partagé : le L40S appartient à une seule machine et la machine vous appartient. La machine et le GPU sont deux lignes mensuelles sur une seule facture, et changer le GPU plus tard fait évoluer la facture de la différence tandis que vos disques et adresses IP restent.
Root et console distante
Votre système d’exploitation, installé proprement, avec root, plus le contrôleur hors bande de la machine (iLO, iDRAC ou BMC) pour l’écran, les médias virtuels et l’alimentation.
Des pilotes que vous épinglez
Le pilote NVIDIA, la version CUDA et le framework restent aux versions que vous choisissez, et rien ne les met à jour pour vous. Pour qu’un pilote soit installé avant la remise, indiquez sa version sur la commande.
Un port non mesuré
Le trafic n’est mesuré dans aucun sens, donc les jeux de données, les points de contrôle et la vidéo encodée n’ajoutent rien à la facture. Les ports plus rapides sont sur le formulaire de commande et sur la bande passante non mesurée.
Au mois
Payez un mois à la fois et arrêtez quand la tâche se termine. La facturation horaire ne concerne qu’une machine déjà en baie et commandée sans modification sur les serveurs instantanés ; une configuration reste mensuelle.
Livraison
Combien de temps prend un serveur L40S
Cela dépend de l’endroit où se trouve le GPU lorsque vous commandez, et vous êtes informé du cas applicable avant de payer. Chaque durée ci-dessous compte à partir de l’approbation de la commande.
- 30 min
Déjà en baie
Une machine équipée d’un L40S attend dans la baie.
- 4–24 h
Installé depuis notre stock
Nous avons le GPU et l’installons sur la machine que vous avez configurée.
- 5–10 jours
Acheté
Jours ouvrés, lorsque nous devons d’abord acheter le L40S.
- 10–15 jours
Sur allocation
Jours ouvrés, lorsque le fournisseur fixe la date.
Place de marché GPU
Machines L40S listées par leurs propriétaires
Les propriétaires listent aussi leurs propres machines L40S sur notre place de marché, chacune au prix mensuel indiqué sur son annonce. Les annonces de notre société sœur, Primcast, apparaissent ici aussi et sont louées là-bas.
Réponses
Questions sur les serveurs L40S
Qu’est-ce qu’un serveur dédié L40S ?
Un serveur physique avec un GPU NVIDIA L40S 48 Go transmis au système d’exploitation que vous installez, avec accès root, un port non mesuré et personne d’autre sur la machine. Il est facturé au mois, la machine et le GPU figurant sur deux lignes d’une même facture.
Combien coûte un serveur L40S ?
Le prix mensuel le plus bas pour un serveur L40S complet est de $532.67. Cette machine est Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, et le GPU représente $449 du total. Une configuration avec le GPU installé ajoute des frais d’installation uniques de $29, et le tableau des configurations indique le prix de chaque plateforme.
Combien de cœurs CUDA possède le NVIDIA L40S ?
18 176 cœurs CUDA, avec 568 cœurs Tensor de quatrième génération et 142 cœurs RT de troisième génération, sur l’architecture Ada Lovelace. Il embarque 48 Go de GDDR6 avec ECC à 864 Go/s, se connecte en PCIe 4.0 x16 et consomme jusqu’à 350 W.
Le L40S est-il meilleur que l’A100 pour l’IA ?
Pour l’inférence sur un modèle tenant dans 48 Go, souvent oui : il possède des cœurs Tensor FP8, absents de l’A100, et coûte moins cher par mois. Pour l’entraînement de grands modèles, l’A100 80 Go l’emporte généralement, avec 80 Go de HBM2e à 1 935 Go/s contre 48 Go à 864 Go/s, et un connecteur NVLink. Le H100 devance les deux pour l’entraînement.
Un L40S peut-il exécuter un modèle 70B ?
En 4 bits, oui, avec peu de marge : les poids occupent environ 38 Go sur les 48, ce qui laisse de la place pour un contexte court et un seul utilisateur. En 8 bits, 70 milliards de paramètres nécessitent environ 70 Go, ce qui demande deux GPU ou un GPU de 80 Go.
Le L40S prend-il en charge NVLink ou MIG ?
Ni l’un ni l’autre. Le L40S n’a pas de connecteur NVLink ni de Multi-Instance GPU, donc deux GPU L40S dans un même serveur communiquent via PCIe, et un L40S fonctionne comme un seul GPU. Si la tâche exige l’une de ces fonctions, regardez l’A100 ou le H100.
Le L40S est-il adapté à l’encodage vidéo ?
Oui. Il possède trois moteurs NVENC et trois moteurs NVDEC avec encodage et décodage AV1, donc FFmpeg, OBS ou un transcodeur encode en matériel. L’A100 et le H100 n’ont aucun NVENC.
Puis-je louer un L40S à la demande, à l’heure ?
Oui, mais uniquement pour une machine L40S déjà en baie et commandée sans modification depuis les serveurs instantanés. Elle coûte son prix mensuel divisé par 730 heures, multiplié par 1,3, facturé à la seconde jusqu’à sa libération, avec une heure minimum. Chaque configuration du tableau ci-dessus est mensuelle.
S’agit-il d’une instance cloud L40S ou de bare metal ?
Bare metal. Il n’y a aucun hyperviseur entre votre système d’exploitation et le GPU, et la machine n’a qu’un seul locataire. Vous voyez le L40S complet avec ses 48 Go, pas une portion.
Puis-je mettre deux GPU L40S ou plus dans un même serveur ?
Oui, en tant que configuration devisée manuellement plutôt que cochée au moment de la commande : le châssis, ses lignes PCIe et son alimentation déterminent combien peuvent être installés. Les GPU communiquent via PCIe, car le L40S n’a pas de NVLink. Demandez dans le chat avant de commander, ou consultez les serveurs multi-GPU.
Combien de temps faut-il pour livrer un serveur L40S ?
Environ 30 minutes après validation lorsqu’une machine avec L40S est déjà en baie, 4 à 24 heures lorsque nous installons un GPU que nous avons en stock, 5 à 10 jours ouvrés lorsque le GPU est acheté, et 10 à 15 lorsqu’il est en allocation. Nous vous indiquons lequel de ces quatre cas s’applique avant que vous payiez.
Qui répond lorsque j’ai besoin d’aide ?
Lancez un chat : notre IA répond en quelques secondes et peut consulter votre compte et votre serveur L40S pendant que vous parlez. Dites que vous voulez une personne et l’un de nous reprend la même conversation.
En clair
Chaque chiffre de cette page
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
Ailleurs
Autres questions sur les GPU
Choisissez la plateforme, puis configurez le serveur L40S
Ouvrez le configurateur avec le L40S déjà sélectionné, ou indiquez-nous le modèle, la scène ou le nombre de chaînes dans le chat. L’IA répond en quelques secondes ; une personne prend le relais dès que vous le demandez.