NVIDIA L40S · Ada Lovelace

Serveur dédié L40S 48 Go de mémoire ECC, trois encodeurs AV1, root sur votre propre système d’exploitation.

Un serveur dédié L40S est une machine physique équipée d’un GPU NVIDIA L40S transmis au système d’exploitation que vous installez, facturé au mois. Le prix complet le plus bas est de $532.67 par mois, pour Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps avec le GPU installé.

  • Locataire unique
  • Passthrough PCIe
  • Port non mesuré
  • AV1 NVENC
  • Sans engagement

Le L40S est le GPU que nous installons pour les charges mixtes : inférence et ajustement fin de LLM, rendu par lancer de rayons et encodage vidéo matériel sur un seul GPU. Cette page donne les chiffres de sa fiche technique, le prix de chaque plateforme qui l’accepte, la liaison PCIe qu’il reçoit sur chacune, et les cas où un A100 ou un H100 convient mieux.

Fiche technique

Caractéristiques du NVIDIA L40S

Le L40S est un GPU de centre de données PCIe passif à double emplacement sur l’architecture Ada Lovelace, de la même famille de puces AD102 que la RTX 6000 Ada, avec mémoire ECC et une limite de carte de 350 W. NVIDIA indique ses chiffres Tensor deux fois, en dense et avec parcimonie structurée ; le tableau donne les deux et précise lequel est lequel.

CaractéristiqueNVIDIA L40S
ArchitectureAda Lovelace
Mémoire GPU48 Go GDDR6 avec ECC
Bande passante mémoire864 Go/s
Cœurs CUDA18 176
Tensor Cores568, quatrième génération
RT Cores142, troisième génération
InterfacePCIe 4.0 x16
Puissance de la carte350 W
Source : page produit et fiche technique du NVIDIA L40S.
CalculDense, et avec parcimonie
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS 366 avec parcimonie
FP16 / BF16 Tensor362 TFLOPS 733 avec parcimonie
FP8 Tensor733 TFLOPS 1 466 avec parcimonie
INT8 Tensor733 TOPS 1 466 avec parcimonie
RT Core212 TFLOPS
Moteurs vidéo3 NVENC, 3 NVDEC, encodage et décodage AV1
MIG / NVLinkAucun

Le L40S prend également en charge le logiciel NVIDIA vGPU et le démarrage sécurisé avec racine de confiance matérielle, et il est prêt pour la norme NEBS niveau 3. Sur nos serveurs, le GPU complet est attribué à votre système d’exploitation ; le diviser avec vGPU relèverait donc de votre propre licence et de votre propre hyperviseur.

Extrait du catalogue de commande

Prix des serveurs L40S, avec la machine dans laquelle le GPU est installé

Le L40S est disponible sur 2 plateformes. Chaque ligne correspond à la facture mensuelle complète de la machine la moins chère sur l’une d’elles : processeur, mémoire, les disques avec lesquels le formulaire de commande s’ouvre, un port non mesuré et une adresse IPv4, plus le GPU. Configurer ouvre cette plateforme avec le L40S sélectionné, où vous ajoutez de la mémoire, des disques ou un port plus rapide.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

Le L40S est un GPU PCIe 4.0. Sur une plateforme PCIe 3.0, la liaison fonctionne à 16 Go/s dans chaque sens au lieu de 32, ce qui ralentit le chargement des poids et le transfert des lots depuis la mémoire de l’hôte, mais pas le travail qui reste dans la mémoire de 864 Go/s propre au GPU. Une configuration avec GPU installé paie des frais d’installation uniques de $29. Payer 3, 6 ou 12 mois d’avance donne jusqu’à 15% de remise, et le prix n’augmente pas au renouvellement.

L40S vs A100 vs H100

L40S, A100 ou H100 : les trois GPU de centre de données que nous installons

Les A100 et H100 embarquent de la HBM avec plus du double de bande passante et des connecteurs NVLink, et ils n’ont pas d’encodeur vidéo. Le L40S a moins de bande passante mémoire, ajoute des RT Cores et trois moteurs NVENC, et coûte moins cher par mois. Tous trois sont les versions PCIe, la seule forme que nos châssis acceptent.

Sources : fiche technique du NVIDIA L40S, fiche technique de l’A100, note produit du H100 PCIe. Prix issus de notre catalogue de commande, chacun avec la machine la moins chère qui accepte le GPU.
CaractéristiqueL40SA100 80 GoH100 80 Go PCIe
ArchitectureAda LovelaceAmpereHopper
Mémoire GPU48 Go GDDR6, ECC80 Go HBM2e, ECC80 Go HBM2e, ECC
Bande passante mémoire864 Go/s1 935 Go/s2 039 Go/s
FP8OuiNonOui
RT Cores142AucunAucun
Encodage vidéo3 NVENC avec AV1AucunAucun
NVLinkNonConnecteur pontConnecteur pont
GPU multi-instanceNonJusqu’à 7Jusqu’à 7
Puissance de la carte350 W300 W350 W
InterfacePCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Ligne GPU, par mois$449$899$1,599
Serveur complet à partir de$532.67$972.47$1,682.67

Choisissez l’A100 ou le H100 lorsqu’un modèle a besoin de plus de 48 Go sur un seul GPU, lorsque l’entraînement est limité par la bande passante mémoire, ou lorsque deux GPU doivent échanger des données via NVLink. Les deux sont disponibles sur les serveurs A100 et H100.

Charges de travail

Ce qu’un serveur GPU NVIDIA L40S exécute bien

Commencez par la mémoire. Les poids, le cache KV et l’environnement d’exécution doivent tenir dans 48 Go ; une tâche qui n’y tient pas n’est pas sauvée par une puce plus rapide.

IA

Inférence et ajustement fin

Servir des modèles 13B en 16 bits avec de la marge, 30B en 8 bits ou 70B en 4 bits avec un contexte court, et l’ajustement fin LoRA ou QLoRA. Les Tensor Cores FP8 accélèrent l’inférence lorsque votre environnement d’exécution prend en charge le FP8.

Graphisme

Rendu et 3D

Des RT Cores pour les moteurs de rendu qui les utilisent via OptiX, comme Blender Cycles, et 48 Go pour les scènes qui épuisent la mémoire d’un GPU grand public de 24 Go.

Vidéo

Encodage et transcodage

Trois moteurs NVENC et trois NVDEC avec AV1, pour que FFmpeg, OBS ou un transcodeur encode en matériel et laisse les cœurs CUDA au reste du pipeline.

Les poids du modèle tiendront-ils dans 48 Go ?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Poids uniquement. « Tient » signifie que la moitié de la taille des poids reste libre pour le cache KV et l’environnement d’exécution. « Juste » charge, mais une invite longue ou un second utilisateur peut faire dépasser les 48 Go. Pour un modèle donné, l’hébergement LLM indique la machine, et pour les chaînes en direct en matériel, les serveurs de transcodage GPU exécutent Flussonic ou Wowza sur le GPU.

Inclus

L40S bare metal : ce que vous contrôlez et comment c’est facturé

Pas de machine virtuelle ni de GPU partagé : le L40S appartient à une seule machine et la machine vous appartient. La machine et le GPU sont deux lignes mensuelles sur une seule facture, et changer le GPU plus tard fait évoluer la facture de la différence tandis que vos disques et adresses IP restent.

Root et console distante

Votre système d’exploitation, installé proprement, avec root, plus le contrôleur hors bande de la machine (iLO, iDRAC ou BMC) pour l’écran, les médias virtuels et l’alimentation.

Des pilotes que vous épinglez

Le pilote NVIDIA, la version CUDA et le framework restent aux versions que vous choisissez, et rien ne les met à jour pour vous. Pour qu’un pilote soit installé avant la remise, indiquez sa version sur la commande.

Un port non mesuré

Le trafic n’est mesuré dans aucun sens, donc les jeux de données, les points de contrôle et la vidéo encodée n’ajoutent rien à la facture. Les ports plus rapides sont sur le formulaire de commande et sur la bande passante non mesurée.

Au mois

Payez un mois à la fois et arrêtez quand la tâche se termine. La facturation horaire ne concerne qu’une machine déjà en baie et commandée sans modification sur les serveurs instantanés ; une configuration reste mensuelle.

Livraison

Combien de temps prend un serveur L40S

Cela dépend de l’endroit où se trouve le GPU lorsque vous commandez, et vous êtes informé du cas applicable avant de payer. Chaque durée ci-dessous compte à partir de l’approbation de la commande.

  1. 30 min

    Déjà en baie

    Une machine équipée d’un L40S attend dans la baie.

  2. 4–24 h

    Installé depuis notre stock

    Nous avons le GPU et l’installons sur la machine que vous avez configurée.

  3. 5–10 jours

    Acheté

    Jours ouvrés, lorsque nous devons d’abord acheter le L40S.

  4. 10–15 jours

    Sur allocation

    Jours ouvrés, lorsque le fournisseur fixe la date.

Réponses

Questions sur les serveurs L40S

Qu’est-ce qu’un serveur dédié L40S ?

Un serveur physique avec un GPU NVIDIA L40S 48 Go transmis au système d’exploitation que vous installez, avec accès root, un port non mesuré et personne d’autre sur la machine. Il est facturé au mois, la machine et le GPU figurant sur deux lignes d’une même facture.

Combien coûte un serveur L40S ?

Le prix mensuel le plus bas pour un serveur L40S complet est de $532.67. Cette machine est Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, et le GPU représente $449 du total. Une configuration avec le GPU installé ajoute des frais d’installation uniques de $29, et le tableau des configurations indique le prix de chaque plateforme.

Combien de cœurs CUDA possède le NVIDIA L40S ?

18 176 cœurs CUDA, avec 568 cœurs Tensor de quatrième génération et 142 cœurs RT de troisième génération, sur l’architecture Ada Lovelace. Il embarque 48 Go de GDDR6 avec ECC à 864 Go/s, se connecte en PCIe 4.0 x16 et consomme jusqu’à 350 W.

Le L40S est-il meilleur que l’A100 pour l’IA ?

Pour l’inférence sur un modèle tenant dans 48 Go, souvent oui : il possède des cœurs Tensor FP8, absents de l’A100, et coûte moins cher par mois. Pour l’entraînement de grands modèles, l’A100 80 Go l’emporte généralement, avec 80 Go de HBM2e à 1 935 Go/s contre 48 Go à 864 Go/s, et un connecteur NVLink. Le H100 devance les deux pour l’entraînement.

Un L40S peut-il exécuter un modèle 70B ?

En 4 bits, oui, avec peu de marge : les poids occupent environ 38 Go sur les 48, ce qui laisse de la place pour un contexte court et un seul utilisateur. En 8 bits, 70 milliards de paramètres nécessitent environ 70 Go, ce qui demande deux GPU ou un GPU de 80 Go.

Le L40S prend-il en charge NVLink ou MIG ?

Ni l’un ni l’autre. Le L40S n’a pas de connecteur NVLink ni de Multi-Instance GPU, donc deux GPU L40S dans un même serveur communiquent via PCIe, et un L40S fonctionne comme un seul GPU. Si la tâche exige l’une de ces fonctions, regardez l’A100 ou le H100.

Le L40S est-il adapté à l’encodage vidéo ?

Oui. Il possède trois moteurs NVENC et trois moteurs NVDEC avec encodage et décodage AV1, donc FFmpeg, OBS ou un transcodeur encode en matériel. L’A100 et le H100 n’ont aucun NVENC.

Puis-je louer un L40S à la demande, à l’heure ?

Oui, mais uniquement pour une machine L40S déjà en baie et commandée sans modification depuis les serveurs instantanés. Elle coûte son prix mensuel divisé par 730 heures, multiplié par 1,3, facturé à la seconde jusqu’à sa libération, avec une heure minimum. Chaque configuration du tableau ci-dessus est mensuelle.

S’agit-il d’une instance cloud L40S ou de bare metal ?

Bare metal. Il n’y a aucun hyperviseur entre votre système d’exploitation et le GPU, et la machine n’a qu’un seul locataire. Vous voyez le L40S complet avec ses 48 Go, pas une portion.

Puis-je mettre deux GPU L40S ou plus dans un même serveur ?

Oui, en tant que configuration devisée manuellement plutôt que cochée au moment de la commande : le châssis, ses lignes PCIe et son alimentation déterminent combien peuvent être installés. Les GPU communiquent via PCIe, car le L40S n’a pas de NVLink. Demandez dans le chat avant de commander, ou consultez les serveurs multi-GPU.

Combien de temps faut-il pour livrer un serveur L40S ?

Environ 30 minutes après validation lorsqu’une machine avec L40S est déjà en baie, 4 à 24 heures lorsque nous installons un GPU que nous avons en stock, 5 à 10 jours ouvrés lorsque le GPU est acheté, et 10 à 15 lorsqu’il est en allocation. Nous vous indiquons lequel de ces quatre cas s’applique avant que vous payiez.

Qui répond lorsque j’ai besoin d’aide ?

Lancez un chat : notre IA répond en quelques secondes et peut consulter votre compte et votre serveur L40S pendant que vous parlez. Dites que vous voulez une personne et l’un de nous reprend la même conversation.

En clair

Chaque chiffre de cette page

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Choisissez la plateforme, puis configurez le serveur L40S

Ouvrez le configurateur avec le L40S déjà sélectionné, ou indiquez-nous le modèle, la scène ou le nombre de chaînes dans le chat. L’IA répond en quelques secondes ; une personne prend le relais dès que vous le demandez.

Configurer un serveur L40S