NVIDIA L40S · Ada Lovelace

NVIDIA L40S GPU Dedicated Server 48 GB ECC-Speicher, drei AV1-Encoder, Root auf Ihrem eigenen Betriebssystem.

Ein NVIDIA L40S GPU-Server ist eine physische Maschine mit der L40S 48 GB, die an das von Ihnen installierte Betriebssystem durchgereicht wird, monatlich abgerechnet. Der niedrigste Komplettpreis beträgt $532.67 pro Monat, für Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps mit eingebauter GPU.

  • Einzelmandant
  • PCIe-Durchreichung
  • Unlimitierter Port
  • AV1 NVENC
  • Kein Vertrag

Die L40S ist die GPU, die wir für gemischte Aufgaben einbauen: LLM-Inferenz und Feinabstimmung, Raytracing-Rendering und Hardware-Videokodierung auf einer GPU. Diese Seite enthält die Datenblattwerte, den Preis jeder Plattform, die sie aufnimmt, die PCIe-Anbindung, die sie jeweils erhält, und wann eine A100 oder H100 besser zum Job passt.

Datenblatt

NVIDIA L40S Spezifikationen

Die L40S ist eine passive Dual-Slot-PCIe-Rechenzentrums-GPU auf Basis der Ada-Lovelace-Architektur, derselben AD102-Chipfamilie wie die RTX 6000 Ada, mit ECC-Speicher und einer Board-Leistungsgrenze von 350 W. NVIDIA gibt seine Tensor-Werte zweifach an, dicht und mit strukturierter Sparsity; die Tabelle nennt beide und sagt, welcher welcher ist.

SpezifikationNVIDIA L40S
ArchitekturAda Lovelace
GPU-Speicher48 GB GDDR6 mit ECC
Speicherbandbreite864 GB/s
CUDA-Kerne18.176
Tensor Cores568, vierte Generation
RT Cores142, dritte Generation
SchnittstellePCIe 4.0 x16
Board-Leistung350 W
Quelle: NVIDIA L40S Produktseite und Datenblatt.
RechenleistungDicht und mit Sparsity
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS 366 mit Sparsity
FP16 / BF16 Tensor362 TFLOPS 733 mit Sparsity
FP8 Tensor733 TFLOPS 1.466 mit Sparsity
INT8 Tensor733 TOPS 1.466 mit Sparsity
RT Core212 TFLOPS
Video-Engines3 NVENC, 3 NVDEC, AV1-Enkodierung und -Dekodierung
MIG / NVLinkKeines von beiden

Die L40S unterstützt außerdem NVIDIA vGPU-Software und Secure Boot mit Hardware-Root-of-Trust und ist NEBS Level 3 bereit. Auf unseren Servern geht die volle GPU an Ihr Betriebssystem, daher wäre eine Aufteilung mit vGPU Ihre eigene Lizenz und Ihr eigener Hypervisor.

Aus dem Bestellkatalog

L40S-Serverpreise, mit der Maschine, in die die GPU kommt

Die L40S ist auf 2 Plattformen verfügbar. Jede Zeile ist die volle Monatsrechnung für die günstigste Maschine auf einer davon: Prozessor, Arbeitsspeicher, die Festplatten, mit denen das Bestellformular startet, ein unlimitierter Port und eine IPv4-Adresse, plus die GPU. Konfigurieren öffnet diese Plattform mit ausgewählter L40S, wo Sie Arbeitsspeicher, Festplatten oder einen schnelleren Port hinzufügen.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

Die L40S ist eine PCIe-4.0-GPU. Auf einer PCIe-3.0-Plattform läuft die Verbindung mit 16 GB/s pro Richtung statt 32, was das Laden von Gewichten und das Streamen von Batches aus dem Host-Speicher verlangsamt, aber nicht Arbeit, die im eigenen 864 GB/s-Speicher der GPU bleibt. Ein Build mit eingebauter GPU zahlt eine einmalige Einrichtung von $29. Bei Vorauszahlung von 3, 6 oder 12 Monaten gibt es bis zu 15% Rabatt, und der Preis steigt bei Verlängerung nicht.

L40S vs A100 vs H100

L40S, A100 oder H100: die drei Rechenzentrums-GPUs, die wir einbauen

Die A100 und H100 tragen HBM mit mehr als doppelter Bandbreite und NVLink-Anschlüssen und haben keinen Video-Encoder. Die L40S hat weniger Speicherbandbreite, dafür RT Cores und drei NVENC-Engines und kostet monatlich weniger. Alle drei sind die PCIe-Versionen, die einzige Form, die unsere Gehäuse aufnehmen.

Quellen: NVIDIA L40S Datenblatt, A100 Datenblatt, H100 PCIe Produktübersicht. Preise aus unserem Bestellkatalog, jeweils mit der günstigsten Maschine, die die GPU aufnimmt.
SpezifikationL40SA100 80 GBH100 80 GB PCIe
ArchitekturAda LovelaceAmpereHopper
GPU-Speicher48 GB GDDR6, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Speicherbandbreite864 GB/s1.935 GB/s2.039 GB/s
FP8JaNeinJa
RT Cores142KeineKeine
Video-Enkodierung3 NVENC mit AV1KeineKeine
NVLinkNeinBridge-AnschlussBridge-Anschluss
Multi-Instance GPUNeinBis zu 7Bis zu 7
Board-Leistung350 W300 W350 W
SchnittstellePCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU-Zeile, pro Monat$449$899$1,599
Kompletter Server ab$532.67$972.47$1,682.67

Wählen Sie die A100 oder H100, wenn ein Modell mehr als 48 GB auf einer GPU benötigt, wenn das Training durch die Speicherbandbreite begrenzt ist oder wenn zwei GPUs Daten über NVLink austauschen müssen. Beide sind auf A100- und H100-Servern.

Workloads

Was ein NVIDIA L40S GPU-Server gut ausführt

Beginnen Sie beim Speicher. Die Gewichte, der KV-Cache und die Laufzeit müssen in 48 GB passen; ein Job, der nicht passt, wird durch einen schnelleren Chip nicht gerettet.

KI

Inferenz und Feinabstimmung

Auslieferung von 13B-Modellen mit 16 Bit und Luft nach oben, 30B mit 8 Bit oder 70B mit 4 Bit und kurzem Kontext sowie LoRA- oder QLoRA-Feinabstimmung. FP8-Tensor-Cores beschleunigen die Inferenz, wo Ihre Laufzeit FP8 unterstützt.

Grafik

Rendering und 3D

RT Cores für Renderer, die sie über OptiX nutzen, wie Blender Cycles, und 48 GB für Szenen, die eine 24 GB-Consumer-GPU an ihre Speichergrenze bringen.

Video

Enkodierung und Transkodierung

Drei NVENC- und drei NVDEC-Engines mit AV1, sodass FFmpeg, OBS oder ein Transcoder in Hardware enkodiert und die CUDA-Kerne für den Rest der Pipeline frei bleiben.

Passen die Gewichte des Modells in 48 GB?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Nur Gewichte. „Passt“ bedeutet, dass noch einmal die Hälfte der Gewichtsgröße für den KV-Cache und die Laufzeit frei ist. „Knapp“ lädt, aber ein langer Prompt oder ein zweiter Benutzer kann die 48 GB übersteigen. Für ein bestimmtes Modell nennt LLM-Hosting die Maschine, und für Live-Kanäle in Hardware führen GPU-Transkodierungsserver Flussonic oder Wowza auf der GPU aus.

Enthalten

L40S Bare Metal: was Sie kontrollieren und wie abgerechnet wird

Keine virtuelle Maschine und keine geteilte GPU: Die L40S gehört zu einer Maschine und die Maschine Ihnen. Maschine und GPU sind zwei monatliche Positionen auf einer Rechnung, und ein späterer GPU-Wechsel verschiebt die Rechnung um die Differenz, während Ihre Festplatten und IP-Adressen bleiben.

Root und eine Remote-Konsole

Ihr Betriebssystem, sauber installiert, mit Root, plus der Out-of-Band-Controller der Maschine (iLO, iDRAC oder BMC) für Bildschirm, virtuelle Medien und Strom.

Treiber, die Sie festlegen

Der NVIDIA-Treiber, die CUDA-Version und das Framework bleiben auf den von Ihnen gewählten Versionen, und nichts aktualisiert sie für Sie. Um vor der Übergabe einen Treiber installiert zu bekommen, schreiben Sie dessen Version auf die Bestellung.

Ein unlimitierter Port

Traffic wird in keiner Richtung gemessen, daher fügen Datensätze, Checkpoints und enkodiertes Video der Rechnung nichts hinzu. Schnellere Ports finden Sie im Bestellformular und unter unlimitierte Bandbreite.

Monat für Monat

Zahlen Sie jeweils einen Monat und hören Sie auf, wenn der Job endet. Stündliche Abrechnung gibt es nur für eine bereits gerackte und unverändert bestellte Maschine auf Instant-Servern; ein Build bleibt monatlich.

Was ein L40S-Server ausführt

Nennen Sie das Betriebssystem im Bestellformular, und es ist das auf der Festplatte bei Übergabe: Ubuntu von 14.04 bis 26.04, Windows Server von 2008 R2 bis 2025, Proxmox VE oder VMware vSphere Hypervisor. Der GPU-Stack darüber gehört Ihnen. Die L40S möchte einen R535-Treiber oder neuer, den Zweig, in dem NVIDIA sie hinzugefügt hat, und CUDA 12, um ihre FP8-Tensor-Cores zu erreichen. PyTorch, vLLM, llama.cpp und Ollama sehen dann ein Gerät mit 48 GB, und FFmpeg 6.0 oder neuer bringt den av1_nvenc-Encoder mit, der die drei NVENC-Engines antreibt.

Lieferung

Wie lange ein L40S-Server dauert

Es hängt davon ab, wo die GPU bei Ihrer Bestellung ist, und Sie erfahren vor der Zahlung, welcher Fall zutrifft. Jede Zeit unten zählt ab Bestellfreigabe.

  1. 30 min

    Bereits gerackt

    Eine Maschine mit L40S wartet im Rack.

  2. 4–24 h

    Aus unserem Lager eingebaut

    Wir halten die GPU vorrätig und bauen sie in die von Ihnen konfigurierte Maschine ein.

  3. 5–10 Tage

    Zugekauft

    Werktage, wenn wir die L40S zuerst einkaufen müssen.

  4. 10–15 Tage

    Auf Zuteilung

    Werktage, wenn der Lieferant den Termin festlegt.

Antworten

Fragen zu L40S-Servern

Was ist ein L40S Dedicated Server?

Ein physischer Server mit einer NVIDIA L40S 48 GB GPU, die an das von Ihnen installierte Betriebssystem durchgereicht wird, mit Root-Zugriff, einem ungedrosselten Port und niemand anderem auf der Maschine. Abgerechnet wird monatlich, wobei die Maschine und die GPU als zwei Positionen auf einer Rechnung stehen.

Wie viel kostet ein L40S-Server?

Der niedrigste Monatspreis für einen kompletten L40S-Server beträgt $532.67. Diese Maschine ist Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, und die GPU macht $449 des Gesamtpreises aus. Bei einem Build mit eingebauter GPU kommt eine einmalige Einrichtungsgebühr von $29 hinzu, und die Build-Tabelle führt jede Plattform mit ihrem eigenen Preis auf.

Wie viele CUDA-Kerne hat die NVIDIA L40S?

18.176 CUDA-Kerne, mit 568 Tensor Cores der vierten Generation und 142 RT Cores der dritten Generation, auf der Ada-Lovelace-Architektur. Sie verfügt über 48 GB GDDR6 mit ECC bei 864 GB/s, wird über PCIe 4.0 x16 angebunden und hat eine Leistungsaufnahme von bis zu 350 W.

Ist die L40S für KI besser als die A100?

Für Inferenz auf einem Modell, das in 48 GB passt, oft ja: Sie hat FP8-Tensor-Cores, die der A100 fehlen, und kostet monatlich weniger. Beim Training großer Modelle gewinnt in der Regel die A100 80 GB, mit 80 GB HBM2e bei 1.935 GB/s gegenüber 48 GB bei 864 GB/s und einem NVLink-Anschluss. Die H100 ist beim Training beiden voraus.

Kann eine L40S ein 70B-Modell ausführen?

Mit 4 Bit ja, mit wenig Spielraum: Die Gewichte belegen etwa 38 GB der 48, was Platz für einen kurzen Kontext und einen Benutzer lässt. Mit 8 Bit benötigen 70 Milliarden Parameter etwa 70 GB, wofür zwei GPUs oder eine mit 80 GB nötig sind.

Unterstützt die L40S NVLink oder MIG?

Weder noch. Die L40S hat keinen NVLink-Anschluss und keine Multi-Instance-GPU, daher kommunizieren zwei L40S-GPUs in einem Server über PCIe, und eine L40S läuft als eine GPU. Wenn die Aufgabe eines dieser Features erfordert, sehen Sie sich die A100 oder H100 an.

Ist die L40S gut für Videokodierung?

Ja. Sie verfügt über drei NVENC- und drei NVDEC-Engines mit AV1-Kodierung und -Dekodierung, sodass FFmpeg, OBS oder ein Transcoder hardwarebeschleunigt kodiert. Die A100 und H100 haben überhaupt kein NVENC.

Kann ich eine L40S auf Abruf, stundenweise mieten?

Ja, aber nur für eine L40S-Maschine, die bereits gerackt und unverändert über Instant Server bestellt wurde. Sie kostet ihren Monatspreis geteilt durch 730 Stunden, mal 1,3, sekundengenau abgerechnet, bis Sie sie freigeben, mit einer Stunde als Minimum. Jeder Build in der obigen Tabelle ist monatlich.

Ist dies eine L40S-Cloud-Instanz oder Bare Metal?

Bare Metal. Es gibt keinen Hypervisor zwischen Ihrem Betriebssystem und der GPU, und die Maschine hat einen einzigen Mieter. Sie sehen die volle L40S mit ihren 48 GB, nicht einen Teil davon.

Welches Betriebssystem und welchen NVIDIA-Treiber führt ein L40S-Server aus?

Welches Image auch immer Sie im Bestellformular angeben, installiert vor der Übergabe: Ubuntu von 14.04 bis 26.04, Windows Server von 2008 R2 bis 2025, Proxmox VE oder VMware vSphere Hypervisor. Die L40S benötigt einen R535-Treiber oder neuer, den Zweig, in dem NVIDIA sie hinzugefügt hat, und CUDA 12, um ihre FP8-Tensor-Cores zu erreichen. Nach der Übergabe bleiben Treiber, CUDA-Version und Framework auf den von Ihnen gewählten Versionen.

Kann ich zwei oder mehr L40S-GPUs in einen Server einbauen?

Ja, als Build, der manuell angeboten wird, statt an der Kasse angekreuzt zu werden: Gehäuse, PCIe-Lanes und Netzteil bestimmen, wie viele passen. Die GPUs kommunizieren über PCIe, da die L40S kein NVLink hat. Fragen Sie im Chat, bevor Sie bestellen, oder sehen Sie sich Multi-GPU-Server an.

Wie lange dauert die Lieferung eines L40S-Servers?

Etwa 30 Minuten nach Freigabe, wenn eine Maschine mit L40S bereits gerackt ist, 4 bis 24 Stunden, wenn wir eine vorrätige GPU einbauen, 5 bis 10 Werktage, wenn die GPU beschafft wird, und 10 bis 15, wenn sie auf Zuteilung ist. Wir sagen Ihnen vor der Zahlung, welcher der vier Fälle zutrifft.

Wer antwortet, wenn ich Hilfe brauche?

Starten Sie einen Chat: Unsere KI antwortet in Sekunden und kann Ihr Konto und Ihren L40S-Server einsehen, während Sie sprechen. Sagen Sie, dass Sie eine Person möchten, und einer von uns übernimmt dasselbe Gespräch.

In Klartext

Jede Zahl auf dieser Seite

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Wählen Sie die Plattform und konfigurieren Sie dann den L40S-Server

Öffnen Sie den Konfigurator mit bereits gewählter L40S oder nennen Sie uns im Chat das Modell, die Szene oder die Kanalanzahl. Die KI antwortet innerhalb von Sekunden; eine Person übernimmt, wann immer Sie es wünschen.