L40S Dedicated Server 48 GB ECC-Speicher, drei AV1-Encoder, Root auf Ihrem eigenen Betriebssystem.

Ein physischer Server mit einer NVIDIA L40S 48 GB GPU, die an das von Ihnen installierte Betriebssystem durchgereicht wird, mit Root-Zugriff, einem ungedrosselten Port und niemand anderem auf der Maschine. Abgerechnet wird monatlich, wobei die Maschine und die GPU als zwei Positionen auf einer Rechnung stehen.

Der niedrigste Monatspreis für einen kompletten L40S-Server beträgt $532.67. Diese Maschine ist Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, und die GPU macht $449 des Gesamtpreises aus. Bei einem Build mit eingebauter GPU kommt eine einmalige Einrichtungsgebühr von $29 hinzu, und die Build-Tabelle listet jede Plattform mit ihrem eigenen Preis.

18.176 CUDA-Kerne, mit 568 Tensor Cores der vierten Generation und 142 RT Cores der dritten Generation, auf der Ada-Lovelace-Architektur. Sie trägt 48 GB GDDR6 mit ECC bei 864 GB/s, verbindet sich über PCIe 4.0 x16 und zieht bis zu 350 W.

Für Inferenz auf einem Modell, das in 48 GB passt, oft ja: Sie hat FP8-Tensor-Cores, die der A100 fehlen, und kostet monatlich weniger. Beim Training großer Modelle gewinnt in der Regel die A100 80 GB, mit 80 GB HBM2e bei 1.935 GB/s gegenüber 48 GB bei 864 GB/s und einem NVLink-Anschluss. Die H100 liegt beim Training vor beiden.

Mit 4-Bit ja, mit wenig Spielraum: Die Gewichte belegen etwa 38 GB der 48, was Platz für einen kurzen Kontext und einen Nutzer lässt. Mit 8-Bit benötigen 70 Milliarden Parameter etwa 70 GB, wofür zwei GPUs oder eine mit 80 GB nötig sind.

Weder noch. Die L40S hat keinen NVLink-Anschluss und keine Multi-Instance-GPU, daher kommunizieren zwei L40S-GPUs in einem Server über PCIe, und eine L40S läuft als eine GPU. Wenn die Aufgabe eines dieser Features erfordert, sehen Sie sich die A100 oder H100 an.

Ja. Sie hat drei NVENC- und drei NVDEC-Engines mit AV1-Kodierung und -Dekodierung, sodass FFmpeg, OBS oder ein Transcoder hardwarebeschleunigt kodiert. Die A100 und H100 haben überhaupt kein NVENC.

Ja, aber nur für eine L40S-Maschine, die bereits gerackt und unverändert über Instant-Server bestellt wurde. Sie kostet ihren Monatspreis geteilt durch 730 Stunden, mal 1,3, sekundengenau abgerechnet bis zur Freigabe, mit einer Stunde als Minimum. Jeder Build in der Tabelle oben ist monatlich.

Bare Metal. Es gibt keinen Hypervisor zwischen Ihrem Betriebssystem und der GPU, und die Maschine hat einen einzigen Mieter. Sie sehen die volle L40S mit ihren 48 GB, nicht einen Ausschnitt davon.

Ja, als Build, der manuell angeboten statt an der Kasse angeklickt wird: Gehäuse, PCIe-Lanes und Netzteil bestimmen, wie viele passen. Die GPUs kommunizieren über PCIe, da die L40S kein NVLink hat. Fragen Sie vor der Bestellung im Chat oder sehen Sie Multi-GPU-Server.

Etwa 30 Minuten nach Freigabe, wenn eine Maschine mit L40S bereits gerackt ist, 4 bis 24 Stunden, wenn wir eine vorrätige GPU einbauen, 5 bis 10 Werktage, wenn die GPU beschafft wird, und 10 bis 15, wenn sie auf Zuteilung steht. Wir sagen Ihnen vor der Zahlung, welcher der vier Fälle zutrifft.

Starten Sie einen Chat: Unsere KI antwortet in Sekunden und kann während des Gesprächs Ihr Konto und Ihren L40S-Server einsehen. Sagen Sie, dass Sie eine Person möchten, und einer von uns übernimmt dieselbe Unterhaltung.