NVIDIA L40S · Ada Lovelace

Διακομιστής με αποκλειστική GPU NVIDIA L40S 48 GB μνήμης ECC, τρεις κωδικοποιητές AV1, root στο δικό σας λειτουργικό σύστημα.

Ένας διακομιστής με GPU NVIDIA L40S είναι ένα φυσικό μηχάνημα με την L40S 48 GB περασμένη απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με μηνιαία χρέωση. Η χαμηλότερη πλήρης τιμή είναι $532.67 τον μήνα, για Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps με την GPU τοποθετημένη.

  • Αποκλειστικός ενοικιαστής
  • PCIe passthrough
  • Θύρα χωρίς μέτρηση
  • AV1 NVENC
  • Χωρίς συμβόλαιο

Η L40S είναι η GPU που τοποθετούμε για μικτές εργασίες: εξαγωγή συμπερασμάτων και fine-tuning LLM, rendering με ray tracing και κωδικοποίηση βίντεο σε hardware, όλα σε μία GPU. Αυτή η σελίδα παρουσιάζει τα τεχνικά χαρακτηριστικά της, την τιμή κάθε πλατφόρμας που τη δέχεται, τη σύνδεση PCIe που λαμβάνει σε καθεμία, και πού μια A100 ή H100 ταιριάζει καλύτερα στην εργασία.

Φύλλο δεδομένων

Προδιαγραφές NVIDIA L40S

Η L40S είναι μια παθητική, διπλής υποδοχής PCIe GPU για data center στην αρχιτεκτονική Ada Lovelace, στην ίδια οικογένεια chip AD102 με την RTX 6000 Ada, με μνήμη ECC και όριο ισχύος πλακέτας 350 W. Η NVIDIA αναφέρει τις επιδόσεις Tensor δύο φορές, πυκνές και με δομημένη αραιότητα· ο πίνακας δίνει και τις δύο και διευκρινίζει ποια είναι ποια.

ΠροδιαγραφήNVIDIA L40S
ΑρχιτεκτονικήAda Lovelace
Μνήμη GPU48 GB GDDR6 με ECC
Εύρος ζώνης μνήμης864 GB/s
Πυρήνες CUDA18.176
Tensor Cores568, τέταρτης γενιάς
RT Cores142, τρίτης γενιάς
ΔιεπαφήPCIe 4.0 x16
Ισχύς πλακέτας350 W
Πηγή: Σελίδα προϊόντος και φύλλο δεδομένων NVIDIA L40S.
ΥπολογισμόςΠυκνές, και με αραιότητα
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS 366 με αραιότητα
FP16 / BF16 Tensor362 TFLOPS 733 με αραιότητα
FP8 Tensor733 TFLOPS 1.466 με αραιότητα
INT8 Tensor733 TOPS 1.466 με αραιότητα
RT Core212 TFLOPS
Μηχανές βίντεο3 NVENC, 3 NVDEC, κωδικοποίηση και αποκωδικοποίηση AV1
MIG / NVLinkΚανένα

Η L40S υποστηρίζει επίσης λογισμικό NVIDIA vGPU και ασφαλή εκκίνηση με hardware root of trust, και είναι έτοιμη για NEBS Level 3. Στους διακομιστές μας ολόκληρη η GPU περνά στο λειτουργικό σας σύστημα, οπότε ο διαχωρισμός της με vGPU θα ήταν δική σας άδεια και δικός σας hypervisor.

Από τον κατάλογο παραγγελιών

Τιμές διακομιστών L40S, με το μηχάνημα στο οποίο μπαίνει η GPU

Η L40S είναι διαθέσιμη σε 2 πλατφόρμες. Κάθε γραμμή είναι ο πλήρης μηνιαίος λογαριασμός για το φθηνότερο μηχάνημα σε μία από αυτές: επεξεργαστής, μνήμη, οι δίσκοι με τους οποίους ανοίγει η φόρμα παραγγελίας, μια θύρα χωρίς μέτρηση και μία διεύθυνση IPv4, συν τη GPU. Η επιλογή Configure ανοίγει αυτή την πλατφόρμα με την L40S επιλεγμένη, όπου προσθέτετε μνήμη, δίσκους ή ταχύτερη θύρα.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

Η L40S είναι GPU PCIe 4.0. Σε πλατφόρμα PCIe 3.0 η σύνδεση λειτουργεί στα 16 GB/s προς κάθε κατεύθυνση αντί για 32, κάτι που επιβραδύνει τη φόρτωση βαρών και τη ροή παρτίδων από τη μνήμη του host, αλλά όχι εργασίες που παραμένουν στη μνήμη των 864 GB/s της ίδιας της GPU. Μια διαμόρφωση με τοποθετημένη GPU πληρώνει εφάπαξ εγκατάσταση $29. Η προπληρωμή 3, 6 ή 12 μηνών αφαιρεί έως 15%, και η τιμή δεν αυξάνεται στην ανανέωση.

L40S vs A100 vs H100

L40S, A100 ή H100: οι τρεις GPUs data center που τοποθετούμε

Οι A100 και H100 διαθέτουν HBM με υπερδιπλάσιο εύρος ζώνης και συνδέσμους NVLink, και δεν έχουν κωδικοποιητή βίντεο. Η L40S έχει μικρότερο εύρος ζώνης μνήμης, προσθέτει RT Cores και τρεις μηχανές NVENC, και κοστίζει λιγότερο τον μήνα. Και οι τρεις είναι οι εκδόσεις PCIe, η μόνη μορφή που δέχονται τα chassis μας.

Πηγές: Φύλλο δεδομένων NVIDIA L40S, φύλλο δεδομένων A100, σύντομο φυλλάδιο προϊόντος H100 PCIe. Τιμές από τον κατάλογο παραγγελιών μας, καθεμία με το φθηνότερο μηχάνημα που δέχεται τη GPU.
ΠροδιαγραφήL40SA100 80 GBH100 80 GB PCIe
ΑρχιτεκτονικήAda LovelaceAmpereHopper
Μνήμη GPU48 GB GDDR6, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Εύρος ζώνης μνήμης864 GB/s1.935 GB/s2.039 GB/s
FP8ΝαιΌχιΝαι
RT Cores142ΚανέναΚανένα
Κωδικοποίηση βίντεο3 NVENC με AV1ΚαμίαΚαμία
NVLinkΌχιΣύνδεσμος γέφυραςΣύνδεσμος γέφυρας
Multi-Instance GPUΌχιΈως 7Έως 7
Ισχύς πλακέτας350 W300 W350 W
ΔιεπαφήPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Γραμμή GPU, ανά μήνα$449$899$1,599
Πλήρης διακομιστής από$532.67$972.47$1,682.67

Επιλέξτε την A100 ή την H100 όταν ένα μοντέλο χρειάζεται περισσότερα από 48 GB σε μία GPU, όταν η εκπαίδευση περιορίζεται από το εύρος ζώνης μνήμης, ή όταν δύο GPUs πρέπει να ανταλλάσσουν δεδομένα μέσω NVLink. Και οι δύο είναι διαθέσιμες σε διακομιστές A100 και H100.

Φόρτοι εργασίας

Τι εκτελεί καλά ένας διακομιστής με GPU NVIDIA L40S

Ξεκινήστε από τη μνήμη. Τα βάρη, η κρυφή μνήμη KV και το runtime πρέπει να χωρέσουν στα 48 GB· μια εργασία που δεν χωρά δεν σώζεται από ταχύτερο chip.

AI

Εξαγωγή συμπερασμάτων και fine-tuning

Εξυπηρέτηση μοντέλων 13B στα 16-bit με άνεση, 30B στα 8-bit ή 70B στα 4-bit με σύντομο context, και fine-tuning LoRA ή QLoRA. Οι FP8 Tensor Cores επιταχύνουν την εξαγωγή συμπερασμάτων όπου το runtime σας υποστηρίζει FP8.

Γραφικά

Rendering και 3D

RT Cores για renderers που τα χρησιμοποιούν μέσω OptiX, όπως το Blender Cycles, και 48 GB για σκηνές που ξεπερνούν τη μνήμη μιας καταναλωτικής GPU 24 GB.

Βίντεο

Κωδικοποίηση και transcoding

Τρεις μηχανές NVENC και τρεις NVDEC με AV1, ώστε το FFmpeg, το OBS ή ένας transcoder να κωδικοποιεί σε hardware και να αφήνει τους πυρήνες CUDA για το υπόλοιπο pipeline.

Χωρούν τα βάρη του μοντέλου στα 48 GB;

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Μόνο βάρη. Το "Χωρά" σημαίνει ότι το μισό μέγεθος των βαρών επιπλέον παραμένει ελεύθερο για την κρυφή μνήμη KV και το runtime. Το "Οριακά" φορτώνει, αλλά ένα μεγάλο prompt ή ένας δεύτερος χρήστης μπορεί να ξεπεράσει τα 48 GB. Για ένα συγκεκριμένο μοντέλο, η φιλοξενία LLM ονομάζει το μηχάνημα, και για ζωντανά κανάλια σε hardware, οι διακομιστές GPU transcoding εκτελούν Flussonic ή Wowza στη GPU.

Περιλαμβάνεται

L40S bare metal: τι ελέγχετε και πώς χρεώνεται

Χωρίς εικονική μηχανή και χωρίς κοινόχρηστη GPU: η L40S ανήκει σε ένα μηχάνημα και το μηχάνημα σε εσάς. Το μηχάνημα και η GPU είναι δύο μηνιαίες γραμμές σε ένα τιμολόγιο, και η αλλαγή της GPU αργότερα μεταβάλλει τον λογαριασμό κατά τη διαφορά, ενώ οι δίσκοι και οι διευθύνσεις IP σας παραμένουν.

Root και απομακρυσμένη κονσόλα

Το λειτουργικό σας σύστημα, εγκατεστημένο καθαρά, με root, συν τον out-of-band ελεγκτή του μηχανήματος (iLO, iDRAC ή BMC) για την οθόνη, τα εικονικά μέσα και την τροφοδοσία.

Οδηγοί που καθορίζετε εσείς

Ο οδηγός NVIDIA, η έκδοση CUDA και το framework παραμένουν στις εκδόσεις που επιλέγετε, και τίποτα δεν τα ενημερώνει για εσάς. Για να εγκατασταθεί ένας οδηγός πριν την παράδοση, γράψτε την έκδοσή του στην παραγγελία.

Θύρα χωρίς μέτρηση

Η κίνηση δεν μετράται προς καμία κατεύθυνση, οπότε σύνολα δεδομένων, checkpoints και κωδικοποιημένο βίντεο δεν προσθέτουν τίποτα στον λογαριασμό. Ταχύτερες θύρες υπάρχουν στη φόρμα παραγγελίας και στο εύρος ζώνης χωρίς μέτρηση.

Μήνα με μήνα

Πληρώνετε έναν μήνα κάθε φορά και σταματάτε όταν τελειώσει η εργασία. Η ωριαία χρέωση ισχύει μόνο για μηχάνημα ήδη racked και παραγγελμένο αμετάβλητο στους άμεσους διακομιστές· μια διαμόρφωση παραμένει μηνιαία.

Τι εκτελεί ένας διακομιστής L40S

Ονομάστε το λειτουργικό σύστημα στη φόρμα παραγγελίας και αυτό θα είναι στον δίσκο κατά την παράδοση: Ubuntu από 14.04 έως 26.04, Windows Server από 2008 R2 έως 2025, Proxmox VE ή VMware vSphere Hypervisor. Η στοίβα GPU από πάνω είναι δική σας. Η L40S απαιτεί οδηγό R535 ή νεότερο, τον κλάδο στον οποίο την πρόσθεσε η NVIDIA, και CUDA 12 για να φτάσει στους FP8 Tensor Cores. Τα PyTorch, vLLM, llama.cpp και Ollama βλέπουν τότε μία συσκευή με 48 GB, και το FFmpeg 6.0 ή νεότερο φέρει τον κωδικοποιητή av1_nvenc που οδηγεί τις τρεις μηχανές NVENC.

Παράδοση

Πόσο χρόνο παίρνει ένας διακομιστής L40S

Εξαρτάται από το πού βρίσκεται η GPU όταν παραγγέλνετε, και σας λέμε ποια περίπτωση ισχύει πριν πληρώσετε. Κάθε χρόνος παρακάτω μετρά από την έγκριση της παραγγελίας.

  1. 30 λεπτά

    Ήδη racked

    Ένα μηχάνημα που φέρει L40S περιμένει στο rack.

  2. 4–24 ώρες

    Τοποθέτηση από το απόθεμά μας

    Κρατάμε τη GPU και την τοποθετούμε στο μηχάνημα που διαμορφώσατε.

  3. 5–10 ημέρες

    Αγορά

    Εργάσιμες ημέρες, όταν πρέπει πρώτα να αγοράσουμε την L40S.

  4. 10–15 ημέρες

    Σε κατανομή

    Εργάσιμες ημέρες, όταν ο προμηθευτής ορίζει την ημερομηνία.

Απαντήσεις

Ερωτήσεις για τους διακομιστές L40S

Τι είναι ένας αποκλειστικός διακομιστής L40S;

Ένας φυσικός διακομιστής με μία GPU NVIDIA L40S 48 GB που περνά απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με πρόσβαση root, απεριόριστη θύρα και κανέναν άλλον στο μηχάνημα. Χρεώνεται ανά μήνα, με το μηχάνημα και τη GPU ως δύο γραμμές σε ένα τιμολόγιο.

Πόσο κοστίζει ένας διακομιστής L40S;

Η χαμηλότερη μηνιαία τιμή για έναν πλήρη διακομιστή L40S είναι $532.67. Αυτό το μηχάνημα είναι Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, και η GPU είναι $449 του συνόλου. Μια σύνθεση με τη GPU εγκατεστημένη προσθέτει μια εφάπαξ εγκατάσταση $29, και ο πίνακας συνθέσεων αναφέρει κάθε πλατφόρμα με τη δική της τιμή.

Πόσους πυρήνες CUDA έχει η NVIDIA L40S;

18.176 πυρήνες CUDA, με 568 Tensor Cores τέταρτης γενιάς και 142 RT Cores τρίτης γενιάς, στην αρχιτεκτονική Ada Lovelace. Διαθέτει 48 GB GDDR6 με ECC στα 864 GB/s, συνδέεται μέσω PCIe 4.0 x16 και καταναλώνει έως 350 W.

Είναι η L40S καλύτερη από την A100 για τεχνητή νοημοσύνη;

Για συμπερασμό σε ένα μοντέλο που χωράει στα 48 GB, συχνά ναι: έχει FP8 Tensor Cores, που λείπουν από την A100, και κοστίζει λιγότερο ανά μήνα. Για εκπαίδευση μεγάλων μοντέλων η A100 80 GB συνήθως κερδίζει, με 80 GB HBM2e στα 1.935 GB/s έναντι 48 GB στα 864 GB/s, και σύνδεσμο NVLink. Η H100 είναι μπροστά και από τις δύο στην εκπαίδευση.

Μπορεί μια L40S να τρέξει ένα μοντέλο 70B;

Στα 4-bit, ναι, με λίγο περιθώριο: τα βάρη καταλαμβάνουν περίπου 38 GB από τα 48, που αφήνει χώρο για σύντομο πλαίσιο και έναν χρήστη. Στα 8-bit, 70 δισεκατομμύρια παράμετροι χρειάζονται περίπου 70 GB, που απαιτεί δύο GPU ή μία 80 GB.

Υποστηρίζει η L40S NVLink ή MIG;

Κανένα από τα δύο. Η L40S δεν έχει σύνδεσμο NVLink ούτε Multi-Instance GPU, οπότε δύο GPU L40S σε έναν διακομιστή επικοινωνούν μέσω PCIe, και μία L40S τρέχει ως μία GPU. Αν η εργασία χρειάζεται κάποιο από τα δύο χαρακτηριστικά, δείτε την A100 ή την H100.

Είναι η L40S καλή για κωδικοποίηση βίντεο;

Ναι. Έχει τρεις μηχανές NVENC και τρεις NVDEC με κωδικοποίηση και αποκωδικοποίηση AV1, οπότε το FFmpeg, το OBS ή ένας transcoder κωδικοποιεί σε υλικό. Οι A100 και H100 δεν έχουν καθόλου NVENC.

Μπορώ να νοικιάσω μια L40S κατά παραγγελία, ανά ώρα;

Ναι, αλλά μόνο για ένα μηχάνημα L40S ήδη εγκατεστημένο και παραγγελμένο αμετάβλητο από τους άμεσους διακομιστές. Κοστίζει τη μηνιαία τιμή του διαιρεμένη με 730 ώρες, επί 1,3, χρεώνεται ανά δευτερόλεπτο μέχρι να το απελευθερώσετε, με μία ώρα ως ελάχιστο. Κάθε σύνθεση στον παραπάνω πίνακα είναι μηνιαία.

Είναι αυτό ένα cloud instance L40S ή bare metal;

Bare metal. Δεν υπάρχει hypervisor μεταξύ του λειτουργικού σας συστήματος και της GPU, και το μηχάνημα έχει έναν μισθωτή. Βλέπετε την πλήρη L40S με τα 48 GB της, όχι ένα κομμάτι της.

Ποιο λειτουργικό σύστημα και ποιον οδηγό NVIDIA τρέχει ένας διακομιστής L40S;

Όποια εικόνα ονομάσετε στη φόρμα παραγγελίας, εγκατεστημένη πριν την παράδοση: Ubuntu από 14.04 έως 26.04, Windows Server από 2008 R2 έως 2025, Proxmox VE ή VMware vSphere Hypervisor. Η L40S θέλει οδηγό R535 ή νεότερο, τον κλάδο στον οποίο την πρόσθεσε η NVIDIA, και CUDA 12 για να φτάσει τους FP8 Tensor Cores της. Μετά την παράδοση ο οδηγός, η έκδοση CUDA και το framework παραμένουν στις εκδόσεις που επιλέγετε.

Μπορώ να βάλω δύο ή περισσότερες GPU L40S σε έναν διακομιστή;

Ναι, ως σύνθεση που τιμολογείται χειροκίνητα αντί να επιλέγεται στο ταμείο: το πλαίσιο, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν πόσες χωράνε. Οι GPU επικοινωνούν μέσω PCIe, αφού η L40S δεν έχει NVLink. Ρωτήστε στη συνομιλία πριν παραγγείλετε, ή δείτε τους διακομιστές πολλαπλών GPU.

Πόσο χρόνο χρειάζεται για να παραδοθεί ένας διακομιστής L40S;

Περίπου 30 λεπτά μετά την έγκριση όταν ένα μηχάνημα με L40S είναι ήδη εγκατεστημένο, 4 έως 24 ώρες όταν τοποθετούμε μια GPU που έχουμε σε απόθεμα, 5 έως 10 εργάσιμες ημέρες όταν η GPU αγοράζεται, και 10 έως 15 όταν είναι σε κατανομή. Σας λέμε ποια από τις τέσσερις ισχύει πριν πληρώσετε.

Ποιος απαντά όταν χρειάζομαι βοήθεια;

Ξεκινήστε μια συνομιλία: η τεχνητή νοημοσύνη μας απαντά σε δευτερόλεπτα και μπορεί να αναζητήσει τον λογαριασμό σας και τον διακομιστή L40S σας καθώς μιλάτε. Πείτε ότι θέλετε άνθρωπο και κάποιος από εμάς αναλαμβάνει την ίδια συνομιλία.

Σε απλό κείμενο

Κάθε αριθμός σε αυτή τη σελίδα

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Επιλέξτε την πλατφόρμα και μετά διαμορφώστε τον διακομιστή L40S

Ανοίξτε τον διαμορφωτή με την L40S ήδη επιλεγμένη, ή πείτε μας το μοντέλο, τη σκηνή ή τον αριθμό καναλιών στη συνομιλία. Η τεχνητή νοημοσύνη απαντά μέσα σε δευτερόλεπτα· ένας άνθρωπος αναλαμβάνει όποτε το ζητήσετε.