What is an L40S dedicated server?

A physical server with one NVIDIA L40S 48 GB GPU passed through to the operating system you install, with root access, an unmetered port and nobody else on the machine. It is billed by the month, with the machine and the GPU as two lines on one invoice.

How much does an L40S server cost?

The lowest monthly price for a complete L40S server is $532.67. That machine is Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, and the GPU is $449 of the total. A build with the GPU fitted adds a one-time setup of $29, and the builds table lists every platform with its own price.

How many CUDA cores does the NVIDIA L40S have?

18,176 CUDA cores, with 568 fourth-generation Tensor Cores and 142 third-generation RT Cores, on the Ada Lovelace architecture. It carries 48 GB of GDDR6 with ECC at 864 GB/s, connects over PCIe 4.0 x16 and draws up to 350 W.

Is the L40S better than the A100 for AI?

For inference on a model that fits in 48 GB, often yes: it has FP8 Tensor Cores, which the A100 lacks, and it costs less per month. For training large models the A100 80 GB usually wins, with 80 GB of HBM2e at 1,935 GB/s against 48 GB at 864 GB/s, and an NVLink connector. The H100 is ahead of both on training.

Can an L40S run a 70B model?

At 4-bit, yes, with little room: the weights take about 38 GB of the 48, which leaves space for a short context and one user. At 8-bit, 70 billion parameters need about 70 GB, which takes two GPUs or an 80 GB one.

Does the L40S support NVLink or MIG?

Neither. The L40S has no NVLink connector and no Multi-Instance GPU, so two L40S GPUs in one server talk over PCIe, and one L40S runs as one GPU. If the job needs either feature, look at the A100 or H100.

Is the L40S good for video encoding?

Yes. It has three NVENC and three NVDEC engines with AV1 encode and decode, so FFmpeg, OBS or a transcoder encodes in hardware. The A100 and H100 have no NVENC at all.

Can I rent an L40S on demand, by the hour?

Yes, but only for an L40S machine already racked and ordered unchanged from instant servers. It costs its monthly price divided by 730 hours, times 1.3, metered by the second until you release it, with one hour as the minimum. Every build in the table above is monthly.

Is this an L40S cloud instance or bare metal?

Bare metal. There is no hypervisor between your operating system and the GPU, and the machine has one tenant. You see the full L40S with its 48 GB, not a slice of it.

Can I put two or more L40S GPUs in one server?

Yes, as a build quoted by hand rather than ticked at checkout: the chassis, its PCIe lanes and its power supply set how many fit. The GPUs talk over PCIe, since the L40S has no NVLink. Ask in chat before you order, or see multi-GPU servers.

How long does an L40S server take to deliver?

About 30 minutes after approval when a machine with an L40S is already racked, 4 to 24 hours when we fit a GPU we hold, 5 to 10 working days when the GPU is bought in, and 10 to 15 when it is on allocation. We tell you which of the four applies before you pay.

Who answers when I need help?

Start a chat: our AI replies in seconds and can look up your account and your L40S server as you talk. Say you want a person and one of us takes over the same conversation.

NVIDIA L40S · Ada Lovelace

Αποκλειστικός διακομιστής L40S 48 GB μνήμης ECC, τρεις κωδικοποιητές AV1, root στο δικό σας λειτουργικό σύστημα.

Ένας αποκλειστικός διακομιστής L40S είναι ένα φυσικό μηχάνημα με μια GPU NVIDIA L40S που περνάει απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με μηνιαία χρέωση. Η χαμηλότερη πλήρης τιμή είναι $532.67 τον μήνα, για Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps με την GPU εγκατεστημένη.

Ένας μισθωτής
PCIe passthrough
Θύρα χωρίς μέτρηση
AV1 NVENC
Χωρίς συμβόλαιο

Η L40S είναι η GPU που τοποθετούμε για μικτές εργασίες: εξαγωγή συμπερασμάτων LLM και fine-tuning, rendering με ray tracing και κωδικοποίηση βίντεο σε hardware σε μία GPU. Αυτή η σελίδα δίνει τα τεχνικά χαρακτηριστικά της, την τιμή κάθε πλατφόρμας που τη δέχεται, τη σύνδεση PCIe που παίρνει σε καθεμία, και πού μια A100 ή H100 ταιριάζει καλύτερα στη δουλειά.

Συγκρίνετε τις συνθέσεις Προδιαγραφές L40S

Φύλλο δεδομένων

Προδιαγραφές NVIDIA L40S

Η L40S είναι μια παθητική, διπλής υποδοχής PCIe GPU για data center στην αρχιτεκτονική Ada Lovelace, στην ίδια οικογένεια chip AD102 με την RTX 6000 Ada, με μνήμη ECC και όριο ισχύος πλακέτας 350 W. Η NVIDIA αναφέρει τα Tensor νούμερά της δύο φορές, πυκνά και με δομημένη αραιότητα· ο πίνακας δίνει και τα δύο και λέει ποιο είναι ποιο.

Προδιαγραφή	NVIDIA L40S
Αρχιτεκτονική	Ada Lovelace
Μνήμη GPU	48 GB GDDR6 με ECC
Εύρος ζώνης μνήμης	864 GB/s
Πυρήνες CUDA	18.176
Tensor Cores	568, τέταρτης γενιάς
RT Cores	142, τρίτης γενιάς
Διεπαφή	PCIe 4.0 x16
Ισχύς πλακέτας	350 W

Πηγή: Σελίδα προϊόντος και φύλλο δεδομένων NVIDIA L40S.
Υπολογισμός	Πυκνά, και με αραιότητα
FP32	91,6 TFLOPS
TF32 Tensor	183 TFLOPS 366 με αραιότητα
FP16 / BF16 Tensor	362 TFLOPS 733 με αραιότητα
FP8 Tensor	733 TFLOPS 1.466 με αραιότητα
INT8 Tensor	733 TOPS 1.466 με αραιότητα
RT Core	212 TFLOPS
Μηχανές βίντεο	3 NVENC, 3 NVDEC, κωδικοποίηση και αποκωδικοποίηση AV1
MIG / NVLink	Κανένα

Η L40S υποστηρίζει επίσης λογισμικό NVIDIA vGPU και ασφαλή εκκίνηση με hardware root of trust, και είναι έτοιμη για NEBS Level 3. Στους διακομιστές μας ολόκληρη η GPU πηγαίνει στο λειτουργικό σας σύστημα, οπότε ο διαχωρισμός της με vGPU θα ήταν δική σας άδεια και δικός σας hypervisor.

Από τον κατάλογο παραγγελιών

Τιμές διακομιστή L40S, με το μηχάνημα στο οποίο μπαίνει η GPU

Η L40S είναι διαθέσιμη σε 2 πλατφόρμες. Κάθε γραμμή είναι ο πλήρης μηνιαίος λογαριασμός για το φθηνότερο μηχάνημα σε μία από αυτές: επεξεργαστής, μνήμη, οι δίσκοι με τους οποίους ανοίγει η φόρμα παραγγελίας, μια θύρα χωρίς μέτρηση και μία διεύθυνση IPv4, συν τη GPU. Η διαμόρφωση ανοίγει αυτή την πλατφόρμα με την L40S επιλεγμένη, όπου προσθέτετε μνήμη, δίσκους ή ταχύτερη θύρα.

Platform	PCIe link	Cheapest machine	Cities	Per month
Intel Xeon Silver / GoldL40S $449/mo	PCIe 3.0 x16GPU is 4.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami	$532.67Configure
AMD EPYCL40S $449/mo	PCIe 4.0 x16full speed	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$666.59Configure

Η L40S είναι GPU PCIe 4.0. Σε πλατφόρμα PCIe 3.0 η σύνδεση τρέχει στα 16 GB/s προς κάθε κατεύθυνση αντί για 32, κάτι που επιβραδύνει τη φόρτωση βαρών και τη ροή παρτίδων από τη μνήμη του host, αλλά όχι εργασία που παραμένει στη μνήμη 864 GB/s της ίδιας της GPU. Μια σύνθεση με εγκατεστημένη GPU πληρώνει εφάπαξ εγκατάσταση $29. Η προπληρωμή 3, 6 ή 12 μηνών αφαιρεί έως 15%, και η τιμή δεν αυξάνεται στην ανανέωση.

L40S vs A100 vs H100

L40S, A100 ή H100: οι τρεις GPU data center που τοποθετούμε

Οι A100 και H100 φέρουν HBM με υπερδιπλάσιο εύρος ζώνης και συνδέσμους NVLink, και δεν έχουν κωδικοποιητή βίντεο. Η L40S έχει λιγότερο εύρος ζώνης μνήμης, προσθέτει RT Cores και τρεις μηχανές NVENC, και κοστίζει λιγότερο τον μήνα. Και οι τρεις είναι οι εκδόσεις PCIe, η μόνη μορφή που δέχονται τα πλαίσιά μας.

Πηγές: Φύλλο δεδομένων NVIDIA L40S, φύλλο δεδομένων A100, σύντομο φυλλάδιο προϊόντος H100 PCIe. Τιμές από τον κατάλογο παραγγελιών μας, καθεμία με το φθηνότερο μηχάνημα που δέχεται τη GPU.
Προδιαγραφή	L40S	A100 80 GB	H100 80 GB PCIe
Αρχιτεκτονική	Ada Lovelace	Ampere	Hopper
Μνήμη GPU	48 GB GDDR6, ECC	80 GB HBM2e, ECC	80 GB HBM2e, ECC
Εύρος ζώνης μνήμης	864 GB/s	1.935 GB/s	2.039 GB/s
FP8	Ναι	Όχι	Ναι
RT Cores	142	Κανένα	Κανένα
Κωδικοποίηση βίντεο	3 NVENC με AV1	Καμία	Καμία
NVLink	Όχι	Σύνδεσμος γέφυρας	Σύνδεσμος γέφυρας
Multi-Instance GPU	Όχι	Έως 7	Έως 7
Ισχύς πλακέτας	350 W	300 W	350 W
Διεπαφή	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 5.0 x16
Γραμμή GPU, ανά μήνα	$449	$899	$1,599
Πλήρης διακομιστής από	$532.67	$972.47	$1,682.67

Επιλέξτε την A100 ή την H100 όταν ένα μοντέλο χρειάζεται πάνω από 48 GB σε μία GPU, όταν η εκπαίδευση περιορίζεται από το εύρος ζώνης μνήμης, ή όταν δύο GPU πρέπει να ανταλλάσσουν δεδομένα μέσω NVLink. Και οι δύο είναι σε διακομιστές A100 και H100.

Φόρτοι εργασίας

Τι εκτελεί καλά ένας διακομιστής GPU NVIDIA L40S

Ξεκινήστε από τη μνήμη. Τα βάρη, η KV cache και το runtime πρέπει να χωρέσουν στα 48 GB· μια εργασία που δεν χωράει δεν σώζεται από ταχύτερο chip.

Εξαγωγή συμπερασμάτων και fine-tuning

Εξυπηρέτηση μοντέλων 13B στα 16-bit με άνεση, 30B στα 8-bit ή 70B στα 4-bit με σύντομο context, και fine-tuning LoRA ή QLoRA. Οι FP8 Tensor Cores επιταχύνουν την εξαγωγή συμπερασμάτων όπου το runtime σας υποστηρίζει FP8.

Γραφικά

Rendering και 3D

RT Cores για renderers που τα χρησιμοποιούν μέσω OptiX, όπως το Blender Cycles, και 48 GB για σκηνές που ξεπερνούν τη μνήμη μιας καταναλωτικής GPU 24 GB.

Βίντεο

Κωδικοποίηση και transcoding

Τρεις μηχανές NVENC και τρεις NVDEC με AV1, ώστε το FFmpeg, το OBS ή ένας transcoder να κωδικοποιεί σε hardware και να αφήνει τους πυρήνες CUDA για το υπόλοιπο pipeline.

Χωράνε τα βάρη του μοντέλου στα 48 GB;

Model weights	16-bit	8-bit	4-bit
7-8 billion parameters	fits16 GB	fits8 GB	fits5 GB
13-14 billion parameters	fits28 GB	fits14 GB	fits8 GB
30-34 billion parameters	no68 GB	tight34 GB	fits19 GB
70 billion parameters	no140 GB	no70 GB	tight38 GB

Μόνο βάρη. Το "Χωράει" σημαίνει ότι το μισό μέγεθος των βαρών πάλι μένει ελεύθερο για την KV cache και το runtime. Το "Οριακά" φορτώνει, αλλά ένα μεγάλο prompt ή ένας δεύτερος χρήστης μπορεί να ξεπεράσει τα 48 GB. Για ένα δεδομένο μοντέλο, το LLM hosting ονομάζει το μηχάνημα, και για ζωντανά κανάλια σε hardware, οι διακομιστές GPU transcoding τρέχουν Flussonic ή Wowza στη GPU.

Περιλαμβάνεται

L40S bare metal: τι ελέγχετε και πώς χρεώνεται

Χωρίς εικονική μηχανή και χωρίς κοινή GPU: η L40S ανήκει σε ένα μηχάνημα και το μηχάνημα σε εσάς. Το μηχάνημα και η GPU είναι δύο μηνιαίες γραμμές σε ένα τιμολόγιο, και η αλλαγή της GPU αργότερα μετακινεί τον λογαριασμό κατά τη διαφορά ενώ οι δίσκοι και οι διευθύνσεις IP σας παραμένουν.

Root και απομακρυσμένη κονσόλα

Το λειτουργικό σας σύστημα, εγκατεστημένο καθαρά, με root, συν τον out-of-band ελεγκτή του μηχανήματος (iLO, iDRAC ή BMC) για την οθόνη, τα εικονικά μέσα και την τροφοδοσία.

Drivers που καρφιτσώνετε

Ο NVIDIA driver, η έκδοση CUDA και το framework παραμένουν στις εκδόσεις που επιλέγετε, και τίποτα δεν τα ενημερώνει για εσάς. Για να εγκατασταθεί ένας driver πριν την παράδοση, γράψτε την έκδοσή του στην παραγγελία.

Θύρα χωρίς μέτρηση

Η κίνηση δεν μετράται προς καμία κατεύθυνση, οπότε datasets, checkpoints και κωδικοποιημένο βίντεο δεν προσθέτουν τίποτα στον λογαριασμό. Ταχύτερες θύρες είναι στη φόρμα παραγγελίας και στο εύρος ζώνης χωρίς μέτρηση.

Μήνα με μήνα

Πληρώνετε έναν μήνα τη φορά και σταματάτε όταν τελειώσει η εργασία. Η ωριαία χρέωση είναι μόνο για μηχάνημα ήδη racked και παραγγελμένο αμετάβλητο σε άμεσους διακομιστές· μια σύνθεση παραμένει μηνιαία.

Παράδοση

Πόσο χρόνο παίρνει ένας διακομιστής L40S

Εξαρτάται από το πού βρίσκεται η GPU όταν παραγγέλνετε, και σας λέμε ποια περίπτωση ισχύει πριν πληρώσετε. Κάθε χρόνος παρακάτω μετρά από την έγκριση της παραγγελίας.

30 λεπτά
Ήδη racked
Ένα μηχάνημα που φέρει L40S περιμένει στο rack.
4–24 ώρες
Εγκατάσταση από το απόθεμά μας
Κρατάμε τη GPU και την εγκαθιστούμε στο μηχάνημα που διαμορφώσατε.
5–10 ημέρες
Αγορά κατόπιν παραγγελίας
Εργάσιμες ημέρες, όταν πρέπει πρώτα να αγοράσουμε την L40S.
10–15 ημέρες
Σε κατανομή
Εργάσιμες ημέρες, όταν ο προμηθευτής ορίζει την ημερομηνία.

Απαντήσεις

Ερωτήσεις για τους διακομιστές L40S

Τι είναι ένας dedicated server L40S;

Ένας φυσικός διακομιστής με μία NVIDIA L40S 48 GB GPU που περνά απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με πρόσβαση root, απεριόριστη θύρα και κανέναν άλλον στο μηχάνημα. Χρεώνεται ανά μήνα, με το μηχάνημα και την GPU ως δύο γραμμές σε ένα τιμολόγιο.

Πόσο κοστίζει ένας διακομιστής L40S;

Η χαμηλότερη μηνιαία τιμή για έναν πλήρη διακομιστή L40S είναι $532.67. Αυτό το μηχάνημα είναι Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, και η GPU είναι $449 του συνόλου. Μια σύνθεση με την GPU τοποθετημένη προσθέτει εφάπαξ εγκατάσταση $29, και ο πίνακας συνθέσεων αναφέρει κάθε πλατφόρμα με τη δική της τιμή.

Πόσους πυρήνες CUDA έχει η NVIDIA L40S;

18.176 πυρήνες CUDA, με 568 Tensor Cores τέταρτης γενιάς και 142 RT Cores τρίτης γενιάς, στην αρχιτεκτονική Ada Lovelace. Διαθέτει 48 GB GDDR6 με ECC στα 864 GB/s, συνδέεται μέσω PCIe 4.0 x16 και καταναλώνει έως 350 W.

Είναι η L40S καλύτερη από την A100 για AI;

Για inference σε μοντέλο που χωράει σε 48 GB, συχνά ναι: έχει FP8 Tensor Cores, που λείπουν από την A100, και κοστίζει λιγότερο ανά μήνα. Για εκπαίδευση μεγάλων μοντέλων η A100 80 GB συνήθως κερδίζει, με 80 GB HBM2e στα 1.935 GB/s έναντι 48 GB στα 864 GB/s, και σύνδεσμο NVLink. Η H100 είναι μπροστά και από τις δύο στην εκπαίδευση.

Μπορεί μια L40S να τρέξει ένα μοντέλο 70B;

Σε 4-bit, ναι, με λίγο περιθώριο: τα βάρη καταλαμβάνουν περίπου 38 GB από τα 48, που αφήνει χώρο για σύντομο context και έναν χρήστη. Σε 8-bit, 70 δισεκατομμύρια παράμετροι χρειάζονται περίπου 70 GB, που απαιτεί δύο GPU ή μία 80 GB.

Υποστηρίζει η L40S NVLink ή MIG;

Κανένα από τα δύο. Η L40S δεν έχει σύνδεσμο NVLink ούτε Multi-Instance GPU, οπότε δύο L40S GPU σε έναν διακομιστή επικοινωνούν μέσω PCIe, και μία L40S λειτουργεί ως μία GPU. Αν η εργασία χρειάζεται κάποιο από τα δύο χαρακτηριστικά, δείτε την A100 ή την H100.

Είναι η L40S καλή για κωδικοποίηση βίντεο;

Ναι. Έχει τρεις μηχανές NVENC και τρεις NVDEC με κωδικοποίηση και αποκωδικοποίηση AV1, οπότε FFmpeg, OBS ή ένας transcoder κωδικοποιεί σε hardware. Οι A100 και H100 δεν έχουν καθόλου NVENC.

Μπορώ να νοικιάσω μια L40S κατά παραγγελία, ανά ώρα;

Ναι, αλλά μόνο για μηχάνημα L40S ήδη racked και παραγγελμένο αμετάβλητο από instant servers. Κοστίζει τη μηνιαία τιμή του διαιρεμένη με 730 ώρες, επί 1,3, με χρέωση ανά δευτερόλεπτο μέχρι να το απελευθερώσετε, με ελάχιστο τη μία ώρα. Κάθε σύνθεση στον παραπάνω πίνακα είναι μηνιαία.

Είναι αυτό cloud instance L40S ή bare metal;

Bare metal. Δεν υπάρχει hypervisor μεταξύ του λειτουργικού σας συστήματος και της GPU, και το μηχάνημα έχει έναν μισθωτή. Βλέπετε την πλήρη L40S με τα 48 GB της, όχι ένα κομμάτι της.

Μπορώ να βάλω δύο ή περισσότερες L40S GPU σε έναν διακομιστή;

Ναι, ως σύνθεση που κοστολογείται χειροκίνητα αντί να επιλέγεται στο checkout: το chassis, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν πόσες χωράνε. Οι GPU επικοινωνούν μέσω PCIe, αφού η L40S δεν έχει NVLink. Ρωτήστε στο chat πριν παραγγείλετε, ή δείτε multi-GPU servers.

Πόσο χρόνο χρειάζεται η παράδοση ενός διακομιστή L40S;

Περίπου 30 λεπτά μετά την έγκριση όταν ένα μηχάνημα με L40S είναι ήδη racked, 4 έως 24 ώρες όταν τοποθετούμε GPU που έχουμε σε απόθεμα, 5 έως 10 εργάσιμες ημέρες όταν η GPU αγοράζεται, και 10 έως 15 όταν είναι σε allocation. Σας λέμε ποια από τις τέσσερις περιπτώσεις ισχύει πριν πληρώσετε.

Ποιος απαντά όταν χρειάζομαι βοήθεια;

Ξεκινήστε ένα chat: το AI μας απαντά σε δευτερόλεπτα και μπορεί να δει τον λογαριασμό σας και τον διακομιστή L40S σας καθώς μιλάτε. Πείτε ότι θέλετε άνθρωπο και κάποιος από εμάς αναλαμβάνει την ίδια συνομιλία.

Σε απλό κείμενο

Κάθε αριθμός σε αυτή τη σελίδα

GPU: NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores: 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute: FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video: 3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from: $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line: $449 a month on top of the machine
Platforms: Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities: New York, Bucharest, San Francisco, Miami
Setup: $29 once for a build with a GPU fitted
Term: Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic: Unmetered port, no egress charge
GPU access: PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery: About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S: NVLink, Multi-Instance GPU, HBM

Αλλού

Άλλες ερωτήσεις για GPU

Επιλέξτε την πλατφόρμα και μετά διαμορφώστε τον διακομιστή L40S

Ανοίξτε τον configurator με την L40S ήδη επιλεγμένη, ή πείτε μας το μοντέλο, τη σκηνή ή τον αριθμό καναλιών στο chat. Το AI απαντά μέσα σε δευτερόλεπτα· ένας άνθρωπος αναλαμβάνει όποτε το ζητήσετε.

Διαμορφώστε έναν διακομιστή L40S