NVIDIA L40S · Ada Lovelace
Διακομιστής με αποκλειστική GPU NVIDIA L40S 48 GB μνήμης ECC, τρεις κωδικοποιητές AV1, root στο δικό σας λειτουργικό σύστημα.
Ένας διακομιστής με GPU NVIDIA L40S είναι ένα φυσικό μηχάνημα με την L40S 48 GB περασμένη απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με μηνιαία χρέωση. Η χαμηλότερη πλήρης τιμή είναι $532.67 τον μήνα, για Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps με την GPU τοποθετημένη.
- Αποκλειστικός ενοικιαστής
- PCIe passthrough
- Θύρα χωρίς μέτρηση
- AV1 NVENC
- Χωρίς συμβόλαιο
Η L40S είναι η GPU που τοποθετούμε για μικτές εργασίες: εξαγωγή συμπερασμάτων και fine-tuning LLM, rendering με ray tracing και κωδικοποίηση βίντεο σε hardware, όλα σε μία GPU. Αυτή η σελίδα παρουσιάζει τα τεχνικά χαρακτηριστικά της, την τιμή κάθε πλατφόρμας που τη δέχεται, τη σύνδεση PCIe που λαμβάνει σε καθεμία, και πού μια A100 ή H100 ταιριάζει καλύτερα στην εργασία.
Φύλλο δεδομένων
Προδιαγραφές NVIDIA L40S
Η L40S είναι μια παθητική, διπλής υποδοχής PCIe GPU για data center στην αρχιτεκτονική Ada Lovelace, στην ίδια οικογένεια chip AD102 με την RTX 6000 Ada, με μνήμη ECC και όριο ισχύος πλακέτας 350 W. Η NVIDIA αναφέρει τις επιδόσεις Tensor δύο φορές, πυκνές και με δομημένη αραιότητα· ο πίνακας δίνει και τις δύο και διευκρινίζει ποια είναι ποια.
| Προδιαγραφή | NVIDIA L40S |
|---|---|
| Αρχιτεκτονική | Ada Lovelace |
| Μνήμη GPU | 48 GB GDDR6 με ECC |
| Εύρος ζώνης μνήμης | 864 GB/s |
| Πυρήνες CUDA | 18.176 |
| Tensor Cores | 568, τέταρτης γενιάς |
| RT Cores | 142, τρίτης γενιάς |
| Διεπαφή | PCIe 4.0 x16 |
| Ισχύς πλακέτας | 350 W |
| Υπολογισμός | Πυκνές, και με αραιότητα |
|---|---|
| FP32 | 91,6 TFLOPS |
| TF32 Tensor | 183 TFLOPS 366 με αραιότητα |
| FP16 / BF16 Tensor | 362 TFLOPS 733 με αραιότητα |
| FP8 Tensor | 733 TFLOPS 1.466 με αραιότητα |
| INT8 Tensor | 733 TOPS 1.466 με αραιότητα |
| RT Core | 212 TFLOPS |
| Μηχανές βίντεο | 3 NVENC, 3 NVDEC, κωδικοποίηση και αποκωδικοποίηση AV1 |
| MIG / NVLink | Κανένα |
Η L40S υποστηρίζει επίσης λογισμικό NVIDIA vGPU και ασφαλή εκκίνηση με hardware root of trust, και είναι έτοιμη για NEBS Level 3. Στους διακομιστές μας ολόκληρη η GPU περνά στο λειτουργικό σας σύστημα, οπότε ο διαχωρισμός της με vGPU θα ήταν δική σας άδεια και δικός σας hypervisor.
Από τον κατάλογο παραγγελιών
Τιμές διακομιστών L40S, με το μηχάνημα στο οποίο μπαίνει η GPU
Η L40S είναι διαθέσιμη σε 2 πλατφόρμες. Κάθε γραμμή είναι ο πλήρης μηνιαίος λογαριασμός για το φθηνότερο μηχάνημα σε μία από αυτές: επεξεργαστής, μνήμη, οι δίσκοι με τους οποίους ανοίγει η φόρμα παραγγελίας, μια θύρα χωρίς μέτρηση και μία διεύθυνση IPv4, συν τη GPU. Η επιλογή Configure ανοίγει αυτή την πλατφόρμα με την L40S επιλεγμένη, όπου προσθέτετε μνήμη, δίσκους ή ταχύτερη θύρα.
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
Η L40S είναι GPU PCIe 4.0. Σε πλατφόρμα PCIe 3.0 η σύνδεση λειτουργεί στα 16 GB/s προς κάθε κατεύθυνση αντί για 32, κάτι που επιβραδύνει τη φόρτωση βαρών και τη ροή παρτίδων από τη μνήμη του host, αλλά όχι εργασίες που παραμένουν στη μνήμη των 864 GB/s της ίδιας της GPU. Μια διαμόρφωση με τοποθετημένη GPU πληρώνει εφάπαξ εγκατάσταση $29. Η προπληρωμή 3, 6 ή 12 μηνών αφαιρεί έως 15%, και η τιμή δεν αυξάνεται στην ανανέωση.
L40S vs A100 vs H100
L40S, A100 ή H100: οι τρεις GPUs data center που τοποθετούμε
Οι A100 και H100 διαθέτουν HBM με υπερδιπλάσιο εύρος ζώνης και συνδέσμους NVLink, και δεν έχουν κωδικοποιητή βίντεο. Η L40S έχει μικρότερο εύρος ζώνης μνήμης, προσθέτει RT Cores και τρεις μηχανές NVENC, και κοστίζει λιγότερο τον μήνα. Και οι τρεις είναι οι εκδόσεις PCIe, η μόνη μορφή που δέχονται τα chassis μας.
| Προδιαγραφή | L40S | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Αρχιτεκτονική | Ada Lovelace | Ampere | Hopper |
| Μνήμη GPU | 48 GB GDDR6, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Εύρος ζώνης μνήμης | 864 GB/s | 1.935 GB/s | 2.039 GB/s |
| FP8 | Ναι | Όχι | Ναι |
| RT Cores | 142 | Κανένα | Κανένα |
| Κωδικοποίηση βίντεο | 3 NVENC με AV1 | Καμία | Καμία |
| NVLink | Όχι | Σύνδεσμος γέφυρας | Σύνδεσμος γέφυρας |
| Multi-Instance GPU | Όχι | Έως 7 | Έως 7 |
| Ισχύς πλακέτας | 350 W | 300 W | 350 W |
| Διεπαφή | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Γραμμή GPU, ανά μήνα | $449 | $899 | $1,599 |
| Πλήρης διακομιστής από | $532.67 | $972.47 | $1,682.67 |
Επιλέξτε την A100 ή την H100 όταν ένα μοντέλο χρειάζεται περισσότερα από 48 GB σε μία GPU, όταν η εκπαίδευση περιορίζεται από το εύρος ζώνης μνήμης, ή όταν δύο GPUs πρέπει να ανταλλάσσουν δεδομένα μέσω NVLink. Και οι δύο είναι διαθέσιμες σε διακομιστές A100 και H100.
Φόρτοι εργασίας
Τι εκτελεί καλά ένας διακομιστής με GPU NVIDIA L40S
Ξεκινήστε από τη μνήμη. Τα βάρη, η κρυφή μνήμη KV και το runtime πρέπει να χωρέσουν στα 48 GB· μια εργασία που δεν χωρά δεν σώζεται από ταχύτερο chip.
AI
Εξαγωγή συμπερασμάτων και fine-tuning
Εξυπηρέτηση μοντέλων 13B στα 16-bit με άνεση, 30B στα 8-bit ή 70B στα 4-bit με σύντομο context, και fine-tuning LoRA ή QLoRA. Οι FP8 Tensor Cores επιταχύνουν την εξαγωγή συμπερασμάτων όπου το runtime σας υποστηρίζει FP8.
Γραφικά
Rendering και 3D
RT Cores για renderers που τα χρησιμοποιούν μέσω OptiX, όπως το Blender Cycles, και 48 GB για σκηνές που ξεπερνούν τη μνήμη μιας καταναλωτικής GPU 24 GB.
Βίντεο
Κωδικοποίηση και transcoding
Τρεις μηχανές NVENC και τρεις NVDEC με AV1, ώστε το FFmpeg, το OBS ή ένας transcoder να κωδικοποιεί σε hardware και να αφήνει τους πυρήνες CUDA για το υπόλοιπο pipeline.
Χωρούν τα βάρη του μοντέλου στα 48 GB;
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
Μόνο βάρη. Το "Χωρά" σημαίνει ότι το μισό μέγεθος των βαρών επιπλέον παραμένει ελεύθερο για την κρυφή μνήμη KV και το runtime. Το "Οριακά" φορτώνει, αλλά ένα μεγάλο prompt ή ένας δεύτερος χρήστης μπορεί να ξεπεράσει τα 48 GB. Για ένα συγκεκριμένο μοντέλο, η φιλοξενία LLM ονομάζει το μηχάνημα, και για ζωντανά κανάλια σε hardware, οι διακομιστές GPU transcoding εκτελούν Flussonic ή Wowza στη GPU.
Περιλαμβάνεται
L40S bare metal: τι ελέγχετε και πώς χρεώνεται
Χωρίς εικονική μηχανή και χωρίς κοινόχρηστη GPU: η L40S ανήκει σε ένα μηχάνημα και το μηχάνημα σε εσάς. Το μηχάνημα και η GPU είναι δύο μηνιαίες γραμμές σε ένα τιμολόγιο, και η αλλαγή της GPU αργότερα μεταβάλλει τον λογαριασμό κατά τη διαφορά, ενώ οι δίσκοι και οι διευθύνσεις IP σας παραμένουν.
Root και απομακρυσμένη κονσόλα
Το λειτουργικό σας σύστημα, εγκατεστημένο καθαρά, με root, συν τον out-of-band ελεγκτή του μηχανήματος (iLO, iDRAC ή BMC) για την οθόνη, τα εικονικά μέσα και την τροφοδοσία.
Οδηγοί που καθορίζετε εσείς
Ο οδηγός NVIDIA, η έκδοση CUDA και το framework παραμένουν στις εκδόσεις που επιλέγετε, και τίποτα δεν τα ενημερώνει για εσάς. Για να εγκατασταθεί ένας οδηγός πριν την παράδοση, γράψτε την έκδοσή του στην παραγγελία.
Θύρα χωρίς μέτρηση
Η κίνηση δεν μετράται προς καμία κατεύθυνση, οπότε σύνολα δεδομένων, checkpoints και κωδικοποιημένο βίντεο δεν προσθέτουν τίποτα στον λογαριασμό. Ταχύτερες θύρες υπάρχουν στη φόρμα παραγγελίας και στο εύρος ζώνης χωρίς μέτρηση.
Μήνα με μήνα
Πληρώνετε έναν μήνα κάθε φορά και σταματάτε όταν τελειώσει η εργασία. Η ωριαία χρέωση ισχύει μόνο για μηχάνημα ήδη racked και παραγγελμένο αμετάβλητο στους άμεσους διακομιστές· μια διαμόρφωση παραμένει μηνιαία.
Τι εκτελεί ένας διακομιστής L40S
Ονομάστε το λειτουργικό σύστημα στη φόρμα παραγγελίας και αυτό θα είναι στον δίσκο κατά την παράδοση: Ubuntu από 14.04 έως 26.04, Windows Server από 2008 R2 έως 2025, Proxmox VE ή VMware vSphere Hypervisor. Η στοίβα GPU από πάνω είναι δική σας. Η L40S απαιτεί οδηγό R535 ή νεότερο, τον κλάδο στον οποίο την πρόσθεσε η NVIDIA, και CUDA 12 για να φτάσει στους FP8 Tensor Cores. Τα PyTorch, vLLM, llama.cpp και Ollama βλέπουν τότε μία συσκευή με 48 GB, και το FFmpeg 6.0 ή νεότερο φέρει τον κωδικοποιητή av1_nvenc που οδηγεί τις τρεις μηχανές NVENC.
Παράδοση
Πόσο χρόνο παίρνει ένας διακομιστής L40S
Εξαρτάται από το πού βρίσκεται η GPU όταν παραγγέλνετε, και σας λέμε ποια περίπτωση ισχύει πριν πληρώσετε. Κάθε χρόνος παρακάτω μετρά από την έγκριση της παραγγελίας.
- 30 λεπτά
Ήδη racked
Ένα μηχάνημα που φέρει L40S περιμένει στο rack.
- 4–24 ώρες
Τοποθέτηση από το απόθεμά μας
Κρατάμε τη GPU και την τοποθετούμε στο μηχάνημα που διαμορφώσατε.
- 5–10 ημέρες
Αγορά
Εργάσιμες ημέρες, όταν πρέπει πρώτα να αγοράσουμε την L40S.
- 10–15 ημέρες
Σε κατανομή
Εργάσιμες ημέρες, όταν ο προμηθευτής ορίζει την ημερομηνία.
Αγορά GPU
Μηχανήματα L40S καταχωρισμένα από τους ιδιοκτήτες τους
Οι ιδιοκτήτες καταχωρίζουν επίσης τα δικά τους μηχανήματα L40S στην αγορά μας, το καθένα στη μηνιαία τιμή που εμφανίζεται στην καταχώρισή του. Καταχωρίσεις από τη θυγατρική μας εταιρεία, Primcast, εμφανίζονται επίσης εδώ και ενοικιάζονται εκεί.
Απαντήσεις
Ερωτήσεις για τους διακομιστές L40S
Τι είναι ένας αποκλειστικός διακομιστής L40S;
Ένας φυσικός διακομιστής με μία GPU NVIDIA L40S 48 GB που περνά απευθείας στο λειτουργικό σύστημα που εγκαθιστάτε, με πρόσβαση root, απεριόριστη θύρα και κανέναν άλλον στο μηχάνημα. Χρεώνεται ανά μήνα, με το μηχάνημα και τη GPU ως δύο γραμμές σε ένα τιμολόγιο.
Πόσο κοστίζει ένας διακομιστής L40S;
Η χαμηλότερη μηνιαία τιμή για έναν πλήρη διακομιστή L40S είναι $532.67. Αυτό το μηχάνημα είναι Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, και η GPU είναι $449 του συνόλου. Μια σύνθεση με τη GPU εγκατεστημένη προσθέτει μια εφάπαξ εγκατάσταση $29, και ο πίνακας συνθέσεων αναφέρει κάθε πλατφόρμα με τη δική της τιμή.
Πόσους πυρήνες CUDA έχει η NVIDIA L40S;
18.176 πυρήνες CUDA, με 568 Tensor Cores τέταρτης γενιάς και 142 RT Cores τρίτης γενιάς, στην αρχιτεκτονική Ada Lovelace. Διαθέτει 48 GB GDDR6 με ECC στα 864 GB/s, συνδέεται μέσω PCIe 4.0 x16 και καταναλώνει έως 350 W.
Είναι η L40S καλύτερη από την A100 για τεχνητή νοημοσύνη;
Για συμπερασμό σε ένα μοντέλο που χωράει στα 48 GB, συχνά ναι: έχει FP8 Tensor Cores, που λείπουν από την A100, και κοστίζει λιγότερο ανά μήνα. Για εκπαίδευση μεγάλων μοντέλων η A100 80 GB συνήθως κερδίζει, με 80 GB HBM2e στα 1.935 GB/s έναντι 48 GB στα 864 GB/s, και σύνδεσμο NVLink. Η H100 είναι μπροστά και από τις δύο στην εκπαίδευση.
Μπορεί μια L40S να τρέξει ένα μοντέλο 70B;
Στα 4-bit, ναι, με λίγο περιθώριο: τα βάρη καταλαμβάνουν περίπου 38 GB από τα 48, που αφήνει χώρο για σύντομο πλαίσιο και έναν χρήστη. Στα 8-bit, 70 δισεκατομμύρια παράμετροι χρειάζονται περίπου 70 GB, που απαιτεί δύο GPU ή μία 80 GB.
Υποστηρίζει η L40S NVLink ή MIG;
Κανένα από τα δύο. Η L40S δεν έχει σύνδεσμο NVLink ούτε Multi-Instance GPU, οπότε δύο GPU L40S σε έναν διακομιστή επικοινωνούν μέσω PCIe, και μία L40S τρέχει ως μία GPU. Αν η εργασία χρειάζεται κάποιο από τα δύο χαρακτηριστικά, δείτε την A100 ή την H100.
Είναι η L40S καλή για κωδικοποίηση βίντεο;
Ναι. Έχει τρεις μηχανές NVENC και τρεις NVDEC με κωδικοποίηση και αποκωδικοποίηση AV1, οπότε το FFmpeg, το OBS ή ένας transcoder κωδικοποιεί σε υλικό. Οι A100 και H100 δεν έχουν καθόλου NVENC.
Μπορώ να νοικιάσω μια L40S κατά παραγγελία, ανά ώρα;
Ναι, αλλά μόνο για ένα μηχάνημα L40S ήδη εγκατεστημένο και παραγγελμένο αμετάβλητο από τους άμεσους διακομιστές. Κοστίζει τη μηνιαία τιμή του διαιρεμένη με 730 ώρες, επί 1,3, χρεώνεται ανά δευτερόλεπτο μέχρι να το απελευθερώσετε, με μία ώρα ως ελάχιστο. Κάθε σύνθεση στον παραπάνω πίνακα είναι μηνιαία.
Είναι αυτό ένα cloud instance L40S ή bare metal;
Bare metal. Δεν υπάρχει hypervisor μεταξύ του λειτουργικού σας συστήματος και της GPU, και το μηχάνημα έχει έναν μισθωτή. Βλέπετε την πλήρη L40S με τα 48 GB της, όχι ένα κομμάτι της.
Ποιο λειτουργικό σύστημα και ποιον οδηγό NVIDIA τρέχει ένας διακομιστής L40S;
Όποια εικόνα ονομάσετε στη φόρμα παραγγελίας, εγκατεστημένη πριν την παράδοση: Ubuntu από 14.04 έως 26.04, Windows Server από 2008 R2 έως 2025, Proxmox VE ή VMware vSphere Hypervisor. Η L40S θέλει οδηγό R535 ή νεότερο, τον κλάδο στον οποίο την πρόσθεσε η NVIDIA, και CUDA 12 για να φτάσει τους FP8 Tensor Cores της. Μετά την παράδοση ο οδηγός, η έκδοση CUDA και το framework παραμένουν στις εκδόσεις που επιλέγετε.
Μπορώ να βάλω δύο ή περισσότερες GPU L40S σε έναν διακομιστή;
Ναι, ως σύνθεση που τιμολογείται χειροκίνητα αντί να επιλέγεται στο ταμείο: το πλαίσιο, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν πόσες χωράνε. Οι GPU επικοινωνούν μέσω PCIe, αφού η L40S δεν έχει NVLink. Ρωτήστε στη συνομιλία πριν παραγγείλετε, ή δείτε τους διακομιστές πολλαπλών GPU.
Πόσο χρόνο χρειάζεται για να παραδοθεί ένας διακομιστής L40S;
Περίπου 30 λεπτά μετά την έγκριση όταν ένα μηχάνημα με L40S είναι ήδη εγκατεστημένο, 4 έως 24 ώρες όταν τοποθετούμε μια GPU που έχουμε σε απόθεμα, 5 έως 10 εργάσιμες ημέρες όταν η GPU αγοράζεται, και 10 έως 15 όταν είναι σε κατανομή. Σας λέμε ποια από τις τέσσερις ισχύει πριν πληρώσετε.
Ποιος απαντά όταν χρειάζομαι βοήθεια;
Ξεκινήστε μια συνομιλία: η τεχνητή νοημοσύνη μας απαντά σε δευτερόλεπτα και μπορεί να αναζητήσει τον λογαριασμό σας και τον διακομιστή L40S σας καθώς μιλάτε. Πείτε ότι θέλετε άνθρωπο και κάποιος από εμάς αναλαμβάνει την ίδια συνομιλία.
Σε απλό κείμενο
Κάθε αριθμός σε αυτή τη σελίδα
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
Αλλού
Άλλες ερωτήσεις για GPU
Επιλέξτε την πλατφόρμα και μετά διαμορφώστε τον διακομιστή L40S
Ανοίξτε τον διαμορφωτή με την L40S ήδη επιλεγμένη, ή πείτε μας το μοντέλο, τη σκηνή ή τον αριθμό καναλιών στη συνομιλία. Η τεχνητή νοημοσύνη απαντά μέσα σε δευτερόλεπτα· ένας άνθρωπος αναλαμβάνει όποτε το ζητήσετε.