What is an L40S dedicated server?

A physical server with one NVIDIA L40S 48 GB GPU passed through to the operating system you install, with root access, an unmetered port and nobody else on the machine. It is billed by the month, with the machine and the GPU as two lines on one invoice.

How much does an L40S server cost?

The lowest monthly price for a complete L40S server is $532.67. That machine is Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, and the GPU is $449 of the total. A build with the GPU fitted adds a one-time setup of $29, and the builds table lists every platform with its own price.

How many CUDA cores does the NVIDIA L40S have?

18,176 CUDA cores, with 568 fourth-generation Tensor Cores and 142 third-generation RT Cores, on the Ada Lovelace architecture. It carries 48 GB of GDDR6 with ECC at 864 GB/s, connects over PCIe 4.0 x16 and draws up to 350 W.

Is the L40S better than the A100 for AI?

For inference on a model that fits in 48 GB, often yes: it has FP8 Tensor Cores, which the A100 lacks, and it costs less per month. For training large models the A100 80 GB usually wins, with 80 GB of HBM2e at 1,935 GB/s against 48 GB at 864 GB/s, and an NVLink connector. The H100 is ahead of both on training.

Can an L40S run a 70B model?

At 4-bit, yes, with little room: the weights take about 38 GB of the 48, which leaves space for a short context and one user. At 8-bit, 70 billion parameters need about 70 GB, which takes two GPUs or an 80 GB one.

Does the L40S support NVLink or MIG?

Neither. The L40S has no NVLink connector and no Multi-Instance GPU, so two L40S GPUs in one server talk over PCIe, and one L40S runs as one GPU. If the job needs either feature, look at the A100 or H100.

Is the L40S good for video encoding?

Yes. It has three NVENC and three NVDEC engines with AV1 encode and decode, so FFmpeg, OBS or a transcoder encodes in hardware. The A100 and H100 have no NVENC at all.

Can I rent an L40S on demand, by the hour?

Yes, but only for an L40S machine already racked and ordered unchanged from instant servers. It costs its monthly price divided by 730 hours, times 1.3, metered by the second until you release it, with one hour as the minimum. Every build in the table above is monthly.

Is this an L40S cloud instance or bare metal?

Bare metal. There is no hypervisor between your operating system and the GPU, and the machine has one tenant. You see the full L40S with its 48 GB, not a slice of it.

Can I put two or more L40S GPUs in one server?

Yes, as a build quoted by hand rather than ticked at checkout: the chassis, its PCIe lanes and its power supply set how many fit. The GPUs talk over PCIe, since the L40S has no NVLink. Ask in chat before you order, or see multi-GPU servers.

How long does an L40S server take to deliver?

About 30 minutes after approval when a machine with an L40S is already racked, 4 to 24 hours when we fit a GPU we hold, 5 to 10 working days when the GPU is bought in, and 10 to 15 when it is on allocation. We tell you which of the four applies before you pay.

Who answers when I need help?

Start a chat: our AI replies in seconds and can look up your account and your L40S server as you talk. Say you want a person and one of us takes over the same conversation.

NVIDIA L40S · Ada Lovelace

Server dedicat L40S 48 GB memorie ECC, trei codificatoare AV1, root pe propriul sistem de operare.

Un server dedicat L40S este o mașină fizică cu un GPU NVIDIA L40S pasat către sistemul de operare pe care îl instalezi, facturat lunar. Cel mai mic preț complet este $532.67 pe lună, pentru Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps cu GPU-ul montat.

Un singur chiriaș
Passthrough PCIe
Port nemăsurat
AV1 NVENC
Fără contract

L40S este GPU-ul pe care îl montăm pentru lucru mixt: inferență LLM și fine-tuning, randare ray-traced și codificare video hardware pe un singur GPU. Această pagină oferă cifrele din fișa tehnică, prețul fiecărei platforme care îl acceptă, legătura PCIe pe care o primește pe fiecare și unde un A100 sau H100 se potrivește mai bine sarcinii.

Compară configurațiile Specificații L40S

Fișă tehnică

Specificații NVIDIA L40S

L40S este un GPU pasiv de centru de date PCIe cu două sloturi, pe arhitectura Ada Lovelace, aceeași familie de cip AD102 ca RTX 6000 Ada, cu memorie ECC și o limită de placă de 350 W. NVIDIA citează cifrele Tensor de două ori, dense și cu sparsitate structurată; tabelul le oferă pe ambele și spune care este care.

Specificație	NVIDIA L40S
Arhitectură	Ada Lovelace
Memorie GPU	48 GB GDDR6 cu ECC
Lățime de bandă memorie	864 GB/s
Nuclee CUDA	18.176
Nuclee Tensor	568, a patra generație
Nuclee RT	142, a treia generație
Interfață	PCIe 4.0 x16
Putere placă	350 W

Sursă: pagina de produs și fișa tehnică NVIDIA L40S.
Calcul	Dens și cu sparsitate
FP32	91,6 TFLOPS
TF32 Tensor	183 TFLOPS 366 cu sparsitate
FP16 / BF16 Tensor	362 TFLOPS 733 cu sparsitate
FP8 Tensor	733 TFLOPS 1.466 cu sparsitate
INT8 Tensor	733 TOPS 1.466 cu sparsitate
Nucleu RT	212 TFLOPS
Motoare video	3 NVENC, 3 NVDEC, codificare și decodificare AV1
MIG / NVLink	Niciunul

L40S acceptă și software-ul NVIDIA vGPU și pornirea securizată cu un root of trust hardware și este pregătit pentru NEBS Level 3. Pe serverele noastre, întregul GPU ajunge la sistemul tău de operare, așa că împărțirea lui cu vGPU ar fi propria ta licență și propriul tău hypervisor.

Din catalogul de comenzi

Prețuri server L40S, cu mașina în care intră GPU-ul

L40S este pe 2 platforme. Fiecare rând este factura lunară completă pentru cea mai ieftină mașină de pe una dintre ele: procesor, memorie, discurile cu care se deschide formularul de comandă, un port nemăsurat și o adresă IPv4, plus GPU-ul. Configurează deschide acea platformă cu L40S selectat, unde adaugi memorie, discuri sau un port mai rapid.

Platform	PCIe link	Cheapest machine	Cities	Per month
Intel Xeon Silver / GoldL40S $449/mo	PCIe 3.0 x16GPU is 4.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami	$532.67Configure
AMD EPYCL40S $449/mo	PCIe 4.0 x16full speed	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$666.59Configure

L40S este un GPU PCIe 4.0. Pe o platformă PCIe 3.0, legătura rulează la 16 GB/s pe fiecare direcție în loc de 32, ceea ce încetinește încărcarea ponderilor și fluxul loturilor din memoria gazdei, dar nu munca ce rămâne în memoria proprie a GPU-ului de 864 GB/s. O configurație cu GPU montat plătește o instalare unică de $29. Plata în avans pentru 3, 6 sau 12 luni reduce până la 15%, iar prețul nu crește la reînnoire.

L40S vs A100 vs H100

L40S, A100 sau H100: cele trei GPU-uri de centru de date pe care le montăm

A100 și H100 au HBM cu mai mult de dublul lățimii de bandă și conectori NVLink și nu au codificator video. L40S are lățime de bandă de memorie mai mică, adaugă nuclee RT și trei motoare NVENC și costă mai puțin pe lună. Toate trei sunt versiunile PCIe, singura formă pe care o acceptă carcasele noastre.

Surse: fișa tehnică NVIDIA L40S, fișa tehnică A100, brief de produs H100 PCIe. Prețuri din catalogul nostru de comenzi, fiecare cu cea mai ieftină mașină care acceptă GPU-ul.
Specificație	L40S	A100 80 GB	H100 80 GB PCIe
Arhitectură	Ada Lovelace	Ampere	Hopper
Memorie GPU	48 GB GDDR6, ECC	80 GB HBM2e, ECC	80 GB HBM2e, ECC
Lățime de bandă memorie	864 GB/s	1.935 GB/s	2.039 GB/s
FP8	Da	Nu	Da
Nuclee RT	142	Niciunul	Niciunul
Codificare video	3 NVENC cu AV1	Niciuna	Niciuna
NVLink	Nu	Conector bridge	Conector bridge
GPU multi-instance	Nu	Până la 7	Până la 7
Putere placă	350 W	300 W	350 W
Interfață	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 5.0 x16
Linie GPU, pe lună	$449	$899	$1,599
Server complet de la	$532.67	$972.47	$1,682.67

Alege A100 sau H100 când un model are nevoie de mai mult de 48 GB pe un GPU, când antrenarea este limitată de lățimea de bandă a memoriei sau când două GPU-uri trebuie să schimbe date prin NVLink. Ambele sunt pe servere A100 și H100.

Sarcini de lucru

Ce rulează bine un server GPU NVIDIA L40S

Începe de la memorie. Ponderile, cache-ul KV și runtime-ul trebuie să încapă în 48 GB; o sarcină care nu încape nu este salvată de un cip mai rapid.

Inferență și fine-tuning

Servirea modelelor 13B pe 16 biți cu spațiu de rezervă, 30B pe 8 biți sau 70B pe 4 biți cu un context scurt și fine-tuning LoRA sau QLoRA. Nucleele Tensor FP8 accelerează inferența acolo unde runtime-ul tău acceptă FP8.

Grafică

Randare și 3D

Nuclee RT pentru randerele care le folosesc prin OptiX, cum ar fi Blender Cycles, și 48 GB pentru scenele care epuizează memoria unui GPU de consum de 24 GB.

Video

Codificare și transcodare

Trei motoare NVENC și trei NVDEC cu AV1, astfel încât FFmpeg, OBS sau un transcodor codifică în hardware și lasă nucleele CUDA pentru restul pipeline-ului.

Încap ponderile modelului în 48 GB?

Model weights	16-bit	8-bit	4-bit
7-8 billion parameters	fits16 GB	fits8 GB	fits5 GB
13-14 billion parameters	fits28 GB	fits14 GB	fits8 GB
30-34 billion parameters	no68 GB	tight34 GB	fits19 GB
70 billion parameters	no140 GB	no70 GB	tight38 GB

Doar ponderile. „Încape” înseamnă că jumătate din dimensiunea ponderilor rămâne încă liberă pentru cache-ul KV și runtime. „Strâns” se încarcă, dar un prompt lung sau un al doilea utilizator poate depăși cei 48 GB. Pentru un anumit model, găzduirea LLM numește mașina, iar pentru canale live în hardware, serverele de transcodare GPU rulează Flussonic sau Wowza pe GPU.

Inclus

L40S bare metal: ce controlezi și cum se facturează

Fără mașină virtuală și fără GPU partajat: L40S aparține unei singure mașini, iar mașina îți aparține ție. Mașina și GPU-ul sunt două linii lunare pe o singură factură, iar schimbarea ulterioară a GPU-ului modifică factura cu diferența, în timp ce discurile și adresele IP rămân.

Root și o consolă la distanță

Sistemul tău de operare, instalat curat, cu root, plus controlerul out-of-band al mașinii (iLO, iDRAC sau BMC) pentru ecran, medii virtuale și alimentare.

Drivere pe care le fixezi

Driverul NVIDIA, versiunea CUDA și framework-ul rămân la versiunile pe care le alegi și nimic nu le actualizează pentru tine. Pentru a avea un driver instalat înainte de predare, scrie versiunea lui pe comandă.

Un port nemăsurat

Traficul nu este măsurat în nicio direcție, așa că seturile de date, checkpoint-urile și videoclipurile codificate nu adaugă nimic la factură. Porturile mai rapide sunt pe formularul de comandă și pe lățime de bandă nemăsurată.

De la lună la lună

Plătești câte o lună și te oprești când se termină sarcina. Facturarea orară este doar pentru o mașină deja montată în rack și comandată neschimbată pe servere instant; o configurație rămâne lunară.

Livrare

Cât durează un server L40S

Depinde de locul unde se află GPU-ul când comanzi și ți se spune care caz se aplică înainte de a plăti. Fiecare durată de mai jos se calculează de la aprobarea comenzii.

30 min
Deja montat în rack
O mașină care are un L40S așteaptă în rack.
4–24 h
Montat din stocul nostru
Avem GPU-ul și îl montăm pe mașina pe care ai configurat-o.
5–10 zile
Cumpărat
Zile lucrătoare, când trebuie să cumpărăm mai întâi L40S.
10–15 zile
Pe alocare
Zile lucrătoare, când furnizorul stabilește data.

Răspunsuri

Întrebări despre serverele L40S

Ce este un server dedicat L40S?

Un server fizic cu un GPU NVIDIA L40S de 48 GB pasat direct către sistemul de operare pe care îl instalezi, cu acces root, port nemăsurat și nimeni altcineva pe mașină. Se facturează lunar, mașina și GPU-ul apărând ca două linii pe aceeași factură.

Cât costă un server L40S?

Cel mai mic preț lunar pentru un server L40S complet este $532.67. Mașina respectivă este Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, iar GPU-ul reprezintă $449 din total. O configurație cu GPU-ul montat adaugă o taxă unică de instalare de $29, iar tabelul de configurații listează fiecare platformă cu prețul ei.

Câte nuclee CUDA are NVIDIA L40S?

18.176 de nuclee CUDA, cu 568 de nuclee Tensor de a patra generație și 142 de nuclee RT de a treia generație, pe arhitectura Ada Lovelace. Are 48 GB de GDDR6 cu ECC la 864 GB/s, se conectează prin PCIe 4.0 x16 și consumă până la 350 W.

Este L40S mai bun decât A100 pentru AI?

Pentru inferență pe un model care încape în 48 GB, adesea da: are nuclee Tensor FP8, pe care A100 nu le are, și costă mai puțin pe lună. Pentru antrenarea modelelor mari, A100 de 80 GB câștigă de obicei, cu 80 GB de HBM2e la 1.935 GB/s față de 48 GB la 864 GB/s, plus un conector NVLink. H100 le depășește pe ambele la antrenare.

Poate un L40S să ruleze un model de 70B?

La 4 biți, da, cu puțin spațiu: ponderile ocupă aproximativ 38 GB din cei 48, ceea ce lasă loc pentru un context scurt și un singur utilizator. La 8 biți, 70 de miliarde de parametri au nevoie de aproximativ 70 GB, adică două GPU-uri sau unul de 80 GB.

Suportă L40S NVLink sau MIG?

Niciuna. L40S nu are conector NVLink și nici Multi-Instance GPU, așa că două GPU-uri L40S într-un server comunică prin PCIe, iar un L40S rulează ca un singur GPU. Dacă ai nevoie de oricare dintre aceste funcții, uită-te la A100 sau H100.

Este L40S bun pentru codificarea video?

Da. Are trei motoare NVENC și trei NVDEC cu codificare și decodificare AV1, așa că FFmpeg, OBS sau un transcoder codează în hardware. A100 și H100 nu au deloc NVENC.

Pot închiria un L40S la cerere, cu ora?

Da, dar numai pentru o mașină L40S deja montată în rack și comandată neschimbată din servere instant. Costă prețul lunar împărțit la 730 de ore, înmulțit cu 1,3, contorizat la secundă până îl eliberezi, cu o oră ca minim. Fiecare configurație din tabelul de mai sus este lunară.

Este o instanță cloud L40S sau bare metal?

Bare metal. Nu există niciun hypervisor între sistemul tău de operare și GPU, iar mașina are un singur chiriaș. Vezi întregul L40S cu cei 48 GB ai săi, nu o felie din el.

Pot pune două sau mai multe GPU-uri L40S într-un server?

Da, ca o configurație cotată manual, nu bifată la checkout: șasiul, liniile PCIe și sursa de alimentare stabilesc câte încap. GPU-urile comunică prin PCIe, deoarece L40S nu are NVLink. Întreabă în chat înainte să comanzi sau vezi servere multi-GPU.

Cât durează livrarea unui server L40S?

Aproximativ 30 minute după aprobare când o mașină cu L40S este deja în rack, 4 până la 24 de ore când montăm un GPU pe care îl avem, 5 până la 10 zile lucrătoare când GPU-ul este achiziționat și 10 până la 15 când este pe alocare. Îți spunem care dintre cele patru se aplică înainte să plătești.

Cine răspunde când am nevoie de ajutor?

Deschide un chat: AI-ul nostru răspunde în câteva secunde și poate să-ți consulte contul și serverul L40S în timp ce vorbești. Spune că vrei o persoană și unul dintre noi preia aceeași conversație.

În text simplu

Fiecare cifră de pe această pagină

GPU: NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores: 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute: FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video: 3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from: $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line: $449 a month on top of the machine
Platforms: Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities: New York, Bucharest, San Francisco, Miami
Setup: $29 once for a build with a GPU fitted
Term: Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic: Unmetered port, no egress charge
GPU access: PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery: About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S: NVLink, Multi-Instance GPU, HBM

În altă parte

Alte întrebări despre GPU

Alege platforma, apoi configurează serverul L40S

Deschide configuratorul cu L40S deja ales sau spune-ne modelul, scena sau numărul de canale în chat. AI-ul răspunde în câteva secunde; o persoană preia oricând ceri.

Configurează un server L40S