NVIDIA L40S · Ada Lovelace

Server dedicat cu GPU NVIDIA L40S 48 GB memorie ECC, trei encodere AV1, root pe propriul sistem de operare.

Un server cu GPU NVIDIA L40S este o mașină fizică cu L40S 48 GB pasat către sistemul de operare pe care îl instalezi, facturat lunar. Cel mai mic preț complet este $532.67 pe lună, pentru Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps cu GPU-ul montat.

  • Un singur chiriaș
  • Passthrough PCIe
  • Port nemăsurat
  • AV1 NVENC
  • Fără contract

L40S este GPU-ul pe care îl montăm pentru lucru mixt: inferență LLM și fine-tuning, randare ray-traced și codare video hardware pe un singur GPU. Această pagină oferă cifrele din fișa tehnică, prețul fiecărei platforme care îl acceptă, legătura PCIe pe care o primește pe fiecare și unde un A100 sau H100 se potrivește mai bine sarcinii.

Fișă tehnică

Specificații NVIDIA L40S

L40S este un GPU pasiv de centru de date, dual-slot, pe PCIe, pe arhitectura Ada Lovelace, aceeași familie de cip AD102 ca RTX 6000 Ada, cu memorie ECC și o limită de placă de 350 W. NVIDIA citează cifrele Tensor de două ori, dense și cu sparsitate structurată; tabelul le oferă pe ambele și spune care este care.

SpecificațieNVIDIA L40S
ArhitecturăAda Lovelace
Memorie GPU48 GB GDDR6 cu ECC
Lățime de bandă memorie864 GB/s
Nuclee CUDA18.176
Nuclee Tensor568, a patra generație
Nuclee RT142, a treia generație
InterfațăPCIe 4.0 x16
Putere placă350 W
Sursă: pagina de produs și fișa tehnică NVIDIA L40S.
CalculDens, și cu sparsitate
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS 366 cu sparsitate
FP16 / BF16 Tensor362 TFLOPS 733 cu sparsitate
FP8 Tensor733 TFLOPS 1.466 cu sparsitate
INT8 Tensor733 TOPS 1.466 cu sparsitate
Nucleu RT212 TFLOPS
Motoare video3 NVENC, 3 NVDEC, codare și decodare AV1
MIG / NVLinkNiciunul

L40S acceptă și software-ul NVIDIA vGPU și pornirea securizată cu un root of trust hardware și este pregătit pentru NEBS Level 3. Pe serverele noastre, GPU-ul complet ajunge la sistemul tău de operare, așa că împărțirea lui cu vGPU ar fi propria ta licență și propriul tău hypervisor.

Din catalogul de comenzi

Prețuri server L40S, cu mașina în care intră GPU-ul

L40S este pe 2 platforme. Fiecare rând este factura lunară completă pentru cea mai ieftină mașină de pe una dintre ele: procesor, memorie, discurile cu care se deschide formularul de comandă, un port nemăsurat și o adresă IPv4, plus GPU-ul. Configurează deschide acea platformă cu L40S selectat, unde adaugi memorie, discuri sau un port mai rapid.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

L40S este un GPU PCIe 4.0. Pe o platformă PCIe 3.0, legătura rulează la 16 GB/s în fiecare direcție în loc de 32, ceea ce încetinește încărcarea ponderilor și transmiterea loturilor din memoria gazdă, dar nu și lucrul care rămâne în memoria proprie de 864 GB/s a GPU-ului. O configurație cu GPU montat plătește o instalare unică de $29. Plata cu 3, 6 sau 12 luni în avans reduce până la 15%, iar prețul nu crește la reînnoire.

L40S vs A100 vs H100

L40S, A100 sau H100: cele trei GPU-uri de centru de date pe care le montăm

A100 și H100 au HBM cu mai mult de dublul lățimii de bandă și conectori NVLink și nu au encoder video. L40S are lățime de bandă de memorie mai mică, adaugă nuclee RT și trei motoare NVENC și costă mai puțin pe lună. Toate trei sunt versiunile PCIe, singura formă pe care o acceptă șasiurile noastre.

Surse: fișa tehnică NVIDIA L40S, fișa tehnică A100, brief de produs H100 PCIe. Prețuri din catalogul nostru de comenzi, fiecare cu cea mai ieftină mașină care acceptă GPU-ul.
SpecificațieL40SA100 80 GBH100 80 GB PCIe
ArhitecturăAda LovelaceAmpereHopper
Memorie GPU48 GB GDDR6, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Lățime de bandă memorie864 GB/s1.935 GB/s2.039 GB/s
FP8DaNuDa
Nuclee RT142NiciunulNiciunul
Codare video3 NVENC cu AV1NiciunaNiciuna
NVLinkNuConector bridgeConector bridge
GPU multi-instanceNuPână la 7Până la 7
Putere placă350 W300 W350 W
InterfațăPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Linie GPU, pe lună$449$899$1,599
Server complet de la$532.67$972.47$1,682.67

Alege A100 sau H100 când un model are nevoie de mai mult de 48 GB pe un singur GPU, când antrenarea este limitată de lățimea de bandă a memoriei sau când două GPU-uri trebuie să schimbe date prin NVLink. Ambele sunt pe servere A100 și H100.

Sarcini de lucru

Ce rulează bine un server cu GPU NVIDIA L40S

Începe de la memorie. Ponderile, cache-ul KV și runtime-ul trebuie să încapă în 48 GB; o sarcină care nu încape nu este salvată de un cip mai rapid.

AI

Inferență și fine-tuning

Servirea modelelor 13B la 16 biți cu spațiu de rezervă, 30B la 8 biți sau 70B la 4 biți cu un context scurt și fine-tuning LoRA sau QLoRA. Nucleele Tensor FP8 accelerează inferența acolo unde runtime-ul tău acceptă FP8.

Grafică

Randare și 3D

Nuclee RT pentru randerele care le folosesc prin OptiX, cum ar fi Blender Cycles, și 48 GB pentru scene care duc un GPU de consum de 24 GB la epuizarea memoriei.

Video

Codare și transcodare

Trei motoare NVENC și trei NVDEC cu AV1, astfel încât FFmpeg, OBS sau un transcoder codează în hardware și lasă nucleele CUDA pentru restul pipeline-ului.

Încap ponderile modelului în 48 GB?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Doar ponderile. „Încape” înseamnă că jumătate din dimensiunea ponderilor rămâne liberă pentru cache-ul KV și runtime. „Strâns” se încarcă, dar un prompt lung sau un al doilea utilizator poate depăși cei 48 GB. Pentru un anumit model, găzduirea LLM numește mașina, iar pentru canale live în hardware, servere de transcodare GPU rulează Flussonic sau Wowza pe GPU.

Inclus

L40S bare metal: ce controlezi și cum se facturează

Fără mașină virtuală și fără GPU partajat: L40S aparține unei singure mașini, iar mașina îți aparține ție. Mașina și GPU-ul sunt două linii lunare pe o singură factură, iar schimbarea ulterioară a GPU-ului modifică factura cu diferența, în timp ce discurile și adresele IP rămân.

Root și o consolă la distanță

Sistemul tău de operare, instalat curat, cu root, plus controlerul out-of-band al mașinii (iLO, iDRAC sau BMC) pentru ecran, medii virtuale și alimentare.

Drivere pe care le fixezi

Driverul NVIDIA, versiunea CUDA și framework-ul rămân la versiunile pe care le alegi și nimic nu le actualizează pentru tine. Pentru a avea un driver instalat înainte de predare, scrie versiunea lui pe comandă.

Un port nemăsurat

Traficul nu este măsurat în nicio direcție, așa că seturile de date, checkpoint-urile și videoclipurile codate nu adaugă nimic la factură. Porturile mai rapide sunt pe formularul de comandă și pe lățime de bandă nemăsurată.

De la lună la lună

Plătești câte o lună și te oprești când se termină sarcina. Facturarea orară este doar pentru o mașină deja montată în rack și comandată neschimbată pe servere instant; o configurație rămâne lunară.

Ce rulează un server L40S

Numiți sistemul de operare pe formularul de comandă și acesta este cel de pe disc la predare: Ubuntu de la 14.04 la 26.04, Windows Server de la 2008 R2 la 2025, Proxmox VE sau VMware vSphere Hypervisor. Stiva GPU de deasupra este a ta. L40S vrea un driver R535 sau mai nou, ramura în care NVIDIA l-a adăugat, și CUDA 12 pentru a-și atinge nucleele Tensor FP8. PyTorch, vLLM, llama.cpp și Ollama văd apoi un singur dispozitiv cu 48 GB, iar FFmpeg 6.0 sau mai nou poartă encoderul av1_nvenc care conduce cele trei motoare NVENC.

Livrare

Cât durează un server L40S

Depinde de unde este GPU-ul când comanzi și ți se spune care caz se aplică înainte de a plăti. Fiecare durată de mai jos se numără de la aprobarea comenzii.

  1. 30 min

    Deja montat în rack

    O mașină care poartă un L40S așteaptă în rack.

  2. 4–24 h

    Montat din stocul nostru

    Ținem GPU-ul și îl montăm pe mașina pe care ai configurat-o.

  3. 5–10 zile

    Cumpărat

    Zile lucrătoare, când trebuie să cumpărăm mai întâi L40S.

  4. 10–15 zile

    Pe alocare

    Zile lucrătoare, când furnizorul stabilește data.

Răspunsuri

Întrebări despre serverele L40S

Ce este un server dedicat L40S?

Un server fizic cu un GPU NVIDIA L40S 48 GB pasat către sistemul de operare pe care îl instalezi, cu acces root, port nemăsurat și nimeni altcineva pe mașină. Se facturează lunar, mașina și GPU-ul apărând ca două linii pe o singură factură.

Cât costă un server L40S?

Cel mai mic preț lunar pentru un server L40S complet este $532.67. Mașina respectivă este Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, iar GPU-ul reprezintă $449 din total. O configurație cu GPU montat adaugă o taxă unică de instalare de $29, iar tabelul de configurații listează fiecare platformă cu prețul ei.

Câte nuclee CUDA are NVIDIA L40S?

18.176 de nuclee CUDA, cu 568 de nuclee Tensor de a patra generație și 142 de nuclee RT de a treia generație, pe arhitectura Ada Lovelace. Dispune de 48 GB GDDR6 cu ECC la 864 GB/s, se conectează prin PCIe 4.0 x16 și consumă până la 350 W.

Este L40S mai bun decât A100 pentru AI?

Pentru inferență pe un model care încape în 48 GB, adesea da: are nuclee Tensor FP8, pe care A100 nu le are, și costă mai puțin pe lună. Pentru antrenarea modelelor mari, A100 80 GB câștigă de obicei, cu 80 GB de HBM2e la 1.935 GB/s față de 48 GB la 864 GB/s și un conector NVLink. H100 este înaintea ambelor la antrenare.

Poate un L40S să ruleze un model de 70B?

La 4 biți, da, cu puțin spațiu: ponderile ocupă aproximativ 38 GB din cei 48, ceea ce lasă loc pentru un context scurt și un singur utilizator. La 8 biți, 70 de miliarde de parametri au nevoie de aproximativ 70 GB, ceea ce necesită două GPU-uri sau unul de 80 GB.

Suportă L40S NVLink sau MIG?

Niciuna. L40S nu are conector NVLink și nici Multi-Instance GPU, așa că două GPU-uri L40S într-un server comunică prin PCIe, iar un L40S rulează ca un singur GPU. Dacă sarcina necesită oricare dintre aceste funcții, uită-te la A100 sau H100.

Este L40S bun pentru codificarea video?

Da. Are trei motoare NVENC și trei NVDEC cu codificare și decodificare AV1, astfel încât FFmpeg, OBS sau un transcoder codează în hardware. A100 și H100 nu au deloc NVENC.

Pot închiria un L40S la cerere, cu ora?

Da, dar numai pentru o mașină L40S deja montată în rack și comandată neschimbată din serverele instant. Costă prețul lunar împărțit la 730 de ore, înmulțit cu 1,3, măsurat la secundă până îl eliberezi, cu o oră ca minim. Fiecare configurație din tabelul de mai sus este lunară.

Este aceasta o instanță cloud L40S sau bare metal?

Bare metal. Nu există niciun hypervisor între sistemul tău de operare și GPU, iar mașina are un singur chiriaș. Vezi întregul L40S cu cei 48 GB ai săi, nu o felie din el.

Ce sistem de operare și driver NVIDIA rulează un server L40S?

Orice imagine pe care o specifici în formularul de comandă, instalată înainte de predare: Ubuntu de la 14.04 la 26.04, Windows Server de la 2008 R2 la 2025, Proxmox VE sau VMware vSphere Hypervisor. L40S necesită un driver R535 sau mai nou, ramura în care NVIDIA l-a adăugat, și CUDA 12 pentru a-și atinge nucleele Tensor FP8. După predare, driverul, versiunea CUDA și framework-ul rămân la versiunile pe care le alegi.

Pot pune două sau mai multe GPU-uri L40S într-un singur server?

Da, ca o configurație cotată manual, nu bifată la finalizarea comenzii: șasiul, liniile sale PCIe și sursa de alimentare stabilesc câte încap. GPU-urile comunică prin PCIe, deoarece L40S nu are NVLink. Întreabă în chat înainte să comanzi sau vezi serverele multi-GPU.

Cât durează livrarea unui server L40S?

Aproximativ 30 minute după aprobare când o mașină cu L40S este deja montată în rack, 4 până la 24 de ore când montăm un GPU pe care îl avem în stoc, 5 până la 10 zile lucrătoare când GPU-ul este achiziționat și 10 până la 15 când este pe alocare. Îți spunem care dintre cele patru se aplică înainte să plătești.

Cine răspunde când am nevoie de ajutor?

Pornește un chat: AI-ul nostru răspunde în câteva secunde și poate să-ți consulte contul și serverul L40S în timp ce vorbești. Spune că vrei o persoană și unul dintre noi preia aceeași conversație.

În text simplu

Fiecare cifră de pe această pagină

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Alege platforma, apoi configurează serverul L40S

Deschide configuratorul cu L40S deja ales sau spune-ne modelul, scena sau numărul de canale în chat. AI-ul răspunde în câteva secunde; o persoană preia oricând ceri.

Configurează un server L40S