NVIDIA L40S · Ada Lovelace
Server dedicato con GPU NVIDIA L40S 48 GB di memoria ECC, tre encoder AV1, root sul tuo sistema operativo.
Un server con GPU NVIDIA L40S è una macchina fisica con la L40S da 48 GB passata direttamente al sistema operativo che installi, fatturata mensilmente. Il prezzo completo più basso è $532.67 al mese, per Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps con la GPU installata.
- Singolo tenant
- Passthrough PCIe
- Porta senza limiti
- AV1 NVENC
- Nessun contratto
La L40S è la GPU che installiamo per carichi misti: inferenza LLM e fine-tuning, rendering ray-tracing e codifica video hardware su un'unica GPU. Questa pagina riporta i dati della scheda tecnica, il prezzo di ogni piattaforma che la supporta, il collegamento PCIe che riceve su ciascuna e dove una A100 o H100 è più adatta al lavoro.
Scheda tecnica
Specifiche NVIDIA L40S
La L40S è una GPU PCIe passiva a doppio slot per data center basata sull'architettura Ada Lovelace, la stessa famiglia di chip AD102 della RTX 6000 Ada, con memoria ECC e un limite di potenza della scheda di 350 W. NVIDIA riporta i valori Tensor due volte, densi e con sparsità strutturata; la tabella li mostra entrambi e indica quale è quale.
| Specifica | NVIDIA L40S |
|---|---|
| Architettura | Ada Lovelace |
| Memoria GPU | 48 GB GDDR6 con ECC |
| Larghezza di banda memoria | 864 GB/s |
| CUDA core | 18.176 |
| Tensor Core | 568, quarta generazione |
| RT Core | 142, terza generazione |
| Interfaccia | PCIe 4.0 x16 |
| Potenza scheda | 350 W |
| Calcolo | Denso e con sparsità |
|---|---|
| FP32 | 91,6 TFLOPS |
| TF32 Tensor | 183 TFLOPS 366 con sparsità |
| FP16 / BF16 Tensor | 362 TFLOPS 733 con sparsità |
| FP8 Tensor | 733 TFLOPS 1.466 con sparsità |
| INT8 Tensor | 733 TOPS 1.466 con sparsità |
| RT Core | 212 TFLOPS |
| Motori video | 3 NVENC, 3 NVDEC, codifica e decodifica AV1 |
| MIG / NVLink | Nessuno |
La L40S supporta anche il software NVIDIA vGPU e l'avvio sicuro con root of trust hardware, ed è pronta per NEBS Level 3. Sui nostri server l'intera GPU va al tuo sistema operativo, quindi suddividerla con vGPU richiederebbe una tua licenza e un tuo hypervisor.
Dal catalogo ordini
Prezzi dei server L40S, con la macchina in cui va la GPU
La L40S è disponibile su 2 piattaforme. Ogni riga è il costo mensile completo per la macchina più economica su una di esse: processore, memoria, i dischi con cui si apre il modulo d'ordine, una porta senza limiti e un indirizzo IPv4, più la GPU. Configura apre quella piattaforma con la L40S selezionata, dove puoi aggiungere memoria, dischi o una porta più veloce.
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
La L40S è una GPU PCIe 4.0. Su una piattaforma PCIe 3.0 il collegamento funziona a 16 GB/s in ciascuna direzione invece di 32, il che rallenta il caricamento dei pesi e lo streaming dei batch dalla memoria host, ma non il lavoro che resta nella memoria da 864 GB/s della GPU. Una configurazione con GPU installata paga un setup una tantum di $29. Pagando 3, 6 o 12 mesi in anticipo si ottiene fino al 15% di sconto, e il prezzo non aumenta al rinnovo.
L40S vs A100 vs H100
L40S, A100 o H100: le tre GPU per data center che installiamo
La A100 e la H100 montano HBM con più del doppio della larghezza di banda e connettori NVLink, e non hanno encoder video. La L40S ha meno larghezza di banda della memoria, aggiunge RT Core e tre motori NVENC, e costa meno al mese. Tutte e tre sono le versioni PCIe, l'unico formato che i nostri chassis accettano.
| Specifica | L40S | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Architettura | Ada Lovelace | Ampere | Hopper |
| Memoria GPU | 48 GB GDDR6, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Larghezza di banda memoria | 864 GB/s | 1.935 GB/s | 2.039 GB/s |
| FP8 | Sì | No | Sì |
| RT Core | 142 | Nessuno | Nessuno |
| Codifica video | 3 NVENC con AV1 | Nessuna | Nessuna |
| NVLink | No | Connettore bridge | Connettore bridge |
| GPU multi-istanza | No | Fino a 7 | Fino a 7 |
| Potenza scheda | 350 W | 300 W | 350 W |
| Interfaccia | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Linea GPU, al mese | $449 | $899 | $1,599 |
| Server completo da | $532.67 | $972.47 | $1,682.67 |
Scegli la A100 o la H100 quando un modello richiede più di 48 GB su una singola GPU, quando l'addestramento è limitato dalla larghezza di banda della memoria, o quando due GPU devono scambiarsi dati tramite NVLink. Entrambe sono disponibili su server A100 e H100.
Carichi di lavoro
Cosa esegue bene un server con GPU NVIDIA L40S
Parti dalla memoria. I pesi, la cache KV e il runtime devono stare in 48 GB; un lavoro che non ci sta non viene salvato da un chip più veloce.
AI
Inferenza e fine-tuning
Esegue modelli 13B a 16 bit con ampio margine, 30B a 8 bit o 70B a 4 bit con contesto breve, e fine-tuning LoRA o QLoRA. I Tensor Core FP8 accelerano l'inferenza dove il tuo runtime supporta FP8.
Grafica
Rendering e 3D
RT Core per i renderer che li usano tramite OptiX, come Blender Cycles, e 48 GB per scene che mandano in esaurimento memoria una GPU consumer da 24 GB.
Video
Codifica e transcodifica
Tre motori NVENC e tre NVDEC con AV1, così FFmpeg, OBS o un transcoder codifica in hardware e lascia i CUDA core per il resto della pipeline.
I pesi del modello stanno in 48 GB?
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
Solo i pesi. "Ci sta" significa che metà della dimensione dei pesi è ancora libera per la cache KV e il runtime. "Stretto" carica, ma un prompt lungo o un secondo utente può superare i 48 GB. Per un dato modello, hosting LLM indica la macchina, e per canali live in hardware, server di transcodifica GPU eseguono Flussonic o Wowza sulla GPU.
Incluso
L40S bare metal: cosa controlli e come viene fatturato
Nessuna macchina virtuale e nessuna GPU condivisa: la L40S appartiene a una sola macchina e la macchina a te. La macchina e la GPU sono due righe mensili su un'unica fattura, e cambiare la GPU in seguito sposta il costo della differenza mentre i tuoi dischi e indirizzi IP restano.
Root e console remota
Il tuo sistema operativo, installato pulito, con root, più il controller out-of-band della macchina (iLO, iDRAC o BMC) per schermo, supporti virtuali e alimentazione.
Driver che blocchi tu
Il driver NVIDIA, la release CUDA e il framework restano alle versioni che scegli, e nulla li aggiorna per te. Per avere un driver installato prima della consegna, scrivi la sua versione nell'ordine.
Una porta senza limiti
Il traffico non è misurato in nessuna direzione, quindi dataset, checkpoint e video codificati non aggiungono nulla alla fattura. Porte più veloci sono sul modulo d'ordine e su banda senza limiti.
Mese per mese
Paga un mese alla volta e fermati quando il lavoro finisce. La fatturazione oraria è solo per una macchina già montata in rack e ordinata invariata su server istantanei; una configurazione resta mensile.
Cosa esegue un server L40S
Indica il sistema operativo sul modulo d'ordine ed è quello presente sul disco alla consegna: Ubuntu dalla 14.04 alla 26.04, Windows Server dal 2008 R2 al 2025, Proxmox VE o VMware vSphere Hypervisor. Lo stack GPU sopra è tuo. La L40S richiede un driver R535 o più recente, il ramo in cui NVIDIA l'ha aggiunta, e CUDA 12 per raggiungere i suoi Tensor Core FP8. PyTorch, vLLM, llama.cpp e Ollama vedono quindi un dispositivo con 48 GB, e FFmpeg 6.0 o più recente include l'encoder av1_nvenc che guida i tre motori NVENC.
Consegna
Quanto tempo richiede un server L40S
Dipende da dove si trova la GPU quando ordini, e ti viene detto quale caso si applica prima di pagare. Ogni tempo qui sotto conta dall'approvazione dell'ordine.
- 30 min
Già in rack
Una macchina con una L40S è in attesa nel rack.
- 4–24 h
Installata dal nostro stock
Teniamo la GPU e la installiamo sulla macchina che hai configurato.
- 5–10 giorni
Acquistata
Giorni lavorativi, quando dobbiamo prima acquistare la L40S.
- 10–15 giorni
Su allocazione
Giorni lavorativi, quando è il fornitore a stabilire la data.
Marketplace GPU
Macchine L40S elencate dai loro proprietari
I proprietari elencano anche le proprie macchine L40S sul nostro marketplace, ciascuna al prezzo mensile mostrato nell'annuncio. Gli annunci della nostra società consociata, Primcast, compaiono qui e vengono noleggiati lì.
Risposte
Domande sui server L40S
Che cos'è un server dedicato L40S?
Un server fisico con una GPU NVIDIA L40S 48 GB passata al sistema operativo che installi, con accesso root, una porta senza limiti di traffico e nessun altro sulla macchina. La fatturazione è mensile, con la macchina e la GPU come due voci su un'unica fattura.
Quanto costa un server L40S?
Il prezzo mensile più basso per un server L40S completo è $532.67. La macchina è Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e la GPU è $449 del totale. Una configurazione con la GPU installata aggiunge un costo di attivazione una tantum di $29, e la tabella delle configurazioni elenca ogni piattaforma con il proprio prezzo.
Quanti core CUDA ha la NVIDIA L40S?
18.176 core CUDA, con 568 Tensor Core di quarta generazione e 142 RT Core di terza generazione, su architettura Ada Lovelace. Monta 48 GB di GDDR6 con ECC a 864 GB/s, si collega tramite PCIe 4.0 x16 e assorbe fino a 350 W.
La L40S è migliore della A100 per l'IA?
Per l'inferenza su un modello che sta in 48 GB, spesso sì: ha i Tensor Core FP8, che la A100 non ha, e costa meno al mese. Per l'addestramento di modelli grandi di solito vince la A100 80 GB, con 80 GB di HBM2e a 1.935 GB/s contro 48 GB a 864 GB/s, e un connettore NVLink. La H100 è davanti a entrambe nell'addestramento.
Una L40S può eseguire un modello da 70B?
A 4 bit, sì, con poco margine: i pesi occupano circa 38 GB dei 48, il che lascia spazio per un contesto breve e un solo utente. A 8 bit, 70 miliardi di parametri richiedono circa 70 GB, che servono due GPU o una da 80 GB.
La L40S supporta NVLink o MIG?
Nessuno dei due. La L40S non ha connettore NVLink né Multi-Instance GPU, quindi due GPU L40S in un server comunicano via PCIe, e una L40S funziona come una singola GPU. Se il lavoro richiede una di queste funzioni, guarda la A100 o la H100.
La L40S è adatta alla codifica video?
Sì. Ha tre motori NVENC e tre NVDEC con codifica e decodifica AV1, quindi FFmpeg, OBS o un transcoder codifica in hardware. La A100 e la H100 non hanno affatto NVENC.
Posso noleggiare una L40S su richiesta, a ore?
Sì, ma solo per una macchina L40S già installata in rack e ordinata senza modifiche dagli instant server. Costa il suo prezzo mensile diviso per 730 ore, moltiplicato per 1,3, conteggiato al secondo finché non la rilasci, con un'ora come minimo. Ogni configurazione nella tabella sopra è mensile.
È un'istanza cloud L40S o bare metal?
Bare metal. Non c'è hypervisor tra il tuo sistema operativo e la GPU, e la macchina ha un solo tenant. Vedi la L40S completa con i suoi 48 GB, non una porzione.
Quale sistema operativo e driver NVIDIA esegue un server L40S?
Qualunque immagine indichi nel modulo d'ordine, installata prima della consegna: Ubuntu da 14.04 a 26.04, Windows Server da 2008 R2 a 2025, Proxmox VE o VMware vSphere Hypervisor. La L40S richiede un driver R535 o più recente, il ramo in cui NVIDIA l'ha aggiunta, e CUDA 12 per raggiungere i suoi Tensor Core FP8. Dopo la consegna il driver, la versione di CUDA e il framework restano alle versioni che scegli.
Posso mettere due o più GPU L40S in un server?
Sì, come configurazione quotata a mano anziché selezionata al checkout: lo chassis, le sue linee PCIe e il suo alimentatore determinano quante ne entrano. Le GPU comunicano via PCIe, poiché la L40S non ha NVLink. Chiedi in chat prima di ordinare, oppure vedi server multi-GPU.
Quanto tempo richiede la consegna di un server L40S?
Circa 30 minuti dopo l'approvazione quando una macchina con L40S è già in rack, da 4 a 24 ore quando installiamo una GPU che abbiamo in magazzino, da 5 a 10 giorni lavorativi quando la GPU viene acquistata, e da 10 a 15 quando è in assegnazione. Ti diciamo quale dei quattro casi si applica prima che paghi.
Chi risponde quando ho bisogno di aiuto?
Avvia una chat: la nostra IA risponde in pochi secondi e può consultare il tuo account e il tuo server L40S mentre parli. Di' che vuoi una persona e uno di noi prende in carico la stessa conversazione.
In chiaro
Tutti i dati di questa pagina
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
Altrove
Altre domande sulle GPU
Scegli la piattaforma, poi configura il server L40S
Apri il configuratore con la L40S già selezionata, oppure dicci in chat il modello, la scena o il numero di canali. L'IA risponde in pochi secondi; una persona subentra ogni volta che lo chiedi.