NVIDIA L40S · Ada Lovelace

Serwer dedykowany z GPU NVIDIA L40S 48 GB pamięci ECC, trzy enkodery AV1, root na własnym systemie operacyjnym.

Serwer z GPU NVIDIA L40S to jedna fizyczna maszyna z kartą L40S 48 GB przekazaną do zainstalowanego przez Ciebie systemu operacyjnego, rozliczana miesięcznie. Najniższa pełna cena wynosi $532.67 miesięcznie, za Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps z zamontowanym GPU.

  • Pojedynczy najemca
  • Przekazanie PCIe
  • Port bez limitu transferu
  • AV1 NVENC
  • Bez umowy

L40S to GPU, które montujemy do zadań mieszanych: inferencja LLM i dostrajanie, renderowanie ray tracing oraz sprzętowe kodowanie wideo na jednym GPU. Na tej stronie znajdziesz dane z karty katalogowej, ceny każdej platformy, która je obsługuje, łącze PCIe dostępne na każdej z nich oraz informacje, kiedy lepiej sprawdzi się A100 lub H100.

Karta katalogowa

Specyfikacja NVIDIA L40S

L40S to pasywne, dwuslotowe GPU do centrów danych PCIe oparte na architekturze Ada Lovelace, z tej samej rodziny układów AD102 co RTX 6000 Ada, z pamięcią ECC i limitem mocy płyty 350 W. NVIDIA podaje wartości Tensor dwukrotnie: gęste i ze strukturalną rzadkością; tabela zawiera obie i wskazuje, która jest która.

SpecyfikacjaNVIDIA L40S
ArchitekturaAda Lovelace
Pamięć GPU48 GB GDDR6 z ECC
Przepustowość pamięci864 GB/s
Rdzenie CUDA18 176
Rdzenie Tensor568, czwarta generacja
Rdzenie RT142, trzecia generacja
InterfejsPCIe 4.0 x16
Pobór mocy płyty350 W
Źródło: strona produktu i karta katalogowa NVIDIA L40S.
ObliczeniaGęste i z rzadkością
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS 366 z rzadkością
FP16 / BF16 Tensor362 TFLOPS 733 z rzadkością
FP8 Tensor733 TFLOPS 1466 z rzadkością
INT8 Tensor733 TOPS 1466 z rzadkością
Rdzeń RT212 TFLOPS
Silniki wideo3 NVENC, 3 NVDEC, kodowanie i dekodowanie AV1
MIG / NVLinkBrak

L40S obsługuje również oprogramowanie NVIDIA vGPU i bezpieczny rozruch ze sprzętowym korzeniem zaufania oraz jest gotowe na poziom NEBS 3. Na naszych serwerach pełne GPU trafia do Twojego systemu operacyjnego, więc dzielenie go za pomocą vGPU wymagałoby własnej licencji i własnego hipernadzorcy.

Z katalogu zamówień

Ceny serwerów L40S wraz z maszyną, w której montowane jest GPU

L40S jest dostępne na 2 platformach. Każdy wiersz to pełny miesięczny rachunek za najtańszą maszynę na jednej z nich: procesor, pamięć, dyski, na których otwiera się formularz zamówienia, port bez limitu transferu i jeden adres IPv4 oraz GPU. Opcja Konfiguruj otwiera daną platformę z wybranym L40S, gdzie dodajesz pamięć, dyski lub szybszy port.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

L40S to GPU PCIe 4.0. Na platformie PCIe 3.0 łącze działa z prędkością 16 GB/s w każdą stronę zamiast 32, co spowalnia ładowanie wag i strumieniowanie partii z pamięci hosta, ale nie pracę, która pozostaje we własnej pamięci GPU 864 GB/s. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29. Płatność z góry za 3, 6 lub 12 miesięcy daje do 15% zniżki, a cena nie rośnie przy odnowieniu.

L40S vs A100 vs H100

L40S, A100 czy H100: trzy GPU do centrów danych, które montujemy

A100 i H100 mają pamięć HBM o ponad dwukrotnie większej przepustowości i złącza NVLink, ale nie mają enkodera wideo. L40S ma mniejszą przepustowość pamięci, dodaje rdzenie RT i trzy silniki NVENC, a kosztuje mniej miesięcznie. Wszystkie trzy to wersje PCIe, jedyna forma, jaką przyjmują nasze obudowy.

Źródła: karta katalogowa NVIDIA L40S, karta katalogowa A100, nota produktowa H100 PCIe. Ceny z naszego katalogu zamówień, każda z najtańszą maszyną obsługującą dane GPU.
SpecyfikacjaL40SA100 80 GBH100 80 GB PCIe
ArchitekturaAda LovelaceAmpereHopper
Pamięć GPU48 GB GDDR6, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Przepustowość pamięci864 GB/s1935 GB/s2039 GB/s
FP8TakNieTak
Rdzenie RT142BrakBrak
Kodowanie wideo3 NVENC z AV1BrakBrak
NVLinkNieZłącze mostkoweZłącze mostkowe
Multi-Instance GPUNieDo 7Do 7
Pobór mocy płyty350 W300 W350 W
InterfejsPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Linia GPU, miesięcznie$449$899$1,599
Kompletny serwer od$532.67$972.47$1,682.67

Wybierz A100 lub H100, gdy model potrzebuje więcej niż 48 GB na jednym GPU, gdy trenowanie jest ograniczone przepustowością pamięci lub gdy dwa GPU muszą wymieniać dane przez NVLink. Oba są dostępne na serwerach A100 i H100.

Obciążenia

Do czego dobrze nadaje się serwer z GPU NVIDIA L40S

Zacznij od pamięci. Wagi, pamięć podręczna KV i środowisko uruchomieniowe muszą zmieścić się w 48 GB; zadanie, które się nie mieści, nie zostanie uratowane przez szybszy układ.

AI

Inferencja i dostrajanie

Obsługa modeli 13B w 16-bitach z zapasem, 30B w 8-bitach lub 70B w 4-bitach z krótkim kontekstem oraz dostrajanie LoRA lub QLoRA. Rdzenie Tensor FP8 przyspieszają inferencję tam, gdzie Twoje środowisko obsługuje FP8.

Grafika

Renderowanie i 3D

Rdzenie RT dla rendererów korzystających z nich przez OptiX, takich jak Blender Cycles, oraz 48 GB dla scen, które wyczerpują pamięć konsumenckiego GPU 24 GB.

Wideo

Kodowanie i transkodowanie

Trzy silniki NVENC i trzy NVDEC z AV1, dzięki czemu FFmpeg, OBS lub transkoder koduje sprzętowo i pozostawia rdzenie CUDA dla reszty potoku.

Czy wagi modelu zmieszczą się w 48 GB?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Tylko wagi. „Mieści się” oznacza, że połowa rozmiaru wag pozostaje wolna na pamięć podręczną KV i środowisko uruchomieniowe. „Na styk” ładuje się, ale długi prompt lub drugi użytkownik może przekroczyć 48 GB. Dla danego modelu hosting LLM wskazuje maszynę, a dla kanałów na żywo w sprzęcie serwery transkodowania GPU uruchamiają Flussonic lub Wowza na GPU.

W cenie

L40S bare metal: co kontrolujesz i jak jest rozliczane

Bez maszyny wirtualnej i bez współdzielonego GPU: L40S należy do jednej maszyny, a maszyna do Ciebie. Maszyna i GPU to dwie miesięczne pozycje na jednej fakturze, a późniejsza zmiana GPU przesuwa rachunek o różnicę, podczas gdy Twoje dyski i adresy IP pozostają.

Root i zdalna konsola

Twój system operacyjny, zainstalowany czysto, z rootem, oraz kontroler out-of-band maszyny (iLO, iDRAC lub BMC) do ekranu, nośników wirtualnych i zasilania.

Sterowniki, które przypinasz

Sterownik NVIDIA, wersja CUDA i framework pozostają w wybranych przez Ciebie wersjach i nic ich za Ciebie nie aktualizuje. Aby sterownik został zainstalowany przed przekazaniem, wpisz jego wersję w zamówieniu.

Port bez limitu transferu

Transfer nie jest mierzony w żadnym kierunku, więc zbiory danych, punkty kontrolne i zakodowane wideo nie dodają nic do rachunku. Szybsze porty są w formularzu zamówienia i na przepustowości bez limitu.

Miesiąc po miesiącu

Płać miesiąc naraz i zakończ, gdy zadanie się skończy. Rozliczenie godzinowe dotyczy tylko maszyny już zamontowanej w szafie i zamówionej bez zmian na serwerach natychmiastowych; konfiguracja pozostaje miesięczna.

Co uruchamia serwer L40S

Podaj system operacyjny w formularzu zamówienia, a to on będzie na dysku przy przekazaniu: Ubuntu od 14.04 do 26.04, Windows Server od 2008 R2 do 2025, Proxmox VE lub VMware vSphere Hypervisor. Stos GPU na wierzchu należy do Ciebie. L40S wymaga sterownika R535 lub nowszego, gałęzi, w której NVIDIA go dodała, oraz CUDA 12, aby sięgnąć do rdzeni Tensor FP8. PyTorch, vLLM, llama.cpp i Ollama widzą wtedy jedno urządzenie z 48 GB, a FFmpeg 6.0 lub nowszy zawiera enkoder av1_nvenc, który napędza trzy silniki NVENC.

Dostawa

Ile trwa realizacja serwera L40S

Zależy to od tego, gdzie znajduje się GPU w momencie zamówienia, a przed zapłatą dowiesz się, który przypadek dotyczy Ciebie. Każdy czas poniżej liczony jest od zatwierdzenia zamówienia.

  1. 30 min

    Już w szafie

    Maszyna z L40S czeka w szafie rack.

  2. 4–24 h

    Montaż z naszego magazynu

    Mamy GPU na stanie i montujemy je do skonfigurowanej przez Ciebie maszyny.

  3. 5–10 dni

    Dokupienie

    Dni robocze, gdy najpierw musimy dokupić L40S.

  4. 10–15 dni

    Na przydziale

    Dni robocze, gdy termin wyznacza dostawca.

Odpowiedzi

Pytania o serwery L40S

Czym jest serwer dedykowany L40S?

Fizyczny serwer z jedną kartą NVIDIA L40S 48 GB przekazaną do systemu operacyjnego, który instalujesz, z dostępem root, nielimitowanym portem i bez innych użytkowników na maszynie. Rozliczany jest miesięcznie, a maszyna i GPU widnieją jako dwie pozycje na jednej fakturze.

Ile kosztuje serwer L40S?

Najniższa miesięczna cena za kompletny serwer L40S to $532.67. Ta maszyna to Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, a GPU stanowi $449 całości. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29, a tabela konfiguracji podaje każdą platformę z jej własną ceną.

Ile rdzeni CUDA ma NVIDIA L40S?

18 176 rdzeni CUDA, z 568 rdzeniami Tensor czwartej generacji i 142 rdzeniami RT trzeciej generacji, w architekturze Ada Lovelace. Karta ma 48 GB pamięci GDDR6 z ECC o przepustowości 864 GB/s, łączy się przez PCIe 4.0 x16 i pobiera do 350 W.

Czy L40S jest lepszy od A100 do AI?

Do inferencji na modelu mieszczącym się w 48 GB często tak: ma rdzenie Tensor FP8, których A100 nie posiada, i kosztuje mniej miesięcznie. Do trenowania dużych modeli zwykle wygrywa A100 80 GB, z 80 GB HBM2e o przepustowości 1 935 GB/s wobec 48 GB przy 864 GB/s oraz złączem NVLink. H100 wyprzedza oba w trenowaniu.

Czy L40S uruchomi model 70B?

W kwantyzacji 4-bitowej tak, z niewielkim zapasem: wagi zajmują około 38 GB z 48, co zostawia miejsce na krótki kontekst i jednego użytkownika. W 8-bitach 70 miliardów parametrów wymaga około 70 GB, co oznacza dwie karty GPU lub jedną 80 GB.

Czy L40S obsługuje NVLink lub MIG?

Ani jedno, ani drugie. L40S nie ma złącza NVLink ani funkcji Multi-Instance GPU, więc dwie karty L40S w jednym serwerze komunikują się przez PCIe, a jedna karta L40S działa jako jedno GPU. Jeśli zadanie wymaga którejkolwiek z tych funkcji, sprawdź A100 lub H100.

Czy L40S nadaje się do kodowania wideo?

Tak. Ma trzy silniki NVENC i trzy NVDEC z kodowaniem i dekodowaniem AV1, więc FFmpeg, OBS lub transkoder koduje sprzętowo. A100 i H100 w ogóle nie mają NVENC.

Czy mogę wynająć L40S na żądanie, za godzinę?

Tak, ale tylko dla maszyny L40S już zamontowanej w szafie i zamówionej bez zmian z serwerów natychmiastowych. Kosztuje tyle, ile jej cena miesięczna podzielona przez 730 godzin, razy 1,3, z rozliczeniem co do sekundy do momentu zwolnienia, przy minimum jednej godzinie. Każda konfiguracja w tabeli powyżej jest miesięczna.

Czy to instancja L40S w chmurze czy bare metal?

Bare metal. Między Twoim systemem operacyjnym a GPU nie ma hipernadzorcy, a maszyna ma jednego najemcę. Widzisz pełne L40S z jego 48 GB, a nie jego wycinek.

Jaki system operacyjny i sterownik NVIDIA działa na serwerze L40S?

Dowolny obraz, który wskażesz w formularzu zamówienia, instalowany przed przekazaniem: Ubuntu od 14.04 do 26.04, Windows Server od 2008 R2 do 2025, Proxmox VE lub VMware vSphere Hypervisor. L40S wymaga sterownika R535 lub nowszego, z gałęzi, w której NVIDIA go dodała, oraz CUDA 12, aby wykorzystać rdzenie Tensor FP8. Po przekazaniu sterownik, wersja CUDA i framework pozostają w wybranych przez Ciebie wersjach.

Czy mogę umieścić dwie lub więcej kart L40S w jednym serwerze?

Tak, jako konfigurację wycenianą indywidualnie, a nie zaznaczaną przy kasie: obudowa, jej linie PCIe i zasilacz określają, ile kart się zmieści. Karty komunikują się przez PCIe, ponieważ L40S nie ma NVLink. Zapytaj na czacie przed zamówieniem lub zobacz serwery wielo-GPU.

Ile trwa dostawa serwera L40S?

Około 30 minut po akceptacji, gdy maszyna z L40S jest już zamontowana w szafie, od 4 do 24 godzin, gdy montujemy kartę, którą mamy na stanie, od 5 do 10 dni roboczych, gdy GPU jest kupowane, i od 10 do 15, gdy jest w przydziale. Przed płatnością informujemy, który z czterech wariantów dotyczy Ciebie.

Kto odpowiada, gdy potrzebuję pomocy?

Rozpocznij czat: nasza AI odpowiada w kilka sekund i może sprawdzić Twoje konto oraz serwer L40S w trakcie rozmowy. Powiedz, że chcesz rozmawiać z człowiekiem, a jeden z nas przejmie tę samą rozmowę.

Zwykłym tekstem

Wszystkie dane na tej stronie

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Wybierz platformę, a potem skonfiguruj serwer L40S

Otwórz konfigurator z już wybranym L40S albo podaj nam model, scenę lub liczbę kanałów na czacie. AI odpowiada w kilka sekund; człowiek przejmuje rozmowę, kiedy tylko poprosisz.