NVIDIA L40S · Ada Lovelace
Serwer dedykowany L40S 48 GB pamięci ECC, trzy enkodery AV1, root na własnym systemie operacyjnym.
Serwer dedykowany L40S to jedna fizyczna maszyna z procesorem graficznym NVIDIA L40S przekazanym do zainstalowanego przez Ciebie systemu operacyjnego, rozliczana miesięcznie. Najniższa pełna cena wynosi $532.67 miesięcznie za Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps z zamontowanym GPU.
- Pojedynczy najemca
- Passthrough PCIe
- Port bez limitu transferu
- AV1 NVENC
- Bez umowy
L40S to GPU, które montujemy do zadań mieszanych: inferencja LLM i dostrajanie, renderowanie ze śledzeniem promieni oraz sprzętowe kodowanie wideo na jednym GPU. Na tej stronie znajdziesz dane z karty katalogowej, ceny każdej platformy, która je obsługuje, łącze PCIe dostępne na każdej z nich oraz informacje, kiedy lepiej sprawdzi się A100 lub H100.
Karta katalogowa
Specyfikacja NVIDIA L40S
L40S to pasywne, dwuslotowe GPU do centrów danych na złącze PCIe, oparte na architekturze Ada Lovelace, z tej samej rodziny układów AD102 co RTX 6000 Ada, z pamięcią ECC i limitem mocy płyty 350 W. NVIDIA podaje wartości Tensor dwukrotnie: dla trybu gęstego i ze strukturalną rzadkością; tabela zawiera obie wartości i wskazuje, która jest która.
| Specyfikacja | NVIDIA L40S |
|---|---|
| Architektura | Ada Lovelace |
| Pamięć GPU | 48 GB GDDR6 z ECC |
| Przepustowość pamięci | 864 GB/s |
| Rdzenie CUDA | 18 176 |
| Rdzenie Tensor | 568, czwarta generacja |
| Rdzenie RT | 142, trzecia generacja |
| Interfejs | PCIe 4.0 x16 |
| Pobór mocy płyty | 350 W |
| Obliczenia | Tryb gęsty i z rzadkością |
|---|---|
| FP32 | 91,6 TFLOPS |
| TF32 Tensor | 183 TFLOPS 366 z rzadkością |
| FP16 / BF16 Tensor | 362 TFLOPS 733 z rzadkością |
| FP8 Tensor | 733 TFLOPS 1466 z rzadkością |
| INT8 Tensor | 733 TOPS 1466 z rzadkością |
| Rdzeń RT | 212 TFLOPS |
| Silniki wideo | 3 NVENC, 3 NVDEC, kodowanie i dekodowanie AV1 |
| MIG / NVLink | Brak |
L40S obsługuje również oprogramowanie NVIDIA vGPU oraz bezpieczny rozruch ze sprzętowym korzeniem zaufania i jest zgodny z NEBS Level 3. Na naszych serwerach całe GPU trafia do Twojego systemu operacyjnego, więc dzielenie go za pomocą vGPU wymagałoby własnej licencji i własnego hipernadzorcy.
Z katalogu zamówień
Ceny serwerów L40S wraz z maszyną, w której montowane jest GPU
L40S jest dostępny na 2 platformach. Każdy wiersz to pełna miesięczna opłata za najtańszą maszynę na jednej z nich: procesor, pamięć, dyski, od których zaczyna formularz zamówienia, port bez limitu transferu i jeden adres IPv4 oraz GPU. Opcja konfiguracji otwiera daną platformę z wybranym L40S, gdzie możesz dodać pamięć, dyski lub szybszy port.
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
L40S to GPU PCIe 4.0. Na platformie PCIe 3.0 łącze działa z prędkością 16 GB/s w każdą stronę zamiast 32, co spowalnia ładowanie wag i strumieniowanie partii z pamięci hosta, ale nie wpływa na pracę, która mieści się w 864 GB/s pamięci własnej GPU. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną $29. Płatność z góry za 3, 6 lub 12 miesięcy daje do 15% zniżki, a cena nie rośnie przy przedłużeniu.
L40S vs A100 vs H100
L40S, A100 czy H100: trzy GPU do centrów danych, które montujemy
A100 i H100 mają pamięć HBM o ponad dwukrotnie większej przepustowości oraz złącza NVLink, ale nie mają enkodera wideo. L40S ma mniejszą przepustowość pamięci, dodaje rdzenie RT i trzy silniki NVENC, a kosztuje mniej miesięcznie. Wszystkie trzy występują w wersji PCIe — jedynej, jaką przyjmują nasze obudowy.
| Specyfikacja | L40S | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Architektura | Ada Lovelace | Ampere | Hopper |
| Pamięć GPU | 48 GB GDDR6, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Przepustowość pamięci | 864 GB/s | 1935 GB/s | 2039 GB/s |
| FP8 | Tak | Nie | Tak |
| Rdzenie RT | 142 | Brak | Brak |
| Kodowanie wideo | 3 NVENC z AV1 | Brak | Brak |
| NVLink | Nie | Złącze mostka | Złącze mostka |
| Multi-Instance GPU | Nie | Do 7 | Do 7 |
| Pobór mocy płyty | 350 W | 300 W | 350 W |
| Interfejs | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Linia GPU, miesięcznie | $449 | $899 | $1,599 |
| Kompletny serwer od | $532.67 | $972.47 | $1,682.67 |
Wybierz A100 lub H100, gdy model potrzebuje więcej niż 48 GB na jednym GPU, gdy trenowanie jest ograniczone przepustowością pamięci lub gdy dwa GPU muszą wymieniać dane przez NVLink. Oba są dostępne na serwerach A100 i H100.
Obciążenia
Do czego dobrze nadaje się serwer z NVIDIA L40S
Zacznij od pamięci. Wagi, pamięć podręczna KV i środowisko uruchomieniowe muszą zmieścić się w 48 GB; zadania, które się nie mieszczą, nie uratuje szybszy układ.
AI
Inferencja i dostrajanie
Obsługa modeli 13B w 16-bitach z zapasem, 30B w 8-bitach lub 70B w 4-bitach z krótkim kontekstem oraz dostrajanie LoRA lub QLoRA. Rdzenie Tensor FP8 przyspieszają inferencję tam, gdzie środowisko uruchomieniowe obsługuje FP8.
Grafika
Renderowanie i 3D
Rdzenie RT dla rendererów korzystających z nich przez OptiX, takich jak Blender Cycles, oraz 48 GB na sceny, które wyczerpują pamięć konsumenckiego GPU 24 GB.
Wideo
Kodowanie i transkodowanie
Trzy silniki NVENC i trzy NVDEC z AV1, dzięki czemu FFmpeg, OBS lub transkoder koduje sprzętowo, zostawiając rdzenie CUDA dla reszty potoku.
Czy wagi modelu zmieszczą się w 48 GB?
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
Tylko wagi. „Mieści się” oznacza, że po załadowaniu wag pozostaje wolna połowa ich rozmiaru na pamięć podręczną KV i środowisko uruchomieniowe. „Na styk” ładuje się, ale długi prompt lub drugi użytkownik może przekroczyć 48 GB. Dla danego modelu hosting LLM wskaże odpowiednią maszynę, a dla kanałów na żywo kodowanych sprzętowo serwery do transkodowania GPU uruchamiają Flussonic lub Wowza na GPU.
W cenie
L40S bare metal: co kontrolujesz i jak jest rozliczane
Bez maszyny wirtualnej i bez współdzielonego GPU: L40S należy do jednej maszyny, a maszyna do Ciebie. Maszyna i GPU to dwie miesięczne pozycje na jednej fakturze, a późniejsza zmiana GPU zmienia rachunek o różnicę, podczas gdy Twoje dyski i adresy IP zostają bez zmian.
Root i zdalna konsola
Twój system operacyjny, zainstalowany na czysto, z kontem root, oraz kontroler out-of-band maszyny (iLO, iDRAC lub BMC) do podglądu ekranu, nośników wirtualnych i zasilania.
Sterowniki, które przypinasz
Sterownik NVIDIA, wersja CUDA i framework pozostają w wybranych przez Ciebie wersjach i nic ich nie aktualizuje za Ciebie. Aby sterownik został zainstalowany przed przekazaniem, wpisz jego wersję w zamówieniu.
Port bez limitu transferu
Transfer nie jest mierzony w żadną stronę, więc zbiory danych, punkty kontrolne i zakodowane wideo nie podnoszą rachunku. Szybsze porty są dostępne w formularzu zamówienia i na stronie przepustowość bez limitu.
Z miesiąca na miesiąc
Płać miesiąc po miesiącu i zakończ, gdy zadanie się skończy. Rozliczenie godzinowe dotyczy tylko maszyny już stojącej w szafie i zamówionej bez zmian na serwerach natychmiastowych; konfiguracja pozostaje miesięczna.
Czas dostawy
Ile trwa realizacja serwera L40S
Zależy to od tego, gdzie znajduje się GPU w momencie zamówienia, a przed płatnością dowiesz się, który przypadek dotyczy Ciebie. Każdy podany czas liczony jest od zatwierdzenia zamówienia.
- 30 min
Już w szafie
Maszyna z L40S czeka w szafie rack.
- 4–24 h
Montaż z naszego magazynu
Mamy GPU na stanie i montujemy je w skonfigurowanej przez Ciebie maszynie.
- 5–10 dni
Zakup
Dni robocze, gdy musimy najpierw kupić L40S.
- 10–15 dni
Na przydziale
Dni robocze, gdy termin wyznacza dostawca.
Giełda GPU
Maszyny L40S wystawione przez ich właścicieli
Właściciele wystawiają również własne maszyny L40S na naszej giełdzie, każdą w miesięcznej cenie widocznej na ogłoszeniu. Ogłoszenia naszej siostrzanej firmy Primcast również się tu pojawiają i są wynajmowane tam.
Odpowiedzi
Pytania o serwery L40S
Czym jest serwer dedykowany L40S?
Fizyczny serwer z jedną kartą NVIDIA L40S 48 GB przekazaną bezpośrednio do systemu operacyjnego, który instalujesz, z dostępem root, nielimitowanym portem i bez innych użytkowników na maszynie. Rozliczany jest miesięcznie, a maszyna i GPU widnieją jako dwie pozycje na jednej fakturze.
Ile kosztuje serwer L40S?
Najniższa miesięczna cena za kompletny serwer L40S wynosi $532.67. Ta maszyna to Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, a GPU stanowi $449 całości. Konfiguracja z zamontowanym GPU wiąże się z jednorazową opłatą instalacyjną w wysokości $29, a tabela konfiguracji podaje cenę każdej platformy z osobna.
Ile rdzeni CUDA ma NVIDIA L40S?
18 176 rdzeni CUDA, z 568 rdzeniami Tensor czwartej generacji i 142 rdzeniami RT trzeciej generacji, w architekturze Ada Lovelace. Karta ma 48 GB pamięci GDDR6 z ECC o przepustowości 864 GB/s, łączy się przez PCIe 4.0 x16 i pobiera do 350 W.
Czy L40S jest lepszy od A100 do zadań AI?
Do inferencji na modelu mieszczącym się w 48 GB często tak: ma rdzenie Tensor FP8, których A100 nie posiada, i kosztuje mniej miesięcznie. Do trenowania dużych modeli zwykle wygrywa A100 80 GB, oferując 80 GB HBM2e przy 1 935 GB/s wobec 48 GB przy 864 GB/s oraz złącze NVLink. H100 wyprzedza oba w trenowaniu.
Czy L40S uruchomi model 70B?
W kwantyzacji 4-bitowej tak, z niewielkim zapasem: wagi zajmują około 38 GB z 48, co zostawia miejsce na krótki kontekst i jednego użytkownika. W 8-bitach 70 miliardów parametrów wymaga około 70 GB, czyli dwóch GPU lub jednej karty 80 GB.
Czy L40S obsługuje NVLink lub MIG?
Nie. L40S nie ma złącza NVLink ani funkcji Multi-Instance GPU, więc dwie karty L40S w jednym serwerze komunikują się przez PCIe, a pojedynczy L40S działa jako jedno GPU. Jeśli zadanie wymaga którejś z tych funkcji, warto rozważyć A100 lub H100.
Czy L40S nadaje się do kodowania wideo?
Tak. Ma trzy silniki NVENC i trzy NVDEC z kodowaniem i dekodowaniem AV1, więc FFmpeg, OBS lub transkoder koduje sprzętowo. A100 i H100 w ogóle nie mają NVENC.
Czy mogę wynająć L40S na żądanie, za godzinę?
Tak, ale tylko dla maszyny L40S już zamontowanej w szafie i zamówionej bez zmian z serwerów natychmiastowych. Kosztuje swoją cenę miesięczną podzieloną przez 730 godzin, razy 1,3, z rozliczeniem co do sekundy do momentu zwolnienia, przy minimum jednej godzinie. Każda konfiguracja w powyższej tabeli jest miesięczna.
Czy to instancja L40S w chmurze czy bare metal?
Bare metal. Między Twoim systemem operacyjnym a GPU nie ma hipernadzorcy, a maszyna ma jednego najemcę. Widzisz pełne L40S z jego 48 GB, a nie jego wycinek.
Czy mogę umieścić dwie lub więcej kart L40S w jednym serwerze?
Tak, jako konfigurację wycenianą indywidualnie, a nie wybieraną przy kasie: obudowa, linie PCIe i zasilacz określają, ile kart się zmieści. GPU komunikują się przez PCIe, ponieważ L40S nie ma NVLink. Zapytaj na czacie przed zamówieniem lub zobacz serwery wielo-GPU.
Ile trwa dostawa serwera L40S?
Około 30 minut po zatwierdzeniu, gdy maszyna z L40S jest już w szafie, od 4 do 24 godzin, gdy montujemy GPU z magazynu, od 5 do 10 dni roboczych, gdy GPU jest kupowane, i od 10 do 15, gdy jest na przydziale. Przed płatnością informujemy, który z czterech wariantów dotyczy Ciebie.
Kto odpowiada, gdy potrzebuję pomocy?
Rozpocznij czat: nasza AI odpowiada w kilka sekund i może sprawdzić Twoje konto oraz serwer L40S w trakcie rozmowy. Poproś o człowieka, a jeden z nas przejmie tę samą rozmowę.
Zwykłym tekstem
Każda liczba na tej stronie
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
Gdzie indziej
Inne pytania o GPU
Wybierz platformę, a następnie skonfiguruj serwer L40S
Otwórz konfigurator z już wybranym L40S lub podaj nam model, scenę albo liczbę kanałów na czacie. AI odpowiada w kilka sekund; człowiek przejmuje rozmowę, kiedy tylko poprosisz.