NVIDIA L40S · Ada Lovelace

NVIDIA L40S GPU'lu özel sunucu 48 GB ECC bellek, üç AV1 kodlayıcı, kendi işletim sisteminizde root.

NVIDIA L40S GPU sunucusu, kurduğunuz işletim sistemine doğrudan geçirilen L40S 48 GB'a sahip tek bir fiziksel makinedir ve aylık faturalandırılır. En düşük komple fiyat aylık $532.67 olup Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps için GPU takılı haldedir.

  • Tek kiracı
  • PCIe passthrough
  • Sınırsız port
  • AV1 NVENC
  • Sözleşme yok

L40S, karma iş yükleri için taktığımız GPU'dur: tek bir GPU üzerinde LLM çıkarımı ve ince ayar, ışın izlemeli render ve donanımsal video kodlama. Bu sayfada veri sayfası değerleri, onu alan her platformun fiyatı, her birinde aldığı PCIe bağlantısı ve A100 veya H100'ün işe daha uygun olduğu durumlar yer alır.

Veri sayfası

NVIDIA L40S teknik özellikleri

L40S, Ada Lovelace mimarisinde pasif, çift yuvalı bir PCIe veri merkezi GPU'sudur; RTX 6000 Ada ile aynı AD102 çip ailesinden gelir, ECC belleğe ve 350 W kart limitine sahiptir. NVIDIA Tensor değerlerini iki kez verir: yoğun ve yapılandırılmış seyreklik ile; tablo her ikisini de gösterir ve hangisinin hangisi olduğunu belirtir.

ÖzellikNVIDIA L40S
MimariAda Lovelace
GPU belleğiECC'li 48 GB GDDR6
Bellek bant genişliği864 GB/s
CUDA çekirdekleri18.176
Tensor Çekirdekleri568, dördüncü nesil
RT Çekirdekleri142, üçüncü nesil
ArayüzPCIe 4.0 x16
Kart gücü350 W
Kaynak: NVIDIA L40S ürün sayfası ve veri sayfası.
HesaplamaYoğun ve seyreklik ile
FP3291,6 TFLOPS
TF32 Tensor183 TFLOPS seyreklik ile 366
FP16 / BF16 Tensor362 TFLOPS seyreklik ile 733
FP8 Tensor733 TFLOPS seyreklik ile 1.466
INT8 Tensor733 TOPS seyreklik ile 1.466
RT Çekirdeği212 TFLOPS
Video motorları3 NVENC, 3 NVDEC, AV1 kodlama ve kod çözme
MIG / NVLinkHiçbiri

L40S ayrıca NVIDIA vGPU yazılımını ve donanımsal güven köküyle güvenli önyüklemeyi destekler ve NEBS Seviye 3'e hazırdır. Sunucularımızda GPU'nun tamamı işletim sisteminize gider; bu nedenle vGPU ile bölmek kendi lisansınız ve kendi hipervizörünüzle olur.

Sipariş kataloğundan

GPU'nun takıldığı makineyle L40S sunucu fiyatları

L40S 2 platformda bulunur. Her satır, bunlardan birindeki en ucuz makinenin tam aylık faturasıdır: işlemci, bellek, sipariş formunun açıldığı diskler, sınırsız port ve bir IPv4 adresi artı GPU. Yapılandır, L40S seçili olarak o platformu açar; burada bellek, disk veya daha hızlı port eklersiniz.

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

L40S bir PCIe 4.0 GPU'sudur. PCIe 3.0 bir platformda bağlantı her yönde 32 yerine 16 GB/s hızında çalışır; bu, ağırlıkları yüklemeyi ve ana bellekten parti akışını yavaşlatır, ancak GPU'nun kendi 864 GB/s belleğinde kalan işi etkilemez. GPU takılı bir yapılandırma bir kerelik $29 kurulum ücreti öder. 3, 6 veya 12 ay peşin ödemek 15%'a varan indirim sağlar ve yenilemede fiyat artmaz.

L40S vs A100 vs H100

L40S, A100 veya H100: taktığımız üç veri merkezi GPU'su

A100 ve H100, iki katından fazla bant genişliğine sahip HBM ve NVLink konnektörleri taşır ve video kodlayıcıları yoktur. L40S daha az bellek bant genişliğine sahiptir, RT Çekirdekleri ve üç NVENC motoru ekler ve aylık maliyeti daha düşüktür. Üçü de PCIe sürümleridir; kasalarımızın aldığı tek form budur.

Kaynaklar: NVIDIA L40S veri sayfası, A100 veri sayfası, H100 PCIe ürün özeti. Fiyatlar sipariş kataloğumuzdan olup her biri GPU'yu alan en ucuz makineyle birliktedir.
ÖzellikL40SA100 80 GBH100 80 GB PCIe
MimariAda LovelaceAmpereHopper
GPU belleği48 GB GDDR6, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Bellek bant genişliği864 GB/s1.935 GB/s2.039 GB/s
FP8EvetHayırEvet
RT Çekirdekleri142YokYok
Video kodlamaAV1'li 3 NVENCYokYok
NVLinkHayırKöprü konnektörüKöprü konnektörü
Çok Örnekli GPUHayır7'ye kadar7'ye kadar
Kart gücü350 W300 W350 W
ArayüzPCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU satırı, aylık$449$899$1,599
Komple sunucu başlangıç$532.67$972.47$1,682.67

Bir model tek GPU'da 48 GB'tan fazlasına ihtiyaç duyduğunda, eğitim bellek bant genişliğine bağlı olduğunda veya iki GPU'nun NVLink üzerinden veri alışverişi yapması gerektiğinde A100 veya H100'ü seçin. Her ikisi de A100 ve H100 sunucularında bulunur.

İş yükleri

NVIDIA L40S GPU sunucusu neleri iyi çalıştırır

Bellekten başlayın. Ağırlıklar, KV önbelleği ve çalışma zamanı 48 GB'a sığmalıdır; sığmayan bir iş daha hızlı bir çiple kurtarılmaz.

AI

Çıkarım ve ince ayar

16-bit'te 13B modelleri bol alanla, 8-bit'te 30B veya kısa bağlamla 4-bit'te 70B sunma ve LoRA veya QLoRA ince ayarı. FP8 Tensor Çekirdekleri, çalışma zamanınız FP8'i desteklediğinde çıkarımı hızlandırır.

Grafik

Render ve 3D

OptiX üzerinden kullanan render motorları için RT Çekirdekleri, örneğin Blender Cycles ve 24 GB tüketici GPU'sunu bellek dışına iten sahneler için 48 GB.

Video

Kodlama ve dönüştürme

AV1'li üç NVENC ve üç NVDEC motoru; böylece FFmpeg, OBS veya bir dönüştürücü donanımda kodlar ve CUDA çekirdeklerini hattın geri kalanına bırakır.

Modelin ağırlıkları 48 GB'a sığar mı?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

Yalnızca ağırlıklar. "Sığar", ağırlıkların boyutunun yarısı kadar daha KV önbelleği ve çalışma zamanı için boş kaldığı anlamına gelir. "Dar" yüklenir, ancak uzun bir istem veya ikinci bir kullanıcı 48 GB'ı aşabilir. Belirli bir model için LLM barındırma makineyi adlandırır; donanımda canlı kanallar için GPU dönüştürme sunucuları GPU üzerinde Flussonic veya Wowza çalıştırır.

Dahil olanlar

L40S bare metal: neyi kontrol edersiniz ve nasıl faturalandırılır

Sanal makine yok ve paylaşımlı GPU yok: L40S bir makineye, makine de size aittir. Makine ve GPU tek faturada iki aylık satırdır; GPU'yu sonradan değiştirmek fark kadar faturayı değiştirirken diskleriniz ve IP adresleriniz kalır.

Root ve uzak konsol

İşletim sisteminiz temiz kurulur, root ile birlikte; ayrıca makinenin bant dışı denetleyicisi (iLO, iDRAC veya BMC) ekran, sanal ortam ve güç için.

Sizin sabitlediğiniz sürücüler

NVIDIA sürücüsü, CUDA sürümü ve çerçeve seçtiğiniz sürümlerde kalır; hiçbir şey onları sizin için güncellemez. Teslimden önce bir sürücünün kurulu olmasını istiyorsanız sürümünü siparişe yazın.

Sınırsız port

Trafik her iki yönde de ölçülmez; bu nedenle veri kümeleri, kontrol noktaları ve kodlanmış video faturaya hiçbir şey eklemez. Daha hızlı portlar sipariş formunda ve sınırsız bant genişliği sayfasındadır.

Aydan aya

Bir seferde bir ay ödeyin ve iş bittiğinde durun. Saatlik faturalandırma yalnızca anında sunucularda zaten rafa alınmış ve değiştirilmeden sipariş edilen bir makine içindir; bir yapılandırma aylık kalır.

Bir L40S sunucusu neleri çalıştırır

Sipariş formunda işletim sistemini adlandırın; teslimde diskte olan odur: Ubuntu 14.04'ten 26.04'e, Windows Server 2008 R2'den 2025'e, Proxmox VE veya VMware vSphere Hypervisor. Üzerindeki GPU yığını sizindir. L40S, NVIDIA'nın onu eklediği dal olan R535 veya daha yeni bir sürücü ve FP8 Tensor Çekirdeklerine ulaşmak için CUDA 12 ister. PyTorch, vLLM, llama.cpp ve Ollama daha sonra 48 GB'lık tek bir cihaz görür; FFmpeg 6.0 veya daha yenisi ise üç NVENC motorunu süren av1_nvenc kodlayıcısını taşır.

Teslimat

Bir L40S sunucusu ne kadar sürer

Sipariş verdiğinizde GPU'nun nerede olduğuna bağlıdır ve ödemeden önce hangi durumun geçerli olduğu size söylenir. Aşağıdaki her süre siparişin onaylanmasından itibaren sayılır.

  1. 30 dk

    Zaten rafta

    L40S taşıyan bir makine rafta bekliyor.

  2. 4–24 sa

    Stoğumuzdan takılır

    GPU'yu elimizde tutar ve yapılandırdığınız makineye takarız.

  3. 5–10 gün

    Satın alınır

    L40S'i önce satın almamız gerektiğinde iş günü.

  4. 10–15 gün

    Tahsisli

    Tarihi tedarikçinin belirlediği iş günü.

Yanıtlar

L40S sunucuları hakkında sorular

L40S dedicated sunucu nedir?

Kurduğunuz işletim sistemine doğrudan aktarılan bir NVIDIA L40S 48 GB GPU'ya sahip, root erişimi, limitsiz portu ve makinede sizden başka kimsenin olmadığı fiziksel bir sunucudur. Aylık faturalandırılır; makine ve GPU tek faturada iki satır olarak yer alır.

Bir L40S sunucusunun maliyeti ne kadar?

Eksiksiz bir L40S sunucusu için en düşük aylık fiyat $532.67 tutarındadır. Bu makine Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps yapılandırmasındadır ve GPU toplamın $449 kısmını oluşturur. GPU takılı bir yapılandırmada bir defaya mahsus $29 kurulum ücreti eklenir ve yapılandırma tablosu her platformu kendi fiyatıyla listeler.

NVIDIA L40S kaç CUDA çekirdeğine sahiptir?

Ada Lovelace mimarisi üzerinde 18.176 CUDA çekirdeği, 568 dördüncü nesil Tensor Çekirdeği ve 142 üçüncü nesil RT Çekirdeği bulunur. 864 GB/s hızında ECC destekli 48 GB GDDR6 bellek taşır, PCIe 4.0 x16 üzerinden bağlanır ve 350 W'a kadar güç çeker.

L40S yapay zeka için A100'den daha mı iyi?

48 GB'a sığan bir modelde çıkarım için genellikle evet: A100'de bulunmayan FP8 Tensor Çekirdeklerine sahiptir ve aylık maliyeti daha düşüktür. Büyük modellerin eğitimi için genellikle A100 80 GB kazanır; 1.935 GB/s hızında 80 GB HBM2e'ye karşılık 864 GB/s hızında 48 GB ve NVLink bağlantısı sunar. H100 ise eğitimde her ikisinin de önündedir.

L40S 70B'lik bir modeli çalıştırabilir mi?

4-bit'te evet, ancak az bir payla: ağırlıklar 48 GB'ın yaklaşık 38 GB'ını kaplar; bu da kısa bir bağlam ve tek kullanıcı için alan bırakır. 8-bit'te 70 milyar parametre yaklaşık 70 GB gerektirir; bu da iki GPU veya 80 GB'lık bir GPU demektir.

L40S NVLink veya MIG destekliyor mu?

Hayır. L40S'te NVLink bağlantısı ve Multi-Instance GPU yoktur; bu nedenle bir sunucudaki iki L40S GPU PCIe üzerinden iletişim kurar ve tek bir L40S tek GPU olarak çalışır. İş bu özelliklerden birini gerektiriyorsa A100 veya H100'e bakın.

L40S video kodlama için iyi midir?

Evet. AV1 kodlama ve kod çözme destekli üç NVENC ve üç NVDEC motoruna sahiptir; böylece FFmpeg, OBS veya bir dönüştürücü donanımda kodlama yapar. A100 ve H100'de ise hiç NVENC yoktur.

L40S'i isteğe bağlı, saatlik olarak kiralayabilir miyim?

Evet, ancak yalnızca halihazırda rafa yerleştirilmiş ve anında sunucular sayfasından değiştirilmeden sipariş edilmiş bir L40S makinesi için. Maliyeti, aylık fiyatının 730 saate bölünüp 1,3 ile çarpılmasıyla hesaplanır; siz serbest bırakana kadar saniye bazında ölçülür ve minimum bir saat ücretlendirilir. Yukarıdaki tablodaki her yapılandırma aylıktır.

Bu bir L40S bulut örneği mi yoksa bare metal mi?

Bare metal. İşletim sisteminiz ile GPU arasında hipervizör yoktur ve makinede tek kiracı vardır. L40S'in tamamını, 48 GB belleğiyle görürsünüz; bir dilimini değil.

Bir L40S sunucusu hangi işletim sistemini ve NVIDIA sürücüsünü çalıştırır?

Sipariş formunda belirttiğiniz görüntü, teslimden önce kurulur: Ubuntu 14.04'ten 26.04'e, Windows Server 2008 R2'den 2025'e, Proxmox VE veya VMware vSphere Hypervisor. L40S, NVIDIA'nın eklediği dal olan R535 veya daha yeni bir sürücü ve FP8 Tensor Çekirdeklerine erişmek için CUDA 12 ister. Teslimden sonra sürücü, CUDA sürümü ve çerçeve seçtiğiniz sürümlerde kalır.

Bir sunucuya iki veya daha fazla L40S GPU koyabilir miyim?

Evet, ödeme adımında işaretlemek yerine elle fiyatlandırılan bir yapılandırma olarak: kasaya, PCIe hatlarına ve güç kaynağına bağlı olarak kaç tanesinin sığacağı belirlenir. L40S'te NVLink olmadığından GPU'lar PCIe üzerinden iletişim kurar. Sipariş vermeden önce sohbetten sorun veya çoklu GPU sunucuları sayfasına bakın.

Bir L40S sunucusunun teslimi ne kadar sürer?

L40S'li bir makine zaten raftaysa onaydan yaklaşık 30 dakika sonra, elimizdeki bir GPU'yu taktığımızda 4 ila 24 saat, GPU satın alındığında 5 ila 10 iş günü, tahsisli olduğunda ise 10 ila 15 gün sürer. Ödemeden önce bu dört durumdan hangisinin geçerli olduğunu size bildiririz.

Yardıma ihtiyacım olduğunda kim yanıt verir?

Bir sohbet başlatın: yapay zekamız saniyeler içinde yanıt verir ve siz konuşurken hesabınıza ve L40S sunucunuza bakabilir. Bir kişiyle görüşmek istediğinizi söyleyin; aynı konuşmayı ekibimizden biri devralır.

Düz metin olarak

Bu sayfadaki her rakam

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

Platformu seçin, ardından L40S sunucusunu yapılandırın

L40S zaten seçili olarak yapılandırıcıyı açın ya da modeli, sahneyi veya kanal sayısını sohbette bize bildirin. Yapay zeka saniyeler içinde yanıt verir; istediğiniz anda bir kişi devralır.