NVIDIA L40S · Ada Lovelace
NVIDIA L40S GPU'lu özel sunucu 48 GB ECC bellek, üç AV1 kodlayıcı, kendi işletim sisteminizde root.
NVIDIA L40S GPU sunucusu, kurduğunuz işletim sistemine doğrudan geçirilen L40S 48 GB'a sahip tek bir fiziksel makinedir ve aylık faturalandırılır. En düşük komple fiyat aylık $532.67 olup Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps için GPU takılı haldedir.
- Tek kiracı
- PCIe passthrough
- Sınırsız port
- AV1 NVENC
- Sözleşme yok
L40S, karma iş yükleri için taktığımız GPU'dur: tek bir GPU üzerinde LLM çıkarımı ve ince ayar, ışın izlemeli render ve donanımsal video kodlama. Bu sayfada veri sayfası değerleri, onu alan her platformun fiyatı, her birinde aldığı PCIe bağlantısı ve A100 veya H100'ün işe daha uygun olduğu durumlar yer alır.
Veri sayfası
NVIDIA L40S teknik özellikleri
L40S, Ada Lovelace mimarisinde pasif, çift yuvalı bir PCIe veri merkezi GPU'sudur; RTX 6000 Ada ile aynı AD102 çip ailesinden gelir, ECC belleğe ve 350 W kart limitine sahiptir. NVIDIA Tensor değerlerini iki kez verir: yoğun ve yapılandırılmış seyreklik ile; tablo her ikisini de gösterir ve hangisinin hangisi olduğunu belirtir.
| Özellik | NVIDIA L40S |
|---|---|
| Mimari | Ada Lovelace |
| GPU belleği | ECC'li 48 GB GDDR6 |
| Bellek bant genişliği | 864 GB/s |
| CUDA çekirdekleri | 18.176 |
| Tensor Çekirdekleri | 568, dördüncü nesil |
| RT Çekirdekleri | 142, üçüncü nesil |
| Arayüz | PCIe 4.0 x16 |
| Kart gücü | 350 W |
| Hesaplama | Yoğun ve seyreklik ile |
|---|---|
| FP32 | 91,6 TFLOPS |
| TF32 Tensor | 183 TFLOPS seyreklik ile 366 |
| FP16 / BF16 Tensor | 362 TFLOPS seyreklik ile 733 |
| FP8 Tensor | 733 TFLOPS seyreklik ile 1.466 |
| INT8 Tensor | 733 TOPS seyreklik ile 1.466 |
| RT Çekirdeği | 212 TFLOPS |
| Video motorları | 3 NVENC, 3 NVDEC, AV1 kodlama ve kod çözme |
| MIG / NVLink | Hiçbiri |
L40S ayrıca NVIDIA vGPU yazılımını ve donanımsal güven köküyle güvenli önyüklemeyi destekler ve NEBS Seviye 3'e hazırdır. Sunucularımızda GPU'nun tamamı işletim sisteminize gider; bu nedenle vGPU ile bölmek kendi lisansınız ve kendi hipervizörünüzle olur.
Sipariş kataloğundan
GPU'nun takıldığı makineyle L40S sunucu fiyatları
L40S 2 platformda bulunur. Her satır, bunlardan birindeki en ucuz makinenin tam aylık faturasıdır: işlemci, bellek, sipariş formunun açıldığı diskler, sınırsız port ve bir IPv4 adresi artı GPU. Yapılandır, L40S seçili olarak o platformu açar; burada bellek, disk veya daha hızlı port eklersiniz.
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
L40S bir PCIe 4.0 GPU'sudur. PCIe 3.0 bir platformda bağlantı her yönde 32 yerine 16 GB/s hızında çalışır; bu, ağırlıkları yüklemeyi ve ana bellekten parti akışını yavaşlatır, ancak GPU'nun kendi 864 GB/s belleğinde kalan işi etkilemez. GPU takılı bir yapılandırma bir kerelik $29 kurulum ücreti öder. 3, 6 veya 12 ay peşin ödemek 15%'a varan indirim sağlar ve yenilemede fiyat artmaz.
L40S vs A100 vs H100
L40S, A100 veya H100: taktığımız üç veri merkezi GPU'su
A100 ve H100, iki katından fazla bant genişliğine sahip HBM ve NVLink konnektörleri taşır ve video kodlayıcıları yoktur. L40S daha az bellek bant genişliğine sahiptir, RT Çekirdekleri ve üç NVENC motoru ekler ve aylık maliyeti daha düşüktür. Üçü de PCIe sürümleridir; kasalarımızın aldığı tek form budur.
| Özellik | L40S | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| Mimari | Ada Lovelace | Ampere | Hopper |
| GPU belleği | 48 GB GDDR6, ECC | 80 GB HBM2e, ECC | 80 GB HBM2e, ECC |
| Bellek bant genişliği | 864 GB/s | 1.935 GB/s | 2.039 GB/s |
| FP8 | Evet | Hayır | Evet |
| RT Çekirdekleri | 142 | Yok | Yok |
| Video kodlama | AV1'li 3 NVENC | Yok | Yok |
| NVLink | Hayır | Köprü konnektörü | Köprü konnektörü |
| Çok Örnekli GPU | Hayır | 7'ye kadar | 7'ye kadar |
| Kart gücü | 350 W | 300 W | 350 W |
| Arayüz | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| GPU satırı, aylık | $449 | $899 | $1,599 |
| Komple sunucu başlangıç | $532.67 | $972.47 | $1,682.67 |
Bir model tek GPU'da 48 GB'tan fazlasına ihtiyaç duyduğunda, eğitim bellek bant genişliğine bağlı olduğunda veya iki GPU'nun NVLink üzerinden veri alışverişi yapması gerektiğinde A100 veya H100'ü seçin. Her ikisi de A100 ve H100 sunucularında bulunur.
İş yükleri
NVIDIA L40S GPU sunucusu neleri iyi çalıştırır
Bellekten başlayın. Ağırlıklar, KV önbelleği ve çalışma zamanı 48 GB'a sığmalıdır; sığmayan bir iş daha hızlı bir çiple kurtarılmaz.
AI
Çıkarım ve ince ayar
16-bit'te 13B modelleri bol alanla, 8-bit'te 30B veya kısa bağlamla 4-bit'te 70B sunma ve LoRA veya QLoRA ince ayarı. FP8 Tensor Çekirdekleri, çalışma zamanınız FP8'i desteklediğinde çıkarımı hızlandırır.
Grafik
Render ve 3D
OptiX üzerinden kullanan render motorları için RT Çekirdekleri, örneğin Blender Cycles ve 24 GB tüketici GPU'sunu bellek dışına iten sahneler için 48 GB.
Video
Kodlama ve dönüştürme
AV1'li üç NVENC ve üç NVDEC motoru; böylece FFmpeg, OBS veya bir dönüştürücü donanımda kodlar ve CUDA çekirdeklerini hattın geri kalanına bırakır.
Modelin ağırlıkları 48 GB'a sığar mı?
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
Yalnızca ağırlıklar. "Sığar", ağırlıkların boyutunun yarısı kadar daha KV önbelleği ve çalışma zamanı için boş kaldığı anlamına gelir. "Dar" yüklenir, ancak uzun bir istem veya ikinci bir kullanıcı 48 GB'ı aşabilir. Belirli bir model için LLM barındırma makineyi adlandırır; donanımda canlı kanallar için GPU dönüştürme sunucuları GPU üzerinde Flussonic veya Wowza çalıştırır.
Dahil olanlar
L40S bare metal: neyi kontrol edersiniz ve nasıl faturalandırılır
Sanal makine yok ve paylaşımlı GPU yok: L40S bir makineye, makine de size aittir. Makine ve GPU tek faturada iki aylık satırdır; GPU'yu sonradan değiştirmek fark kadar faturayı değiştirirken diskleriniz ve IP adresleriniz kalır.
Root ve uzak konsol
İşletim sisteminiz temiz kurulur, root ile birlikte; ayrıca makinenin bant dışı denetleyicisi (iLO, iDRAC veya BMC) ekran, sanal ortam ve güç için.
Sizin sabitlediğiniz sürücüler
NVIDIA sürücüsü, CUDA sürümü ve çerçeve seçtiğiniz sürümlerde kalır; hiçbir şey onları sizin için güncellemez. Teslimden önce bir sürücünün kurulu olmasını istiyorsanız sürümünü siparişe yazın.
Sınırsız port
Trafik her iki yönde de ölçülmez; bu nedenle veri kümeleri, kontrol noktaları ve kodlanmış video faturaya hiçbir şey eklemez. Daha hızlı portlar sipariş formunda ve sınırsız bant genişliği sayfasındadır.
Aydan aya
Bir seferde bir ay ödeyin ve iş bittiğinde durun. Saatlik faturalandırma yalnızca anında sunucularda zaten rafa alınmış ve değiştirilmeden sipariş edilen bir makine içindir; bir yapılandırma aylık kalır.
Bir L40S sunucusu neleri çalıştırır
Sipariş formunda işletim sistemini adlandırın; teslimde diskte olan odur: Ubuntu 14.04'ten 26.04'e, Windows Server 2008 R2'den 2025'e, Proxmox VE veya VMware vSphere Hypervisor. Üzerindeki GPU yığını sizindir. L40S, NVIDIA'nın onu eklediği dal olan R535 veya daha yeni bir sürücü ve FP8 Tensor Çekirdeklerine ulaşmak için CUDA 12 ister. PyTorch, vLLM, llama.cpp ve Ollama daha sonra 48 GB'lık tek bir cihaz görür; FFmpeg 6.0 veya daha yenisi ise üç NVENC motorunu süren av1_nvenc kodlayıcısını taşır.
Teslimat
Bir L40S sunucusu ne kadar sürer
Sipariş verdiğinizde GPU'nun nerede olduğuna bağlıdır ve ödemeden önce hangi durumun geçerli olduğu size söylenir. Aşağıdaki her süre siparişin onaylanmasından itibaren sayılır.
- 30 dk
Zaten rafta
L40S taşıyan bir makine rafta bekliyor.
- 4–24 sa
Stoğumuzdan takılır
GPU'yu elimizde tutar ve yapılandırdığınız makineye takarız.
- 5–10 gün
Satın alınır
L40S'i önce satın almamız gerektiğinde iş günü.
- 10–15 gün
Tahsisli
Tarihi tedarikçinin belirlediği iş günü.
GPU pazar yeri
Sahiplerinin listelediği L40S makineleri
Sahipler ayrıca kendi L40S makinelerini pazar yerimizde, her biri ilanında gösterilen aylık fiyatla listeler. Kardeş şirketimiz Primcast'nin ilanları da burada görünür ve orada kiralanır.
Yanıtlar
L40S sunucuları hakkında sorular
L40S dedicated sunucu nedir?
Kurduğunuz işletim sistemine doğrudan aktarılan bir NVIDIA L40S 48 GB GPU'ya sahip, root erişimi, limitsiz portu ve makinede sizden başka kimsenin olmadığı fiziksel bir sunucudur. Aylık faturalandırılır; makine ve GPU tek faturada iki satır olarak yer alır.
Bir L40S sunucusunun maliyeti ne kadar?
Eksiksiz bir L40S sunucusu için en düşük aylık fiyat $532.67 tutarındadır. Bu makine Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps yapılandırmasındadır ve GPU toplamın $449 kısmını oluşturur. GPU takılı bir yapılandırmada bir defaya mahsus $29 kurulum ücreti eklenir ve yapılandırma tablosu her platformu kendi fiyatıyla listeler.
NVIDIA L40S kaç CUDA çekirdeğine sahiptir?
Ada Lovelace mimarisi üzerinde 18.176 CUDA çekirdeği, 568 dördüncü nesil Tensor Çekirdeği ve 142 üçüncü nesil RT Çekirdeği bulunur. 864 GB/s hızında ECC destekli 48 GB GDDR6 bellek taşır, PCIe 4.0 x16 üzerinden bağlanır ve 350 W'a kadar güç çeker.
L40S yapay zeka için A100'den daha mı iyi?
48 GB'a sığan bir modelde çıkarım için genellikle evet: A100'de bulunmayan FP8 Tensor Çekirdeklerine sahiptir ve aylık maliyeti daha düşüktür. Büyük modellerin eğitimi için genellikle A100 80 GB kazanır; 1.935 GB/s hızında 80 GB HBM2e'ye karşılık 864 GB/s hızında 48 GB ve NVLink bağlantısı sunar. H100 ise eğitimde her ikisinin de önündedir.
L40S 70B'lik bir modeli çalıştırabilir mi?
4-bit'te evet, ancak az bir payla: ağırlıklar 48 GB'ın yaklaşık 38 GB'ını kaplar; bu da kısa bir bağlam ve tek kullanıcı için alan bırakır. 8-bit'te 70 milyar parametre yaklaşık 70 GB gerektirir; bu da iki GPU veya 80 GB'lık bir GPU demektir.
L40S NVLink veya MIG destekliyor mu?
Hayır. L40S'te NVLink bağlantısı ve Multi-Instance GPU yoktur; bu nedenle bir sunucudaki iki L40S GPU PCIe üzerinden iletişim kurar ve tek bir L40S tek GPU olarak çalışır. İş bu özelliklerden birini gerektiriyorsa A100 veya H100'e bakın.
L40S video kodlama için iyi midir?
Evet. AV1 kodlama ve kod çözme destekli üç NVENC ve üç NVDEC motoruna sahiptir; böylece FFmpeg, OBS veya bir dönüştürücü donanımda kodlama yapar. A100 ve H100'de ise hiç NVENC yoktur.
L40S'i isteğe bağlı, saatlik olarak kiralayabilir miyim?
Evet, ancak yalnızca halihazırda rafa yerleştirilmiş ve anında sunucular sayfasından değiştirilmeden sipariş edilmiş bir L40S makinesi için. Maliyeti, aylık fiyatının 730 saate bölünüp 1,3 ile çarpılmasıyla hesaplanır; siz serbest bırakana kadar saniye bazında ölçülür ve minimum bir saat ücretlendirilir. Yukarıdaki tablodaki her yapılandırma aylıktır.
Bu bir L40S bulut örneği mi yoksa bare metal mi?
Bare metal. İşletim sisteminiz ile GPU arasında hipervizör yoktur ve makinede tek kiracı vardır. L40S'in tamamını, 48 GB belleğiyle görürsünüz; bir dilimini değil.
Bir L40S sunucusu hangi işletim sistemini ve NVIDIA sürücüsünü çalıştırır?
Sipariş formunda belirttiğiniz görüntü, teslimden önce kurulur: Ubuntu 14.04'ten 26.04'e, Windows Server 2008 R2'den 2025'e, Proxmox VE veya VMware vSphere Hypervisor. L40S, NVIDIA'nın eklediği dal olan R535 veya daha yeni bir sürücü ve FP8 Tensor Çekirdeklerine erişmek için CUDA 12 ister. Teslimden sonra sürücü, CUDA sürümü ve çerçeve seçtiğiniz sürümlerde kalır.
Bir sunucuya iki veya daha fazla L40S GPU koyabilir miyim?
Evet, ödeme adımında işaretlemek yerine elle fiyatlandırılan bir yapılandırma olarak: kasaya, PCIe hatlarına ve güç kaynağına bağlı olarak kaç tanesinin sığacağı belirlenir. L40S'te NVLink olmadığından GPU'lar PCIe üzerinden iletişim kurar. Sipariş vermeden önce sohbetten sorun veya çoklu GPU sunucuları sayfasına bakın.
Bir L40S sunucusunun teslimi ne kadar sürer?
L40S'li bir makine zaten raftaysa onaydan yaklaşık 30 dakika sonra, elimizdeki bir GPU'yu taktığımızda 4 ila 24 saat, GPU satın alındığında 5 ila 10 iş günü, tahsisli olduğunda ise 10 ila 15 gün sürer. Ödemeden önce bu dört durumdan hangisinin geçerli olduğunu size bildiririz.
Yardıma ihtiyacım olduğunda kim yanıt verir?
Bir sohbet başlatın: yapay zekamız saniyeler içinde yanıt verir ve siz konuşurken hesabınıza ve L40S sunucunuza bakabilir. Bir kişiyle görüşmek istediğinizi söyleyin; aynı konuşmayı ekibimizden biri devralır.
Düz metin olarak
Bu sayfadaki her rakam
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
Başka yerlerde
Diğer GPU soruları
Platformu seçin, ardından L40S sunucusunu yapılandırın
L40S zaten seçili olarak yapılandırıcıyı açın ya da modeli, sahneyi veya kanal sayısını sohbette bize bildirin. Yapay zeka saniyeler içinde yanıt verir; istediğiniz anda bir kişi devralır.