GPU özel sunucuları · NVIDIA Ada Lovelace · aylık
RTX 4090 özel sunucumuz, tam RTX 4090 değil GeForce RTX 4090D çalıştırır. 4090'ın 24 GB GDDR6X belleğini, 1.008 GB/s bellek bant genişliğini ve iki AV1 kodlayıcısını korur; 4090'da 16.384 olan CUDA çekirdeği sayısı ise 14.592'dir. Bir adet içeren komple sunucu aylık $372.47 fiyatından başlar.
RTX 4090 sunucu barındırmamızla makinenin tamamını kiralarsınız. GPU, root erişimi ve sunucunun bant dışı konsoluyla birlikte doğrudan kendi işletim sisteminize aktarılır. Gösterilen fiyat komple sunucu içindir: işlemci, bellek, diskler, port ve bir IPv4 adresi ile GPU'nun kendi aylık hattı dahil.
RTX 4090D ve RTX 4090 karşılaştırması
NVIDIA, RTX 4090D'yi 28 Aralık 2023'te, bir Amerika Birleşik Devletleri ihracat kuralının RTX 4090'ın Çin'de satışını durdurmasının ardından piyasaya sürdü. Aynı AD102 çipidir; yalnızca daha az akış çoklu işlemcisi etkinleştirilmiştir: 128 yerine 114. Bellek, boost saati ve video motorları aynıdır; kart güç sınırı ise biraz daha düşüktür.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Bellek boyutu veya bellek hızıyla sınırlı her şey. 4090'da 24 GB'a sığan bir model 4090D'ye de sığar ve ondan token üretmek aynı 1.008 GB/s ile sınırlıdır. Video kodlama aynı NVENC motoru çiftini kullanır. Sürücü, CUDA, PyTorch, Blender ve diğer tüm araçlar onu bir Ada Lovelace GeForce GPU olarak görür.
Gölgelendirici verimiyle sınırlı işler: büyük eğitim grupları, Cycles ve OptiX render, uzun girdilerde istem işleme. 4090D aynı 2,52 GHz boost saatinde %11 daha az CUDA çekirdeğine sahiptir; bu nedenle bu işlerde 4090'ın en fazla bu oranda gerisinde kalmasını bekleyin. Kart gücü 450 W'a karşılık 425 W'tır.
Yapılandırmalar
Bunlar, sipariş kataloğumuzun raf sunucularına taktığı iki RTX 40 GeForce GPU'sudur. RTX 4090D 24 GB seçeneğidir ve tek makinede çoğaltılabilir. RTX 4070, daha fazla belleğe ihtiyaç duymayan işler için 12 GB ve aynı 8. nesil AV1 kodlayıcıya sahiptir.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Her fiyat, yapılandırıcı açıldığında o GPU'yu alan en ucuz makinedir ve düğme, GPU zaten seçili durumdayken o makineyi açar. Diğer işlemciler, daha fazla bellek, daha büyük diskler, daha hızlı port ve daha fazla GPU orada fiyatlandırılır. Bükreş yapılandırmaları euro üzerinden faturalanır; şehri seçtiğinizde yapılandırıcı para birimini değiştirir.
Boyutlandırma
Çıkarımı önce belleğe göre boyutlandırın. Ağırlıklar, parametre sayısı çarpı parametre başına bayt kadar yer kaplar ve GPU'lar KV önbelleği ile çalışma zamanı için çeyrek ila yarım oranında daha fazlasına ihtiyaç duyar. Tablo bu kuralı RTX 4070'e, tek bir RTX 4090D'ye ve llama.cpp ile vLLM'nin bir modeli böldüğü tek bir makinedeki birkaç tanesine uygular.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
GeForce RTX 40 GPU'larında NVLink bağlantı noktası bulunmadığından, bir sunucudaki birden fazla 4090D PCIe üzerinden haberleşir. Bir modeli çıkarım için bunlara bölmek bu bağlantı üzerinden çalışır. Her adımda gradyan alışverişi yapan eğitim, NVLink ile bağlanmış GPU'lara kıyasla eklenen her GPU'dan daha az kazanç sağlar.
Tek bir büyük bellek alanına veya ECC belleğe ihtiyaç duyan bir model, 48 veya 80 GB'lık bir hesaplama veya iş istasyonu GPU'suna aittir. Bunlar taktiğimiz her GPU'da bulunur. Model model bir plan için LLM sunucularına bakın.
Platformlar
Her iki GPU da PCIe 4.0 x16 arayüzüne sahiptir. Intel Xeon makineler bunu PCIe 3.0'da çalıştırır ve bu da ana bilgisayara giden bant genişliğini yarıya indirir. AMD EPYC makine her GPU'ya tam bir PCIe 4.0 bağlantısı verir. Ağırlıklar veya bir sahne GPU belleğine oturduğunda bağlantı pek önemli değildir; sistem belleğinden veri akışı yapan eğitim döngüleri ve bir modeli GPU'lara bölmek için önemlidir.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Makine fiyatları, her serinin GPU'suz en ucuz yapılandırmasıdır. RTX 40 sunucuları New York, Miami, San Francisco and Bucharest şehrinde sipariş edilebilir. Amsterdam makineleri bu GPU'larla sunulmaz. Her bina veri merkezleri sayfasında açıklanmıştır.
İş yükleri
Tek bir RTX 4090D, bağlam için alan bırakarak 8 bitte 13B'lik bir modeli veya kısa bağlamla 4 bitte 30B'lik bir modeli sunar. Ollama, llama.cpp veya vLLM'yi kendi API'nizin arkasında çalıştırın; istemler ve çıktılar makinenizde kalır.
3. nesil RT çekirdekleri, OptiX aracılığıyla Blender Cycles'ın yanı sıra Unreal Engine ve V-Ray'i hızlandırır. Sabit aylık ücretli bir ışın izleme GPU sunucusu, saat başına sayaç işlemeden gece boyunca görüntü oluşturur.
4090D, iki adet 8. nesil NVENC motoru ve bir NVDEC taşır. Her iki GPU da AV1'i donanımda kodlar; RTX 30 serisi bunu yapamaz, böylece canlı bir hat H.264'ün yanında AV1 sunabilir.
GeForce sürücüsü, DirectX, Vulkan ve OpenGL'yi bir masaüstü gibi çalıştırır. Windows veya Linux kurun ve bir bulut oyun ana bilgisayarı, akışlı bir iş istasyonu veya özel GPU'lu bir oyun sunucusu çalıştırın.
Teslimat ve koşullar
Kurulmuş ve teslim edilmiştir. Anında sunucular bugün rafta ne olduğunu gösterir.
Bir teknisyen, yapılandırdığınız makineye GPU'yu takar, disk dizisini kurar ve işletim sistemini yükler. Eklenen bellek veya sürücüler aynı ziyarette takılır.
Parçayı sipariş eder, ardından yukarıdaki gibi kurarız. Ödemeden önce hangi durumun geçerli olduğu size bildirilir.
Her zaman çizelgesi, ödeme ve dolandırıcılık incelemesi temizlendiğinde başlar. Çoğu sipariş birkaç saat içinde temizlenir; yeni bir hesaptaki ilk sipariş daha uzun sürebilir.
Sahipler, RTX 40 makinelerini pazar yerimizde de listeler; her biri sahibinin belirlediği aylık fiyatla. Kardeş şirketimiz Primcast'den bir ilan primcast.com üzerinden kiralanır.
Teknik özellikler
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
GPU rakamları NVIDIA'nın GeForce RTX 40 serisi karşılaştırmasından, video kodlama ve kod çözme destek matrisinden ve yayınlanan RTX 4090D lansman özelliklerinden alınmıştır. Fiyatlar, makineler, şehirler ve makine başına sayılar, ödemenin faturalandırdığı sipariş kataloğumuzdan okunur.
Yanıtlar
Tek RTX 4090D içeren eksiksiz bir sunucu aylık $372.47 tutarından başlar. Bu fiyat, $299 tutarındaki GPU ile onu kabul eden en ucuz makinenin toplamıdır: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Her ek GPU kendi aylık kalemini ekler ve siparişe göre takılan bir GPU için bir defaya mahsus $29 kurulum ücreti eklenir.
RTX 4090D'dir. RTX 4090'ın 24 GB GDDR6X belleğine, 1.008 GB/s bant genişliğine, 2,52 GHz boost saat hızına ve iki AV1 kodlayıcısına sahiptir; 16.384 yerine 14.592 CUDA çekirdeği bulunur. Ödeme yaptıktan sonra kimsenin öğrenmemesi için bunu burada açıkça belirtiyoruz.
Render ve eğitim gibi shader işlem hacmine bağlı işlerde en fazla yaklaşık %11 daha yavaştır; çünkü aynı saat hızında eksik olan CUDA çekirdeği payı budur. LLM token üretimi gibi bellek boyutuna veya bant genişliğine bağlı işlerde ikisinin performansı benzer olmalıdır.
Evet. Bir makine bunlardan en fazla 4 adet alır; toplam 96 GB GPU belleği sağlar ve yapılandırıcı her makinenin alabileceği en yüksek sayıyı gösterir. GeForce RTX 40 GPU'larda NVLink bulunmadığından GPU'lar PCIe üzerinden bağlanır.
Bare metal. Makine tek bir hesaba kiralanır ve GPU doğrudan işletim sisteminize geçirilir: hipervizör yok, vGPU dilimi yok, zaman paylaşımı yok. Seçtiğiniz NVIDIA sürücüsünü ve CUDA sürümünü siz kurarsınız.
Saatlik faturalandırma, halihazırda rafa yerleştirilmiş ve olduğu gibi kiralanan bir makine için geçerlidir; bu nedenle o gün anlık sunucular sayfasında ne listelendiğine bağlıdır. Yapılandırdığınız bir makineye takılan GPU, sözleşmesiz olarak aylık faturalandırılır.
Evet. 3. nesil RT çekirdekleri Blender Cycles with OptiX, Unreal Engine, V-Ray ve diğer render motorlarında ışın izlemeyi hızlandırır ve 24 GB bellek büyük sahneleri tutar. Sabit aylık fiyatla uzun renderlar kısa olanlarla aynı maliyete gelir.
GPU'lu bir makine zaten raftaysa onaydan yaklaşık 30 dakika sonra. Stoktan GPU taktığımızda 4 ila 24 saat; GPU'nun satın alınması gerektiğinde 5 ila 10 iş günü sürer ve ödeme yapmadan önce hangisinin geçerli olduğu size bildirilir.
New York, Miami, San Francisco and Bucharest konumunda, Server Room'in kendi ağında. Amsterdam makineleri bu GPU'larla sunulmaz.
RTX 4070 sunucu eksiksiz olarak aylık $262.67 tutarından başlar; bunun $179 kadarı GPU'dur. 12 GB GDDR6X belleğe ve bir AV1 kodlayıcıya sahiptir ve bir makine en fazla 4 adet alır.
Önce kaç GPU istediğinizi, ardından işlemci, bellek, diskler ve şehri seçin. Yapılandırıcı her değişiklik yaptığınızda fiyatı yeniden hesaplar.
Taktığımız her GPU · RTX 30 sunucuları · RTX 50 sunucuları · Şu an rafta