GPU özel sunucuları · NVIDIA Ampere · aylık
RTX 3090, 3080, 3070 GPU sunucularımız aylık kiralanan çıplak metal makinelerdir; GPU'nun tamamı kendi işletim sisteminize aktarılır. Intel Xeon veya AMD EPYC bir makinede, 8 ila 24 GB belleğe sahip beş RTX 30 GPU'sundan birini seçin; komple sunucu aylık $209.93 tutarından başlar.
Aşağıdaki her GPU'nun fiyatı komple sunucuyu kapsar: işlemci, bellek, diskler, port ve bir IPv4 adresi ile GPU'nun kendi aylık bedeli. GPU'yu işinizin gerektirdiği belleğe göre seçin, ardından yapılandırıcıda diğer her şeyi değiştirin.
Beş GPU
Beşi de Ampere mimarisini, sürücüyü ve özellik setini paylaşır: 3. nesil Tensor çekirdekleri, 2. nesil RT çekirdekleri, PCIe 4.0. Onları ayıran şey bellek boyutu ve bellek bant genişliğidir. İhtiyacınız olan bellekten başlayın ve onu karşılayan ilk GPU'da durun.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Her fiyat, yapılandırıcı açıldığında o GPU'yu alan en ucuz makinedir. Düğme, GPU zaten seçiliyken o makineyi açar; diğer işlemciler, daha fazla bellek, daha büyük diskler ve daha hızlı bir port orada fiyatlandırılır. Bükreş yapılandırmaları avro üzerinden faturalandırılır ve şehri seçtiğinizde yapılandırıcı bu fiyatı gösterir.
Boyutlandırma
Çıkarım için ilk soru hız değil, bellektir. Bir modelin ağırlıkları parametre sayısı çarpı parametre başına bayt kadar yer kaplar ve GPU'nun üzerine KV önbelleği ile çalışma zamanı için çeyrek ila yarım kat daha fazlası gerekir. Tablo, bu kuralı bu sayfadaki her bellek boyutuna uygular.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
8.704 CUDA çekirdeğine sahip orijinal RTX 3080'dir. NVIDIA daha sonra aynı ad altında 8.960 çekirdekli 12 GB'lık bir sürüm sattı ve birçok ilan belleğini esas alır. 10 GB'a göre boyutlandırma: 8B'lik bir model 8 bitte bağlam için çok az yer bırakarak yüklenir, 13B'lik bir model ise 8 bitte hiç yüklenmez.
RTX 3090, 24 GB belleğe sahip tek RTX 30 GPU'sudur. Daha büyük Xeon makinelerimiz bunlardan 3 adede kadar alır; toplamda 72 GB eder ve llama.cpp ya da vLLM bir modeli bunlar arasında bölebilir. İki tanesi 70B'lik bir modeli 4 bitte, zor da olsa taşır. Daha fazla belleğe sahip tek bir GPU için takabildiğimiz tüm GPU'lara; model bazında planlar için LLM sunucularına bakın.
Platformlar
Her RTX 30 GPU'sunda PCIe 4.0 arayüzü bulunur. Intel Xeon makinelerde PCIe 3.0 hızında çalışır; AMD EPYC makine ise RTX 3080'e tam PCIe 4.0 bağlantısı sağlar. Bir model ya da sahne GPU belleğine yüklendikten sonra bağlantının önemi neredeyse kalmaz. Önemli olduğu yer, her adımda sistem belleğinden yığın akışı yapan eğitim döngüleridir.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Makine fiyatları, her serinin GPU'suz en ucuz yapılandırmasıdır. RTX 30 sunucuları New York, Miami, San Francisco and Bucharest şehrinde sipariş edilebilir. Amsterdam makineleri bu GPU'larla sunulmaz. Konum, kullanıcılarınıza olan gecikmeyi ve geçerli veri koruma yasasını belirler; veri merkezleri her binayı açıklar.
İş yükleri
Tek bir RTX 3090, Ollama, llama.cpp veya vLLM ile kendi API'nizin arkasında, bağlam için yer bırakarak 8 bitte 13B'lik bir modeli ya da kısa bağlamla 4 bitte 30B'lik bir modeli sunar. Gönderdiğiniz hiçbir şey makinenizden çıkmaz.
Blender Cycles, CUDA veya OptiX üzerinde render alır ve RT çekirdekleri ışın izlemeyi hızlandırır. Render motorunuzun gerektirdiği işletim sistemini kurun ve sabit aylık ücretle gece boyunca render alın.
GeForce sürücüsü, bir masaüstü gibi DirectX, Vulkan ve OpenGL çalıştırır. Arkasında özel bir GPU bulunan bir oyun sunucusu, bulut oyun barındırıcısı veya uzak bir iş istasyonu çalıştırın.
Her GPU'da H.264 ve HEVC için bir NVENC kodlayıcı ve bir NVDEC kod çözücü bulunur. NVIDIA, GeForce GPU'larda sistem başına aynı anda 8 kodlama oturumuna izin verir; sürücü 550.54.14 veya daha yenisiyle.
Teslimat ve koşullar
Takılacak bir şey yok: sunucu kuruludur ve teslim edilir. Anında sunucular şu anda rafta olanları listeler.
Bir teknisyen GPU'yu takar, disk dizisini kurar ve işletim sistemini yükler. Ek bellek veya başka sürücüler aynı ziyarette takılır.
Her zaman çizelgesi, ödeme ve dolandırıcılık incelemesi tamamlandığında başlar. Çoğu sipariş birkaç saat içinde tamamlanır; yeni bir hesaptaki ilk sipariş daha uzun sürebilir.
Sahipler ayrıca pazar yerimizde RTX 30 makinelerini listeler; her biri sahibinin belirlediği aylık ücretle. Kardeş şirketimiz Primcast üzerinden geldiği işaretlenen ilanlar primcast.com'da kiralanır.
Teknik özellikler
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Rakamlar NVIDIA'nın GeForce RTX 30 serisi karşılaştırması ile video kodlama ve kod çözme destek matrisinden alınmıştır. Fiyatlar, makineler, şehirler ve makine başına adetler, kasanın faturalandırdığı sipariş kataloğumuzdan okunur.
Yanıtlar
Eksiksiz bir RTX 3090 sunucusu aylık $309.93 tutarından başlar. Bu fiyat, $239 tutarındaki GPU ile onu destekleyen en ucuz makinenin toplamıdır: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. En ucuz RTX 30 yapılandırması RTX 3070 olup fiyatı $209.93 tutarındadır. Siparişe göre takılan bir GPU için bir defaya mahsus $29 kurulum ücreti eklenir.
8.704 CUDA çekirdeği ve 760 GB/s bellek bant genişliğine sahip 10 GB sürümü. Eksiksiz bir RTX 3080 sunucusu aylık $229.93 tutarından başlar. Modeliniz 12 GB gerektiriyorsa, 384 bit veri yolunda 12 GB sunan RTX 3080 Ti'yi tercih edin.
Evet. Daha büyük Xeon makinelerimiz 3 adede kadar RTX 3090 alabilir; toplam GPU belleği 72 GB olur ve yapılandırıcı her makinenin alabileceği en yüksek sayıyı gösterir. Her GPU kendi aylık kalemi olarak faturalanır; eklediğiniz her biri için fiyat GPU'nun tutarı kadar artar.
Çıkarım ve QLoRA ince ayarı için evet. 24 GB belleği, bağlam için alan bırakarak 8 bit'te 13B bir modeli ya da kısa bağlamla 4 bit'te 30B bir modeli barındırır. ECC belleği olmadığından, denetim noktası olmadan uzun eğitim çalıştırmaları için bir hesaplama GPU'su daha güvenli bir seçimdir.
Bu GPU'ya sahip bir makine zaten raftaysa, siparişiniz onaylandıktan yaklaşık 30 dakika sonra; bunlar anında sunucular sayfasında listelenir. GPU'yu yapılandırdığınız makineye biz takacaksak 4 ila 24 saat bekleyin.
Hayır. Makine tek bir hesaba kiralanır ve GPU doğrudan işletim sisteminize geçirilir. Hipervizör, vGPU profili veya zaman dilimleme yoktur; istediğiniz NVIDIA sürücüsünü ve CUDA sürümünü siz kurarsınız.
Hayır. RTX 30 GPU'ları AV1 çözer ancak GPU başına tek NVENC kodlayıcıyla yalnızca H.264 ve HEVC kodlar. Donanımsal AV1 kodlama RTX 40 serisiyle başlar.
New York, Miami, San Francisco and Bucharest konumunda, Server Room'in kendi ağında. Bu GPU'ları alan makineler Amsterdam'da bu GPU'larla birlikte sunulmaz.
GPU'yu belleğe göre, ardından işlemciyi, belleği, diskleri ve şehri seçin. Yapılandırıcı, yaptığınız her değişikliği anında fiyatlandırır.
Taktığımız her GPU · RTX 3050 masaüstü · RTX 40 sunucuları · Şu an rafta