96 GB
ECC'li GDDR7 bellek
RTX 6000 Ada'nın 48 GB'ının iki katı ve taktığımız 80 GB A100 ile H100'den fazlası. ECC, GPU belleğindeki tek bitlik hataları düzeltir; günlerce süren çalışmalarda bu önemlidir.
GPU özel sunucuları · NVIDIA Blackwell · aylık
RTX PRO 6000 özel sunucuTek GPU'da 96 GB. Makinenin tamamı sizin.
Bizden alacağınız RTX PRO 6000 özel sunucu, NVIDIA RTX PRO 6000 Blackwell'in doğrudan kendi işletim sisteminize geçirildiği bir bare-metal makinedir. Komple sunucu $1,382.67 a month adresinden başlar. GPU, ECC'li 96 GB GDDR7 taşır. No GPU in our order catalogue holds more.
- Tam GPU, vGPU yok
- Sınırsız port
- 4 şehir
- Sözleşme yok
Makinede root yetkisi, PCIe veriyolunda GPU ve seçtiğiniz sürücü ile CUDA sürümü sizin olur. Fiyat; işlemci, bellek, diskler, port ve bir IPv4 adresi artı kendi aylık kalemi olarak GPU'dan oluşur. Yapılandırıcıda bunların herhangi birini değiştirin.
GPU
RTX PRO 6000 Blackwell bir sunucuya ne katar
NVIDIA'nın profesyonel Blackwell GPU'sudur; RTX 6000 Ada'nın halefidir. Sunucunun hangi işlere uygun olduğunu dört parçası belirler.
752
5. nesil Tensor çekirdekleri
Tensor çekirdekleri, çıkarım ve eğitim için FP4, FP8 ve FP16 matris matematiğini çalıştırır. NVIDIA, GPU'yu seyreklikle FP4'te 4.000 AI TOPS olarak derecelendirir.
188
4. nesil RT çekirdekleri
RT çekirdekleri ışın ve üçgen testlerini donanımda yapar; 380 TFLOPS olarak derecelendirilir. Blender Cycles, V-Ray ve Arnold GPU gibi OptiX render motorları bunları kullanır.
4 + 4
NVENC ve NVDEC motorları
Hesaplama çekirdeklerinin yanında, tümü AV1 destekli dört 9. nesil kodlayıcı ve dört 6. nesil kod çözücü. A100 ve H100'de hiç video kodlayıcı yoktur.
Hızlandırıcılara karşı
RTX PRO 6000, H100, A100 ve 48 GB GPU'lara karşı
Bunlar, taktığımız 40 GB veya daha fazla belleğe sahip GPU'lardır; her biri komple bir sunucu olarak fiyatlandırılır. RTX PRO 6000, H100'den daha fazla bellek taşır and costs $300 a month less as a complete server.
Vazgeçtiği şey NVLink'tir. Bir makinede iki tanesi, PCIe üzerinden veri alışverişi yapan iki ayrı 96 GB havuzdur. A100 ve H100 bir NVLink köprü konnektörü taşır ve köprülü bir yapılandırma A100 veya H100 sunucuları üzerinde elle fiyatlandırılır. A100 80 GB ayrıca belleğini biraz daha hızlı okur; 1.792 GB/s'ye karşı 1.935 GB/s; bu, büyük bir parti boyutunda çok sayıda kullanıcıya hizmet verdiğinizde kendini gösterir.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Platformlar
GPU hangi makineye girer ve aldığı PCIe bağlantısı nedir
RTX PRO 6000, PCIe Gen 5 arayüzüne sahiptir. Intel Xeon Silver ve Gold makinelerimiz onu PCIe 3.0'da çalıştırır; AMD EPYC makinesi ise PCIe 4.0'da çalıştırır. Ağırlıklar veya sahne GPU belleğine oturduğunda bağlantı çoğunlukla boştadır. Her adımda sistem belleğinden yeni bir parti kopyalayan eğitim döngüleri için önemlidir; bu yüzden bunlar için EPYC makinesini tercih edin.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Her fiyat, yapılandırıcı açıldığında o makinenin en ucuz yapılandırmasıdır ve düğme, GPU zaten seçiliyken açar. Daha fazla işlemci, bellek, disk ve daha hızlı bir bağlantı noktası orada fiyatlandırılır. Bükreş yapılandırmaları euro cinsinden faturalandırılır. Amsterdam makineleri bu GPU ile sunulmaz. Bir makinede birden fazla RTX PRO 6000 elle fiyatlandırılır: sohbetten sorun veya çok GPU'lu sunuculara bakın.
Boyutlandırma
96 GB GPU belleğine ne sığar
Bir modelin ağırlıkları, parametre sayısı çarpı parametre başına bayt kadardır. GPU'nun üzerine KV önbelleği ve çalışma zamanı için çeyrek ila yarım kadar daha fazlası gerekir ve aşağıdaki tablo bu kuralı uygular. 4 bit'te bir 70B modeli bağlam için alan kalacak şekilde sığar; 8 bit'te yüklenir, ancak uzun bir bağlam veya ikinci bir kullanıcı onu tüketir.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Yalnızca ağırlıklar, yukarı yuvarlanmıştır. Model model, ihtiyaç duyduğu makineyle bir plan için LLM sunucularına bakın.
İş yükleri
Bir RTX PRO 6000 sunucusu ne çalıştırır ve nerede durur
Tek GPU'da LLM çıkarımı
Kendi API'nizin arkasında vLLM, llama.cpp veya Ollama ile 4 bit'te bir 70B modeli veya 8 bit'te bir 30B modeli sunun. İstemler ve çıktılar makinenizde kalır.
İnce ayar
70B modelde QLoRA veya 16 bit'te 13B modelde LoRA, 96 GB'a sığar. ECC bellek, birkaç gün süren bir çalışmayı sessiz bit kaymalarına karşı korur.
Render ve görselleştirme
24 veya 48 GB'a sığmayan sahneler, bölünmek yerine tek bir GPU'da render edilir. Işın izlemeyi RT çekirdekleri üstlenir.
Yüksek hacimli video
Dört AV1 kodlayıcı ve dört kod çözücü, CUDA çekirdekleri başka bir iş yaparken birçok canlı kanalı donanımda dönüştürür. Flussonic veya Wowza ile kurulmuş bir makine için GPU dönüştürme sunucularına bakın.
- NVLink yok. Bir makinedeki GPU'lar veriyi yalnızca PCIe üzerinden paylaşır. İki GPU'nun tensörleri bundan daha hızlı takas etmesi gerektiğinde, NVLink köprülü bir A100 veya H100 yapılandırması elle fiyatlandırılır.
- Bir PCIe 3.0 veya 4.0 yuvası. Onu alan iki makinenin de Gen 5 yuvası yoktur; bu yüzden GPU, Gen 3 veya Gen 4 bağlantıda çalışır. Çıkarım ve render bunu pek fark etmez; yoğun ana makine-GPU trafiği ise fark eder.
- Sıfırdan büyük bir model eğitmek için değil. Bu, hızlı bir dokuyla birleştirilmiş çok sayıda GPU gerektirir. Tek bir RTX PRO 6000; çıkarım, ince ayar ve tek GPU'lu eğitim içindir.
Teslimat ve koşullar
Ne kadar sürede çevrimiçi olur ve aylık fiyat neleri kapsar
- Yaklaşık 30 dakika
Zaten rafa takılmış bir makinede
Takılacak bir şey yok: sunucu kuruludur ve teslim edilir. Anında sunucular şu anda rafta olanları listeler.
- 4 ila 24 saat
Elimizde bulunan bir GPU
Bir teknisyen onu yapılandırdığınız makineye takar, diskleri oluşturur ve işletim sistemini kurar.
- 5 ila 10 iş günü
Satın aldığımız bir GPU
Bir distribütörden sipariş eder, sonra takarız.
- 10 ila 15 iş günü
Tahsisli bir GPU
Distribütörler bir GPU'yu karneye bağladığında, taahhüt vermeden önce tarihi alırsınız.
- Dahil
- İşlemci, bellek, diskler, IPv4 ve IPv6 ve limitsiz bir bağlantı noktası. Hiçbir şey her iki yöndeki trafiği saymaz.
- Erişim
- Kendi işletim sisteminizde root veya yönetici, kontrol panelinden ücretsiz olarak yeniden kurulur ve sunucunun bant dışı konsolu ayrı bir yönetim ağında.
- Kurulum
- Siparişe göre takılan bir GPU için bir kez $29. Olduğu gibi sipariş edilen rafa takılmış bir makinede kurulum ücreti yoktur.
- Süre
- Her seferinde bir ay, sözleşme yok. 3, 6 ve 12 aylık döngüler 15%'e kadar tasarruf sağlar.
- Destek
- Sohbet, hesabınızı ve sunucunuzu kontrol edebilen bir yapay zeka asistanı tarafından saniyeler içinde yanıtlanır; istediğiniz anda bir insan devreye girer.
Her zaman çizelgesi, ödeme ve dolandırıcılık incelemesi temizlendikten sonra başlar. Ödemeden önce dördünden hangisinin geçerli olduğu size söylenir.
GPU pazar yerimizdeki RTX PRO 6000 makineleri
Sahipler ayrıca pazar yerimizde RTX PRO 6000 makinelerini listeler; her biri sahibinin belirlediği fiyattan. Kardeş şirketimiz Primcast üzerinden geldiği işaretlenen ilanlar primcast.com'da kiralanır.
Teknik özellikler
RTX PRO 6000 Blackwell teknik özellikleri
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Yanıtlar
RTX PRO 6000 sunucu soruları
Bir RTX PRO 6000 dedicated sunucunun maliyeti ne kadar?
Eksiksiz bir RTX PRO 6000 sunucusu aylık $1,382.67 fiyatından başlar. Bu, $1,299 tutarındaki GPU ile onu kabul eden en ucuz makinenin ($83.67) toplamıdır: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Siparişe göre takılan bir GPU için bir defaya mahsus $29 kurulum ücreti eklenir; 12 ay peşin ödemek ise 15% indirim sağlar.
RTX PRO 6000 kaç RT çekirdeğine ve Tensor çekirdeğine sahip?
24.064 CUDA çekirdeğinin yanında 188 dördüncü nesil RT çekirdeği ve 752 beşinci nesil Tensor çekirdeği. NVIDIA, RT çekirdeklerini 380 TFLOPS, Tensor çekirdeklerini ise FP4 seyreklik modunda 4.000 AI TOPS olarak derecelendiriyor. Bu sayılar Workstation, Max-Q ve Server Edition sürümlerinde aynıdır.
RTX PRO 6000, RTX 6000 Ada ile aynı GPU mu?
Hayır. RTX 6000 Ada, 48 GB GDDR6 bellekli önceki nesildir. RTX PRO 6000 ise 96 GB GDDR7, beşinci nesil Tensor çekirdekleri ve AV1 kodlayıcılarıyla Blackwell mimarisine sahiptir. Her ikisini de takıyoruz: 48 GB işinizi karşılıyorsa RTX 6000 Ada daha uygun fiyatlı sunucudur ve GPU sunucuları sayfası taktığımız her GPU'nun fiyatını listeler.
RTX PRO 6000 NVLink destekliyor mu?
Hayır. RTX PRO 6000'de NVLink bağlantı noktası yoktur; bu nedenle bir sunucuda iki adet bulunması, PCIe üzerinden veri alışverişi yapan iki ayrı 96 GB havuz anlamına gelir. A100 ve H100'de NVLink köprü bağlantı noktası bulunur ve köprülü bir yapılandırma için fiyat elle hesaplanır. Tek makinede birden fazla RTX PRO 6000 için de aynı durum geçerlidir.
70B'lik bir model tek RTX PRO 6000 üzerinde çalışabilir mi?
Evet. 4-bit hassasiyette 70B'lik bir modelin ağırlıkları yaklaşık 38 GB tutar; bu da 96 GB içinde uzun bir bağlam ve birden fazla kullanıcı için alan bırakır. 8-bit hassasiyette yaklaşık 70 GB tutar: yüklenir, ancak çok az boş alan kalır. 16-bit hassasiyette ise iki veya daha fazla GPU gerekir.
GPU paylaşımlı mı yoksa sanallaştırılmış mı?
Hayır. Makine tek bir hesaba kiralanır ve GPU'nun tamamı doğrudan işletim sisteminize aktarılır. Hipervizör veya vGPU profili yoktur; istediğiniz NVIDIA sürücüsünü ve CUDA sürümünü siz kurarsınız.
Bir RTX PRO 6000 sunucusu ne kadar sürede çevrimiçi olur?
GPU'lu bir makine zaten rafta hazırsa, siparişiniz onaylandıktan yaklaşık 30 dakika sonra. Elimizde bulunan bir GPU'yu taktığımızda 4 ila 24 saat; satın aldığımız bir GPU ise 5 ila 10 iş günü sürer. Ödemeden önce hangi durumun geçerli olduğu size bildirilir.
RTX PRO 6000 sunucularınız nerede bulunuyor?
New York, Miami, San Francisco and Bucharest konumunda, kendi ağımızdaki kendi raflarımızda. Bükreş yapılandırmaları euro üzerinden faturalandırılır. GPU, Amsterdam makinelerinde sunulmamaktadır.
RTX PRO 6000 sunucunuzu yapılandırın
Makineyi, belleği, diskleri ve şehri seçin. Yapılandırıcı, GPU zaten seçiliyken yaptığınız her değişikliğin fiyatını anında gösterir.
Taktığımız her GPU · A100 ve H100 sunucuları · L40S sunucuları · RTX 5090 sunucuları · Şu an rafta hazır