96 GB
Memorie GDDR7 cu ECC
Dublu față de cei 48 GB ai RTX 6000 Ada și mai mult decât A100 și H100 de 80 GB pe care le instalăm. ECC corectează erorile de un singur bit din memoria GPU, lucru important la rulări care durează zile întregi.
Servere dedicate GPU · NVIDIA Blackwell · lunar
Server dedicat RTX PRO 600096 GB pe un singur GPU. Întreaga mașină este a ta.
Un server dedicat RTX PRO 6000 de la noi este o mașină bare-metal cu un NVIDIA RTX PRO 6000 Blackwell trecut direct către propriul tău sistem de operare. Serverul complet pornește de la $1,382.67 a month. GPU-ul are 96 GB de GDDR7 cu ECC. No GPU in our order catalogue holds more.
- GPU complet, fără vGPU
- Port nemăsurat
- 4 orașe
- Fără contract
Primești acces root pe mașină, GPU-ul pe magistrala PCIe și versiunea de driver și CUDA pe care o alegi. Prețul acoperă procesorul, memoria, discurile, portul și o adresă IPv4, plus GPU-ul ca linie lunară separată. Modifică oricare dintre acestea în configurator.
GPU-ul
Ce aduce RTX PRO 6000 Blackwell unui server
Este GPU-ul profesional Blackwell de la NVIDIA, succesorul lui RTX 6000 Ada. Patru componente ale sale determină pentru ce este potrivit serverul.
752
Nuclee Tensor de generația a 5-a
Nucleele Tensor rulează calcule matriceale FP4, FP8 și FP16 pentru inferență și antrenare. NVIDIA evaluează GPU-ul la 4.000 AI TOPS în FP4 cu sparsitate.
188
Nuclee RT de generația a 4-a
Nucleele RT efectuează testele de raze și triunghiuri în hardware, evaluate la 380 TFLOPS. Rendererele OptiX precum Blender Cycles, V-Ray și Arnold GPU le folosesc.
4 + 4
Motoare NVENC și NVDEC
Patru encodere de generația a 9-a și patru decodere de generația a 6-a, toate cu AV1, alături de nucleele de calcul. A100 și H100 nu au deloc encoder video.
Față de acceleratoare
RTX PRO 6000 vs H100, A100 și GPU-urile de 48 GB
Acestea sunt GPU-urile cu 40 GB sau mai mult pe care le instalăm, fiecare tarifat ca server complet. RTX PRO 6000 are mai multă memorie decât H100 and costs $300 a month less as a complete server.
Ce pierde este NVLink. Două astfel de plăci într-o singură mașină înseamnă două pool-uri separate de 96 GB care schimbă date prin PCIe. A100 și H100 au un conector pentru punte NVLink, iar o configurație cu punte se cotează manual pe servere A100 sau H100. A100 de 80 GB citește și memoria puțin mai rapid, 1.935 GB/s față de 1.792 GB/s, ceea ce se simte când servești mulți utilizatori la un batch mare.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Platforme
În ce mașină intră GPU-ul și ce legătură PCIe primește
RTX PRO 6000 are o interfață PCIe Gen 5. Mașinile noastre cu Intel Xeon Silver și Gold îl rulează la PCIe 3.0; mașina cu AMD EPYC îl rulează la PCIe 4.0. Odată ce ponderile sau scena stau în memoria GPU-ului, legătura e aproape inactivă. Contează pentru buclele de antrenare care copiază un batch proaspăt din memoria de sistem la fiecare pas, așa că pentru acelea alege mașina EPYC.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Fiecare preț este cea mai ieftină configurație a acelei mașini așa cum o deschide configuratorul, iar butonul o deschide cu GPU-ul deja selectat. Mai mult procesor, memorie, discuri și un port mai rapid se tarifează acolo. Configurațiile din București se facturează în euro. Mașinile din Amsterdam nu sunt oferite cu acest GPU. Mai mult de un RTX PRO 6000 într-o singură mașină se cotează manual: întreabă pe chat sau vezi servere multi-GPU.
Dimensionare
Ce încape în 96 GB de memorie GPU
Ponderile unui model ocupă numărul de parametri înmulțit cu octeții per parametru. GPU-ul mai are nevoie de un sfert până la jumătate în plus pentru cache-ul KV și runtime, iar tabelul de mai jos aplică această regulă. Un model de 70B la 4 biți încape cu loc pentru context; la 8 biți se încarcă, dar un context lung sau un al doilea utilizator îl epuizează.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Doar ponderile, rotunjite în sus. Pentru un plan model cu model, cu mașina de care are nevoie, vezi servere LLM.
Sarcini de lucru
Ce rulează un server RTX PRO 6000 și unde se oprește
Inferență LLM pe un singur GPU
Servește un model de 70B la 4 biți sau un model de 30B la 8 biți, în spatele propriului API cu vLLM, llama.cpp sau Ollama. Prompturile și rezultatele rămân pe mașina ta.
Fine-tuning
QLoRA pe un model de 70B sau LoRA pe un model de 13B la 16 biți încape în 96 GB. Memoria ECC protejează o rulare de câteva zile împotriva bit-flip-urilor silențioase.
Randare și vizualizare
Scenele care nu încap în 24 sau 48 GB se randează pe un singur GPU în loc să fie împărțite. Nucleele RT se ocupă de ray tracing.
Video la volum
Patru encodere AV1 și patru decodere transcodifică multe canale live în hardware, în timp ce nucleele CUDA rulează altceva. Pentru o mașină configurată cu Flussonic sau Wowza, vezi servere de transcodare GPU.
- Fără NVLink. GPU-urile dintr-o mașină schimbă date doar prin PCIe. Când două GPU-uri trebuie să facă schimb de tensori mai rapid de atât, o configurație A100 sau H100 cu punte NVLink se cotează manual.
- Un slot PCIe 3.0 sau 4.0. Nicio mașină care îl acceptă nu are slot Gen 5, așa că GPU-ul rulează pe o legătură Gen 3 sau Gen 4. Inferența și randarea abia observă; traficul intens host-GPU da.
- Nu pentru antrenarea unui model mare de la zero. Asta necesită multe GPU-uri conectate printr-o rețea rapidă. Un RTX PRO 6000 este pentru inferență, fine-tuning și antrenare pe un singur GPU.
Livrare și termeni
Cât de repede e online și ce acoperă prețul lunar
- Aproximativ 30 minute
Deja într-o mașină rackuită
Nimic de instalat: serverul este montat și predat. Servere instant listează ce este rackuit chiar acum.
- 4 până la 24 de ore
Un GPU pe care îl avem în stoc
Un tehnician îl montează în mașina configurată de tine, construiește discurile și instalează sistemul de operare.
- 5 până la 10 zile lucrătoare
Un GPU pe care îl cumpărăm
Îl comandăm de la un distribuitor, apoi îl montăm.
- 10 până la 15 zile lucrătoare
Un GPU pe alocare
Când distribuitorii raționalizează un GPU, primești data înainte să te angajezi.
- Inclus
- Procesor, memorie, discuri, IPv4 și IPv6 și un port nemăsurat. Nimic nu contorizează traficul în nicio direcție.
- Acces
- Root sau administrator pe propriul sistem de operare, reinstalat din panoul de control fără costuri, și consola out-of-band a serverului pe o rețea de management separată.
- Instalare
- $29 o singură dată pentru un GPU montat la comandă. O mașină rackuită comandată așa cum este nu are taxă de instalare.
- Termen
- O lună pe rând, fără contract. Ciclurile de 3, 6 și 12 luni economisesc până la 15%.
- Suport
- Chat cu răspuns în secunde de la un asistent AI care îți poate verifica contul și serverul, și o persoană în momentul în care ceri una.
Fiecare termen începe după ce plata și verificarea antifraudă sunt aprobate. Ți se spune care dintre cele patru se aplică înainte să plătești.
Mașini RTX PRO 6000 pe piața noastră GPU
Proprietarii listează și mașini RTX PRO 6000 pe piața noastră, fiecare la un preț stabilit de proprietar. Listările marcate ca venind prin compania noastră soră, Primcast, se închiriază pe primcast.com.
Specificații
Specificații RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Răspunsuri
Întrebări despre serverele RTX PRO 6000
Cât costă un server dedicat RTX PRO 6000?
Un server RTX PRO 6000 complet pornește de la $1,382.67 pe lună. Adică GPU-ul la $1,299 plus cea mai ieftină mașină care îl acceptă, la $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Un GPU montat la comandă adaugă o taxă unică de instalare de $29, iar plata cu 12 luni în avans reduce prețul cu 15%.
Câte nuclee RT și nuclee Tensor are RTX PRO 6000?
188 de nuclee RT de a patra generație și 752 de nuclee Tensor de a cincea generație, alături de 24.064 de nuclee CUDA. NVIDIA evaluează nucleele RT la 380 TFLOPS, iar nucleele Tensor la 4.000 AI TOPS în FP4 cu sparsity. Numărul este același la edițiile Workstation, Max-Q și Server.
Este RTX PRO 6000 același GPU cu RTX 6000 Ada?
Nu. RTX 6000 Ada este generația anterioară, cu 48 GB de GDDR6. RTX PRO 6000 este Blackwell, cu 96 GB de GDDR7, nuclee Tensor de a cincea generație și codificatoare AV1. Montăm ambele: dacă 48 GB acoperă munca ta, RTX 6000 Ada este serverul mai ieftin, iar servere GPU afișează prețul fiecărui GPU pe care îl montăm.
RTX PRO 6000 acceptă NVLink?
Nu. RTX PRO 6000 nu are conector NVLink, așa că două într-un server înseamnă două grupuri de 96 GB care schimbă date prin PCIe. A100 și H100 au un conector de punte NVLink, iar o configurație cu punte se cotează manual. La fel și mai mult de un RTX PRO 6000 într-o singură mașină.
Poate rula un model 70B pe un singur RTX PRO 6000?
Da. La 4 biți, ponderile unui model 70B ocupă aproximativ 38 GB, ceea ce lasă loc în 96 GB pentru un context lung și mai mulți utilizatori. La 8 biți ocupă aproximativ 70 GB: se încarcă, cu puțin spațiu de rezervă. La 16 biți are nevoie de două sau mai multe GPU-uri.
GPU-ul este partajat sau virtualizat?
Nu. Mașina este închiriată unui singur cont, iar GPU-ul complet este transmis direct către sistemul tău de operare. Nu există hypervisor și nici profil vGPU, iar tu instalezi driverul NVIDIA și versiunea CUDA pe care o dorești.
Cât de repede este online un server RTX PRO 6000?
Aproximativ 30 minute după aprobarea comenzii, atunci când o mașină cu GPU-ul este deja în rack. Când montăm un GPU pe care îl avem în stoc, durează între 4 și 24 de ore; unul pe care îl achiziționăm durează între 5 și 10 zile lucrătoare. Ești informat înainte de a plăti.
Unde sunt localizate serverele voastre RTX PRO 6000?
În New York, Miami, San Francisco and Bucharest, în rack-urile noastre proprii, pe rețeaua noastră. Configurațiile din București sunt facturate în euro. GPU-ul nu este oferit pe mașinile din Amsterdam.
Configurează-ți serverul RTX PRO 6000
Alege mașina, memoria, discurile și orașul. Configuratorul afișează prețul fiecărei modificări pe măsură ce o faci, cu GPU-ul deja selectat.
Fiecare GPU pe care îl montăm · Servere A100 și H100 · Servere L40S · Servere RTX 5090 · În rack chiar acum