96 GB
Memoria GDDR7 con ECC
Il doppio dei 48 GB della RTX 6000 Ada e più degli 80 GB delle A100 e H100 che installiamo. L'ECC corregge gli errori su singolo bit nella memoria della GPU, un aspetto importante per i carichi che durano giorni.
Server dedicati GPU · NVIDIA Blackwell · con canone mensile
Server dedicato RTX PRO 600096 GB su una sola GPU. L'intera macchina è tua.
Un server dedicato RTX PRO 6000 fornito da noi è una macchina bare-metal con una NVIDIA RTX PRO 6000 Blackwell collegata direttamente al tuo sistema operativo. Il server completo parte da $1,382.67 a month. La GPU dispone di 96 GB di GDDR7 con ECC. No GPU in our order catalogue holds more.
- GPU completa, niente vGPU
- Porta senza limiti di traffico
- 4 città
- Nessun vincolo contrattuale
Hai accesso root alla macchina, la GPU sul bus PCIe e la versione di driver e CUDA che preferisci. Il prezzo comprende processore, memoria, dischi, porta e un indirizzo IPv4, più la GPU come voce mensile a parte. Puoi modificare ogni componente nel configuratore.
La GPU
Cosa offre la RTX PRO 6000 Blackwell a un server
È la GPU professionale NVIDIA basata su Blackwell, successore della RTX 6000 Ada. Quattro sue caratteristiche determinano i punti di forza del server.
752
Tensor core di quinta generazione
I Tensor core eseguono calcoli matriciali in FP4, FP8 e FP16 per inferenza e addestramento. NVIDIA valuta la GPU a 4.000 AI TOPS in FP4 con sparsity.
188
RT core di quarta generazione
Gli RT core eseguono i test su raggi e triangoli via hardware, con prestazioni di 380 TFLOPS. I renderer OptiX come Blender Cycles, V-Ray e Arnold GPU li sfruttano appieno.
4 + 4
Motori NVENC e NVDEC
Quattro encoder di nona generazione e quattro decoder di sesta generazione, tutti con AV1, accanto ai core di calcolo. Le A100 e H100 non hanno alcun encoder video.
Contro gli acceleratori
RTX PRO 6000 vs H100, A100 e le GPU da 48 GB
Queste sono le GPU da 40 GB o più che installiamo, ciascuna prezzata come server completo. La RTX PRO 6000 dispone di più memoria della H100 and costs $300 a month less as a complete server.
Ciò a cui rinuncia è NVLink. Due di esse in una macchina sono due pool separati da 96 GB che scambiano dati su PCIe. Le A100 e H100 dispongono di un connettore bridge NVLink, e una configurazione con bridge viene quotata manualmente sui server A100 o H100. La A100 da 80 GB legge inoltre la propria memoria un po' più velocemente, 1.935 GB/s contro 1.792 GB/s, il che si nota quando servi molti utenti con batch di grandi dimensioni.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Piattaforme
In quale macchina va la GPU e quale collegamento PCIe riceve
La RTX PRO 6000 ha un'interfaccia PCIe Gen 5. Le nostre macchine Intel Xeon Silver e Gold la eseguono su PCIe 3.0; la macchina AMD EPYC la esegue su PCIe 4.0. Una volta che i pesi o la scena risiedono nella memoria della GPU, il collegamento è per lo più inattivo. È importante per i cicli di addestramento che copiano un nuovo batch dalla memoria di sistema a ogni passo, quindi scegli la macchina EPYC per quelli.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Ogni prezzo è la configurazione più economica di quella macchina come la apre il configuratore, e il pulsante la apre con la GPU già selezionata. Più processore, memoria, dischi e una porta più veloce vengono prezzati lì. Le configurazioni di Bucarest sono fatturate in euro. Le macchine di Amsterdam non sono offerte con questa GPU. Più di una RTX PRO 6000 in una macchina viene quotata manualmente: chiedi in chat o consulta i server multi-GPU.
Dimensionamento
Cosa sta in 96 GB di memoria GPU
I pesi di un modello occupano il numero di parametri per i byte per parametro. La GPU necessita da un quarto alla metà in più per la cache KV e il runtime, e la tabella seguente applica questa regola. Un modello da 70B a 4 bit sta con spazio per il contesto; a 8 bit si carica, ma un contesto lungo o un secondo utente lo esaurisce.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Solo pesi, arrotondati per eccesso. Per un piano modello per modello, con la macchina necessaria, consulta i server LLM.
Carichi di lavoro
Cosa esegue un server RTX PRO 6000 e dove si ferma
Inferenza LLM su una GPU
Servi un modello da 70B a 4 bit, o un modello da 30B a 8 bit, dietro la tua API con vLLM, llama.cpp o Ollama. Prompt e output restano sulla tua macchina.
Fine-tuning
QLoRA su un modello da 70B, o LoRA su un modello da 13B a 16 bit, sta in 96 GB. La memoria ECC protegge un'esecuzione di più giorni da bit flip silenziosi.
Rendering e visualizzazione
Le scene che non stanno in 24 o 48 GB vengono renderizzate su una GPU invece di essere divise. I core RT gestiscono il ray tracing.
Video su larga scala
Quattro encoder AV1 e quattro decoder transcodificano molti canali live in hardware mentre i core CUDA eseguono altro. Per una macchina configurata con Flussonic o Wowza, consulta i server di transcodifica GPU.
- Niente NVLink. Le GPU in una macchina condividono i dati solo su PCIe. Quando due GPU devono scambiarsi tensori più velocemente, una configurazione A100 o H100 con bridge NVLink viene quotata manualmente.
- Uno slot PCIe 3.0 o 4.0. Nessuna delle macchine che la ospitano ha uno slot Gen 5, quindi la GPU funziona con un collegamento Gen 3 o Gen 4. Inferenza e rendering quasi non se ne accorgono; il traffico intenso host-GPU sì.
- Non per addestrare un modello di grandi dimensioni da zero. Ciò richiede molte GPU collegate da un fabric veloce. Una RTX PRO 6000 è per inferenza, fine-tuning e addestramento su singola GPU.
Consegna e condizioni
Quanto presto è online e cosa copre il prezzo mensile
- Circa 30 minuti
Già in una macchina montata in rack
Niente da installare: il server è montato e consegnato. Server istantanei elenca cosa è montato in rack in questo momento.
- Da 4 a 24 ore
Una GPU che teniamo in magazzino
Un tecnico la installa nella macchina che hai configurato, prepara i dischi e installa il sistema operativo.
- Da 5 a 10 giorni lavorativi
Una GPU che acquistiamo
La ordiniamo da un distributore, poi la installiamo.
- Da 10 a 15 giorni lavorativi
Una GPU su allocazione
Quando i distributori razionano una GPU, ricevi la data prima di impegnarti.
- Incluso
- Processore, memoria, dischi, IPv4 e IPv6 e una porta senza limiti. Niente conta il traffico in nessuna direzione.
- Accesso
- Root o amministratore sul tuo sistema operativo, reinstallato dal pannello di controllo senza costi, e la console out-of-band del server su una rete di gestione separata.
- Installazione
- $29 una tantum per una GPU installata su ordinazione. Una macchina montata in rack ordinata così com'è non ha costi di installazione.
- Durata
- Un mese alla volta, nessun contratto. Cicli di 3, 6 e 12 mesi fanno risparmiare fino al 15%.
- Supporto
- Chat con risposta in pochi secondi da un assistente AI che può controllare il tuo account e il tuo server, e una persona nel momento in cui ne chiedi una.
Ogni tempistica parte una volta che pagamento e revisione antifrode sono completati. Ti viene detto quale delle quattro si applica prima di pagare.
Macchine RTX PRO 6000 sul nostro marketplace GPU
I proprietari elencano anche macchine RTX PRO 6000 sul nostro marketplace, ciascuna a un prezzo stabilito dal proprietario. Gli annunci contrassegnati come provenienti dalla nostra società consociata, Primcast, vengono noleggiati su primcast.com.
Specifiche
Specifiche RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Risposte
Domande sui server RTX PRO 6000
Quanto costa un server dedicato RTX PRO 6000?
Un server RTX PRO 6000 completo parte da $1,382.67 al mese. Ovvero la GPU a $1,299 più la macchina più economica che la ospita, a $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Una GPU installata su richiesta aggiunge un costo di setup una tantum di $29, e pagando 12 mesi in anticipo si ottiene uno sconto del 15%.
Quanti RT core e Tensor core ha la RTX PRO 6000?
188 RT core di quarta generazione e 752 Tensor core di quinta generazione, accanto a 24.064 CUDA core. NVIDIA valuta gli RT core a 380 TFLOPS e i Tensor core a 4.000 AI TOPS in FP4 con sparsity. I conteggi sono gli stessi per le edizioni Workstation, Max-Q e Server.
La RTX PRO 6000 è la stessa GPU della RTX 6000 Ada?
No. La RTX 6000 Ada è la generazione precedente, con 48 GB di GDDR6. La RTX PRO 6000 è Blackwell, con 96 GB di GDDR7, Tensor core di quinta generazione e codificatori AV1. Le installiamo entrambe: se 48 GB coprono il tuo lavoro, la RTX 6000 Ada è il server più economico, e GPU servers mostra i prezzi di ogni GPU che installiamo.
La RTX PRO 6000 supporta NVLink?
No. La RTX PRO 6000 non ha un connettore NVLink, quindi due in un server sono due pool da 96 GB che scambiano dati via PCIe. Le A100 e H100 hanno un connettore bridge NVLink, e una configurazione con bridge viene quotata manualmente. Lo stesso vale per più di una RTX PRO 6000 in una macchina.
Un modello da 70B può girare su una singola RTX PRO 6000?
Sì. A 4 bit i pesi di un modello da 70B occupano circa 38 GB, il che lascia spazio nei 96 GB per un contesto lungo e diversi utenti. A 8 bit occupano circa 70 GB: si carica, con poco margine. A 16 bit servono due o più GPU.
La GPU è condivisa o virtualizzata?
No. La macchina è affittata a un singolo account e la GPU completa viene passata direttamente al tuo sistema operativo. Non c'è hypervisor né profilo vGPU, e installi il driver NVIDIA e la versione CUDA che preferisci.
Quanto velocemente è online un server RTX PRO 6000?
Circa 30 minuti dopo l'approvazione dell'ordine quando una macchina con la GPU è già montata in rack. Quando installiamo una GPU che abbiamo in magazzino, da 4 a 24 ore; una che acquistiamo richiede da 5 a 10 giorni lavorativi. Ti viene comunicato prima del pagamento.
Dove si trovano i vostri server RTX PRO 6000?
A New York, Miami, San Francisco and Bucharest, nei nostri rack sulla nostra rete. Le configurazioni di Bucarest sono fatturate in euro. La GPU non è offerta sulle macchine di Amsterdam.
Configura il tuo server RTX PRO 6000
Scegli la macchina, la memoria, i dischi e la città. Il configuratore aggiorna il prezzo a ogni modifica, con la GPU già selezionata.
Ogni GPU che installiamo · Server A100 e H100 · Server L40S · Server RTX 5090 · Disponibili subito