Server dedicati GPU · NVIDIA Ada Lovelace · con canone mensile
Il nostro server dedicato RTX 4090 monta la GeForce RTX 4090D, non la RTX 4090 completa. Conserva i 24 GB di GDDR6X della 4090, i suoi 1.008 GB/s di larghezza di banda della memoria e i suoi due encoder AV1, e dispone di 14.592 core CUDA laddove la 4090 ne ha 16.384. Un server completo con una di queste GPU parte da $372.47 al mese.
Con il nostro hosting di server RTX 4090 noleggi l'intera macchina. La GPU viene passata direttamente al tuo sistema operativo, con accesso root e console out-of-band del server. Il prezzo indicato è quello del server completo: processore, memoria, dischi, porta e un indirizzo IPv4, oltre alla quota mensile della GPU stessa.
RTX 4090D vs RTX 4090
NVIDIA ha lanciato la RTX 4090D il 28 dicembre 2023, dopo che una norma sull'export degli Stati Uniti ha bloccato le vendite della RTX 4090 in Cina. È lo stesso chip AD102 con meno streaming multiprocessor attivi: 114 invece di 128. La memoria, il boost clock e i motori video sono gli stessi; il limite di potenza della scheda è leggermente inferiore.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
In tutto ciò che è limitato dalla dimensione o dalla velocità della memoria. Un modello che sta nei 24 GB di una 4090 sta anche in una 4090D, e la generazione di token da quel modello è vincolata dagli stessi 1.008 GB/s. La codifica video usa la stessa coppia di motori NVENC. Driver, CUDA, PyTorch, Blender e ogni altro strumento la trattano come una GPU GeForce Ada Lovelace.
Nei carichi vincolati dalla potenza degli shader: grandi batch di addestramento, rendering Cycles e OptiX, elaborazione dei prompt su input lunghi. La 4090D ha l'11% di core CUDA in meno allo stesso boost clock di 2,52 GHz, quindi su questi lavori aspettati un distacco dalla 4090 fino a quella percentuale. La potenza della scheda è di 425 W contro 450 W.
Le configurazioni
Queste sono le due GPU GeForce RTX 40 che il nostro catalogo ordini installa sui server rack. La RTX 4090D è la scelta da 24 GB e può essere affiancata da altre GPU nella stessa macchina. La RTX 4070 ha 12 GB e lo stesso encoder AV1 di ottava generazione, per i lavori che non richiedono più memoria.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Ogni prezzo corrisponde alla macchina più economica che supporta quella GPU, come la apre il configuratore, e il pulsante apre quella macchina con la GPU già selezionata. Altri processori, più memoria, dischi più grandi, una porta più veloce e più GPU sono quotati lì. Le configurazioni di Bucarest sono fatturate in euro; il configuratore cambia valuta quando scegli la città.
Dimensionamento
Dimensiona l'inferenza partendo dalla memoria. I pesi occupano parametri per byte per parametro, e le GPU richiedono da un quarto alla metà in più per la cache KV e il runtime. La tabella applica questa regola alla RTX 4070, a una RTX 4090D e a più GPU in una singola macchina, che llama.cpp e vLLM usano per distribuire un modello.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
Le GPU GeForce RTX 40 non hanno connettore NVLink, quindi più 4090D in un server comunicano via PCIe. La distribuzione di un modello tra loro per l'inferenza funziona su quel collegamento. L'addestramento che scambia gradienti a ogni passo trae meno vantaggio da ogni GPU aggiuntiva rispetto a GPU collegate da NVLink.
Un modello che richiede un unico ampio spazio di memoria, o memoria ECC, va su una GPU da calcolo o workstation con 48 o 80 GB. Le trovi su ogni GPU che installiamo. Per un piano modello per modello, vedi server LLM.
Piattaforme
Entrambe le GPU hanno un'interfaccia PCIe 4.0 x16. Le macchine Intel Xeon la eseguono a PCIe 3.0, dimezzando la larghezza di banda verso l'host. La macchina AMD EPYC offre a ogni GPU un collegamento PCIe 4.0 completo. Una volta che pesi o una scena risiedono nella memoria della GPU, il collegamento conta poco; conta invece per i cicli di addestramento che trasferiscono dati dalla memoria di sistema e per distribuire un modello su più GPU.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
I prezzi delle macchine sono la configurazione più economica di ogni linea senza GPU. I server RTX 40 possono essere ordinati in New York, Miami, San Francisco and Bucharest. Le macchine ad Amsterdam non sono offerte con queste GPU. Ogni edificio è descritto nella pagina data center.
Carichi di lavoro
Una RTX 4090D serve un modello da 13B a 8 bit con spazio per il contesto, oppure un modello da 30B a 4 bit con contesto ridotto. Esegui Ollama, llama.cpp o vLLM dietro la tua API; prompt e output restano sulla tua macchina.
I core RT di terza generazione accelerano Blender Cycles tramite OptiX, oltre a Unreal Engine e V-Ray. Un server GPU per ray tracing a un prezzo mensile fisso renderizza di notte senza un contatore orario attivo.
La 4090D monta due motori NVENC di ottava generazione e un NVDEC. Entrambe le GPU codificano AV1 in hardware, cosa che la serie RTX 30 non può fare, quindi una pipeline live può servire AV1 accanto a H.264.
Il driver GeForce esegue DirectX, Vulkan e OpenGL come un desktop. Installa Windows o Linux e avvia un host di cloud gaming, una workstation in streaming o un server di gioco con GPU dedicata.
Consegna e condizioni
È installata e consegnata. Server istantanei mostra cosa è in rack oggi.
Un tecnico installa la GPU nella macchina che hai configurato, crea l'array di dischi e installa il sistema operativo. Memoria o dischi aggiuntivi vengono inseriti nella stessa visita.
Ordiniamo il componente, poi procediamo come sopra. Ti viene comunicato quale caso si applica prima del pagamento.
Ogni tempistica parte una volta che pagamento e revisione antifrode sono completati. La maggior parte degli ordini viene approvata entro un paio d'ore; un primo ordine su un nuovo account può richiedere più tempo.
I proprietari pubblicano macchine RTX 40 anche sul nostro marketplace, ciascuna a un prezzo mensile stabilito dal proprietario. Un annuncio della nostra società consociata, Primcast, viene noleggiato su primcast.com.
Specifiche
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Dati GPU dal confronto della serie GeForce RTX 40 di NVIDIA, dalla sua matrice di supporto per codifica e decodifica video e dalle specifiche di lancio pubblicate della RTX 4090D. Prezzi, macchine, città e conteggi per macchina sono letti dal nostro catalogo ordini, quello da cui il checkout fattura.
Risposte
Un server completo con una RTX 4090D parte da $372.47 al mese. Ovvero la GPU a $299 più la macchina più economica che la ospita: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Ogni GPU aggiuntiva ha una propria voce mensile, e una GPU installata su richiesta aggiunge un costo di setup una tantum di $29.
È la RTX 4090D. Ha i 24 GB di GDDR6X della RTX 4090, 1.008 GB/s di banda, clock boost di 2,52 GHz e due encoder AV1, con 14.592 core CUDA invece di 16.384. Lo diciamo qui perché nessuno lo scopra dopo aver pagato.
Al massimo circa l'11% sui carichi limitati dalla potenza degli shader, come rendering e training, perché è la quota di core CUDA che le manca a parità di clock. Sui carichi limitati da dimensione o banda della memoria, come la generazione di token LLM, le due dovrebbero comportarsi in modo simile.
Sì. Una macchina ne accetta fino a 4, 96 GB di memoria GPU in totale, e il configuratore mostra il massimo che ogni macchina supporta. Le GPU comunicano via PCIe, poiché le GeForce RTX 40 non hanno NVLink.
Bare metal. La macchina è affittata a un solo account e la GPU è passata direttamente al tuo sistema operativo: nessun hypervisor, nessuna porzione di vGPU, nessuna condivisione del tempo. Installi il driver NVIDIA e la versione CUDA che preferisci.
La fatturazione oraria si applica a una macchina già montata in rack e affittata così com'è, quindi dipende da cosa elenca quel giorno la pagina dei server istantanei. Una GPU installata su una macchina che configuri viene fatturata a mese, senza contratto.
Sì. I suoi RT core di terza generazione accelerano il ray tracing in Blender Cycles con OptiX, Unreal Engine, V-Ray e altri renderer, e 24 GB contengono scene grandi. Con un prezzo mensile fisso, i render lunghi costano quanto quelli brevi.
Circa 30 minuti dopo l'approvazione quando una macchina con la GPU è già in rack. Quando installiamo una GPU da magazzino, da 4 a 24 ore; quando la GPU va acquistata, da 5 a 10 giorni lavorativi, e ti viene detto quale dei casi si applica prima di pagare.
A New York, Miami, San Francisco and Bucharest, sulla rete proprietaria di Server Room. Le macchine ad Amsterdam non sono offerte con queste GPU.
Il server RTX 4070 parte da $262.67 al mese completo, di cui $179 per la GPU. Ha 12 GB di GDDR6X e un encoder AV1, e una macchina ne accetta fino a 4.
Scegli quante GPU, poi processore, memoria, dischi e città. Il configuratore aggiorna il prezzo a ogni modifica.
Ogni GPU che installiamo · Server RTX 30 · Server RTX 50 · In rack adesso