Servere dedicate GPU · NVIDIA Ada Lovelace · lunar
Serverul nostru dedicat RTX 4090 rulează GeForce RTX 4090D, nu RTX 4090 complet. Păstrează cei 24 GB de GDDR6X ai lui 4090, lățimea de bandă de memorie de 1.008 GB/s și cele două codificatoare AV1, și are 14.592 de nuclee CUDA față de 16.384 cât are 4090. Un server complet cu unul pornește de la $372.47 pe lună.
Cu găzduirea noastră de server RTX 4090 închiriezi întreaga mașină. GPU-ul este transmis direct către propriul tău sistem de operare, cu acces root și consola out-of-band a serverului. Prețul afișat este serverul complet: procesor, memorie, discuri, portul și o adresă IPv4, plus linia lunară proprie a GPU-ului.
RTX 4090D vs RTX 4090
NVIDIA a lansat RTX 4090D pe 28 decembrie 2023, după ce o regulă de export a Statelor Unite a oprit vânzările RTX 4090 în China. Este același cip AD102 cu mai puține multiprocesoare de streaming activate: 114 în loc de 128. Memoria, frecvența boost și motoarele video sunt aceleași; limita de putere a plăcii este puțin mai mică.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Orice limitat de dimensiunea sau viteza memoriei. Un model care încape în 24 GB pe un 4090 încape pe un 4090D, iar generarea de tokeni din el este limitată de aceiași 1.008 GB/s. Codificarea video folosește aceeași pereche de motoare NVENC. Driverul, CUDA, PyTorch, Blender și orice alt instrument îl tratează ca pe un GPU GeForce Ada Lovelace.
Lucrul limitat de debitul shaderelor: loturi mari de antrenament, randare Cycles și OptiX, procesarea prompturilor pe intrări lungi. 4090D are cu 11% mai puține nuclee CUDA la aceeași frecvență boost de 2,52 GHz, așa că așteaptă-te să rămână în urma unui 4090 cu până la această marjă la acele sarcini. Puterea plăcii este de 425 W față de 450 W.
Configurațiile
Acestea sunt cele două GPU-uri GeForce RTX 40 pe care catalogul nostru de comenzi le montează pe servere rack. RTX 4090D este opțiunea de 24 GB și se stivuiește într-o mașină. RTX 4070 are 12 GB și același codificator AV1 de generația a 8-a, pentru sarcini care nu au nevoie de mai multă memorie.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Fiecare preț este cea mai ieftină mașină care acceptă acel GPU, așa cum o deschide configuratorul, iar butonul deschide acea mașină cu GPU-ul deja selectat. Alte procesoare, mai multă memorie, discuri mai mari, un port mai rapid și mai multe GPU-uri sunt tarifate acolo. Configurațiile din București sunt facturate în euro; configuratorul schimbă moneda când alegi orașul.
Dimensionare
Dimensionează inferența întâi după memorie. Greutățile ocupă parametri înmulțiți cu octeți per parametru, iar GPU-urile au nevoie de un sfert până la jumătate în plus pentru cache-ul KV și runtime. Tabelul aplică această regulă pentru RTX 4070, pentru un singur RTX 4090D și pentru mai multe într-o singură mașină, pe care llama.cpp și vLLM împart un model.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
GPU-urile GeForce RTX 40 nu au conector NVLink, așa că mai multe 4090D într-un singur server comunică prin PCIe. Împărțirea unui model între ele pentru inferență funcționează prin această legătură. Antrenamentul care schimbă gradienți la fiecare pas câștigă mai puțin de la fiecare GPU suplimentar decât ar câștiga pe GPU-uri conectate prin NVLink.
Un model care are nevoie de un singur spațiu mare de memorie, sau de memorie ECC, aparține unui GPU de calcul sau de stație de lucru cu 48 sau 80 GB. Acestea sunt pe fiecare GPU pe care îl montăm. Pentru un plan model cu model, vezi servere LLM.
Platforme
Ambele GPU-uri au o interfață PCIe 4.0 x16. Mașinile Intel Xeon o rulează la PCIe 3.0, ceea ce înjumătățește lățimea de bandă către gazdă. Mașina AMD EPYC oferă fiecărui GPU o legătură PCIe 4.0 completă. Odată ce greutățile sau o scenă se află în memoria GPU-ului, legătura contează foarte puțin; contează însă pentru buclele de antrenament care transmit date din memoria de sistem și pentru împărțirea unui model între GPU-uri.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Prețurile mașinilor sunt cea mai ieftină configurație a fiecărei linii fără GPU. Servere RTX 40 pot fi comandate în New York, Miami, San Francisco and Bucharest. Mașinile din Amsterdam nu sunt oferite cu aceste GPU-uri. Fiecare clădire este descrisă pe centre de date.
Sarcini de lucru
Un singur RTX 4090D servește un model de 13B la 8 biți cu spațiu pentru context, sau un model de 30B la 4 biți cu unul scurt. Rulează Ollama, llama.cpp sau vLLM în spatele propriului API; prompturile și rezultatele rămân pe mașina ta.
Nucleele RT de a 3-a generație accelerează Blender Cycles prin OptiX, precum și Unreal Engine și V-Ray. Un server GPU de ray tracing la un preț lunar fix randează peste noapte fără un contor pe oră care să ruleze.
4090D are două motoare NVENC de a 8-a generație și un NVDEC. Ambele GPU-uri codează AV1 în hardware, ceea ce seria RTX 30 nu poate, astfel încât o conductă live poate servi AV1 alături de H.264.
Driverul GeForce rulează DirectX, Vulkan și OpenGL așa cum o face un desktop. Instalează Windows sau Linux și rulează o gazdă de cloud gaming, o stație de lucru transmisă în flux sau un server de jocuri cu un GPU dedicat.
Livrare și termeni
Este instalată și predată. Servere instant arată ce este montat astăzi.
Un tehnician instalează GPU-ul în mașina pe care ai configurat-o, construiește matricea de discuri și instalează sistemul de operare. Memoria sau discurile adăugate se montează în aceeași vizită.
Comandăm piesa, apoi construim ca mai sus. Ți se spune care caz se aplică înainte să plătești.
Fiecare termen începe odată ce plata și verificarea antifraudă sunt finalizate. Majoritatea comenzilor se finalizează în câteva ore; o primă comandă pe un cont nou poate dura mai mult.
Proprietarii listează mașini RTX 40 și pe piața noastră, fiecare la un preț lunar stabilit de proprietar. O listare de la compania noastră soră, Primcast, este închiriată pe primcast.com.
Specificații
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Cifrele GPU provin din comparația seriei GeForce RTX 40 de la NVIDIA, din matricea sa de suport pentru codare și decodare video și din specificația publicată de lansare a RTX 4090D. Prețurile, mașinile, orașele și numărul per mașină sunt citite din catalogul nostru de comenzi, cel din care facturează checkout-ul.
Răspunsuri
Un server complet cu un RTX 4090D pornește de la $372.47 pe lună. Adică GPU-ul la $299 plus cea mai ieftină mașină care îl acceptă: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Fiecare GPU suplimentar adaugă propria linie lunară, iar un GPU montat la comandă adaugă o taxă unică de instalare de $29.
Este RTX 4090D. Are cei 24 GB de GDDR6X ai RTX 4090, 1.008 GB/s lățime de bandă, frecvență boost de 2,52 GHz și două encodere AV1, cu 14.592 de nuclee CUDA în loc de 16.384. Spunem asta aici ca nimeni să nu afle după ce plătește.
Cel mult aproximativ 11% la sarcini limitate de debitul shaderelor, cum ar fi randarea și antrenarea, pentru că aceasta este partea de nuclee CUDA care îi lipsește la aceeași frecvență. La sarcini limitate de dimensiunea sau lățimea de bandă a memoriei, cum ar fi generarea de tokenuri LLM, cele două ar trebui să se comporte la fel.
Da. O mașină acceptă până la 4 dintre ele, 96 GB de memorie GPU în total, iar configuratorul arată maximul pe care îl acceptă fiecare mașină. GPU-urile se conectează prin PCIe, deoarece GPU-urile GeForce RTX 40 nu au NVLink.
Bare metal. Mașina este închiriată unui singur cont, iar GPU-ul este transmis direct către sistemul tău de operare: fără hypervisor, fără felie de vGPU, fără partajare de timp. Instalezi driverul NVIDIA și versiunea CUDA pe care o alegi.
Facturarea orară se aplică unei mașini deja montate în rack și închiriate așa cum este, deci depinde de ce afișează pagina de servere instant în ziua respectivă. Un GPU montat pe o mașină configurată de tine este facturat lunar, fără contract.
Da. Nucleele sale RT de a 3-a generație accelerează ray tracing în Blender Cycles cu OptiX, Unreal Engine, V-Ray și alte randere, iar 24 GB susțin scene mari. La un preț lunar fix, randările lungi costă la fel ca cele scurte.
Aproximativ 30 minute după aprobare, când o mașină cu GPU-ul este deja montată în rack. Când montăm un GPU din stoc, 4 până la 24 de ore; când GPU-ul trebuie achiziționat, 5 până la 10 zile lucrătoare, iar tu ești anunțat înainte de a plăti.
În New York, Miami, San Francisco and Bucharest, pe rețeaua proprie a Server Room. Mașinile din Amsterdam nu sunt oferite cu aceste GPU-uri.
Serverul RTX 4070 pornește de la $262.67 pe lună complet, GPU $179 din aceasta. Are 12 GB de GDDR6X și un encoder AV1, iar o mașină acceptă până la 4.
Alege câte GPU-uri, apoi procesorul, memoria, discurile și orașul. Configuratorul recalculează prețul la fiecare modificare pe măsură ce o faci.
Fiecare GPU pe care îl montăm · Servere RTX 30 · Servere RTX 50 · Montate în rack chiar acum