Servere dedicate GPU · NVIDIA Ampere · lunar
Servere GPU RTX 3090, 3080, 3070 sunt mașini bare-metal închiriate lunar, cu GPU-ul complet pasat către propriul sistem de operare. Alege unul dintre cele cinci GPU-uri RTX 30 cu 8 până la 24 GB memorie, pe o mașină Intel Xeon sau AMD EPYC, de la $209.93 pe lună, complet.
Prețul fiecărui GPU de mai jos este serverul complet: procesor, memorie, discuri, portul și o adresă IPv4, plus linia lunară a GPU-ului. Alege GPU-ul după memoria de care are nevoie lucrul tău, apoi schimbă orice altceva în configurator.
Cele cinci GPU-uri
Toate cinci împărtășesc arhitectura Ampere, driverul și setul de funcții: nuclee Tensor de a 3-a generație, nuclee RT de a 2-a generație, PCIe 4.0. Ce le separă este dimensiunea memoriei și lățimea de bandă a memoriei. Începe de la memoria de care ai nevoie și oprește-te la primul GPU care o susține.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Fiecare preț este cea mai ieftină mașină care acceptă acel GPU, așa cum o deschide configuratorul. Butonul deschide acea mașină cu GPU-ul deja selectat; alte procesoare, mai multă memorie, discuri mai mari și un port mai rapid sunt evaluate acolo. Configurările din București sunt facturate în euro, iar configuratorul afișează acel preț când alegi orașul.
Dimensiuni
Pentru inferență, prima întrebare este memoria, nu viteza. Greutățile unui model ocupă parametri ori octeți pe parametru, iar GPU-ul are nevoie de încă un sfert până la jumătate în plus pentru cache-ul KV și runtime. Tabelul aplică această regulă fiecărei dimensiuni de memorie de pe această pagină.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
Este RTX 3080 original, cu 8.704 nuclee CUDA. NVIDIA a vândut ulterior o versiune de 12 GB cu 8.960 de nuclee sub același nume, iar multe anunțuri menționează memoria acesteia. Dimensiune față de 10 GB: un model 8B la 8 biți se încarcă lăsând puțin loc pentru context, iar un model 13B la 8 biți nu se încarcă deloc.
RTX 3090 este singurul GPU RTX 30 cu 24 GB. Mașinile noastre Xeon mai mari acceptă până la 3 dintre ele, 72 GB în total, pe care llama.cpp sau vLLM le pot împărți pentru un model. Două susțin un model 70B la 4 biți, la limită. Pentru un singur GPU cu mai multă memorie, vezi toate GPU-urile pe care le instalăm; pentru planuri model cu model, servere LLM.
Platforme
Fiecare GPU RTX 30 are o interfață PCIe 4.0. Pe mașinile Intel Xeon rulează la PCIe 3.0; mașina AMD EPYC oferă RTX 3080 o legătură PCIe 4.0 completă. Odată ce un model sau o scenă este încărcat în memoria GPU-ului, legătura contează foarte puțin. Contează pentru buclele de antrenare care transferă loturi din memoria de sistem la fiecare pas.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Prețurile mașinilor sunt cea mai ieftină configurație a fiecărei linii, fără GPU. Servere RTX 30 pot fi comandate în New York, Miami, San Francisco and Bucharest. Mașinile din Amsterdam nu sunt oferite cu aceste GPU-uri. Locația determină latența către utilizatorii tăi și legea de protecție a datelor care se aplică; centrele de date descriu fiecare clădire.
Sarcini de lucru
Un RTX 3090 servește un model 13B la 8 biți cu loc pentru context, sau un model 30B la 4 biți cu unul scurt, în spatele propriului API cu Ollama, llama.cpp sau vLLM. Nimic din ce trimiți nu părăsește mașina ta.
Blender Cycles randează pe CUDA sau OptiX, iar nucleele RT accelerează ray tracing-ul. Instalează sistemul de operare de care are nevoie renderer-ul tău și randează peste noapte la un preț lunar fix.
Driverul GeForce rulează DirectX, Vulkan și OpenGL ca un desktop. Rulează un server de joc, o gazdă de cloud gaming sau o stație de lucru la distanță cu un GPU dedicat în spate.
Fiecare GPU are un encoder NVENC pentru H.264 și HEVC și un decoder NVDEC. NVIDIA permite până la 8 sesiuni de codare simultane per sistem pe GPU-urile GeForce, cu driverul 550.54.14 sau mai recent.
Livrare și termeni
Nimic de montat: serverul este instalat și predat. Servere instant listează ce este în rack chiar acum.
Un tehnician instalează GPU-ul, construiește matricea de discuri și instalează sistemul de operare. Memoria suplimentară sau alte unități se adaugă în aceeași vizită.
Fiecare termen începe după ce plata și verificarea antifraudă sunt aprobate. Majoritatea comenzilor se aprobă în câteva ore; o primă comandă pe un cont nou poate dura mai mult.
Proprietarii listează și mașini RTX 30 pe piața noastră, fiecare la un preț lunar stabilit de proprietar. Listările marcate ca venind prin compania noastră soră, Primcast, sunt închiriate pe primcast.com.
Specificații
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Cifre din comparația NVIDIA pentru seria GeForce RTX 30 și matricea sa de suport pentru codare și decodare video. Prețurile, mașinile, orașele și numărul per mașină sunt citite din catalogul nostru de comenzi, cel pe care checkout-ul îl facturează.
Răspunsuri
Un server RTX 3090 complet pornește de la $309.93 pe lună. Adică GPU-ul la $239 plus cea mai ieftină mașină care îl acceptă: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Cea mai ieftină configurație RTX 30 este RTX 3070 la $209.93. Un GPU montat la comandă adaugă o taxă unică de instalare de $29.
Versiunea de 10 GB, cu 8.704 nuclee CUDA și 760 GB/s lățime de bandă a memoriei. Un server RTX 3080 complet pornește de la $229.93 pe lună. Dacă modelul tău are nevoie de 12 GB, alege RTX 3080 Ti, care are 12 GB pe o magistrală de 384 de biți.
Da. Mașinile noastre Xeon mai mari acceptă până la 3 RTX 3090, 72 GB de memorie GPU în total, iar configuratorul arată cât acceptă fiecare mașină. Fiecare GPU este o linie lunară separată, așa că prețul crește cu valoarea GPU-ului pentru fiecare unitate adăugată.
Pentru inferență și fine-tuning QLoRA, da. Cei 24 GB ai săi găzduiesc un model de 13B la 8 biți cu spațiu pentru context, sau un model de 30B la 4 biți cu unul scurt. Nu are memorie ECC, așa că pentru antrenamente lungi fără puncte de control un GPU de calcul este alegerea mai sigură.
Aproximativ 30 minute după aprobarea comenzii, atunci când o mașină cu acel GPU este deja în rack; acestea sunt listate pe pagina serverelor instant. Când montăm GPU-ul pe mașina pe care ai configurat-o, alocă între 4 și 24 de ore.
Nu. Mașina este închiriată unui singur cont, iar GPU-ul este pasat direct către sistemul tău de operare. Nu există hypervisor, profil vGPU sau partajare în timp, iar tu instalezi driverul NVIDIA și versiunea CUDA dorită.
Nu. GPU-urile RTX 30 decodează AV1, dar codifică doar H.264 și HEVC, pe un singur encoder NVENC per GPU. Codificarea hardware AV1 începe cu seria RTX 40.
În New York, Miami, San Francisco and Bucharest, pe rețeaua proprie a Server Room. Mașinile care acceptă aceste GPU-uri nu sunt oferite cu ele în Amsterdam.
Alege GPU-ul după memorie, apoi procesorul, memoria, discurile și orașul. Configuratorul afișează prețul fiecărei modificări pe măsură ce o faci.
Fiecare GPU pe care îl montăm · Desktopul RTX 3050 · Servere RTX 40 · În rack chiar acum