Plăci grafice add-in pe bare metal · Server Room · din 2004

Placa este o linie pe factură. Mașina este cealaltă.

Fiecare catalog din această industrie prețuiește placa și serverul ca o singură cifră compusă de altcineva. Acesta le ține separate: mașina are propria cifră lunară, placa are propria ei, iar totalul este suma lor. Setați cele două controale de mai jos — ce rulează pe ea și câtă memorie de placă necesită lucrarea — și tot ce rămâne în picioare este un server complet, prețuit de același catalog din care facturează checkout-ul.

Îngustează rafturile A cui este placa?

Un cont per mașină fizică. Placa este predată sistemului tău de operare prin passthrough PCIe — modulul tău de kernel, versiunea ta de driver, fără hypervisor în cale.

Bancul de test

Două controale. Restul este aritmetică.

Nimic aici nu rezervă stoc și nu deschide un cont. Cifra de pe fiecare rând este întregul server cu placa respectivă montată — procesor, memorie, discuri în oglindă, port nemăsurat, un IPv4 — iar partea plăcii este tipărită dedesubt, astfel încât ambele jumătăți ale banilor rămân vizibile.

What runs on it?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Estimări din catalogul de comenzi, nu un tarifar, și sunt cifrele proprii ale checkout-ului. O placă al cărei producător nu publică nicio cifră de memorie nu afișează nimic aici — și dispare imediat ce controlul de memorie părăsește „oricare”, pentru că nu vom arăta o piesă care trece o barieră pe care nu o putem verifica; întrebați și citim cifra direct de pe placă. Mai multe piese se montează în mai mult de un șasiu la mai mult de un preț: rândul arată cel mai ieftin montaj, configuratorul listează restul.

Numărate în momentul servirii paginii

  • 57Cards on the shelves
  • $20.79Cheapest card line, per month
  • $91.72Cheapest complete build with a card
  • 5Cities
  • 0Bytes metered

Citite din catalogul de comenzi la momentul randării, niciodată tastate. Retrageți o placă din magazin mâine și această bandă va fi mai mică mâine. Ce este în rack și pornit în această dimineață este o întrebare separată cu propria pagină: servere instant.

Închirierea, înainte de orice altceva

Un singur chiriaș. Întreaga placă. Nimic programat deasupra ta.

Trecută prin passthrough, nu împărțită.

Placa stă într-un slot PCIe fizic dintr-o mașină închiriată unui singur cont, iar sistemul de operare care o deține este cel instalat de tine. Încarci modulul de kernel, fixezi driverul, iar CUDA sau ROCm rămâne la versiunea pe care a fost testat codul tău. Nu există strat de hypervisor, partiție MIG, profil vGPU sau planificator de time-slicing — latența pe care o măsori în prima după-amiază este latența pe care o păstrezi, la patru după-amiaza și la patru dimineața.

Șasiul urmează aceeași regulă: fiecare nucleu, fiecare DIMM, ambele discuri, root-ul și iLO-ul sau iDRAC-ul propriu al mașinii pe o rețea de management separată pentru consolă, medii virtuale și alimentare. Un experiment de driver care dă jos rețeaua îți lasă totuși ecranul.

  • Fără feliiFără partiție MIG, fără profil vGPU, fără alocare fracționară. O placă, un sistem de operare.
  • Fără coadăNiciun planificator nu împarte siliciul. Când procesul tău este inactiv, placa este inactivă — și tot a ta.
  • Fără stratBare metal. Kernel-ul tău, modulele tale, versiunea ta de driver, fixate până le muți.
  • Fără contorSeturi de date înăuntru, checkpoint-uri și randări afară. Nimic de pe port nu numără octeții.

Modelul de preț

Două linii care se adună. Nu un nivel.

O „instanță” GPU este decizia altcuiva despre cât ar trebui să plătească un cumpărător de placă pentru procesorul, memoria, discurile și rețeaua din jurul plăcii. Aici acestea sunt o linie, placa este alta, iar ele se adună — motiv pentru care oricare capăt al raftului de mai sus se montează în același șasiu și pentru care schimbarea plăcii modifică factura cu exact diferența dintre cele două plăci.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
  3. The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
  4. SetupNothingNo contract; the default term is one month

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Configuratorul rotunjește prețul per disc și poate ajunge cu un cent sau doi diferit de aceste cifre. Ciclurile de facturare mai lungi oferă reduceri suplimentare — prețurile au toate cifrele într-un singur loc, iar hardware mai vechi, preț mai mic este argumentul permanent pentru care există partea de jos a raftului.

Memoria plăcii

Potrivirea este binară. Tot restul e doar viteză.

Nucleele și frecvențele stabilesc cât de repede rulează un model. Memoria plăcii stabilește dacă rulează: ponderile fie sunt rezidente, fie nu sunt, iar o placă cu doi gigaocteți mai puțin nu rulează lent — iese. Stabiliți acest număr înaintea oricărui altul, pentru că este singura specificație pe care aproape nimeni nu o tipărește lângă un preț.

Aritmetica este parametri ori octeți per parametru: doi octeți fiecare la 16 biți, unul la 8 biți, jumătate de octet la 4 biți. Cuantizarea la 4 biți este pârghia care așază un model pe un raft mai mic și schimbă o cantitate măsurabilă de calitate pentru loc.

Lăsați marjă de buget. Tabelul reprezintă doar ponderile și nimic altceva. Runtime-ul, activările și cache-ul cheie-valoare trăiesc toate în aceeași memorie, iar cache-ul crește cu fiecare token de context — 38 GB de ponderi nu se servesc confortabil de pe o placă de 40 GB. Adăugați un sfert până la jumătate în plus, sau spuneți-ne modelul și lungimea de context pe care o rulați efectiv și îl vom dimensiona în funcție de asta.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Șasiul de dedesubt

Patru platforme primesc o placă, iar magistrala este cea care le separă.

Fiecare oferă slotului o generație de legătură și un buget de benzi diferite, iar coloana este tipărită pentru că schimbă rezultatele și nimeni altcineva nu o publică: un client a schimbat odată o generație de consum cu următoarea pe o platformă Gen 3 și a devenit mai lent, și și-a dat seama de ce înaintea noastră. Numărul își are locul pe pagină.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted
28
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted
44
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted
48
Bus to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted
10
Bus to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Când contează generația legăturii, măsurat pe tip de lucru

O placă construită pentru o magistrală mai nouă rulează corect pe una mai veche; pur și simplu nu poate muta datele prin legătură la rata proiectată. Dacă asta vă costă ceva depinde în întregime de locul unde stau datele.

  • Vă costă când traficul traversează magistrala continuu — o buclă de antrenare care aduce loturi de pe disc sau din memoria de sistem, un renderer care alimentează date de scenă la fiecare cadru, orice set de lucru care se revarsă din memoria plăcii.
  • Nu vă costă nimic odată ce ponderile sunt rezidente și rămân rezidente — inferență pe un model care încape, transcodare video, majoritatea simulărilor. Legătura transportă atunci cereri și rezultate, iar acestea sunt mici.
  • Numiți tipul de lucru dacă nu sunteți sigur. Vă vom spune deschis dacă platforma îl limitează — inclusiv când specificația cinstită este o placă mai ieftină pe o legătură mai rapidă, nu o placă mai scumpă pe una mai lentă.

Deja în preț

Cu ce vine fiecare mașină înainte să adăugați ceva.

  • Root și un set de drivere care vă aparține

    Un sistem de operare curat și cheile. Alegeți versiunea de driver, versiunea CUDA sau ROCm și build-ul de framework și le fixați — nimic nu se actualizează sub un termen-limită. Vreți driverul instalat înainte de predare? Menționați versiunea în comandă și va fi.

  • Consolă out-of-band pe propria rețea

    iLO pe șasiul HPE, iDRAC pe Dell: consolă tastatură-și-ecran, medii virtuale, control al alimentării, senzori și jurnale hardware. Un modul care blochează afișajul sau NIC-ul este o repornire pe care o faceți singur, urmărind POST-ul — nu un tichet.

  • Un port pe care nu se numără nimic

    Nemăsurat în ambele direcții la viteza inclusă și la orice viteză de deasupra ei. Fără alocație de transfer, fără linie de egress pe nicio factură — seturi de date înăuntru, checkpoint-uri afară, un model servit traficului real, totul la prețul portului. Lățimea de bandă nemăsurată este scara în sus și este cea mai mare linie pe care această pagină o șterge dintr-o factură de hyperscaler.

  • Reinstalări fără tichet

    Imagini de sistem de operare într-un singur clic, oricât de des doriți, fără cost — un experiment de driver care merge prost costă douăzeci de minute. DNS-ul invers este al dumneavoastră de editat, IPv6 este inclus, iar IPv4 suplimentar este o linie de catalog, nu o negociere.

  • Ingineri de serviciu, non-stop

    Telefon, chat live și tichete pe fiecare mașină, iar o componentă defectă este înlocuită în patru ore de la raportare prin telefon sau chat. Suportul publică în scris timpii de răspuns și programul de credite.

  • Cinci camere pe două continente

    New York, Miami, San Francisco, Amsterdam și București. Locul unde stă mașina stabilește latența față de ce o apelează și regimul de protecție a datelor căruia i se supune; centrele de date descriu fiecare clădire.

Termen de livrare

De la jumătate de oră la trei săptămâni, stabilit de locul unde stă placa astăzi.

Un singur număr ar fi o minciună într-o direcție sau alta, pentru că nu a fost niciodată un singur număr: o placă deja așezată într-o mașină montată în rack este o predare, o placă ce trebuie cumpărată este un ordin de achiziție. Ce ne angajăm este să vă spunem pe ce treaptă vă aflați înainte să plătiți.

  1. ~30 minute

    Placa este deja așezată într-o mașină montată în rack

    Nu se montează nimic și nu se mută nimic. Mașina este imaginată și predată. Servere instant listează ce este disponibil chiar acum.

  2. 4–24 ore

    Se montează o placă din stocul propriu

    Cazul obișnuit pentru această pagină. Piesa este în depozit; un tehnician o așază, construiește array-ul și instalează sistemul de operare. O mașină montată în rack care este aproape, dar nu exact — memorie adăugată, un disc schimbat, array-ul reconstruit după layout-ul dumneavoastră — este aceeași vizită, făcută pe loc.

  3. 5–10 zile lucrătoare

    Placa este cumpărată

    O piesă pe care nu o deținem este comandată, apoi construcția continuă ca mai sus. Construire la comandă este pagina când întreaga specificație este a dumneavoastră.

  4. 10–15 zile lucrătoare

    Placa este pe alocare

    Acceleratoarele din generația curentă se livrează la data distribuitorului, nu a noastră, iar noi numim acel punct critic înainte să vă angajați, nu după. Hardware-ul cumpărat pentru un singur client este cotat cu trei luni în avans, pentru că este o mașină pe care nu o putem reînchiria dacă contul se închide în a doua săptămână.

Fiecare treaptă începe când plata și verificarea antifraudă se finalizează — singurul pas pentru care nu vom face o promisiune: majoritatea comenzilor se finalizează în câteva ore, o primă comandă de la un cont nou poate dura mai mult. Cardul, PayPal, ACH și transferul bancar sunt acceptate, iar la o primă comandă mai mare un transfer bancar trece de obicei verificarea mai repede decât un card.

Întrebat înainte, răspuns aici

Cele unsprezece întrebări pe care pagina există ca să le lămurească.

Adunate din chat și tichete, aproximativ în ordinea în care le pun cumpărătorii. Prima a costat comenzi reale, motiv pentru care deschide lista.

Împart GPU-ul cu altcineva?
Nu. O singură mașină fizică, un singur cont, iar placa este pasată direct către sistemul de operare pe care l-ați instalat — fără hypervisor, fără partiție MIG, fără profil vGPU, fără planificator de time-slicing, fără jobul în lot al vecinului pe siliciul dumneavoastră. Cifrele pe care le măsurați în prima zi sunt cifrele pe care le păstrați.
Încap două plăci într-o singură mașină?
Adesea, iar răspunsul este ofertat, nu bifat: spațiul din carcasă, lățimea fizică a plăcii, bugetul de lane-uri și sursa de alimentare stabilesc numărul, așa că un răspuns cinstit cere piesa exactă. Spuneți placa, iar răspunsul vine cu carcasa, numărul și termenul de livrare. Motivul obișnuit este memoria, nu viteza — două plăci de 48 GB țin un model pe care o placă de 80 GB nu-l poate ține — iar multi-GPU și multi-node este pagina alăturată atunci când a doua placă începe să semene cu o a doua mașină.
Ce driver și ce versiune CUDA vin instalate pe ea?
Cele pe care le instalați dumneavoastră. Mașina ajunge cu un sistem de operare curat și acces root; fixați driverul, versiunea CUDA sau ROCm și build-ul de framework pe ceea ce a fost validat codul dumneavoastră, iar după aceea nimic nu le mai mișcă. Dacă doriți driverul instalat înainte de predare, treceți versiunea exactă în comandă. Dacă o anumită placă trebuie să suporte o anumită versiune CUDA, întrebați înainte de plată și verificăm, nu ghicim.
Placa pe care o vreau nu este pe raft astăzi — și atunci?
Atunci este montată din stoc sau achiziționată, iar dumneavoastră aflați care variantă înainte de a plăti: piesele din stoc se montează în patru până la douăzeci și patru de ore, piesele achiziționate durează cinci până la zece zile lucrătoare, iar acceleratoarele cu alocare limitată zece până la cincisprezece. Pagina aceasta nu afișează intenționat niciun număr de stoc — o placă este o piesă pe care o montăm, nu un produs care apare și dispare — dar când cerința este o mașină astăzi, serverele instant listează ce este în rack și pornit chiar acum.
Se poate schimba placa după implementare?
Da, în mașina pe care o aveți deja: fără migrare, fără reinstalare, fără adrese noi. Este o vizită programată în rack cu o scurtă întrerupere, iar factura se modifică exact cu diferența dintre cele două plăci. Memoria, discurile și viteza portului se upgradează sub aceeași regulă.
Ce se întâmplă când moare o placă?
Este înlocuită, pe un ceas pe care acordul îl pune în scris: patru ore din momentul raportării prin telefon sau chat live. Dacă fereastra este ratată, creditul de serviciu urmează un program publicat, nu o cerere de bunăvoință. Suportul conține programul și numărul de telefon.
Lățimea de bandă este chiar nemăsurată? Cât costă egress-ul?
Chiar: nimic nu este măsurat în nicio direcție, la orice viteză de port pe care o vindem, iar egress-ul costă zero pentru că nu există niciun contor din care să fie taxat. La lucrul pe GPU aceasta este de obicei cea mai mare linie din altă parte — un antrenament trage seturi de date înăuntru și împinge checkpoint-uri afară, un endpoint de inferență răspunde la trafic real, iar egress-ul per gigabyte facturează fiecare dintre acei octeți. Lățimea de bandă nemăsurată este treapta de deasupra vitezei incluse.
Lunar aici versus un GPU pe oră — unde este punctul de echilibru?
Aritmetica îl stabilește. Pe oră câștigă cât timp lucrul este intermitent și se oprește cu adevărat — până la câteva sute de ore pe lună. După aproximativ două treimi din lună încetează să mai fie aproape, înainte de a număra egress-ul, stocarea persistentă între rulări și timpul de așteptare la coadă pentru capacitate. Lunar înseamnă și aceeași mașină, discuri și adrese luna viitoare, lucru de care sarcinile de producție țin cont mai mult decât benchmark-urile.
Cum se plătește și cum arată contractul?
Card, PayPal, ACH sau transfer bancar — și nu există niciun contract de semnat: o lună este termenul implicit, ciclurile de trei, șase și douăsprezece luni beneficiază de reducere, iar reînnoirea nu crește prețul. La o primă comandă mai mare, un transfer trece de obicei mai repede de verificarea antifraudă decât un card, lucru util de știut înainte ca un build să aștepte după el.
Ce se întâmplă dacă placa se dovedește a fi cea greșită?
În termen de trei zile calendaristice de la prima activare, după ce depanarea este epuizată, politica de rambursare se aplică așa cum este scrisă. Tabelul de dimensionare și coloana cu generația de magistrală de mai sus există tocmai pentru a face acea clauză inutilă — preferăm să vă convingem să alegeți o placă mai mică decât să procesăm returul uneia mai mari.
Aveți cea mai nouă placă?
Uneori — și de obicei este specificația greșită. Cea mai nouă piesă este rară, pe alocare, prețuită ca și cum fiecare tranzistor ar fi necesar și montată pe platforme care nu-i pot oferi generația de magistrală pentru care a fost proiectată. Majoritatea lucrului pe GPU de aici nu este antrenament de frontieră: este servirea unui model care deja încape, codare video, randare de cadre, desktop-uri — joburi unde placa potrivită este cu două generații mai veche la un sfert din bani. Spuneți jobul; dacă răspunsul este cu adevărat cea mai nouă piesă, o spunem, cu costul și data la care poate exista.

Pagini alăturate

Totul la un pas de această pagină.

Această pagină deține o singură întrebare — ce plăci montăm și cât costă fiecare. Întrebările de pe ambele părți ale ei au fiecare propria pagină, iar acesta este setul complet.

Încă mai cântăriți două rafturi? — cine răspunde a dimensionat una dintre acestea înainte și vă va spune când placa mai ieftină este specificația potrivită.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit
57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line
$20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it
$91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone
$70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train
Instinct MI50 16GB, $169.93 a month complete.
Dearest
H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy
One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards
Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment
Card, PayPal, ACH and wire.