Schede grafiche aggiuntive su bare metal · Server Room · dal 2004

La scheda è una riga in fattura. La macchina è l’altra.

Ogni catalogo di questo settore prezza scheda e server come un’unica cifra composta da qualcun altro. Questo li tiene separati: la macchina ha la sua cifra mensile, la scheda ha la sua, e il totale è la loro somma. Imposta i due controlli qui sotto — cosa ci gira sopra, e quanta memoria della scheda serve al lavoro — e tutto ciò che resta in piedi è un server completo, prezzato dallo stesso catalogo da cui il checkout fattura.

Restringi gli scaffali Di chi è la scheda?

Un account per ogni macchina fisica. La scheda viene consegnata al tuo sistema operativo tramite passthrough PCIe — il tuo modulo kernel, la tua versione del driver, nessun hypervisor nel percorso.

Il banco

Due controlli. Il resto è aritmetica.

Nulla qui prenota stock o apre un account. La cifra su ogni riga è l’intero server con quella scheda installata — processore, memoria, dischi in mirroring, porta senza limiti, un IPv4 — e la quota propria della scheda è stampata sotto, così entrambe le metà del costo restano visibili.

What runs on it?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Stime dal catalogo ordini, non un tariffario, e sono le cifre proprie del checkout. Una scheda il cui produttore non pubblica alcun dato di memoria non ne stampa nessuno qui — e scompare non appena il controllo memoria lascia “qualsiasi”, perché non mostreremo un componente che supera un limite che non possiamo verificare; chiedi e leggiamo il dato direttamente dalla scheda. Diversi componenti si installano in più di uno chassis a più di un prezzo: la riga mostra la sede più economica, il configuratore elenca le altre.

Contato mentre la pagina veniva servita

  • 57Cards on the shelves
  • $20.79Cheapest card line, per month
  • $91.72Cheapest complete build with a card
  • 5Cities
  • 0Bytes metered

Letto dal catalogo ordini al momento del rendering, mai digitato. Ritira una scheda dallo store domani e questa striscia sarà più corta domani. Cosa è montato e alimentato stamattina è una questione separata con la sua pagina: server istantanei.

La locazione, prima di ogni altra cosa

Un solo locatario. L’intera scheda. Niente di pianificato sopra di te.

Passata attraverso, non suddivisa.

La scheda occupa uno slot PCIe fisico in una macchina noleggiata a un solo account, e il sistema operativo che la possiede è quello che hai installato tu. Carichi il modulo kernel, blocchi il driver, e CUDA o ROCm resta alla release contro cui è stato testato il tuo codice. Non c’è alcun livello hypervisor, nessuna partizione MIG, nessun profilo vGPU e nessuno scheduler a divisione di tempo — la latenza che misuri il primo pomeriggio è la latenza che mantieni, alle quattro del pomeriggio e alle quattro del mattino.

Lo chassis segue la stessa regola: ogni core, ogni DIMM, entrambi i dischi, root, e l’iLO o iDRAC proprio della macchina su una rete di gestione separata per console, supporti virtuali e alimentazione. Un esperimento sul driver che butta giù la rete ti lascia comunque lo schermo.

  • Nessuna fettaNessuna partizione MIG, nessun profilo vGPU, nessuna allocazione frazionaria. Una scheda, un sistema operativo.
  • Nessuna codaNessuno scheduler condivide il silicio. Quando il tuo processo è inattivo, la scheda è inattiva — e ancora tua.
  • Nessun livelloBare metal. Il tuo kernel, i tuoi moduli, la tua versione del driver, bloccati finché non li sposti tu.
  • Nessun contatoreDataset in ingresso, checkpoint e render in uscita. Nulla sulla porta conta i byte.

Il modello di prezzo

Due righe che si sommano. Non un livello.

Un’“istanza” GPU è la decisione di qualcun altro su quanto un acquirente di schede dovrebbe pagare per processore, memoria, dischi e rete attorno alla scheda. Qui quelli sono una riga, la scheda è un’altra, e si sommano — ed è per questo che entrambe le estremità dello scaffale qui sopra si installano nello stesso chassis, e perché cambiare la scheda modifica la fattura esattamente della differenza tra le due schede.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
  3. The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
  4. SetupNothingNo contract; the default term is one month

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Il configuratore arrotonda il prezzo per disco e può discostarsi di un centesimo o due da queste cifre. Cicli di fatturazione più lunghi scontano ulteriormente — prezzi ha ogni cifra in un unico posto, e hardware più vecchio, prezzo più basso è l’argomento costante per cui esiste il fondo dello scaffale.

Memoria della scheda

La compatibilità è binaria. Tutto il resto è solo velocità.

Core e clock determinano quanto velocemente gira un modello. La memoria della scheda determina se gira: i pesi sono residenti oppure no, e una scheda che ha due gigabyte in meno non gira lentamente — esce. Definite questo numero prima di ogni altro, perché è l'unica specifica che quasi nessuno stampa accanto a un prezzo.

Il calcolo è parametri per byte per parametro: due byte ciascuno a 16 bit, uno a 8 bit, mezzo byte a 4 bit. La quantizzazione a 4 bit è la leva che fa stare un modello su uno scaffale più piccolo, e scambia una quantità misurabile di qualità con il posto.

Margine di sicurezza. La tabella sono i pesi e nient'altro. Il runtime, le attivazioni e la cache chiave-valore vivono tutti nella stessa memoria, e la cache cresce con ogni token di contesto — 38 GB di pesi non si servono comodamente da una scheda da 40 GB. Prevedete da un quarto alla metà in più, oppure diteci il modello e la lunghezza di contesto che usate davvero e la dimensioneremo su quello.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Lo chassis sottostante

Quattro piattaforme accettano una scheda, ed è il bus a distinguerle.

Ciascuna assegna allo slot una generazione di collegamento e un budget di linee diversi, e la colonna è stampata perché cambia i risultati e nessun altro la pubblica: un cliente una volta ha sostituito una generazione consumer con la successiva su una piattaforma Gen 3 ed è diventato più lento, e aveva capito il perché prima di noi. Il numero merita di stare sulla pagina.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted
28
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted
44
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted
48
Bus to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted
10
Bus to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Quando la generazione del collegamento conta, misurata per carico di lavoro

Una scheda costruita per un bus più recente funziona correttamente su uno più vecchio; semplicemente non può spostare dati sul collegamento alla velocità di progetto. Se questo vi costi qualcosa dipende interamente da dove risiedono i dati.

  • Vi costa quando il traffico attraversa il bus in continuazione — un ciclo di addestramento che trasmette batch da disco o memoria di sistema, un renderer che invia dati di scena a ogni frame, qualsiasi working set che trabocca dalla memoria della scheda.
  • Non vi costa nulla una volta che i pesi sono residenti e restano residenti — inferenza su un modello che ci sta, transcodifica video, gran parte della simulazione. Il collegamento trasporta richieste e risultati, e quelli sono piccoli.
  • Dite il carico di lavoro se non siete sicuri. Diremo chiaramente se la piattaforma lo strozza — anche quando la specifica onesta è una scheda più economica su un collegamento più veloce invece di una scheda più cara su uno più lento.

Già nella cifra

Cosa include ogni macchina prima che aggiungiate qualcosa.

  • Root, e uno stack di driver che è vostro

    Un sistema operativo pulito e le chiavi. Scegliete voi la release del driver, la versione CUDA o ROCm e la build del framework, e le bloccate — niente si aggiorna sotto una scadenza. Volete il driver già installato prima della consegna? Indicate la versione nell'ordine e ci sarà.

  • Console out-of-band su una rete propria

    iLO sullo chassis HPE, iDRAC sul Dell: console tastiera e schermo, supporti virtuali, controllo dell'alimentazione, log di sensori e hardware. Un modulo che blocca il display o la NIC è un riavvio che fate da soli, guardando il POST — non un ticket.

  • Una porta che non conta nulla

    Senza limiti in entrambe le direzioni alla velocità inclusa e a ogni velocità superiore. Nessun limite di trasferimento, nessuna riga di egress su alcuna fattura — dataset in entrata, checkpoint in uscita, un modello servito a traffico reale, tutto al prezzo della porta. Banda senza limiti è la scala verso l'alto, ed è la riga più grande che questa pagina cancella da una fattura hyperscaler.

  • Reinstallazioni senza ticket

    Immagini del sistema operativo in un clic, tutte le volte che volete, senza costi — un esperimento di driver andato male costa venti minuti. Il DNS inverso è vostro da modificare, IPv6 è incluso, e IPv4 aggiuntivo è una riga di catalogo invece di una trattativa.

  • Ingegneri in turno, ventiquattr'ore su ventiquattro

    Telefono, chat dal vivo e ticket su ogni macchina, e un componente guasto viene sostituito entro quattro ore dalla segnalazione per telefono o chat. Supporto pubblica per iscritto i tempi di risposta e il programma di crediti.

  • Cinque sale su due continenti

    New York, Miami, San Francisco, Amsterdam e Bucarest. Dove sta la macchina determina la vostra latenza verso chi la chiama e il regime di protezione dei dati a cui risponde; data center descrive ogni edificio.

Tempi di consegna

Da mezz'ora a tre settimane, stabilito da dove si trova la scheda oggi.

Un solo numero sarebbe una bugia in un senso o nell'altro, perché non è mai stato un solo numero: una scheda già montata in una macchina in rack è una consegna, una scheda da acquistare è un ordine di acquisto. Ciò che garantiamo è dirvi su quale gradino siete prima di pagare.

  1. ~30 minuti

    La scheda è già montata in una macchina in rack

    Non si installa nulla e non si sposta nulla. La macchina viene preparata con l'immagine e consegnata. Server immediati elenca cosa c'è in piedi adesso.

  2. 4–24 ore

    Viene montata una scheda dal nostro magazzino

    Il caso ordinario per questa pagina. Il componente è in magazzino; un tecnico lo monta, costruisce l'array e installa il sistema operativo. Una macchina in rack vicina ma non esatta — memoria aggiunta, un disco sostituito, l'array ricostruito secondo il vostro layout — è la stessa visita, fatta sul posto.

  3. 5–10 giorni lavorativi

    La scheda viene acquistata

    Un componente che non teniamo viene ordinato, poi la costruzione procede come sopra. Costruzione su ordine è la pagina quando l'intera specifica è vostra.

  4. 10–15 giorni lavorativi

    La scheda è in allocazione

    Gli acceleratori di generazione attuale vengono spediti alla data del distributore, non alla nostra, e indichiamo quel collo di bottiglia prima che vi impegniate invece che dopo. L'hardware acquistato per un cliente viene quotato con tre mesi anticipati, perché è una macchina che non possiamo riaffittare se l'account chiude nella seconda settimana.

Ogni gradino parte quando il pagamento e la verifica antifrode sono completati — l'unico passaggio su cui non faremo promesse: la maggior parte degli ordini si completa entro un paio d'ore, un primo ordine da un account nuovo può richiedere di più. Carta, PayPal, ACH e bonifico sono accettati, e su un primo ordine più grande un bonifico di solito supera la verifica più in fretta di una carta.

Già chiesto, risposto qui

Le undici domande che questa pagina esiste per risolvere.

Raccolte da chat e ticket, più o meno nell'ordine in cui le pongono gli acquirenti. La prima è costata ordini reali, ed è per questo che apre l'elenco.

La GPU è condivisa con qualcuno?
No. Una macchina fisica, un account, e la scheda passata direttamente al sistema operativo che hai installato — nessun hypervisor, nessuna partizione MIG, nessun profilo vGPU, nessuno scheduler a time-slicing, nessun job batch del vicino sul tuo silicio. I numeri che misuri il primo giorno sono i numeri che mantieni.
Due schede entrano in una sola macchina?
Spesso sì, e viene quotato piuttosto che spuntato: lo spazio nel telaio, la larghezza fisica della scheda, il budget delle linee e l'alimentatore determinano il numero, quindi una risposta onesta richiede il componente specifico. Indica la scheda, e la risposta arriva con telaio, quantità e tempi di consegna. Il motivo abituale è la memoria più che la velocità — due schede da 48 GB ospitano un modello che una da 80 GB non può contenere — e multi-GPU e multi-nodo è la pagina adiacente quando la seconda scheda inizia a somigliare a una seconda macchina.
Quale driver e versione CUDA vengono installati?
Quelli che installi tu. La macchina arriva con un sistema operativo pulito e accesso root; blocchi il driver, la versione CUDA o ROCm e la build del framework su ciò contro cui è stato validato il tuo codice, e nulla li sposta in seguito. Se vuoi il driver già installato prima della consegna, indica la versione esatta nell'ordine. Se una scheda specifica deve supportare una specifica versione CUDA, chiedi prima di pagare e la verifichiamo invece di tirare a indovinare.
La scheda che voglio non è disponibile oggi — e allora?
Allora viene montata da magazzino o acquistata, e ti viene detto quale delle due prima che tu paghi: i componenti a magazzino vengono installati entro quattro-ventiquattro ore, quelli acquistati richiedono da cinque a dieci giorni lavorativi, e gli acceleratori soggetti ad allocazione da dieci a quindici. Questa pagina non stampa deliberatamente conteggi di magazzino — una scheda è un componente che montiamo, non un prodotto che va e viene — ma quando l'esigenza è una macchina oggi, server istantanei elenca ciò che è montato in rack e acceso in questo momento.
La scheda può cambiare dopo il deploy?
Sì, nella macchina che già possiedi: nessuna migrazione, nessuna reinstallazione, nessun nuovo indirizzo. È un intervento programmato in rack con una breve interruzione, e la fattura si adegua esattamente alla differenza tra le due schede. Memoria, dischi e velocità di porta si aggiornano con la stessa regola.
Cosa succede quando una scheda si guasta?
Viene sostituita, con una tempistica che l'accordo mette per iscritto: quattro ore dal momento in cui viene segnalata per telefono o chat dal vivo. Se la finestra viene mancata, il credito di servizio segue un programma pubblicato anziché una richiesta di cortesia. Supporto riporta il programma e il numero di telefono.
La larghezza di banda è davvero senza limiti? Quanto costa l'egress?
Davvero: nulla viene misurato in nessuna direzione, a qualsiasi velocità di porta vendiamo, e l'egress costa zero perché non esiste alcun contatore da cui addebitarlo. Sul lavoro con GPU questa è di solito la voce più pesante altrove — un ciclo di addestramento scarica dataset e carica checkpoint, un endpoint di inferenza risponde a traffico reale, e l'egress per gigabyte fattura ognuno di quei byte. Larghezza di banda senza limiti è il gradino sopra la velocità inclusa.
Mensile qui rispetto a una GPU a ore — dov'è il punto di pareggio?
L'aritmetica lo stabilisce. La tariffa oraria vince finché il lavoro è a raffiche e si ferma davvero — fino a qualche centinaio di ore al mese. Superati circa due terzi del mese smette di essere una gara, prima ancora di contare l'egress, lo storage persistente tra un'esecuzione e l'altra e il tempo in coda in attesa di capacità. Mensile significa anche la stessa macchina, gli stessi dischi e gli stessi indirizzi il mese prossimo, cosa a cui i carichi di produzione tengono più di quanto facciano i benchmark.
Come si paga, e che aspetto ha il contratto?
Carta, PayPal, ACH o bonifico bancario — e non c'è alcun contratto da firmare: un mese è il termine predefinito, i cicli da tre, sei e dodici mesi beneficiano di uno sconto, e il rinnovo non fa salire il prezzo. Su un primo ordine consistente un bonifico di solito supera la revisione antifrode più rapidamente di una carta, cosa utile da sapere prima che una build resti in attesa.
E se la scheda si rivela quella sbagliata?
Entro tre giorni di calendario dalla prima attivazione, dopo aver esaurito la risoluzione dei problemi, si applica la politica di rimborso così com'è scritta. La tabella di dimensionamento e la colonna sulla generazione del bus qui sopra esistono proprio per rendere superflua quella clausola — preferiamo convincerti a scendere a una scheda più piccola piuttosto che gestire il reso di una più grande.
Avete la scheda più recente?
A volte — e di solito è la specifica sbagliata. Il componente più nuovo è scarso, soggetto ad allocazione, prezzato come se ogni transistor fosse indispensabile, e montato su piattaforme che non riescono a fornirgli la generazione di bus per cui è stato progettato. La maggior parte del lavoro con GPU qui non è addestramento di frontiera: è servire un modello che già ci sta, codificare video, renderizzare frame, pilotare desktop — lavori in cui la scheda giusta ha due generazioni in meno a un quarto del prezzo. Indica il lavoro; se la risposta è davvero il componente più nuovo, lo diciamo, con il costo e la data in cui può esistere.

Pagine adiacenti

Tutto ciò che è a un passo da questa pagina.

Questa pagina possiede una sola domanda — quali schede montiamo e quanto costa ciascuna. Le domande ai suoi lati hanno ciascuna la propria pagina, e questo è il set completo.

Ancora indeciso tra due scaffali? — chi risponde ha già dimensionato uno di questi prima, e saprà dire quando la scheda più economica è la specifica giusta.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit
57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line
$20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it
$91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone
$70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train
Instinct MI50 16GB, $169.93 a month complete.
Dearest
H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy
One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards
Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment
Card, PayPal, ACH and wire.