Cartes graphiques additionnelles sur bare metal · Server Room · depuis 2004

La carte occupe une ligne sur la facture. La machine occupe l’autre.

Partout dans ce secteur, les catalogues regroupent la carte et le serveur en un seul chiffre composé par quelqu’un d’autre. Ici, ils restent séparés : la machine a son propre montant mensuel, la carte a le sien, et le total est leur somme. Réglez les deux commandes ci-dessous — ce qui tourne dessus et la quantité de mémoire de carte dont le travail a besoin — et tout ce qui reste est un serveur complet, facturé selon le même catalogue que celui utilisé par le paiement.

Affiner la sélection À qui appartient la carte ?

Un compte par machine physique. La carte est remise à votre système d’exploitation via le passthrough PCIe — votre module noyau, votre version de pilote, aucun hyperviseur sur le chemin.

Le banc d’essai

Deux commandes. Le reste n’est que calcul.

Rien ici ne réserve de stock ni n’ouvre de compte. Le chiffre de chaque ligne correspond au serveur complet avec cette carte installée — processeur, mémoire, disques en miroir, port non mesuré, une IPv4 — et la part propre à la carte est indiquée en dessous, afin que les deux moitiés du montant restent visibles.

What runs on it?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Estimations issues du catalogue de commandes, pas d’une grille tarifaire, et ce sont les chiffres mêmes du paiement. Une carte dont le fabricant ne publie aucun chiffre de mémoire n’en affiche aucun ici — et disparaît dès que la commande de mémoire quitte “quelconque”, car nous ne montrerons pas un composant franchissant une barre que nous ne pouvons pas vérifier ; demandez et nous lisons le chiffre directement sur la carte. Plusieurs composants s’installent dans plus d’un châssis à plus d’un prix : la ligne montre le siège le moins cher, le configurateur liste le reste.

Compté au moment où la page a été servie

  • 57Cards on the shelves
  • $20.79Cheapest card line, per month
  • $91.72Cheapest complete build with a card
  • 5Cities
  • 0Bytes metered

Lu depuis le catalogue de commandes au moment du rendu, jamais saisi. Retirez une carte de la boutique demain et cette bande sera plus courte demain. Ce qui est en rack et sous tension ce matin est une question distincte avec sa propre page : serveurs instantanés.

La location, avant toute chose

Un seul locataire. Toute la carte. Rien de planifié au-dessus de vous.

Transmise, pas découpée.

La carte occupe un slot PCIe physique dans une machine louée à un seul compte, et le système d’exploitation qui la possède est celui que vous avez installé. Vous chargez le module noyau, vous épinglez le pilote, et CUDA ou ROCm reste à la version contre laquelle votre code a été testé. Il n’y a ni couche d’hyperviseur, ni partition MIG, ni profil vGPU, ni ordonnanceur à temps partagé — la latence que vous mesurez le premier après-midi est celle que vous conservez, à quatre heures de l’après-midi comme à quatre heures du matin.

Le châssis suit la même règle : chaque cœur, chaque barrette DIMM, les deux disques, le root, et l’iLO ou l’iDRAC propre à la machine sur un réseau de gestion séparé pour la console, les médias virtuels et l’alimentation. Une expérience de pilote qui fait tomber le réseau vous laisse toujours l’écran.

  • Aucune tranchePas de partition MIG, pas de profil vGPU, pas d’allocation fractionnaire. Une carte, un système d’exploitation.
  • Aucune fileAucun ordonnanceur ne partage le silicium. Quand votre processus est inactif, la carte est inactive — et toujours à vous.
  • Aucune coucheBare metal. Votre noyau, vos modules, votre version de pilote, épinglés jusqu’à ce que vous les déplaciez.
  • Aucun compteurJeux de données entrants, points de contrôle et rendus sortants. Rien sur le port ne compte les octets.

Le modèle de tarification

Deux lignes qui s’additionnent. Pas un palier.

Une “instance” GPU est la décision de quelqu’un d’autre sur ce qu’un acheteur de carte devrait payer pour le processeur, la mémoire, les disques et le réseau autour de la carte. Ici, ceux-ci forment une ligne, la carte en forme une autre, et elles s’additionnent — c’est pourquoi chaque extrémité du rayon ci-dessus s’installe dans le même châssis, et pourquoi remplacer la carte modifie la facture exactement de la différence entre les deux cartes.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
  3. The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
  4. SetupNothingNo contract; the default term is one month

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Le configurateur arrondit la tarification par disque et peut s’écarter d’un ou deux centimes de ces chiffres. Des cycles de facturation plus longs offrent des remises supplémentaires — tarification rassemble tous les chiffres en un seul endroit, et matériel plus ancien, prix plus bas est l’argument permanent expliquant pourquoi le bas du rayon existe.

Mémoire de la carte

L’ajustement est binaire. Tout le reste n’est que vitesse.

Les cœurs et les fréquences déterminent la vitesse d’un modèle. La mémoire de la carte détermine s’il tourne : les poids sont résidents ou ils ne le sont pas, et une carte à deux gigaoctets près ne tourne pas lentement — elle s’arrête. Réglez ce chiffre avant tout autre, car c’est la seule spécification que presque personne n’imprime à côté d’un prix.

Le calcul est paramètres fois octets par paramètre : deux octets chacun en 16 bits, un en 8 bits, un demi-octet en 4 bits. La quantification en 4 bits est le levier qui installe un modèle sur une étagère plus petite, et elle échange une part mesurable de qualité contre la place.

Prévoyez de la marge. Le tableau ne compte que les poids. L’exécution, les activations et le cache clé-valeur vivent tous dans la même mémoire, et le cache grandit avec chaque jeton de contexte — 38 Go de poids ne tiennent pas confortablement sur une carte de 40 Go. Comptez un quart à la moitié de plus, ou indiquez-nous le modèle et la longueur de contexte que vous utilisez réellement et nous dimensionnerons en conséquence.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Le châssis en dessous

Quatre plateformes accueillent une carte, et c’est le bus qui les distingue.

Chacune donne au slot une génération de liaison et un budget de voies différents, et la colonne est imprimée parce qu’elle change les résultats et que personne d’autre ne la publie : un client a un jour remplacé une génération grand public par la suivante sur une plateforme Gen 3 et l’a rendue plus lente, et il avait compris pourquoi avant nous. Ce chiffre a sa place sur la page.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted
28
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted
44
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted
48
Bus to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted
10
Bus to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Quand la génération de liaison compte, mesurée par charge de travail

Une carte conçue pour un bus plus récent fonctionne correctement sur un plus ancien ; elle ne peut simplement pas déplacer les données sur la liaison à son débit nominal. Que cela vous coûte quelque chose dépend entièrement de l’endroit où se trouvent les données.

  • Cela vous coûte quand le trafic traverse le bus en continu — une boucle d’entraînement qui envoie des lots depuis le disque ou la mémoire système, un moteur de rendu qui alimente les données de scène à chaque image, tout ensemble de travail qui déborde de la mémoire de la carte.
  • Cela ne vous coûte rien une fois que les poids sont résidents et le restent — l’inférence sur un modèle qui tient, le transcodage vidéo, la plupart des simulations. La liaison transporte alors des requêtes et des résultats, et ceux-ci sont petits.
  • Nommez la charge de travail en cas de doute. Nous dirons clairement si la plateforme la bride — y compris quand la spécification honnête est une carte moins chère sur une liaison plus rapide plutôt qu’une carte plus chère sur une liaison plus lente.

Déjà dans le prix

Ce que chaque machine embarque avant que vous n’ajoutiez quoi que ce soit.

  • Root, et une pile de pilotes qui vous appartient

    Un système d’exploitation propre et les clés. Vous choisissez la version du pilote, la version CUDA ou ROCm et la compilation du framework, et vous les figez — rien ne se met à jour sous une échéance. Vous voulez le pilote en place avant la livraison ? Indiquez la version sur la commande et il le sera.

  • Console hors bande sur son propre réseau

    iLO sur le châssis HPE, iDRAC sur le Dell : console clavier-écran, média virtuel, contrôle d’alimentation, journaux de capteurs et de matériel. Un module qui bloque l’affichage ou la carte réseau est un redémarrage que vous effectuez vous-même, en regardant le POST — pas un ticket.

  • Un port que rien ne compte

    Sans mesure dans les deux sens à la vitesse incluse et à toutes les vitesses supérieures. Pas de quota de transfert, pas de ligne de sortie sur aucune facture — jeux de données entrants, points de contrôle sortants, un modèle servi à du trafic réel, le tout au prix du port. La bande passante sans mesure est l’échelon vers le haut, et c’est la plus grande ligne que cette page supprime d’une facture d’hyperscaler.

  • Réinstallations sans ticket

    Images du système d’exploitation en un clic, aussi souvent que vous le souhaitez, sans frais — une expérience de pilote qui tourne mal coûte vingt minutes. Le DNS inverse est à vous, l’IPv6 est incluse, et l’IPv4 supplémentaire est une ligne de catalogue plutôt qu’une négociation.

  • Ingénieurs de garde, 24 heures sur 24

    Téléphone, chat en direct et tickets sur chaque machine, et un composant défaillant est remplacé dans les quatre heures suivant le signalement par téléphone ou chat. Le support publie les délais de réponse et le barème de crédits par écrit.

  • Cinq salles sur deux continents

    New York, Miami, San Francisco, Amsterdam et Bucarest. L’endroit où se trouve la machine détermine votre latence vers ce qui l’appelle et le régime de protection des données auquel elle répond ; les centres de données décrivent chaque bâtiment.

Délai de livraison

D’une demi-heure à trois semaines, selon l’endroit où se trouve la carte aujourd’hui.

Un seul chiffre serait un mensonge dans un sens ou dans l’autre, car cela n’a jamais été un seul chiffre : une carte déjà installée dans une machine en rack est une remise, une carte qu’il faut acheter est un bon de commande. Ce à quoi nous nous engageons, c’est à vous dire sur quel échelon vous êtes avant de payer.

  1. ~30 minutes

    La carte est déjà installée dans une machine en rack

    Rien n’est monté et rien ne bouge. La machine est imagée et remise. Les serveurs instantanés listent ce qui est disponible là, maintenant.

  2. 4–24 heures

    Une carte de notre propre stock est installée

    Le cas ordinaire de cette page. La pièce est dans la réserve ; un technicien l’installe, construit la matrice et installe le système d’exploitation. Une machine en rack proche mais pas exacte — mémoire ajoutée, un disque remplacé, la matrice reconstruite selon votre disposition — est la même intervention, faite sur place.

  3. 5–10 jours ouvrés

    La carte est achetée

    Une pièce que nous ne détenons pas est commandée, puis la construction se déroule comme ci-dessus. La construction à la demande est la page quand toute la spécification est à vous.

  4. 10–15 jours ouvrés

    La carte est sur allocation

    Les accélérateurs de génération actuelle sont livrés à la date du distributeur, pas à la nôtre, et nous nommons ce long pôle avant que vous ne vous engagiez plutôt qu’après. Le matériel acheté pour un client est facturé avec trois mois d’avance, car c’est une machine que nous ne pouvons pas relouer si le compte ferme en deuxième semaine.

Chaque échelon démarre quand le paiement et la vérification antifraude sont validés — la seule étape sur laquelle nous ne ferons pas de promesse : la plupart des commandes sont validées en quelques heures, une première commande d’un nouveau compte peut prendre plus longtemps. Carte, PayPal, ACH et virement sont acceptés, et sur une première commande importante, un virement est généralement validé plus vite qu’une carte.

Déjà posées, réponses ici

Les onze questions que cette page existe pour trancher.

Recueillies dans le chat et les tickets, à peu près dans l’ordre où les acheteurs les posent. La première a coûté de vraies commandes, c’est pourquoi elle ouvre la liste.

Est-ce que je partage le GPU avec quelqu’un ?
Non. Une machine physique, un compte, et la carte transmise au système d’exploitation que vous avez installé — pas d’hyperviseur, pas de partition MIG, pas de profil vGPU, pas de planificateur à tranches de temps, pas de tâche par lots d’un voisin sur votre silicium. Les chiffres que vous mesurez le premier jour sont les chiffres que vous gardez.
Est-ce que deux cartes tiennent dans une seule machine ?
Souvent, et c’est une question de devis plutôt que de case à cocher : le dégagement du châssis, la largeur physique de la carte, le budget de lignes et l’alimentation déterminent le nombre, donc une réponse honnête exige la pièce précise. Indiquez la carte, et la réponse revient avec le châssis, le nombre et le délai. La motivation habituelle est la mémoire plutôt que la vitesse — deux cartes de 48 Go contiennent un modèle qu’une carte de 80 Go ne peut pas contenir — et multi-GPU et multi-nœud est la page voisine quand la deuxième carte commence à ressembler à une deuxième machine.
Quel pilote et quelle version CUDA sont livrés avec ?
Ceux que vous installez. La machine arrive avec un système d’exploitation propre et un accès root ; vous figez le pilote, la version CUDA ou ROCm et la compilation du framework sur ce contre quoi votre code a été validé, et rien ne les modifie ensuite. Si vous voulez le pilote en place avant la livraison, indiquez la version exacte sur la commande. Si une carte précise doit prendre en charge une version CUDA précise, demandez avant de payer et nous vérifions au lieu de deviner.
La carte que je veux n’est pas en rayon aujourd’hui — et alors ?
Alors elle est montée depuis le stock ou achetée, et vous êtes prévenu avant de payer : les pièces en stock sont installées en quatre à vingt-quatre heures, les pièces achetées prennent cinq à dix jours ouvrés, et les accélérateurs soumis à allocation dix à quinze. Cette page n’affiche volontairement aucun compteur de stock — une carte est une pièce que nous montons, pas un produit qui va et vient — mais quand le besoin est une machine aujourd’hui, serveurs instantanés liste ce qui est en baie et sous tension en ce moment.
La carte peut-elle changer après le déploiement ?
Oui, dans la machine que vous détenez déjà : pas de migration, pas de réinstallation, pas de nouvelles adresses. C’est une intervention planifiée en baie avec une courte interruption, et la facture évolue exactement de la différence entre les deux cartes. La mémoire, les disques et la vitesse de port évoluent selon la même règle.
Que se passe-t-il quand une carte meurt ?
Elle est remplacée, selon une horloge que le contrat met par écrit : quatre heures à partir du moment où elle est signalée par téléphone ou chat en direct. Si le délai est dépassé, l’avoir de service suit un barème publié plutôt qu’une demande de geste commercial. Support contient le barème et le numéro de téléphone.
La bande passante est-elle vraiment non mesurée ? Que coûte le trafic sortant ?
Vraiment : rien n’est mesuré dans un sens ni dans l’autre, à n’importe quelle vitesse de port que nous vendons, et le trafic sortant coûte zéro parce qu’aucun compteur n’existe pour le facturer. Sur les charges GPU, c’est souvent la plus grosse ligne ailleurs — un entraînement aspire des jeux de données et pousse des points de contrôle, un point de terminaison d’inférence répond à du trafic réel, et le trafic sortant au gigaoctet facture chacun de ces octets. Bande passante non mesurée est l’échelon au-dessus de la vitesse incluse.
Mensuel ici contre un GPU à l’heure — où est le point de bascule ?
L’arithmétique tranche. L’horaire gagne tant que le travail est sporadique et s’arrête vraiment — jusqu’à quelques centaines d’heures par mois. Au-delà d’environ deux tiers du mois, ce n’est plus serré, avant même de compter le trafic sortant, le stockage persistant entre les exécutions et le temps de file d’attente à attendre de la capacité. Le mensuel signifie aussi la même machine, les mêmes disques et les mêmes adresses le mois suivant, ce qui compte davantage pour les charges de production que pour les benchmarks.
Comment paie-t-on, et à quoi ressemble le contrat ?
Carte, PayPal, ACH ou virement bancaire — et il n’y a aucun contrat à signer : un mois est la durée par défaut, les cycles de trois, six et douze mois bénéficient d’une remise, et le renouvellement n’augmente pas le prix. Sur une première commande importante, un virement passe généralement la vérification anti-fraude plus vite qu’une carte, ce qui est bon à savoir avant qu’une construction n’attende dessus.
Et si la carte s’avère être la mauvaise ?
Dans les trois jours calendaires suivant la première activation, une fois le dépannage épuisé, la politique de remboursement s’applique telle qu’elle est écrite. Le tableau de dimensionnement et la colonne de génération de bus ci-dessus existent précisément pour rendre cette clause inutile — nous préférons vous convaincre de descendre vers une carte plus petite plutôt que de traiter le retour d’une plus grande.
Proposez-vous la carte la plus récente ?
Parfois — et c’est généralement la mauvaise spécification. La pièce la plus récente est rare, sous allocation, tarifée comme si chaque transistor était nécessaire, et montée sur des plateformes incapables de lui fournir la génération de bus pour laquelle elle a été conçue. La plupart des charges GPU ici ne sont pas de l’entraînement de pointe : c’est servir un modèle qui tient déjà, encoder de la vidéo, rendre des images, piloter des bureaux — des tâches où la bonne carte a deux générations de retard pour un quart du prix. Décrivez la tâche ; si la réponse est vraiment la pièce la plus récente, nous le disons, avec le coût et la date à laquelle elle peut exister.

Pages adjacentes

Tout ce qui est à un pas de cette page.

Cette page possède une seule question — quelles cartes nous montons et ce que chacune coûte. Les questions de part et d’autre ont chacune leur propre page, et voici l’ensemble complet.

Vous hésitez encore entre deux étagères ? — celui qui répond a déjà dimensionné l’une de ces configurations, et saura dire quand la carte moins chère est la bonne spécification.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit
57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line
$20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it
$91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone
$70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train
Instinct MI50 16GB, $169.93 a month complete.
Dearest
H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy
One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards
Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment
Card, PayPal, ACH and wire.