Grafikkarten als Zusatzkomponenten auf Bare Metal · Server Room · gegr. 2004

Die Karte ist eine Zeile auf der Rechnung. Die Maschine ist die andere.

Jeder Katalog dieser Branche preist Karte und Server als eine Zahl, die jemand anderes zusammengestellt hat. Dieser hier hält sie auseinander: Die Maschine trägt ihren eigenen Monatsbetrag, die Karte ihren eigenen, und die Summe ist ihre Addition. Stellen Sie unten die beiden Regler ein — was darauf läuft und wie viel Kartenspeicher die Aufgabe braucht — und alles, was dann noch steht, ist ein vollständiger Server, bepreist nach demselben Katalog, aus dem auch die Kasse abrechnet.

Regale eingrenzen Wessen Karte ist es?

Ein Konto pro physischer Maschine. Die Karte wird Ihrem Betriebssystem per PCIe-Passthrough übergeben — Ihr Kernelmodul, Ihre Treiberversion, kein Hypervisor im Pfad.

Die Werkbank

Zwei Regler. Der Rest ist Rechnen.

Nichts hier reserviert Bestand oder eröffnet ein Konto. Die Zahl in jeder Zeile ist der gesamte Server mit eingesetzter Karte — Prozessor, Arbeitsspeicher, gespiegelte Platten, ungedrosselter Port, eine IPv4 — und der eigene Anteil der Karte steht darunter, damit beide Hälften des Geldes sichtbar bleiben.

What runs on it?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Schätzwerte aus dem Bestellkatalog, keine Preisliste, und es sind die Zahlen der Kasse selbst. Eine Karte, deren Hersteller keine Speicherangabe veröffentlicht, erscheint hier ohne Zahl — und fällt heraus, sobald der Speicherregler „beliebig“ verlässt, denn wir zeigen kein Teil, das eine Hürde nimmt, die wir nicht prüfen können; fragen Sie, und wir lesen die Zahl direkt von der Karte ab. Mehrere Teile passen in mehr als ein Gehäuse zu mehr als einem Preis: Die Zeile zeigt den günstigsten Sitz, der Konfigurator listet den Rest.

Gezählt, als die Seite ausgeliefert wurde

  • 57Cards on the shelves
  • $20.79Cheapest card line, per month
  • $91.72Cheapest complete build with a card
  • 5Cities
  • 0Bytes metered

Zur Renderzeit aus dem Bestellkatalog gelesen, nie getippt. Nehmen Sie morgen eine Karte aus dem Shop, ist dieser Streifen morgen kleiner. Was heute Morgen gerackt und eingeschaltet ist, ist eine separate Frage mit eigener Seite: Sofort-Server.

Mietverhältnis, vor allem anderen

Ein Mieter. Die ganze Karte. Nichts über Ihnen eingeplant.

Durchgereicht, nicht zerstückelt.

Die Karte steckt in einem physischen PCIe-Slot einer Maschine, die an ein Konto vermietet ist, und das Betriebssystem, dem sie gehört, ist das von Ihnen installierte. Sie laden das Kernelmodul, Sie pinnen den Treiber, und CUDA oder ROCm bleibt auf dem Release, gegen das Ihr Code getestet wurde. Es gibt keine Hypervisor-Schicht, keine MIG-Partition, kein vGPU-Profil und keinen Time-Slicing-Scheduler — die Latenz, die Sie am ersten Nachmittag messen, ist die Latenz, die Sie behalten, um vier Uhr nachmittags und um vier Uhr morgens.

Das Gehäuse folgt derselben Regel: jeder Kern, jedes DIMM, beide Platten, Root und das eigene iLO oder iDRAC der Maschine in einem separaten Managementnetz für Konsole, virtuelle Medien und Strom. Ein Treiberexperiment, das das Netzwerk lahmlegt, lässt Ihnen trotzdem den Bildschirm.

  • Kein StückKeine MIG-Partition, kein vGPU-Profil, keine anteilige Zuweisung. Eine Karte, ein Betriebssystem.
  • Keine WarteschlangeKein Scheduler teilt das Silizium. Wenn Ihr Prozess inaktiv ist, ist die Karte inaktiv — und gehört trotzdem Ihnen.
  • Keine SchichtBare Metal. Ihr Kernel, Ihre Module, Ihre Treiberversion, gepinnt, bis Sie sie ändern.
  • Kein ZählerDatensätze rein, Checkpoints und Renderings raus. Nichts am Port zählt die Bytes.

Das Preismodell

Zwei Zeilen, die sich addieren. Keine Stufe.

Eine GPU-„Instanz“ ist die Entscheidung eines anderen darüber, was ein Kartenkäufer für Prozessor, Speicher, Platten und Netzwerk rund um die Karte zahlen soll. Hier sind diese eine Zeile, die Karte eine andere, und sie addieren sich — deshalb passt jedes Ende des Regals oben in dasselbe Gehäuse, und deshalb ändert ein Kartentausch die Rechnung um exakt die Differenz zwischen den beiden Karten.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
  3. The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
  4. SetupNothingNo contract; the default term is one month

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Der Konfigurator rundet die Preise pro Platte und kann ein oder zwei Cent von diesen Zahlen abweichen. Längere Abrechnungszyklen rabattieren weiter — Preise hat alle Zahlen an einem Ort, und ältere Hardware, niedrigerer Preis ist das ständige Argument dafür, warum das untere Ende des Regals existiert.

Kartenspeicher

Passung ist binär. Alles andere ist nur Geschwindigkeit.

Kerne und Taktraten bestimmen, wie schnell ein Modell läuft. Der Kartenspeicher bestimmt, ob es läuft: Die Gewichte sind entweder resident oder nicht, und eine Karte, der zwei Gigabyte fehlen, läuft nicht langsam — sie beendet sich. Klären Sie diese Zahl vor jeder anderen, denn es ist die eine Spezifikation, die fast niemand neben einem Preis abdruckt.

Die Rechnung lautet Parameter mal Bytes pro Parameter: zwei Bytes pro Parameter bei 16 Bit, eines bei 8 Bit, ein halbes Byte bei 4 Bit. Die Quantisierung auf 4 Bit ist der Hebel, der ein Modell auf ein kleineres Regal setzt, und sie tauscht ein messbares Maß an Qualität gegen den Sitzplatz.

Planen Sie Spielraum ein. Die Tabelle sind die Gewichte und sonst nichts. Die Laufzeitumgebung, die Aktivierungen und der Key-Value-Cache leben alle im selben Speicher, und der Cache wächst mit jedem Token Kontext — 38 GB Gewichte lassen sich nicht bequem von einer 40 GB-Karte bedienen. Planen Sie ein Viertel bis die Hälfte zusätzlich ein, oder nennen Sie uns das Modell und die tatsächlich genutzte Kontextlänge, und wir dimensionieren die Karte danach.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Das Chassis darunter

Vier Plattformen nehmen eine Karte auf, und der Bus trennt sie.

Jede gibt dem Steckplatz eine andere Link-Generation und ein anderes Lane-Budget, und die Spalte wird abgedruckt, weil sie Ergebnisse verändert und niemand sonst sie veröffentlicht: Ein Kunde tauschte einmal eine Consumer-Generation gegen die nächste auf einer Gen 3-Plattform und wurde dadurch langsamer — und hatte die Ursache vor uns herausgefunden. Die Zahl gehört auf die Seite.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted
28
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted
44
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted
48
Bus to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted
10
Bus to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Wann die Link-Generation zählt, gemessen an der Arbeitslast

Eine Karte, die für einen neueren Bus gebaut ist, läuft auf einem älteren korrekt; sie kann Daten nur nicht mit ihrer geplanten Rate über den Link bewegen. Ob Sie das etwas kostet, hängt vollständig davon ab, wo die Daten liegen.

  • Es kostet Sie etwas, wenn der Verkehr den Bus kontinuierlich überquert — eine Trainingsschleife, die Batches von der Festplatte oder aus dem Systemspeicher streamt, ein Renderer, der jede Frame Szenendaten zuführt, jedes Working Set, das aus dem Kartenspeicher ausläuft.
  • Es kostet Sie nichts, sobald die Gewichte resident sind und resident bleiben — Inferenz auf einem Modell, das passt, Video-Transkodierung, die meisten Simulationen. Der Link transportiert dann Anfragen und Ergebnisse, und die sind klein.
  • Nennen Sie die Arbeitslast, wenn Sie unsicher sind. Wir sagen Ihnen klar, ob die Plattform sie ausbremst — auch wenn die ehrliche Spezifikation eine günstigere Karte an einem schnelleren Link ist statt einer teureren Karte an einem langsameren.

Bereits im Preis enthalten

Womit jede Maschine ausgeliefert wird, bevor Sie etwas hinzufügen.

  • Root und ein Treiber-Stack, der Ihnen gehört

    Ein sauberes Betriebssystem und die Schlüssel. Sie wählen die Treiberversion, die CUDA- oder ROCm-Version und den Framework-Build und pinnen sie fest — nichts aktualisiert sich unter einer Deadline. Möchten Sie den Treiber vor der Übergabe installiert haben? Nennen Sie die Version in der Bestellung, und er wird es sein.

  • Out-of-Band-Konsole im eigenen Netz

    iLO beim HPE-Chassis, iDRAC beim Dell: Tastatur-und-Bildschirm-Konsole, virtuelle Medien, Stromsteuerung, Sensor- und Hardware-Protokolle. Ein Modul, das den Bildschirm oder die NIC blockiert, ist ein Neustart, den Sie selbst durchführen, während Sie den POST beobachten — kein Ticket.

  • Ein Port, den nichts zählt

    Unlimitiert in beide Richtungen bei der enthaltenen Geschwindigkeit und bei jeder Geschwindigkeit darüber. Kein Transferkontingent, keine Egress-Zeile auf irgendeiner Rechnung — Datensätze rein, Checkpoints raus, ein Modell, das echten Traffic bedient, alles zum Preis des Ports. Unlimitierte Bandbreite ist die Leiter nach oben und die größte Zeile, die diese Seite aus einer Hyperscaler-Rechnung streicht.

  • Neuinstallationen ohne Ticket

    Betriebssystem-Images mit einem Klick, so oft Sie möchten, kostenlos — ein Treiberexperiment, das schiefgeht, kostet zwanzig Minuten. Reverse-DNS können Sie selbst bearbeiten, IPv6 ist enthalten, und zusätzliches IPv4 ist eine Katalogzeile statt einer Verhandlung.

  • Ingenieure im Schichtdienst, rund um die Uhr

    Telefon, Live-Chat und Tickets auf jeder Maschine, und eine ausgefallene Komponente wird innerhalb von vier Stunden nach der Meldung per Telefon oder Chat ersetzt. Support veröffentlicht die Reaktionszeiten und den Gutschriftplan schriftlich.

  • Fünf Standorte auf zwei Kontinenten

    New York, Miami, San Francisco, Amsterdam und Bukarest. Wo die Maschine steht, bestimmt Ihre Latenz zu dem, was sie aufruft, und das Datenschutzregime, dem sie unterliegt; Rechenzentren beschreibt jedes Gebäude.

Lieferzeit

Eine halbe Stunde bis drei Wochen, bestimmt davon, wo die Karte heute steht.

Eine einzige Zahl wäre eine Lüge in die eine oder andere Richtung, denn es war nie eine Zahl: Eine Karte, die bereits in einer gerackten Maschine sitzt, ist eine Übergabe; eine Karte, die gekauft werden muss, ist eine Bestellung. Wozu wir uns verpflichten, ist, Ihnen vor der Zahlung zu sagen, auf welcher Stufe Sie stehen.

  1. ~30 Minuten

    Die Karte sitzt bereits in einer gerackten Maschine

    Es wird nichts eingebaut und nichts bewegt. Die Maschine wird mit einem Image versehen und übergeben. Sofort-Server listet, was gerade dort steht.

  2. 4–24 Stunden

    Eine Karte aus unserem eigenen Bestand wird eingebaut

    Der Normalfall für diese Seite. Das Teil liegt im Lager; ein Techniker setzt es ein, baut das Array auf und installiert das Betriebssystem. Eine gerackte Maschine, die nah dran, aber nicht exakt ist — Speicher ergänzt, eine Festplatte getauscht, das Array nach Ihrem Layout neu aufgebaut — ist derselbe Besuch, an Ort und Stelle erledigt.

  3. 5–10 Werktage

    Die Karte wird eingekauft

    Ein Teil, das wir nicht vorrätig haben, wird bestellt, dann läuft der Aufbau wie oben. Build-to-Order ist die Seite, wenn die gesamte Spezifikation Ihnen gehört.

  4. 10–15 Werktage

    Die Karte ist auf Zuteilung

    Beschleuniger der aktuellen Generation werden zum Datum des Distributors geliefert, nicht zu unserem, und wir nennen diesen langen Hebel, bevor Sie sich festlegen, nicht danach. Hardware, die für einen Kunden eingekauft wird, wird mit drei Monaten Vorauszahlung angeboten, denn es ist eine Maschine, die wir nicht neu vermieten können, wenn das Konto in Woche zwei schließt.

Jede Stufe beginnt, wenn Zahlung und Betrugsprüfung abgeschlossen sind — der eine Schritt, für den wir kein Versprechen abgeben: Die meisten Bestellungen sind innerhalb weniger Stunden abgeschlossen, eine erste Bestellung von einem neuen Konto kann länger dauern. Karte, PayPal, ACH und Überweisung werden akzeptiert, und bei einer größeren Erstbestellung ist eine Überweisung in der Regel schneller durch die Prüfung als eine Karte.

Schon gefragt, hier beantwortet

Die elf Fragen, die diese Seite klären soll.

Gesammelt aus Chat und Tickets, ungefähr in der Reihenfolge, in der Käufer sie stellen. Die erste hat echte Bestellungen gekostet, deshalb eröffnet sie die Liste.

Teile ich die GPU mit jemandem?
Nein. Eine physische Maschine, ein Konto, und die Karte wird an das von Ihnen installierte Betriebssystem durchgereicht — kein Hypervisor, keine MIG-Partition, kein vGPU-Profil, kein Time-Slicing-Scheduler, kein Batch-Job eines Nachbarn auf Ihrem Silizium. Die Zahlen, die Sie am ersten Tag benchmarken, sind die Zahlen, die Sie behalten.
Passen zwei Karten in eine Maschine?
Oft, und das wird angeboten statt angekreuzt: Gehäusefreiheit, die physische Breite der Karte, das Lane-Budget und das Netzteil bestimmen die Anzahl, daher braucht eine ehrliche Antwort das konkrete Bauteil. Nennen Sie die Karte, und die Antwort kommt mit Gehäuse, Anzahl und Lieferzeit zurück. Das übliche Motiv ist Speicher statt Geschwindigkeit — zwei 48 GB-Karten halten ein Modell, das eine 80 GB-Karte nicht halten kann — und Multi-GPU und Multi-Node ist die angrenzende Seite, wenn die zweite Karte langsam wie eine zweite Maschine aussieht.
Welcher Treiber und welche CUDA-Version sind vorinstalliert?
Die, die Sie installieren. Die Maschine kommt mit einem sauberen Betriebssystem und Root; Sie legen den Treiber, die CUDA- oder ROCm-Version und den Framework-Build auf das fest, wogegen Ihr Code validiert wurde, und danach bewegt sie nichts mehr. Wenn der Treiber vor der Übergabe installiert sein soll, geben Sie die exakte Version in der Bestellung an. Wenn eine bestimmte Karte eine bestimmte CUDA-Version unterstützen muss, fragen Sie vor der Zahlung, und wir prüfen es, statt zu raten.
Die Karte, die ich will, ist heute nicht auf Lager — was dann?
Dann wird sie aus dem Bestand eingebaut oder beschafft, und Sie erfahren es vor der Zahlung: Lagerteile werden innerhalb von vier bis vierundzwanzig Stunden eingebaut, beschaffte Teile brauchen fünf bis zehn Werktage, und kontingentgebundene Beschleuniger zehn bis fünfzehn. Diese Seite druckt bewusst keine Lagerbestände — eine Karte ist ein Teil, das wir einbauen, kein Produkt, das kommt und geht — aber wenn die Anforderung eine Maschine heute ist, listet Instant Server, was gerade gerackt und eingeschaltet ist.
Kann die Karte nach der Bereitstellung geändert werden?
Ja, in der Maschine, die Sie bereits haben: keine Migration, keine Neuinstallation, keine neuen Adressen. Es ist ein geplanter Rack-Besuch mit kurzer Ausfallzeit, und die Rechnung ändert sich um genau die Differenz zwischen den beiden Karten. Speicher, Festplatten und Portgeschwindigkeit werden nach derselben Regel aufgerüstet.
Was passiert, wenn eine Karte ausfällt?
Sie wird getauscht, nach einer Uhr, die der Vertrag schriftlich festhält: vier Stunden ab dem Moment, in dem es telefonisch oder per Live-Chat gemeldet wird. Wird das Zeitfenster verpasst, folgt die Servicegutschrift einem veröffentlichten Zeitplan statt einer Kulanzanfrage. Support enthält den Zeitplan und die Telefonnummer.
Ist die Bandbreite wirklich unlimitiert? Was kostet Egress?
Wirklich: In keiner Richtung wird etwas gemessen, bei keiner Portgeschwindigkeit, die wir verkaufen, und Egress kostet null, weil kein Zähler existiert, um ihn zu berechnen. Bei GPU-Arbeit ist das anderswo routinemäßig der größte Posten — ein Trainingslauf zieht Datensätze herein und schiebt Checkpoints hinaus, ein Inferenz-Endpunkt beantwortet echten Traffic, und Egress pro Gigabyte berechnet jedes einzelne dieser Bytes. Unlimitierte Bandbreite ist die Leiter über der enthaltenen Geschwindigkeit.
Monatlich hier versus eine GPU pro Stunde — wo liegt der Break-even?
Arithmetik klärt das. Stündlich gewinnt, solange die Arbeit stoßweise ist und wirklich stoppt — bis zu ein paar hundert Stunden im Monat. Ab etwa zwei Dritteln des Monats ist es nicht mehr knapp, noch bevor Egress, persistenter Speicher zwischen den Läufen und Wartezeit auf Kapazität gezählt werden. Monatlich bedeutet außerdem dieselbe Maschine, dieselben Festplatten und Adressen im nächsten Monat, worauf Produktions-Workloads mehr achten als Benchmarks.
Wie wird bezahlt, und wie sieht der Vertrag aus?
Karte, PayPal, ACH oder Banküberweisung — und es gibt keinen Vertrag zu unterschreiben: Ein Monat ist die Standardlaufzeit, Drei-, Sechs- und Zwölfmonatszyklen erhalten einen Rabatt, und die Verlängerung erhöht den Preis nicht. Bei einer größeren Erstbestellung passiert eine Überweisung die Betrugsprüfung meist schneller als eine Karte, was gut zu wissen ist, bevor ein Build darauf wartet.
Was, wenn sich herausstellt, dass die Karte die falsche ist?
Innerhalb von drei Kalendertagen nach der ersten Aktivierung, nachdem die Fehlersuche ausgeschöpft ist, gilt die Rückerstattungsrichtlinie wie geschrieben. Die Größentabelle und die Spalte zur Busgeneration oben existieren genau dazu, diese Klausel unnötig zu machen — wir argumentieren Sie lieber auf eine kleinere Karte herunter, als die Rücksendung einer größeren abzuwickeln.
Führen Sie die neueste Karte?
Manchmal — und es ist meist die falsche Spezifikation. Das neueste Teil ist knapp, kontingentiert, bepreist, als wäre jeder Transistor nötig, und sitzt auf Plattformen, die ihm nicht die Busgeneration liefern können, für die es entworfen wurde. Die meiste GPU-Arbeit hier ist kein Frontier-Training: Es geht darum, ein Modell zu bedienen, das bereits passt, Video zu kodieren, Frames zu rendern, Desktops anzutreiben — Jobs, bei denen die richtige Karte zwei Generationen alt ist und ein Viertel kostet. Nennen Sie den Job; wenn die Antwort wirklich das neueste Teil ist, sagen wir es, mit den Kosten und dem Datum, an dem es existieren kann.

Angrenzende Seiten

Alles einen Schritt von dieser Seite entfernt.

Diese Seite beantwortet eine Frage — welche Karten wir einbauen und was jede kostet. Die Fragen auf beiden Seiten davon haben jeweils eine eigene Seite, und dies ist das vollständige Set.

Wägen Sie noch zwischen zwei Regalen ab? — wer auch immer antwortet, hat so etwas schon dimensioniert und sagt Ihnen, wann die günstigere Karte die richtige Spezifikation ist.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit
57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line
$20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it
$91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone
$70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train
Instinct MI50 16GB, $169.93 a month complete.
Dearest
H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy
One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards
Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment
Card, PayPal, ACH and wire.