Karty graficzne na gołym metalu · Server Room · od 2004 r.

Karta to jedna pozycja na fakturze. Maszyna to druga.

Każdy katalog w tej branży wycenia kartę i serwer jako jedną kwotę, którą ułożył ktoś inny. Ten katalog je rozdziela: maszyna ma własną miesięczną kwotę, karta ma własną, a suma to ich dodanie. Ustaw dwa poniższe suwaki — co na tym działa i ile pamięci karty potrzebuje zadanie — a wszystko, co nadal widnieje, to kompletny serwer wyceniony według tego samego katalogu, z którego rozlicza koszyk.

Zawęź półki Czyja to karta?

Jedno konto na jedną fizyczną maszynę. Karta trafia do Twojego systemu operacyjnego przez PCIe passthrough — Twój moduł jądra, Twoja wersja sterownika, bez hipernadzorcy po drodze.

Ława

Dwa suwaki. Reszta to arytmetyka.

Nic tutaj nie rezerwuje zapasów ani nie otwiera konta. Kwota w każdym wierszu to cały serwer z osadzoną kartą — procesor, pamięć, dyski lustrzane, port bez limitu, jeden IPv4 — a udział samej karty jest wydrukowany poniżej, więc obie połowy pieniędzy pozostają widoczne.

What runs on it?

How much card memory?

anygigabytes or more

  • 5 GB7-8 billion parameters, 4-bit
  • 8 GB13-14 billion parameters, 4-bit
  • 19 GB30-34 billion parameters, 4-bit
  • 38 GB70 billion parameters, 4-bit

  1. 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72a month, complete$20.79 of that is the card
  2. K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52a month, complete$31.59 of that is the card
  3. M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12a month, complete$38.19 of that is the card
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42a month, complete$42.49 of that is the card
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42a month, complete$48.49 of that is the card
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32a month, complete$53.39 of that is the card
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99a month, complete$55.06 of that is the card
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22a month, complete$64.29 of that is the card
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22a month, complete$75.29 of that is the card
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93a month, complete$79 of that is the card
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93a month, complete$79 of that is the card
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93a month, complete$89 of that is the card
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93a month, complete$99 of that is the card
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93a month, complete$99 of that is the card
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47a month, complete$99 of that is the card
  17. RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47a month, complete$99 of that is the card
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47a month, complete$99 of that is the card
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82a month, complete$107.89 of that is the card
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93a month, complete$119 of that is the card
  21. RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93a month, complete$119 of that is the card
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93a month, complete$129 of that is the card
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92a month, complete$129.99 of that is the card
  24. RTX A2000 40 Mh/s6 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 40 MH/s$202.47a month, complete$129 of that is the card
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93a month, complete$139 of that is the card
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47a month, complete$139 of that is the card
  27. P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06a month, complete$140.59 of that is the card
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93a month, complete$149 of that is the card
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47a month, complete$149 of that is the card
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93a month, complete$159 of that is the card
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93a month, complete$189 of that is the card
  33. CMP-170HX Mining GPU 164MH/s8 GB HBM2eIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 164 MH/s$259.93a month, complete$189 of that is the card
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67a month, complete$179 of that is the card
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47a month, complete$199 of that is the card
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47a month, complete$199 of that is the card
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67a month, complete$209 of that is the card
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47a month, complete$229 of that is the card
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47a month, complete$229 of that is the card
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93a month, complete$239 of that is the card
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67a month, complete$229 of that is the card
  42. P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52a month, complete$249.59 of that is the card
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67a month, complete$249 of that is the card
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47a month, complete$299 of that is the card
  45. RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47a month, complete$299 of that is the card
  46. RTX PRO 4000memory not publishedIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47a month, complete$299 of that is the card
  47. RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47a month, complete$399 of that is the card
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47a month, complete$399 of that is the card
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67a month, complete$449 of that is the card
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47a month, complete$499 of that is the card
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67a month, complete$499 of that is the card
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47a month, complete$549 of that is the card
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47a month, complete$625 of that is the card
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47a month, complete$699 of that is the card
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47a month, complete$899 of that is the card
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67a month, complete$1,299 of that is the card
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67a month, complete$1,599 of that is the card

Szacunki z katalogu zamówień, a nie z cennika, i są to kwoty samego koszyka. Karta, której producent nie publikuje wielkości pamięci, nie drukuje tutaj żadnej — i znika, gdy tylko suwak pamięci opuści „dowolna”, ponieważ nie pokażemy części przekraczającej poprzeczkę, której nie możemy zweryfikować; zapytaj, a odczytamy wartość z samej karty. Kilka części pasuje do więcej niż jednej obudowy w więcej niż jednej cenie: wiersz pokazuje najtańsze osadzenie, konfigurator wymienia resztę.

Policzone w chwili wyświetlenia strony

  • 57Cards on the shelves
  • $20.79Cheapest card line, per month
  • $91.72Cheapest complete build with a card
  • 5Cities
  • 0Bytes metered

Odczytane z katalogu zamówień w czasie renderowania, nigdy wpisywane ręcznie. Wycofaj kartę ze sklepu jutro, a ten pasek będzie jutro krótszy. To, co jest zamontowane w szafie i zasilane dziś rano, to osobne pytanie z własną stroną: serwery natychmiastowe.

Dzierżawa, zanim cokolwiek innego

Jeden dzierżawca. Cała karta. Nic zaplanowanego nad Tobą.

Przepuszczona, nie podzielona.

Karta siedzi w fizycznym gnieździe PCIe w maszynie wynajętej jednemu kontu, a system operacyjny, który ją posiada, to ten, który zainstalowałeś. Ładujesz moduł jądra, przypinasz sterownik, a CUDA lub ROCm pozostaje w wersji, przeciw której testowano Twój kod. Nie ma warstwy hipernadzorcy, partycji MIG, profilu vGPU ani harmonogramu dzielenia czasu — opóźnienie zmierzone pierwszego popołudnia to opóźnienie, które zachowujesz, o czwartej po południu i o czwartej nad ranem.

Obudowa podlega tej samej zasadzie: każdy rdzeń, każdy moduł DIMM, oba dyski, root oraz własne iLO lub iDRAC maszyny w osobnej sieci zarządzania dla konsoli, nośników wirtualnych i zasilania. Eksperyment ze sterownikiem, który zerwie sieć, nadal pozostawia Ci ekran.

  • Bez wycinkaBez partycji MIG, bez profilu vGPU, bez przydziału ułamkowego. Jedna karta, jeden system operacyjny.
  • Bez kolejkiŻaden harmonogram nie dzieli krzemu. Gdy Twój proces jest bezczynny, karta jest bezczynna — i nadal Twoja.
  • Bez warstwyGoły metal. Twoje jądro, Twoje moduły, Twoja wersja sterownika, przypięte, dopóki ich nie przeniesiesz.
  • Bez licznikaZestawy danych wchodzą, punkty kontrolne i rendery wychodzą. Nic na porcie nie liczy bajtów.

Model wyceny

Dwie linie, które się sumują. Nie próg.

GPU „instancja” to czyjaś decyzja o tym, ile nabywca karty powinien płacić za procesor, pamięć, dyski i sieć wokół karty. Tutaj to jedna linia, karta to druga, a one się sumują — dlatego każdy koniec powyższej półki pasuje do tej samej obudowy i dlatego wymiana karty zmienia fakturę dokładnie o różnicę między dwiema kartami.

  1. The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
  3. The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
  4. SetupNothingNo contract; the default term is one month

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Konfigurator zaokrągla wycenę za dysk i może wylądować o cent lub dwa obok tych kwot. Dłuższe cykle rozliczeniowe dają dalsze rabaty — wycena ma wszystkie kwoty w jednym miejscu, a starszy sprzęt, niższa cena to stały argument za istnieniem dołu półki.

Pamięć karty

Dopasowanie jest binarne. Cała reszta to tylko prędkość.

Rdzenie i taktowania decydują o tym, jak szybko działa dany model. Pamięć karty decyduje o tym, czy w ogóle działa: wagi albo mieszczą się w pamięci, albo nie, a karta, której brakuje dwóch gigabajtów, nie działa wolniej — ona się kończy. Ustal tę liczbę przed wszystkimi innymi, bo to jedyna specyfikacja, której prawie nikt nie drukuje obok ceny.

Arytmetyka to parametry razy bajty na parametr: dwa bajty każdy przy 16 bitach, jeden przy 8 bitach, pół bajta przy 4 bitach. Kwantyzacja do 4 bitów to dźwignia, która sadza model na mniejszej półce, i wymienia mierzalną ilość jakości za to miejsce.

Zaplanuj zapas. Tabela to same wagi i nic więcej. Środowisko uruchomieniowe, aktywacje i pamięć podręczna klucz-wartość żyją w tej samej pamięci, a pamięć podręczna rośnie z każdym tokenem kontekstu — 38 GB wag nie obsłuży wygodnie karta 40 GB. Dodaj od ćwierci do połowy więcej albo podaj nam model i długość kontekstu, których faktycznie używasz, a dobierzemy rozmiar pod to.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Podwozie pod spodem

Cztery platformy przyjmują kartę, a dzieli je magistrala.

Każda daje gniazdu inną generację łącza i inny budżet linii, a kolumnę drukujemy, bo zmienia wyniki i nikt inny jej nie publikuje: klient raz zamienił jedną generację konsumencką na następną na platformie Gen 3 i stał się wolniejszy, a zanim my to ustaliliśmy, on już wiedział dlaczego. Ta liczba należy na stronę.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted
28
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted
44
Bus to the card
PCIe 3.0
Lanes
40 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted
48
Bus to the card
PCIe 3.0
Lanes
48 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted
10
Bus to the card
PCIe 4.0
Lanes
128 lanes per socket
Sockets
2
Memory ceiling
1 TB

Open it in the configurator →

Kiedy generacja łącza ma znaczenie, mierzone obciążeniem

Karta zbudowana pod nowszą magistralę działa poprawnie na starszej; po prostu nie może przenosić danych przez łącze z projektowaną szybkością. To, czy coś cię to kosztuje, zależy wyłącznie od tego, gdzie leżą dane.

  • Kosztuje cię, gdy ruch przechodzi przez magistralę bez przerwy — pętla treningowa strumieniująca paczki z dysku lub pamięci systemowej, renderer podający dane sceny w każdej klatce, każdy zbiór roboczy, który wylewa się z pamięci karty.
  • Nie kosztuje cię nic, gdy wagi są już w pamięci i w niej zostają — inferencja na modelu, który się mieści, transkodowanie wideo, większość symulacji. Łącze przenosi wtedy żądania i wyniki, a te są małe.
  • Nazwij obciążenie, jeśli nie masz pewności. Powiemy wprost, czy platforma je dławi — także wtedy, gdy uczciwą specyfikacją jest tańsza karta na szybszym łączu, a nie droższa karta na wolniejszym.

Już w cenie

Z czym każda maszyna wychodzi, zanim cokolwiek dodasz.

  • Root i stos sterowników, który jest twój

    Czysty system operacyjny i klucze. Ty wybierasz wersję sterownika, wersję CUDA lub ROCm i build frameworka, i je przypinasz — nic nie aktualizuje się pod terminem. Chcesz sterownik na miejscu przed przekazaniem? Podaj wersję w zamówieniu, a będzie.

  • Konsola out-of-band na własnej sieci

    iLO na obudowie HPE, iDRAC na Dellu: konsola klawiatura-i-ekran, nośniki wirtualne, kontrola zasilania, logi czujników i sprzętu. Moduł, który zawiesza wyświetlacz albo kartę sieciową, to restart, który wykonujesz sam, patrząc na POST — nie zgłoszenie.

  • Port, którego nikt nie liczy

    Bez limitu w obu kierunkach przy dołączonej prędkości i przy każdej wyższej. Żadnego limitu transferu, żadnej linii egress na żadnej fakturze — zbiory danych wchodzą, checkpointy wychodzą, model serwowany realnemu ruchowi, wszystko w cenie portu. Nielimitowana przepustowość to drabina w górę i największa pozycja, którą ta strona usuwa z rachunku u hiperskalera.

  • Reinstalacje bez zgłoszenia

    Obrazy systemu operacyjnego jednym kliknięciem, tak często, jak chcesz, bez opłat — eksperyment ze sterownikiem, który idzie źle, kosztuje dwadzieścia minut. Rewers DNS jest twój do edycji, IPv6 jest w cenie, a dodatkowe IPv4 to pozycja w katalogu, nie negocjacja.

  • Inżynierowie na zmianie, całą dobę

    Telefon, czat na żywo i zgłoszenia na każdej maszynie, a uszkodzony komponent jest wymieniany w ciągu czterech godzin od zgłoszenia telefonicznego lub czatem. Wsparcie publikuje czasy reakcji i harmonogram kredytów na piśmie.

  • Pięć serwerowni na dwóch kontynentach

    Nowy Jork, Miami, San Francisco, Amsterdam i Bukareszt. To, gdzie stoi maszyna, wyznacza twoje opóźnienie do wszystkiego, co ją wywołuje, i reżim ochrony danych, któremu podlega; centra danych opisują każdy budynek.

Czas realizacji

Od pół godziny do trzech tygodni, zależnie od tego, gdzie karta stoi dzisiaj.

Jedna liczba byłaby kłamstwem w jedną albo w drugą stronę, bo nigdy nie była jedną liczbą: karta już osadzona w zrackowanej maszynie to przekazanie, karta, którą trzeba kupić, to zamówienie zakupu. Do czego się zobowiązujemy, to powiedzieć ci, na którym szczeblu jesteś zanim zapłacisz.

  1. ~30 minut

    Karta jest już osadzona w zrackowanej maszynie

    Nic nie jest montowane i nic się nie przenosi. Maszyna jest obrazowana i przekazywana. Serwery natychmiastowe pokazują, co stoi tam w tej chwili.

  2. 4–24 godziny

    Karta z naszego magazynu jest montowana

    Zwykły przypadek dla tej strony. Część jest w magazynie; technik ją osadza, buduje macierz i instaluje system operacyjny. Zrackowana maszyna, która jest bliska, ale nie dokładna — dodana pamięć, wymieniony dysk, macierz przebudowana pod twój układ — to ta sama wizyta, wykonana na miejscu.

  3. 5–10 dni roboczych

    Karta jest dokupowana

    Część, której nie trzymamy, jest zamawiana, a potem budowa przebiega jak wyżej. Budowa na zamówienie to strona, gdy cała specyfikacja jest twoja.

  4. 10–15 dni roboczych

    Karta jest na przydziale

    Akceleratory obecnej generacji wysyłane są w terminie dystrybutora, nie naszym, i tę długą tyczkę nazywamy, zanim się zobowiążesz, a nie po. Sprzęt kupiony dla jednego klienta wyceniamy z trzema miesiącami z góry, bo to maszyna, której nie wynajmiemy ponownie, jeśli konto zamknie się w drugim tygodniu.

Każdy szczebel startuje, gdy płatność i weryfikacja antyfraudowa się rozliczą — to jedyny krok, na który nie złożymy obietnicy: większość zamówień rozlicza się w ciągu kilku godzin, pierwsze zamówienie z nowego konta może potrwać dłużej. Akceptujemy kartę, PayPal, ACH i przelew, a przy większym pierwszym zamówieniu przelew zwykle rozlicza się szybciej niż karta.

Pytane wcześniej, odpowiadane tutaj

Jedenaście pytań, dla których ta strona istnieje.

Zebrane z czatu i zgłoszeń, mniej więcej w kolejności, w jakiej zadają je kupujący. Pierwsze kosztowało realne zamówienia, dlatego otwiera listę.

Czy współdzielę GPU z kimkolwiek?
Nie. Jedna fizyczna maszyna, jedno konto, a karta przekazana do systemu operacyjnego, który sam zainstalowałeś — bez hypervisora, bez partycji MIG, bez profilu vGPU, bez schedulera dzielącego czas, bez zadania wsadowego sąsiada na twoim krzemie. Liczby, które zmierzysz pierwszego dnia, to liczby, które zostają.
Czy dwie karty zmieszczą się w jednej maszynie?
Często tak, i jest to wyceniane, a nie odhaczane: prześwit w obudowie, fizyczna szerokość karty, budżet linii i zasilacz wyznaczają liczbę, więc uczciwa odpowiedź wymaga konkretnego modelu. Podaj kartę, a odpowiedź wróci z obudową, liczbą i czasem realizacji. Zwykłym motywem jest pamięć, nie prędkość — dwie karty 48 GB pomieszczą model, którego jedna karta 80 GB nie pomieści — a multi-GPU i multi-node to sąsiednia strona, gdy druga karta zaczyna wyglądać jak druga maszyna.
Który sterownik i wydanie CUDA są na niej zainstalowane?
Te, które sam zainstalujesz. Maszyna przyjeżdża z czystym systemem operacyjnym i kontem root; przypinasz sterownik, wydanie CUDA lub ROCm i build frameworka do wersji, na których zwalidowano twój kod, i nic ich potem nie rusza. Jeśli chcesz sterownik na miejscu przed przekazaniem, wpisz dokładną wersję w zamówieniu. Jeśli konkretna karta musi obsługiwać konkretne wydanie CUDA, zapytaj przed zapłatą, a my to sprawdzimy, zamiast zgadywać.
Karty, której chcę, nie ma dziś na półce — co wtedy?
Wtedy jest montowana ze stanu magazynowego albo dokupowana, a ty dowiadujesz się, zanim zapłacisz: części ze stanu trafiają na miejsce w ciągu czterech do dwudziestu czterech godzin, części dokupowane w ciągu pięciu do dziesięciu dni roboczych, a akceleratory objęte alokacją w ciągu dziesięciu do piętnastu. Ta strona celowo nie drukuje stanów magazynowych — karta to część, którą montujemy, nie produkt, który pojawia się i znika — ale gdy wymagana jest maszyna dziś, serwery natychmiastowe pokazują, co jest teraz w szafie i pod prądem.
Czy kartę można wymienić po wdrożeniu?
Tak, w maszynie, którą już masz: bez migracji, bez reinstalacji, bez nowych adresów. To zaplanowana wizyta w szafie z krótką przerwą, a faktura zmienia się dokładnie o różnicę między dwiema kartami. Pamięć, dyski i prędkość portu podlegają tej samej zasadzie.
Co się dzieje, gdy karta umiera?
Jest wymieniana, według zegara zapisanego w umowie: cztery godziny od momentu zgłoszenia telefonicznie lub na czacie na żywo. Przekroczysz okno, a kredyt serwisowy następuje według opublikowanego harmonogramu, a nie prośby o dobrą wolę. Wsparcie zawiera harmonogram i numer telefonu.
Czy transfer naprawdę jest nielimitowany? Ile kosztuje egress?
Naprawdę: nic nie jest mierzone w żadnym kierunku, przy każdej sprzedawanej przez nas prędkości portu, a egress kosztuje zero, bo nie istnieje licznik, z którego można by go naliczać. Przy pracy GPU to zwykle największa pozycja gdzie indziej — trening pobiera zbiory danych i wypycha checkpointy, endpoint inferencyjny obsługuje realny ruch, a egress za gigabajt fakturowany jest za każdy z tych bajtów. Nielimitowany transfer to szczebel powyżej prędkości wliczonej w cenę.
Abonament tutaj kontra GPU na godziny — gdzie jest punkt przecięcia?
Arytmetyka to rozstrzyga. Godzinówka wygrywa, gdy praca jest skokowa i naprawdę się zatrzymuje — do kilkuset godzin miesięcznie. Powyżej mniej więcej dwóch trzecich miesiąca przestaje być blisko, zanim policzysz egress, trwały magazyn między uruchomieniami i czas w kolejce na moce. Abonament to także ta sama maszyna, dyski i adresy w przyszłym miesiącu, na czym obciążeniom produkcyjnym zależy bardziej niż benchmarkom.
Jak się płaci i jak wygląda umowa?
Karta, PayPal, ACH lub przelew bankowy — i nie ma żadnej umowy do podpisania: jeden miesiąc to termin domyślny, cykle trzy-, sześcio- i dwunastomiesięczne objęte są rabatem, a odnowienie nie podnosi ceny. Przy większym pierwszym zamówieniu przelew zwykle przechodzi weryfikację antyfraudową szybciej niż karta, co warto wiedzieć, zanim build będzie na niego czekał.
A jeśli karta okaże się niewłaściwa?
W ciągu trzech dni kalendarzowych od pierwszej aktywacji, po wyczerpaniu diagnostyki, polityka zwrotów obowiązuje tak, jak napisano. Tabela doboru i kolumna generacji magistrali powyżej istnieją właśnie po to, by ta klauzula była zbędna — wolimy przekonać cię do mniejszej karty, niż przetwarzać zwrot większej.
Czy macie najnowszą kartę?
Czasami — i zwykle to niewłaściwa specyfikacja. Najnowsza część jest rzadka, objęta alokacją, wyceniona tak, jakby każdy tranzystor był niezbędny, i osadzona na platformach, które nie potrafią jej dostarczyć generacji magistrali, do której została zaprojektowana. Większość pracy GPU tutaj to nie trening frontierowy: to serwowanie modelu, który już się mieści, kodowanie wideo, renderowanie klatek, obsługa pulpitów — zadania, w których właściwa karta jest dwie generacje starsza za ćwierć ceny. Nazwij zadanie; jeśli odpowiedzią naprawdę jest najnowsza część, powiemy to, z kosztem i datą, kiedy może istnieć.

Sąsiednie strony

Wszystko o krok od tej strony.

Ta strona odpowiada na jedno pytanie — które karty montujemy i ile każda kosztuje. Pytania po obu jej stronach mają własne strony, a to jest pełny zestaw.

Wciąż ważysz dwie półki? — ktokolwiek odpowie, dobierał już taki sprzęt i powie, kiedy tańsza karta jest właściwą specyfikacją.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit
57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line
$20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it
$91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone
$70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train
Instinct MI50 16GB, $169.93 a month complete.
Dearest
H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy
One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where
5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term
Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards
Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment
Card, PayPal, ACH and wire.