Αποκλειστικοί διακομιστές GPU · bare metal · μηνιαία

Αποκλειστικοί διακομιστές GPU. Ολόκληρη η GPU. Κανένας άλλος πάνω της.

Ένας αποκλειστικός διακομιστής GPU είναι ένα φυσικό μηχάνημα που ενοικιάζεται σε έναν λογαριασμό ανά μήνα, με την GPU να περνά απευθείας στο δικό σας λειτουργικό σύστημα. Χωρίς hypervisor, χωρίς τμήμα vGPU, χωρίς γείτονα στο πυρίτιο.

  • PCIe passthrough
  • Απεριόριστη θύρα
  • 5 πόλεις
  • Χωρίς συμβόλαιο

Επιλέξτε την GPU ανάλογα με την εργασία και τη μνήμη που χρειάζεται. Κάθε σειρά στη λίστα είναι ένας πλήρης διακομιστής με εγκατεστημένη αυτή την GPU, τιμολογημένος από τον ίδιο κατάλογο από τον οποίο χρεώνει το ταμείο, και το μερίδιο της ίδιας της GPU αναγράφεται κάτω από το σύνολο.

Ο κατάλογος

Διακομιστές GPU NVIDIA και AMD, ο καθένας τιμολογημένος ως πλήρες μηχάνημα

Πείτε για ποιο σκοπό προορίζεται η GPU και τη λιγότερη μνήμη που χρειάζεται. Η λίστα περιορίζεται καθώς προχωράτε, με το φθηνότερο πρώτα. Κάθε σειρά ανοίγει το μηχάνημα που δέχεται αυτή την GPU στον διαμορφωτή.

1. Για ποιο σκοπό προορίζεται η GPU;

2. Πόση μνήμη GPU, τουλάχιστον;

οποιαδήποτε GB ή περισσότερο

Βάρη μοντέλων στα 4-bit, για κλίμακα

  • 5 GB7-8B @ 4-bit
  • 8 GB13-14B @ 4-bit
  • 19 GB30-34B @ 4-bit
  • 38 GB70B @ 4-bit

  1. Quadro 3000M2 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 240 CUDA cores$91.72/moGPU $20.79
  2. Quadro K3100M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 768 CUDA cores$102.52/moGPU $31.59
  3. Quadro M3000M4 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,280 CUDA cores$109.12/moGPU $38.19
  4. TESLA M68 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,536 CUDA cores$113.42/moGPU $42.49
  5. TESLA M608 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$119.42/moGPU $48.49
  6. GTX 1070M8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,048 CUDA cores$124.32/moGPU $53.39
  7. GTX 10808 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$125.99/moGPU $55.06
  8. GTX 10708 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 1,920 CUDA cores$135.22/moGPU $64.29
  9. GTX 1070 Ti8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,432 CUDA cores$146.22/moGPU $75.29
  10. GTX 1080 Ti11 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,584 CUDA cores$149.93/moGPU $79
  11. TESLA P4 / QUADRO P50008 or 16 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93/moGPU $79
  12. TESLA P48 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$149.93/moGPU $79
  13. RTX 20708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,304 CUDA cores$159.93/moGPU $89
  14. TESLA P40 / QUADRO P600024 GBIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$169.93/moGPU $99
  15. Instinct MI50 16GB16 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$169.93/moGPU $99
  16. RTX 2070 Super8 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$172.47/moGPU $99
  17. Quadro RTX 40008 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,304 CUDA cores$172.47/moGPU $99
  18. Instinct MI5016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$172.47/moGPU $99
  19. TESLA M602 x 8 GB GDDR5Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,096 CUDA cores$178.82/moGPU $107.89
  20. RTX 20808 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,994 CUDA cores$189.93/moGPU $119
  21. Quadro RTX 500016 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$189.93/moGPU $119
  22. RTX 2080 Super8 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,072 CUDA cores$199.93/moGPU $129
  23. TITAN V12 GB HBM2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,120 CUDA cores$200.92/moGPU $129.99
  24. RTX A20006 or 12 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,328 CUDA cores$202.47/moGPU $129
  25. RTX 30708 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 5,888 CUDA cores$209.93/moGPU $139
  26. TESLA P10016 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 3,584 CUDA cores$212.47/moGPU $139
  27. Quadro P500016 GB GDDR5XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 2,560 CUDA cores$214.06/moGPU $140.59
  28. RTX 2080 Ti11 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 4,352 CUDA cores$219.93/moGPU $149
  29. RTX 3070 Ti8 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47/moGPU $149
  30. RTX A400016 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,144 CUDA cores$222.47/moGPU $149
  31. RTX 308010 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 8,704 CUDA cores$229.93/moGPU $159
  32. TESLA T416 GB GDDR6Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 2,560 CUDA cores$259.93/moGPU $189
  33. CMP 170HX 64GB HBM2e8 GB HBM2e, 64 GB unlockedIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$259.93/moGPU $189
  34. RTX 407012 GB GDDR6XIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 5,888 CUDA cores$262.67/moGPU $179
  35. RTX 3080 Ti12 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,240 CUDA cores$272.47/moGPU $199
  36. Tenstorrent Blackhole p100a28 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$272.47/moGPU $199
  37. L4 ADA 24GB GDDR624 GB GDDR6Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$292.67/moGPU $209
  38. RTX A500024 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 8,192 CUDA cores$302.47/moGPU $229
  39. Tesla V100 32GB32 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 5,120 CUDA cores$302.47/moGPU $229
  40. RTX 309024 GB GDDR6XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 10,496 CUDA cores$309.93/moGPU $239
  41. RTX 508016 GB GDDR7Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$312.67/moGPU $229
  42. Quadro P600024 GB GDDR5XIntel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps · 3,840 CUDA cores$320.52/moGPU $249.59
  43. RTX 4500 Ada Generation24 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 7,680 CUDA cores$332.67/moGPU $249
  44. RTX 4090D24 GB GDDR6XIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 14,592 CUDA cores$372.47/moGPU $299
  45. Quadro RTX 600024 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$372.47/moGPU $299
  46. RTX PRO 4000–Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$372.47/moGPU $299
  47. Quadro RTX 800048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 4,608 CUDA cores$472.47/moGPU $399
  48. RTX 509032 GB GDDR7Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 21,760 CUDA cores$472.47/moGPU $399
  49. L40S48 GB GDDR6 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$532.67/moGPU $449
  50. A4048 GB GDDR6Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$572.47/moGPU $499
  51. Instinct MI21064 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$582.67/moGPU $499
  52. RTX A600048 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 10,752 CUDA cores$622.47/moGPU $549
  53. RTX 6000 ADA48 GB GDDR6 ECCIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 18,176 CUDA cores$698.47/moGPU $625
  54. A100 40GB40 GB HBM2Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$772.47/moGPU $699
  55. A100 80GB80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps · 6,912 CUDA cores$972.47/moGPU $899
  56. RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECCIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps$1,382.67/moGPU $1,299
  57. H100 80GB80 GB HBM2eIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps · 16,896 CUDA cores$1,682.67/moGPU $1,599

Οι τιμές είναι τα ίδια τα νούμερα του ταμείου. Μια GPU της οποίας ο κατασκευαστής δεν δημοσιεύει νούμερο μνήμης εμφανίζει μια παύλα και αποσύρεται μόλις ο έλεγχος μνήμης μετακινηθεί από το “οποιαδήποτε”. Ορισμένες GPUs ταιριάζουν σε περισσότερα από ένα πλαίσια: η σειρά δείχνει το φθηνότερο, ο διαμορφωτής δείχνει τα υπόλοιπα.

Μίσθωση

Φιλοξενία αποκλειστικού διακομιστή GPU: ολόκληρη η GPU είναι δική σας

Η GPU βρίσκεται σε μια φυσική υποδοχή PCIe σε ένα μηχάνημα που ενοικιάζεται σε έναν λογαριασμό. Εγκαθιστάτε το λειτουργικό σύστημα, φορτώνετε το module του πυρήνα και καρφιτσώνετε τον οδηγό, την έκδοση CUDA ή ROCm με την οποία δοκιμάστηκε ο κώδικάς σας. Τίποτα δεν την αναβαθμίζει κάτω από τα πόδια σας.

Το μηχάνημα ακολουθεί τον ίδιο κανόνα: κάθε πυρήνας, όλη η μνήμη, και οι δύο δίσκοι, root, και η κονσόλα iLO ή iDRAC του ίδιου του διακομιστή σε ξεχωριστό δίκτυο διαχείρισης. Αν ένα πείραμα οδηγού ρίξει το δίκτυο, εξακολουθείτε να έχετε την οθόνη, τα εικονικά μέσα και τον έλεγχο τροφοδοσίας.

  • Χωρίς τμήμαΧωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU, χωρίς κλασματικό μερίδιο. Μία GPU, ένα λειτουργικό σύστημα.
  • Χωρίς ουράΚανένας χρονοπρογραμματιστής δεν βρίσκεται από πάνω σας. Όταν η διεργασία σας είναι αδρανής, η GPU είναι αδρανής, και εξακολουθεί να είναι δική σας.
  • Χωρίς hypervisorBare metal. Η καθυστέρηση που μετράτε την πρώτη μέρα είναι η καθυστέρηση που έχετε στις 4 π.μ.
  • Χωρίς μετρητήΣύνολα δεδομένων μέσα, checkpoints και renders έξω. Τίποτα στη θύρα δεν μετρά τα bytes.

Πώς λειτουργεί η τιμολόγηση

Δύο γραμμές που αθροίζονται: το μηχάνημα και η GPU

Οι περισσότεροι πάροχοι πωλούν μια GPU ως βαθμίδα, με τον επεξεργαστή, τη μνήμη, τους δίσκους και το δίκτυο τιμολογημένα γύρω της. Εδώ το μηχάνημα είναι μία μηνιαία γραμμή και η GPU είναι άλλη. Αλλάξτε την GPU αργότερα και ο λογαριασμός μεταβάλλεται ακριβώς κατά τη διαφορά μεταξύ των δύο GPUs.

Ψάχνετε για έναν φθηνό αποκλειστικό διακομιστή GPU;

Ξεκινήστε από την κορυφή της λίστας. Κρατήσαμε παλαιότερες GPUs που εξακολουθούν να κάνουν πραγματική δουλειά, όπως μέρη Tesla και Quadro που κάνουν transcoding βίντεο ή οδηγούν απομακρυσμένους επιτραπέζιους υπολογιστές, και βρίσκονται στο ίδιο πλήρες μηχάνημα με την ίδια απεριόριστη θύρα όπως η νεότερη GPU. Γιατί κρατάμε παλαιότερο υλικό εξηγεί την ανταλλαγή.

Συγκρίνετε με ωριαία clouds GPU; Η ακριβότερη σύνθεση στη λίστα, H100 80GB, είναι $1,682.67 τον μήνα για ολόκληρο το μηχάνημα, περίπου $2.31 την ώρα σε έναν μήνα 730 ωρών, και καμία γραμμή egress δεν φτάνει αργότερα.

  1. MachineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
  2. GPUQuadro 3000M$20.79 – $1,599 across the list$20.79
  3. PortUnmetered, both directionsNo allowance, no egress lineincluded
  4. SetupOne-time, custom buildMonthly term, no contract$29

Complete, per month, from$91.72

Κύκλοι τριών, έξι και δώδεκα μηνών εξοικονομούν έως και 15%. Ο διαμορφωτής στρογγυλοποιεί τις τιμές ανά δίσκο και μπορεί να πέσει έξω κατά ένα λεπτό. Τιμολόγηση παραθέτει κάθε νούμερο στον ιστότοπο.

Μνήμη GPU

Πόση μνήμη GPU χρειάζεται το μοντέλο σας

Η μνήμη GPU καθορίζει αν ένα μοντέλο θα τρέξει καθόλου· οι πυρήνες και τα ρολόγια καθορίζουν μόνο το πόσο γρήγορα. Μια GPU που υπολείπεται κατά δύο gigabytes δεν τρέχει αργά, αποτυγχάνει να φορτώσει. Ξεκαθαρίστε πρώτα αυτόν τον αριθμό.

Τα βάρη καταλαμβάνουν παραμέτρους επί bytes ανά παράμετρο: δύο bytes στα 16-bit, ένα στα 8-bit, μισό byte στα 4-bit. Η κβαντοποίηση στα 4-bit επιτρέπει σε ένα μοντέλο να χωρέσει σε μικρότερη GPU, με μετρήσιμο κόστος στην ποιότητα.

Αφήστε περιθώριο. Ο πίνακας μετρά μόνο τα βάρη. Το runtime, οι ενεργοποιήσεις και η cache κλειδιών-τιμών μοιράζονται την ίδια μνήμη, και η cache μεγαλώνει με κάθε token περιεχομένου, οπότε 38 GB βαρών δεν θα εξυπηρετηθούν άνετα από μια GPU 40 GB. Προσθέστε από ένα τέταρτο έως μισό επιπλέον.

και θα διαστασιολογήσουμε τη GPU με βάση αυτό που πραγματικά τρέχετε.

Model16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Μόνο τα βάρη, στρογγυλοποιημένα προς τα πάνω στο επόμενο gigabyte.

Πλατφόρμες

Οι διακομιστές που δέχονται GPU, και ο δίαυλος PCIe που δίνει ο καθένας

Κάθε πλατφόρμα δίνει στη θύρα διαφορετική γενιά PCIe και προϋπολογισμό λωρίδων. Το αναφέρουμε γιατί αλλάζει τα αποτελέσματα: ένας πελάτης μετακινήθηκε κάποτε σε νεότερη καταναλωτική GPU σε πλατφόρμα PCIe 3.0 και απέδωσε πιο αργά, και κατάλαβε το γιατί πριν από εμάς.

PCIe 3.0

Intel Xeon E5-2600 v1/v2

$70.93/mo before the GPU

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

GPUs
28
Lanes
40 lanes per socket
Sockets
2
Max RAM
256 GB
Intel Xeon E5-2600 v1/v2 →

PCIe 3.0

Intel Xeon E5-2600 v3/v4

$73.47/mo before the GPU

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

GPUs
44
Lanes
40 lanes per socket
Sockets
2
Max RAM
1 TB
Intel Xeon E5-2600 v3/v4 →

PCIe 3.0

Intel Xeon Silver / Gold

$83.67/mo before the GPU

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

GPUs
48
Lanes
48 lanes per socket
Sockets
2
Max RAM
1 TB
Intel Xeon Silver / Gold →

PCIe 4.0

AMD EPYC

$217.59/mo before the GPU

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

GPUs
10
Lanes
128 lanes per socket
Sockets
2
Max RAM
1 TB
AMD EPYC →

Πότε έχει σημασία η γενιά του διαύλου

  • Σας κοστίζει όταν τα δεδομένα διασχίζουν τον δίαυλο συνεχώς: ένας βρόχος εκπαίδευσης που στέλνει παρτίδες από τον δίσκο ή τη μνήμη συστήματος, ένας renderer που τροφοδοτεί δεδομένα σκηνής σε κάθε καρέ, ένα σύνολο εργασίας που ξεχειλίζει από τη μνήμη GPU.
  • Δεν σας κοστίζει τίποτα μόλις τα βάρη φορτωθούν και παραμείνουν εκεί: συμπερασμός σε μοντέλο που χωράει, μετακωδικοποίηση βίντεο, οι περισσότερες προσομοιώσεις. Η σύνδεση τότε μεταφέρει μικρά αιτήματα και αποτελέσματα.
  • Δεν είστε σίγουροι; Ονομάστε τον φόρτο εργασίας και θα σας πούμε αν η πλατφόρμα τον περιορίζει, συμπεριλαμβανομένου του πότε μια φθηνότερη GPU σε ταχύτερο δίαυλο είναι η καλύτερη αγορά.

Περιλαμβάνεται

Τι περιλαμβάνει εδώ η φιλοξενία διακομιστή GPU, πριν προσθέσετε οτιδήποτε

  • Root και δική σας στοίβα οδηγών

    Ένα καθαρό λειτουργικό σύστημα και τα κλειδιά. Εσείς επιλέγετε τον οδηγό, την έκδοση CUDA ή ROCm και το build του framework, και παραμένουν καρφιτσωμένα. Θέλετε τον οδηγό εγκατεστημένο πριν την παράδοση; Βάλτε την ακριβή έκδοση στην παραγγελία.

  • Μια κονσόλα σε δικό της δίκτυο

    iLO στα μηχανήματα HPE, iDRAC στα Dell: πληκτρολόγιο και οθόνη, εικονικά μέσα, έλεγχος τροφοδοσίας, αισθητήρες και αρχεία καταγραφής υλικού. Μια μονάδα που κρεμάει την οθόνη ή την κάρτα δικτύου είναι μια επανεκκίνηση που κάνετε μόνοι σας, βλέποντας το POST.

  • Μια θύρα που τίποτα δεν μετράει

    Απεριόριστη και προς τις δύο κατευθύνσεις στην περιλαμβανόμενη ταχύτητα και σε κάθε ταχύτητα πάνω από αυτήν. Χωρίς όριο μεταφοράς και χωρίς γραμμή εξερχόμενης κίνησης. Απεριόριστο εύρος ζώνης παραθέτει τις ταχύτερες θύρες.

  • Επανεγκαταστάσεις χωρίς ticket

    Εικόνες λειτουργικού συστήματος με ένα κλικ, όσο συχνά θέλετε, χωρίς χρέωση. Το reverse DNS είναι δικό σας για επεξεργασία, το IPv6 περιλαμβάνεται, και επιπλέον IPv4 είναι μια γραμμή στον διαμορφωτή.

  • Απαντήσεις σε δευτερόλεπτα, άνθρωπος όταν ζητήσετε

    Το chat απαντάται σε δευτερόλεπτα από έναν βοηθό AI που μπορεί να ελέγξει τον λογαριασμό σας και τον διακομιστή σας, και ένας άνθρωπος αναλαμβάνει τη στιγμή που θα το ζητήσετε. Ένα ελαττωματικό εξάρτημα αντικαθίσταται εντός του παραθύρου του πλάνου υποστήριξης: 24 ώρες στο περιλαμβανόμενο πλάνο Basic, 4 στο Bronze, 3 στο Silver, 2 στο Gold και Platinum.

  • Πέντε πόλεις, δικό μας δίκτυο

    Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι, όλα στο δίκτυο της Server Room, AS19624. Η τοποθεσία καθορίζει την καθυστέρηση προς τους χρήστες και τη νομοθεσία προστασίας δεδομένων στην οποία υπάγεστε. Κέντρα δεδομένων περιγράφει κάθε κτίριο.

Παράδοση

Πόσο γρήγορα μπορείτε να νοικιάσετε έναν αποκλειστικό διακομιστή με GPU

Εξαρτάται από το πού βρίσκεται η GPU σήμερα, και σας λέμε σε ποια περίπτωση είστε πριν πληρώσετε.

  1. Περίπου 30 λεπτά

    Η GPU είναι ήδη σε μηχάνημα με rack

    Τίποτα για τοποθέτηση. Το μηχάνημα είναι εγκατεστημένο και παραδίδεται. Άμεσοι διακομιστές παραθέτει τι είναι έτοιμο αυτή τη στιγμή.

  2. 4 έως 24 ώρες

    Εγκαθιστούμε μια GPU από το απόθεμά μας

    Η συνηθισμένη περίπτωση. Ένας τεχνικός εγκαθιστά τη GPU, χτίζει τη συστοιχία δίσκων και εγκαθιστά το λειτουργικό σύστημα. Επιπλέον μνήμη ή διαφορετικός δίσκος γίνεται στην ίδια επίσκεψη.

  3. 5 έως 10 εργάσιμες ημέρες

    Η GPU πρέπει να αγοραστεί

    Παραγγέλνουμε το εξάρτημα και μετά χτίζουμε όπως παραπάνω. Κατασκευή κατά παραγγελία καλύπτει ένα μηχάνημα με την πλήρη προδιαγραφή σας.

  4. 10 έως 15 εργάσιμες ημέρες

    Η GPU είναι σε κατανομή

    Οι τρέχοντες επιταχυντές αποστέλλονται στην ημερομηνία του διανομέα, και την ονομάζουμε πριν δεσμευτείτε. Υλικό που αγοράζεται για έναν πελάτη κοστολογείται με τρεις μήνες προπληρωμένους.

Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθεί η πληρωμή και ο έλεγχος απάτης. Οι περισσότερες παραγγελίες ολοκληρώνονται μέσα σε λίγες ώρες· μια πρώτη παραγγελία σε νέο λογαριασμό μπορεί να πάρει περισσότερο.

Το πεδίο ενός συνεργάτη

Μέσα που δημιουργούνται με τεχνητή νοημοσύνη: το είδος εργασίας που ταιριάζει σε μια πλήρη GPU

Viral Mind Technologies, συνεργάτης της Server Room, δημιουργεί και διαχειρίζεται τις δικές της ψηφιακές ιδιοκτησίες: εικονικές προσωπικότητες, διαδικτυακά μέσα ενημέρωσης και λογισμικό για δημιουργούς. Ξεκίνησε το 2019 ως εταιρεία ψηφιακού μάρκετινγκ και εργάζεται πάνω στα δικά της έργα τεχνητής νοημοσύνης από τα τέλη του 2022.

Η δημιουργία εικόνων και βίντεο κρατά ένα μοντέλο μόνιμα στη μνήμη της GPU και απασχολεί την GPU για ώρες κάθε φορά. Αυτό ισχύει για μια αποκλειστική GPU σε γυμνό μέταλλο και όχι για ένα τμήμα της, και μια πλήρης GPU είναι αυτό που νοικιάζει κάθε διακομιστής σε αυτή τη σελίδα.

Το χαρτοφυλάκιό τους και οι μελέτες περίπτωσης: viralmindtech.com

  • Εικονικές προσωπικότητεςNaomi Marie, που κυκλοφόρησε τον Αύγουστο του 2023, είναι η πρώτη ψηφιακή προσωπικότητα που τους ανήκει εξ ολοκλήρου.
  • Μέσα ενημέρωσηςCybeauty Magazine, που κυκλοφόρησε τον Μάρτιο του 2024, λειτουργεί ως έντυπο με προτεραιότητα στο διαδίκτυο.
  • Εργαλεία δημιουργώνProof of Ownership εκδίδει μια χρονολογημένη εγγραφή για ένα δημιουργικό αρχείο, με δακτυλικό αποτύπωμα στο πρόγραμμα περιήγησης ώστε το αρχείο να μην φεύγει ποτέ από τη συσκευή.

Απαντήσεις

Ερωτήσεις για dedicated servers με GPU, απαντημένες

Τι είναι ένας dedicated GPU server;

Ένας φυσικός server που νοικιάζεται σε έναν πελάτη, με κάρτα γραφικών εγκατεστημένη και περασμένη απευθείας στο λειτουργικό σύστημα του ίδιου του πελάτη. Τίποτα δεν είναι εικονικοποιημένο ή κοινόχρηστο: παίρνετε κάθε πυρήνα, όλη τη μνήμη, τους δίσκους και την πλήρη GPU, με πρόσβαση root και απομακρυσμένη κονσόλα.

Πόσο κοστίζει ένας dedicated GPU server;

Ένα πλήρες μηχάνημα με εγκατεστημένη GPU ξεκινά από $91.72 έως $1,682.67 τον μήνα. Η τιμή είναι δύο γραμμές που προστίθενται: το μηχάνημα και η GPU στα $20.79 έως $1,599 τον μήνα. Επεξεργαστής, μνήμη, δύο δίσκοι, μη μετρημένη θύρα και μία διεύθυνση IPv4 περιλαμβάνονται. Η εγκατάσταση είναι εφάπαξ $29 σε σύνθεση με GPU που εγκαθίσταται κατόπιν παραγγελίας· ένα έτοιμο μηχάνημα που παραγγέλνεται ως έχει δεν έχει καμία.

Μοιράζομαι τη GPU με κάποιον άλλο;

Όχι. Ένα φυσικό μηχάνημα, ένας λογαριασμός και η GPU περασμένη απευθείας στο λειτουργικό σύστημα που εγκαταστήσατε. Δεν υπάρχει hypervisor, ούτε διαμέρισμα MIG, ούτε προφίλ vGPU, ούτε χρονομερισμός. Οι αριθμοί που μετράτε την πρώτη μέρα είναι οι αριθμοί που κρατάτε.

Μπορώ να νοικιάσω dedicated server με GPU ανά μήνα, χωρίς συμβόλαιο;

Ναι. Ο ένας μήνας είναι η προεπιλεγμένη διάρκεια και δεν υπάρχει τίποτα να υπογράψετε. Οι κύκλοι τριών, έξι και δώδεκα μηνών εξοικονομούν έως 15%, και η τιμή δεν αυξάνεται στην ανανέωση. Πληρώστε με πιστωτική κάρτα ή PayPal· για μεγαλύτερη παραγγελία μπορεί να κανονιστεί τραπεζικό έμβασμα, και συνήθως περνάει τον έλεγχο απάτης γρηγορότερα από μια πληρωμή με κάρτα.

Υπάρχει φτηνός dedicated GPU server;

Ναι. Η λίστα σε αυτή τη σελίδα είναι ταξινομημένη με το φτηνότερο πρώτο, και η φτηνότερη πλήρης σύνθεση είναι Quadro 3000M σε Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps στα $91.72 τον μήνα. Παλαιότερες GPUs Tesla και Quadro εξακολουθούν να κάνουν transcoding βίντεο και να οδηγούν απομακρυσμένους επιτραπέζιους υπολογιστές καλά, και έρχονται στο ίδιο πλήρες μηχάνημα με την ίδια μη μετρημένη θύρα.

Ποιες NVIDIA και AMD GPUs μπορώ να πάρω;

57 GPUs είναι στη λίστα, από τρέχοντες επιταχυντές υπολογισμού NVIDIA και AMD Instinct μέχρι παλαιότερα μοντέλα Tesla, Quadro και GeForce. Κάθε μία αναφέρεται ονομαστικά με τη μνήμη της και την πλήρη μηνιαία τιμή. Αν η GPU που θέλετε λείπει, ρωτήστε: μπορούμε συχνά να την προμηθευτούμε.

Ποια έκδοση driver και CUDA έρχεται εγκατεστημένη;

Αυτές που εγκαθιστάτε εσείς. Ο server φτάνει με καθαρό λειτουργικό σύστημα και πρόσβαση root, και εσείς καθορίζετε τον driver, την έκδοση CUDA ή ROCm και το build του framework στο οποίο δοκιμάστηκε ο κώδικάς σας. Αν θέλετε τον driver εγκατεστημένο κατά την παράδοση, βάλτε την ακριβή έκδοση στην παραγγελία. Αν μια GPU πρέπει να υποστηρίζει συγκεκριμένη έκδοση CUDA, ρωτήστε πριν πληρώσετε και θα το ελέγξουμε.

Χωράνε δύο GPUs σε έναν server;

Συχνά, και το κοστολογούμε χειροκίνητα: ο χώρος στο chassis, το πλάτος της GPU, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν τον αριθμό. Ονομάστε τη GPU και απαντάμε με το chassis, τον αριθμό και τον χρόνο παράδοσης. Ο συνηθισμένος λόγος είναι η μνήμη παρά η ταχύτητα, αφού δύο GPUs των 48 GB χωράνε ένα μοντέλο που μία GPU των 80 GB δεν μπορεί. Servers πολλαπλών GPUs και πολλαπλών κόμβων καλύπτουν το επόμενο βήμα.

Μπορώ να αλλάξω τη GPU αργότερα;

Ναι, στον server που ήδη έχετε: χωρίς μετεγκατάσταση, χωρίς επανεγκατάσταση, χωρίς νέες διευθύνσεις IP. Είναι προγραμματισμένη επίσκεψη με σύντομη διακοπή, και ο λογαριασμός αλλάζει ακριβώς κατά τη διαφορά μεταξύ των δύο GPUs. RAM, δίσκοι και ταχύτερη θύρα προστίθενται με τον ίδιο κανόνα.

Τι γίνεται αν η GPU αποτύχει;

Την αντικαθιστούμε εντός του παραθύρου του πλάνου υποστήριξής σας, μετρημένο από τη στιγμή που το αναφέρετε: 24 ώρες στο συμπεριλαμβανόμενο πλάνο Basic, 4 στο Bronze, 3 στο Silver, 2 στο Gold και Platinum. Μετά το παράθυρο, η πίστωση υπηρεσίας ακολουθεί το πρόγραμμα που δημοσιεύεται στη σελίδα υποστήριξης.

Μπορώ να φέρω τη δική μου κάρτα γραφικών;

Ναι, μια GPU που σας ανήκει, ή οποιοδήποτε άλλο εξάρτημα, μπορεί να μπει στον server που νοικιάζετε εδώ. Δεν είναι δωρεάν, επειδή η GPU καταναλώνει ρεύμα, και η χρέωση εξαρτάται από το υλικό. Δεν ευθυνόμαστε αν ένα εξάρτημα που φέρατε αποτύχει· το παράθυρο αντικατάστασης καλύπτει μόνο το υλικό που προμηθεύουμε εμείς. Κλείστε μια κλήση πριν το αγοράσετε ή το στείλετε: το κοστολογούμε και ελέγχουμε αν το chassis το δέχεται, επειδή ένα blade, για παράδειγμα, δεν έχει χώρο για GPU πλήρους μεγέθους.

Είναι πραγματικά αμέτρητο το bandwidth; Πόσο κοστίζει το egress;

Τίποτα δεν μετράται προς καμία κατεύθυνση σε οποιαδήποτε ταχύτητα θύρας πουλάμε, οπότε το egress δεν κοστίζει τίποτα. Σε εργασίες GPU αυτό είναι συχνά το μεγαλύτερο κόστος αλλού: η εκπαίδευση κατεβάζει σύνολα δεδομένων και ανεβάζει checkpoints, και ένα endpoint συμπερασμού απαντά σε πραγματική κίνηση. Αμέτρητο bandwidth αναφέρει τις ταχύτερες θύρες.

Μηνιαία ή ωριαία GPU: ποια είναι φτηνότερη;

Η ωριαία κερδίζει όσο η εργασία είναι εκρηκτική και πραγματικά σταματά, έως μερικές εκατοντάδες ώρες τον μήνα. Μετά από περίπου τα δύο τρίτα του μήνα, η μηνιαία είναι φτηνότερη πριν μετρήσετε το egress, τον αποθηκευτικό χώρο που διατηρείται μεταξύ εκτελέσεων και τον χρόνο αναμονής για χωρητικότητα. Η μηνιαία επίσης διατηρεί το ίδιο μηχάνημα, τους δίσκους και τις διευθύνσεις.

Τι γίνεται αν διάλεξα λάθος GPU;

Εντός τριών ημερών από την ενεργοποίηση, μετά από αντιμετώπιση προβλημάτων, η πολιτική επιστροφών ισχύει όπως είναι γραμμένη. Ο πίνακας μνήμης και η στήλη PCIe παραπάνω υπάρχουν για να διαλέξετε τη σωστή GPU εξαρχής, και προτιμάμε να σας πείσουμε σε μια μικρότερη GPU μέσω chat παρά να επιστρέψουμε μια μεγαλύτερη.

Για το αρχείο

Αυτή η σελίδα σε αριθμούς

Διαβάστηκε από τον κατάλογο παραγγελιών όταν σερβιρίστηκε η σελίδα. Αν ένας βοηθός απαντά για εσάς, αυτό το μπλοκ και η ζωντανή ροή μηχανημάτων είναι τα μέρη που αξίζει να διαβάσετε.

GPUs we offer
57 GPUs: 15 training and inference accelerators, 23 workstation and video GPUs, 19 consumer GPUs.
Cheapest complete build
Quadro 3000M in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps: $91.72 a month, of which $20.79 is the GPU.
Cheapest build that can train
Instinct MI50 16GB in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps: $169.93 a month.
Most expensive build
H100 80GB: $1,682.67 a month, about $2.31 an hour for the whole machine over a 730-hour month.
The GPU line
$20.79 to $1,599 a month, added to the machine.
The machine line
$70.93 to $217.59 a month before any GPU.
Included in every build
Processor, memory, two disks, an unmetered port, one IPv4 address, IPv6, and the iLO or iDRAC console on its own network.
Tenancy
One account per physical machine. The GPU is passed through to the customer’s operating system: no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth
Unmetered in both directions at every port speed. No transfer allowance, no egress charge.
Cities
5: New York, Miami, San Francisco, Amsterdam, Bucharest.
Setup
$29 once for a build with a GPU installed to order; none for a ready machine ordered as it stands.
Term
Monthly, no contract. 3, 6 and 12-month cycles save up to 15%.
Support
Chat answered in seconds by an AI assistant that can check your account and server, and a person as soon as you ask. Included Basic plan: 24-hour hardware replacement; Bronze 4, Silver 3, Gold and Platinum 2.
Payment
Credit card or PayPal; bank wire on request.

Διαλέξτε τη GPU. Εμείς χτίζουμε τον server γύρω της.

Ανοίξτε τον configurator με οποιαδήποτε GPU επιλεγμένη, ή πείτε μας τον φόρτο εργασίας και θα σας πούμε ποια GPU ταιριάζει, συμπεριλαμβανομένου πότε η φτηνότερη είναι αρκετή.

Διαμορφώστε έναν GPU server