Διακομιστές με GPU · NVIDIA Ampere · με μηνιαία χρέωση
Οι διακομιστές μας RTX 3090, 3080, 3070 GPU είναι μηχανήματα bare-metal που νοικιάζονται με τον μήνα, με την πλήρη GPU να περνά στο δικό σας λειτουργικό σύστημα. Επιλέξτε μία από τις πέντε GPUs RTX 30 με 8 έως 24 GB μνήμης, σε μηχάνημα Intel Xeon ή AMD EPYC, από $209.93 τον μήνα πλήρες.
Η τιμή σε κάθε GPU παρακάτω είναι για τον πλήρη διακομιστή: επεξεργαστή, μνήμη, δίσκους, τη θύρα και μία διεύθυνση IPv4, συν τη μηνιαία γραμμή της ίδιας της GPU. Διαλέξτε τη GPU με βάση τη μνήμη που χρειάζεται η εργασία σας και μετά αλλάξτε οτιδήποτε άλλο στον διαμορφωτή.
Οι πέντε GPUs
Και οι πέντε μοιράζονται την αρχιτεκτονική Ampere, τον οδηγό και το σύνολο χαρακτηριστικών: πυρήνες Tensor 3ης γενιάς, πυρήνες RT 2ης γενιάς, PCIe 4.0. Αυτό που τις ξεχωρίζει είναι το μέγεθος μνήμης και το εύρος ζώνης μνήμης. Ξεκινήστε από τη μνήμη που χρειάζεστε και σταματήστε στην πρώτη GPU που τη χωράει.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Κάθε τιμή είναι το φθηνότερο μηχάνημα που δέχεται αυτή τη GPU, όπως το ανοίγει ο διαμορφωτής. Το κουμπί ανοίγει εκείνο το μηχάνημα με τη GPU ήδη επιλεγμένη· άλλοι επεξεργαστές, περισσότερη μνήμη, μεγαλύτεροι δίσκοι και ταχύτερη θύρα κοστολογούνται εκεί. Οι συνθέσεις στο Βουκουρέστι χρεώνονται σε ευρώ και ο διαμορφωτής δείχνει αυτή την τιμή όταν επιλέξετε την πόλη.
Μέγεθος
Για συμπερασματολογία, το πρώτο ερώτημα είναι η μνήμη, όχι η ταχύτητα. Τα βάρη ενός μοντέλου καταλαμβάνουν παραμέτρους επί bytes ανά παράμετρο, και η GPU χρειάζεται επιπλέον ένα τέταρτο έως μισό παραπάνω για την κρυφή μνήμη KV και τον χρόνο εκτέλεσης. Ο πίνακας εφαρμόζει αυτόν τον κανόνα σε κάθε μέγεθος μνήμης σε αυτή τη σελίδα.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
Είναι η αρχική RTX 3080 με 8.704 πυρήνες CUDA. Η NVIDIA πούλησε αργότερα μια έκδοση 12 GB με 8.960 πυρήνες με το ίδιο όνομα, και πολλές καταχωρίσεις αναφέρουν τη μνήμη της. Μέγεθος σε σχέση με τα 10 GB: ένα μοντέλο 8B στα 8-bit φορτώνει με ελάχιστο χώρο για πλαίσιο, και ένα μοντέλο 13B στα 8-bit δεν φορτώνει καθόλου.
Η RTX 3090 είναι η μόνη GPU RTX 30 με 24 GB. Τα μεγαλύτερα μηχανήματα Xeon μας δέχονται έως 3 από αυτές, 72 GB συνολικά, τα οποία το llama.cpp ή το vLLM μπορούν να μοιράσουν σε ένα μοντέλο. Δύο χωράνε ένα μοντέλο 70B στα 4-bit, οριακά. Για μία GPU με περισσότερη μνήμη, δείτε κάθε GPU που τοποθετούμε· για σχέδια ανά μοντέλο, διακομιστές LLM.
Πλατφόρμες
Κάθε GPU RTX 30 διαθέτει διεπαφή PCIe 4.0. Στα μηχανήματα Intel Xeon λειτουργεί σε PCIe 3.0· το μηχάνημα AMD EPYC δίνει στην RTX 3080 πλήρη σύνδεση PCIe 4.0. Μόλις ένα μοντέλο ή μια σκηνή φορτωθεί στη μνήμη της GPU, η σύνδεση σχεδόν δεν έχει σημασία. Έχει σημασία για βρόχους εκπαίδευσης που μεταφέρουν παρτίδες από τη μνήμη συστήματος σε κάθε βήμα.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Οι τιμές μηχανημάτων είναι η φθηνότερη σύνθεση κάθε σειράς χωρίς GPU. Οι διακομιστές RTX 30 μπορούν να παραγγελθούν σε New York, Miami, San Francisco and Bucharest. Τα μηχανήματα του Άμστερνταμ δεν προσφέρονται με αυτές τις GPU. Η τοποθεσία καθορίζει την καθυστέρηση προς τους χρήστες σας και τον νόμο προστασίας δεδομένων που ισχύει· τα κέντρα δεδομένων περιγράφουν κάθε κτίριο.
Φόρτοι εργασίας
Μία RTX 3090 εξυπηρετεί ένα μοντέλο 13B στα 8-bit με χώρο για πλαίσιο, ή ένα μοντέλο 30B στα 4-bit με σύντομο, πίσω από το δικό σας API με Ollama, llama.cpp ή vLLM. Τίποτα από όσα στέλνετε δεν φεύγει από το μηχάνημά σας.
Το Blender Cycles αποδίδει σε CUDA ή OptiX, και οι πυρήνες RT επιταχύνουν την ανίχνευση ακτίνων. Εγκαταστήστε το λειτουργικό σύστημα που χρειάζεται ο αποδότης σας και αποδώστε κατά τη διάρκεια της νύχτας με σταθερή μηνιαία τιμή.
Ο οδηγός GeForce εκτελεί DirectX, Vulkan και OpenGL όπως ένας επιτραπέζιος υπολογιστής. Εκτελέστε έναν διακομιστή παιχνιδιού, έναν οικοδεσπότη cloud gaming ή έναν απομακρυσμένο σταθμό εργασίας με αποκλειστική GPU πίσω του.
Κάθε GPU διαθέτει έναν κωδικοποιητή NVENC για H.264 και HEVC και έναν αποκωδικοποιητή NVDEC. Η NVIDIA επιτρέπει έως 8 ταυτόχρονες συνεδρίες κωδικοποίησης ανά σύστημα σε GPU GeForce, με οδηγό 550.54.14 ή νεότερο.
Παράδοση και όροι
Τίποτα για τοποθέτηση: ο διακομιστής είναι εγκατεστημένος και παραδίδεται. Οι άμεσοι διακομιστές αναφέρουν τι είναι σε rack αυτή τη στιγμή.
Ένας τεχνικός εγκαθιστά τη GPU, δημιουργεί τη συστοιχία δίσκων και εγκαθιστά το λειτουργικό σύστημα. Επιπλέον μνήμη ή άλλοι δίσκοι μπαίνουν κατά την ίδια επίσκεψη.
Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθεί η πληρωμή και ο έλεγχος απάτης. Οι περισσότερες παραγγελίες ολοκληρώνονται μέσα σε μερικές ώρες· μια πρώτη παραγγελία σε νέο λογαριασμό μπορεί να διαρκέσει περισσότερο.
Οι ιδιοκτήτες καταχωρούν επίσης μηχανήματα RTX 30 στην αγορά μας, το καθένα σε μηνιαία τιμή που ορίζει ο ιδιοκτήτης. Οι καταχωρίσεις που επισημαίνονται ότι προέρχονται από τη θυγατρική μας εταιρεία, Primcast, ενοικιάζονται στο primcast.com.
Προδιαγραφές
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Στοιχεία από τη σύγκριση της σειράς GeForce RTX 30 της NVIDIA και τον πίνακα υποστήριξης κωδικοποίησης και αποκωδικοποίησης βίντεο. Οι τιμές, τα μηχανήματα, οι πόλεις και οι μετρήσεις ανά μηχάνημα διαβάζονται από τον κατάλογο παραγγελιών μας, αυτόν από τον οποίο χρεώνει το ταμείο.
Απαντήσεις
Ένας πλήρης διακομιστής RTX 3090 ξεκινά από $309.93 τον μήνα. Αυτό είναι η GPU στα $239 συν το φθηνότερο μηχάνημα που τη δέχεται: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Η φθηνότερη σύνθεση RTX 30 είναι η RTX 3070 στα $209.93. Μια GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ τέλος εγκατάστασης $29.
Η έκδοση 10 GB, με 8.704 πυρήνες CUDA και 760 GB/s εύρος ζώνης μνήμης. Ένας πλήρης διακομιστής RTX 3080 ξεκινά από $229.93 τον μήνα. Αν το μοντέλο σας χρειάζεται 12 GB, επιλέξτε την RTX 3080 Ti, που έχει 12 GB σε δίαυλο 384-bit.
Ναι. Τα μεγαλύτερα μηχανήματα Xeon μας δέχονται έως 3 RTX 3090, 72 GB μνήμης GPU συνολικά, και ο διαμορφωτής δείχνει το μέγιστο που δέχεται κάθε μηχάνημα. Κάθε GPU είναι ξεχωριστή μηνιαία χρέωση, οπότε η τιμή αυξάνεται κατά το ποσό της GPU για κάθε μία που προσθέτετε.
Για inference και fine-tuning QLoRA, ναι. Τα 24 GB του χωρούν ένα μοντέλο 13B στα 8-bit με περιθώριο για context, ή ένα μοντέλο 30B στα 4-bit με σύντομο. Δεν έχει μνήμη ECC, οπότε για μεγάλες εκπαιδεύσεις χωρίς checkpoints μια υπολογιστική GPU είναι η ασφαλέστερη επιλογή.
Περίπου 30 λεπτά μετά την έγκριση της παραγγελίας σας, όταν ένα μηχάνημα με αυτή την GPU είναι ήδη σε rack· αυτά αναφέρονται στη σελίδα άμεσων διακομιστών. Όταν τοποθετούμε την GPU στο μηχάνημα που διαμορφώσατε, υπολογίστε 4 έως 24 ώρες.
Όχι. Το μηχάνημα ενοικιάζεται σε έναν λογαριασμό και η GPU περνά απευθείας στο λειτουργικό σας σύστημα. Δεν υπάρχει hypervisor, προφίλ vGPU ή χρονομερισμός, και εγκαθιστάτε τον οδηγό NVIDIA και την έκδοση CUDA που θέλετε.
Όχι. Οι GPU RTX 30 αποκωδικοποιούν AV1 αλλά κωδικοποιούν μόνο H.264 και HEVC, σε έναν κωδικοποιητή NVENC ανά GPU. Η κωδικοποίηση AV1 σε hardware ξεκινά με τη σειρά RTX 40.
Σε New York, Miami, San Francisco and Bucharest, στο δίκτυο της Server Room. Τα μηχανήματα που δέχονται αυτές τις GPU δεν προσφέρονται μαζί τους στο Άμστερνταμ.
Επιλέξτε την GPU κατά μνήμη, μετά τον επεξεργαστή, τη μνήμη, τους δίσκους και την πόλη. Ο διαμορφωτής κοστολογεί κάθε αλλαγή καθώς την κάνετε.
Κάθε GPU που τοποθετούμε · Το desktop RTX 3050 · Διακομιστές RTX 40 · Σε rack αυτή τη στιγμή