Dedicated servers με GPU · NVIDIA Blackwell · με τον μήνα
Ένας dedicated server RTX 5090 είναι ένα μηχάνημα bare metal που νοικιάζεται με τον μήνα, και ολόκληρη η GPU παραδίδεται στο λειτουργικό σας σύστημα μέσω PCIe passthrough. Τα μεγαλύτερα μηχανήματα δέχονται έως 4 RTX 5090, και ένας πλήρης server ξεκινά από $472.47 τον μήνα.
Η RTX 5080 είναι η επιλογή των 16 GB στην ίδια αρχιτεκτονική, από $312.67 τον μήνα. Και οι δύο τιμές καλύπτουν επεξεργαστή, μνήμη, δίσκους, τη θύρα και μία διεύθυνση IPv4, με τη GPU να χρεώνεται ως ξεχωριστή μηνιαία γραμμή. Επιλέξτε τη GPU με βάση τη μνήμη και αλλάξτε τα υπόλοιπα στον configurator.
Οι δύο GPU
Και οι δύο είναι GPU GeForce Blackwell με GDDR7, πυρήνες Tensor 5ης γενιάς που εκτελούν FP4, πυρήνες RT 4ης γενιάς και κωδικοποίηση υλικού AV1. Η RTX 5090 έχει διπλάσιους πυρήνες CUDA από την 5080, διπλάσια μνήμη και δίαυλο 512-bit με 1.792 GB/s. Αν το μοντέλο ή η σκηνή σας χωράει στα 16 GB, η 5080 το εκτελεί με μικρότερο μηνιαίο κόστος, απλώς πιο αργά.
32 GB GDDR7 · PCIe 5.0 x16 GPU
$472.47/mo, complete server
GPU $399/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
16 GB GDDR7 · PCIe 5.0 x16 GPU
$312.67/mo, complete server
GPU $229/mo, plus the machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Κάθε τιμή είναι το φθηνότερο μηχάνημα που δέχεται αυτή τη GPU, όπως το ανοίγει ο configurator. Το κουμπί ανοίγει εκείνο το μηχάνημα με τη GPU ήδη επιλεγμένη· ταχύτεροι επεξεργαστές, περισσότερη μνήμη, μεγαλύτεροι δίσκοι και ταχύτερη θύρα κοστολογούνται εκεί. Οι συνθέσεις στο Βουκουρέστι χρεώνονται σε ευρώ, και ο configurator εμφανίζει αυτή την τιμή όταν επιλέξετε την πόλη.
Σύνδεση host
Οι RTX 5090 και RTX 5080 είναι κατασκευασμένες για PCIe 5.0 x16. Οι σειρές μηχανημάτων που κοστολογούνται παρακάτω λειτουργούν τη θυρίδα GPU σε PCIe 3.0 ή PCIe 4.0, και η ταχύτερη από αυτές είναι PCIe 4.0. Για ορισμένες εργασίες αυτό καθορίζει ποιο μηχάνημα θα αγοράσετε, οπότε ορίστε τι δίνει το καθένα στη GPU.
Συμπερασμός με τα βάρη ήδη στη μνήμη της GPU, κωδικοποίηση βίντεο και rendering μόλις φορτωθεί η σκηνή. Τα δεδομένα περνούν από τον δίαυλο κατά τη φόρτωση και μετά παραμένουν στη GPU, οπότε μια σύνδεση PCIe 3.0 κοστίζει δευτερόλεπτα στην εκκίνηση και τίποτα μετά.
Βρόχοι εκπαίδευσης που αντιγράφουν μια παρτίδα από τη μνήμη συστήματος σε κάθε βήμα, renders που μεταδίδουν υφές μεγαλύτερες από τη μνήμη της GPU και πολλές GPU που μοιράζονται ένα μοντέλο. Οι GPU GeForce RTX 50 δεν διαθέτουν NVLink, οπότε η κίνηση πολλαπλών GPU περνά επίσης από το PCIe. Για αυτές, επιλέξτε το μηχάνημα με την ταχύτερη σύνδεση στον παρακάτω πίνακα.
| Machine | PCIe link to the GPU | RTX 5080 | RTX 5090 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | not offered | up to 4 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 4 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | up to 1 |
| Intel Xeon Gold 3rd gen, DDR4built to order in New York, priced in the configurator | ask us in chat | not offered | up to 2 |
| Intel Xeon Gold 4th gen, DDR5built to order in New York, priced in the configurator | ask us in chat | not offered | up to 2 |
Οι τιμές μηχανημάτων είναι η φθηνότερη σύνθεση κάθε σειράς χωρίς GPU. Οι νεότερες σειρές που κατασκευάζονται κατόπιν παραγγελίας κοστολογούνται στον configurator· ρωτήστε μας στη συνομιλία σε ποια γενιά PCIe λειτουργεί η θυρίδα GPU τους πριν παραγγείλετε. Οι servers RTX 50 μπορούν να παραγγελθούν σε New York, Miami, San Francisco and Bucharest· τα μηχανήματα του Άμστερνταμ δεν προσφέρονται με αυτές τις GPU. Data centers περιγράφει κάθε κτίριο.
Διαστασιολόγηση για AI
Για συμπερασμό, η μνήμη αποφασίζει πρώτα. Τα βάρη καταλαμβάνουν παραμέτρους επί bytes ανά παράμετρο, και η GPU χρειάζεται ένα τέταρτο έως μισό επιπλέον από πάνω για την κρυφή μνήμη KV και τον χρόνο εκτέλεσης. Ο πίνακας εφαρμόζει αυτόν τον κανόνα σε μία RTX 5080, μία RTX 5090 και ένα μηχάνημα με πολλές 5090.
| Model size (weights) | RTX 508016 GB | RTX 509032 GB | 2 x RTX 509064 GB | 4 x RTX 5090128 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
Ένα μοντέλο 30B σε 4-bit ή ένα 13B σε 8-bit φορτώνει με περιθώριο πλαισίου, πίσω από το δικό σας API σε Ollama, llama.cpp ή vLLM. Οι πυρήνες Blackwell Tensor εκτελούν επίσης FP4 εγγενώς, το οποίο χρησιμοποιούν χρόνοι εκτέλεσης φτιαγμένοι για αυτό, όπως το TensorRT-LLM, για να εξυπηρετούν μοντέλα 4-bit γρηγορότερα.
Τα μεγαλύτερα μηχανήματά μας δέχονται έως 4 από αυτές, 128 GB μνήμης GPU συνολικά, την οποία το vLLM ή το llama.cpp μοιράζουν σε ένα μοντέλο. Δύο χωρούν ένα μοντέλο 70B σε 4-bit με άνεση. Για μία GPU με περισσότερη μνήμη, δείτε κάθε GPU που τοποθετούμε· για σχέδια ανά μοντέλο, διακομιστές LLM.
Φόρτοι εργασίας
Ένα μοντέλο στο δικό σας μηχάνημα, πίσω από το δικό σας endpoint. Οι προτροπές και οι έξοδοι παραμένουν σε υλικό που νοικιάζεται σε έναν λογαριασμό, και ο λογαριασμός είναι ο ίδιος είτε η GPU είναι απασχολημένη όλο τον μήνα είτε αδρανής.
Το Blender Cycles αποδίδει σε CUDA ή OptiX, και οι πυρήνες RT επιταχύνουν την ανίχνευση ακτίνων σε αυτό και σε άλλους αποδότες GPU. Εγκαταστήστε το λειτουργικό σύστημα που χρειάζεται ο αποδότης σας και βάλτε καρέ σε ουρά κατά τη διάρκεια της νύχτας.
Η RTX 5090 έχει τρεις κωδικοποιητές NVENC και η RTX 5080 δύο, καθένας χειρίζεται H.264, HEVC και AV1 σε υλικό. Δύο αποκωδικοποιητές NVDEC σε καθεμία αφαιρούν την πλευρά εισόδου από τον επεξεργαστή.
Ο οδηγός GeForce εκτελεί DirectX, Vulkan και OpenGL όπως ένας επιτραπέζιος υπολογιστής. Φιλοξενήστε έναν διακομιστή παιχνιδιού, ένα κουτί cloud gaming ή έναν απομακρυσμένο σταθμό εργασίας με μια αποκλειστική GPU πίσω του.
Παράδοση και όροι
Είναι εγκατεστημένο και παραδίδεται χωρίς τίποτα να τοποθετηθεί. Οι άμεσοι διακομιστές αναφέρουν τι είναι τοποθετημένο τώρα, και αυτοί μπορούν επίσης να νοικιαστούν ανά ώρα.
Ένας τεχνικός εγκαθιστά τη GPU στο μηχάνημα που διαμορφώσατε, χτίζει τη συστοιχία δίσκων και εγκαθιστά το λειτουργικό σύστημα. Επιπλέον μνήμη ή δίσκοι μπαίνουν στην ίδια επίσκεψη.
Παραγγέλνουμε το εξάρτημα και μετά χτίζουμε όπως παραπάνω. Σας λέμε ποια από τις τρεις ισχύει πριν πληρώσετε.
Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθεί η πληρωμή και ο έλεγχος απάτης. Οι περισσότερες παραγγελίες ολοκληρώνονται μέσα σε μερικές ώρες· μια πρώτη παραγγελία σε νέο λογαριασμό μπορεί να πάρει περισσότερο.
Οι ιδιοκτήτες καταχωρούν επίσης μηχανήματα RTX 50 στην αγορά μας, το καθένα σε μηνιαία τιμή που ορίζει ο ιδιοκτήτης. Οι καταχωρήσεις που έρχονται μέσω της αδελφής μας εταιρείας, Primcast, νοικιάζονται στο primcast.com.
Προδιαγραφές
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power | Video |
|---|---|---|---|---|---|---|---|
| RTX 5090 | 32 GB GDDR7 | 512-bit | 1,792 GB/s | 21,760 | 2.41 GHz | 575 W | 3 NVENC, 2 NVDEC |
| RTX 5080 | 16 GB GDDR7 | 256-bit | 960 GB/s | 10,752 | 2.62 GHz | 360 W | 2 NVENC, 2 NVDEC |
Τα στοιχεία GPU όπως τα δημοσιεύει η NVIDIA για τη σειρά GeForce RTX 50. Οι τιμές, τα μηχανήματα, οι πόλεις και οι αριθμοί ανά μηχάνημα διαβάζονται από τον κατάλογο παραγγελιών μας, αυτόν από τον οποίο χρεώνει το ταμείο.
Απαντήσεις
Ένας πλήρης διακομιστής RTX 5090 ξεκινά από $472.47 τον μήνα: η GPU στα $399 συν το φθηνότερο μηχάνημα που τη δέχεται, Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Μια GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ τέλος εγκατάστασης $29, χωρίς συμβόλαιο.
Μόνο ένα μηχάνημα που έχει ήδη τη GPU μέσα και παραλαμβάνεται ως έχει: αυτά χρεώνονται με την ώρα, με ελάχιστη χρέωση μίας ώρας, και η σελίδα άμεσοι διακομιστές δείχνει ποια είναι διαθέσιμα αυτή τη στιγμή. Ένα μηχάνημα που διαμορφώνετε εδώ κατασκευάζεται για εσάς και χρεώνεται μηνιαία, χωρίς συμβόλαιο.
Όχι. Η NVIDIA πουλά το RTX 5090 μόνο ως GPU GeForce. Αν θέλετε μια GPU Blackwell που η NVIDIA κατασκευάζει και ως έκδοση διακομιστή, δείτε την RTX PRO 6000 Blackwell, με 96 GB GDDR7 και ECC. Τοποθετούμε και αυτή τη GPU των 96 GB, με τιμή στη σελίδα διακομιστές RTX PRO 6000, καθώς και την RTX 5090 σε rack servers με πλήρη παράκαμψη της GPU.
Ναι. Τα μεγαλύτερα μηχανήματά μας δέχονται έως 4 RTX 5090, 128 GB μνήμης GPU συνολικά, και ο διαμορφωτής δείχνει το μέγιστο που δέχεται κάθε μηχάνημα. Κάθε GPU είναι ξεχωριστή μηνιαία χρέωση και οι GPU επικοινωνούν μεταξύ τους μέσω PCIe.
Για inference και fine-tuning QLoRA, ναι. Τα 32 GB του χωρούν ένα μοντέλο 30B σε 4-bit ή ένα 13B σε 8-bit με περιθώριο context, και δύο από αυτά χωρούν ένα μοντέλο 70B σε 4-bit. Δεν διαθέτει λειτουργία ECC, οπότε για μεγάλες εκπαιδεύσεις χωρίς checkpoints μια GPU data center είναι η ασφαλέστερη επιλογή.
Επιλέξτε με βάση τη μνήμη. Η RTX 5080 έχει 16 GB και 960 GB/s, και ένας πλήρης διακομιστής ξεκινά από $312.67 τον μήνα· χωρά ένα μοντέλο 8B σε 8-bit ή ένα 13B σε 4-bit. Η RTX 5090 έχει 32 GB και 1.792 GB/s, για μεγαλύτερα μοντέλα, βαρύτερες σκηνές και περισσότερη κωδικοποίηση ταυτόχρονα.
Όχι στα μηχανήματα των οποίων τη σύνδεση δημοσιεύουμε. Η GPU είναι PCIe 5.0 x16, και οι σειρές που τιμολογούνται σε αυτή τη σελίδα λειτουργούν τη θύρα σε PCIe 3.0 ή PCIe 4.0, με ταχύτερη τα PCIe 4.0. Για τις νεότερες σειρές που κατασκευάζονται κατόπιν παραγγελίας, ρωτήστε μας στο chat σε ποια γενιά λειτουργεί η θύρα. Το inference, η κωδικοποίηση και οι περισσότερες renderings δεν επηρεάζονται σχεδόν καθόλου· η εκπαίδευση που μεταφέρει δεδομένα από τη μνήμη συστήματος σε κάθε βήμα επηρεάζεται.
Όχι. Το μηχάνημα νοικιάζεται σε έναν λογαριασμό και η GPU παρακάμπτεται απευθείας στο λειτουργικό σας σύστημα. Δεν υπάρχει hypervisor, προφίλ vGPU ή χρονομερισμός, και εγκαθιστάτε τον οδηγό NVIDIA και την έκδοση CUDA που επιλέγετε.
Περίπου 30 λεπτά μετά την έγκριση της παραγγελίας όταν ένα μηχάνημα με τη GPU είναι ήδη διαθέσιμο. Όταν τοποθετούμε μια GPU από το απόθεμά μας, υπολογίστε 4 έως 24 ώρες· όταν πρέπει να αγοραστεί, 5 έως 10 εργάσιμες ημέρες.
Σε New York, Miami, San Francisco and Bucharest, στο δίκτυο της Server Room. Τα μηχανήματα που δέχονται GPU RTX 50 δεν προσφέρονται με αυτές στο Άμστερνταμ.
Επιλέξτε τη GPU και πόσες, μετά τον επεξεργαστή, τη μνήμη, τους δίσκους και την πόλη. Ο διαμορφωτής τιμολογεί κάθε αλλαγή καθώς την κάνετε.
Κάθε GPU που τοποθετούμε · Διακομιστές RTX 4090 · Διακομιστές LLM · Διαθέσιμα τώρα