Dedicated servers με GPU · NVIDIA Ada Lovelace · με τον μήνα
Ο dedicated server μας με RTX 4090 τρέχει την GeForce RTX 4090D, όχι την πλήρη RTX 4090. Διατηρεί τα 24 GB GDDR6X της 4090, το εύρος ζώνης μνήμης 1.008 GB/s και τους δύο κωδικοποιητές AV1, ενώ διαθέτει 14.592 πυρήνες CUDA έναντι 16.384 της 4090. Ένας πλήρης server με μία τέτοια κάρτα ξεκινά από $372.47 τον μήνα.
Με το server hosting μας με RTX 4090 νοικιάζετε ολόκληρο το μηχάνημα. Η GPU περνά απευθείας στο δικό σας λειτουργικό σύστημα, με πρόσβαση root και την out-of-band κονσόλα του server. Η τιμή που εμφανίζεται αφορά τον πλήρη server: επεξεργαστή, μνήμη, δίσκους, τη θύρα και μία διεύθυνση IPv4, συν τη μηνιαία χρέωση της ίδιας της GPU.
RTX 4090D vs RTX 4090
Η NVIDIA κυκλοφόρησε την RTX 4090D στις 28 Δεκεμβρίου 2023, αφού ένας κανόνας εξαγωγών των Ηνωμένων Πολιτειών σταμάτησε τις πωλήσεις της RTX 4090 στην Κίνα. Πρόκειται για το ίδιο τσιπ AD102 με λιγότερους ενεργοποιημένους streaming multiprocessors: 114 αντί για 128. Η μνήμη, το boost clock και οι μηχανές βίντεο παραμένουν ίδια· το όριο ισχύος της πλακέτας είναι ελαφρώς χαμηλότερο.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Σε οτιδήποτε περιορίζεται από το μέγεθος ή την ταχύτητα της μνήμης. Ένα μοντέλο που χωράει στα 24 GB σε μια 4090 χωράει και σε μια 4090D, και η παραγωγή tokens από αυτό δεσμεύεται από το ίδιο εύρος ζώνης 1.008 GB/s. Η κωδικοποίηση βίντεο χρησιμοποιεί το ίδιο ζεύγος μηχανών NVENC. Ο driver, το CUDA, το PyTorch, το Blender και κάθε άλλο εργαλείο την αντιμετωπίζουν ως GeForce GPU αρχιτεκτονικής Ada Lovelace.
Σε εργασίες που δεσμεύονται από την απόδοση των shaders: μεγάλα batches εκπαίδευσης, rendering με Cycles και OptiX, επεξεργασία prompts σε μεγάλα inputs. Η 4090D έχει 11% λιγότερους πυρήνες CUDA στο ίδιο boost clock των 2,52 GHz, οπότε αναμένεται να υπολείπεται μιας 4090 έως και κατά αυτό το ποσοστό σε τέτοιες εργασίες. Η ισχύς της πλακέτας είναι 425 W έναντι 450 W.
Οι συνθέσεις
Αυτές είναι οι δύο GeForce GPU της σειράς RTX 40 που ο κατάλογος παραγγελιών μας τοποθετεί σε rack servers. Η RTX 4090D είναι η επιλογή των 24 GB και μπορεί να συνδυαστεί σε ένα μηχάνημα. Η RTX 4070 διαθέτει 12 GB και τον ίδιο κωδικοποιητή AV1 8ης γενιάς, για εργασίες που δεν χρειάζονται περισσότερη μνήμη.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Κάθε τιμή αφορά το φθηνότερο μηχάνημα που δέχεται τη συγκεκριμένη GPU, όπως ανοίγει στον configurator, και το κουμπί ανοίγει το μηχάνημα με την GPU ήδη επιλεγμένη. Άλλοι επεξεργαστές, περισσότερη μνήμη, μεγαλύτεροι δίσκοι, ταχύτερη θύρα και περισσότερες GPU κοστολογούνται εκεί. Οι συνθέσεις στο Βουκουρέστι χρεώνονται σε ευρώ· ο configurator αλλάζει νόμισμα όταν επιλέξετε την πόλη.
Διαστασιολόγηση
Υπολογίστε πρώτα το μέγεθος του inference με βάση τη μνήμη. Τα βάρη απαιτούν παραμέτρους επί bytes ανά παράμετρο, και οι GPU χρειάζονται ένα τέταρτο έως μισό επιπλέον για την κρυφή μνήμη KV και το runtime. Ο πίνακας εφαρμόζει αυτόν τον κανόνα στην RTX 4070, σε μία RTX 4090D και σε πολλές σε ένα μηχάνημα, τις οποίες το llama.cpp και το vLLM μοιράζουν σε ένα μοντέλο.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
Οι GeForce RTX 40 GPU δεν διαθέτουν υποδοχή NVLink, επομένως πολλές 4090D σε έναν server επικοινωνούν μέσω PCIe. Ο διαμοιρασμός ενός μοντέλου σε αυτές για inference λειτουργεί μέσω αυτής της σύνδεσης. Η εκπαίδευση που ανταλλάσσει gradients σε κάθε βήμα κερδίζει λιγότερα από κάθε επιπλέον GPU από ό,τι θα κέρδιζε σε GPU συνδεδεμένες με NVLink.
Ένα μοντέλο που χρειάζεται έναν μεγάλο ενιαίο χώρο μνήμης ή μνήμη ECC ανήκει σε μια GPU υπολογιστικών εργασιών ή workstation με 48 ή 80 GB. Αυτές βρίσκονται σε κάθε GPU που τοποθετούμε. Για ένα πλάνο μοντέλο προς μοντέλο, δείτε τους LLM servers.
Πλατφόρμες
Και οι δύο GPU διαθέτουν διεπαφή PCIe 4.0 x16. Τα μηχανήματα Intel Xeon τη λειτουργούν σε PCIe 3.0, γεγονός που μειώνει στο μισό το εύρος ζώνης προς τον host. Το μηχάνημα AMD EPYC δίνει σε κάθε GPU μια πλήρη σύνδεση PCIe 4.0. Μόλις τα βάρη ή μια σκηνή βρεθούν στη μνήμη της GPU, η σύνδεση ελάχιστα έχει σημασία· έχει σημασία για βρόχους εκπαίδευσης που μεταφέρουν δεδομένα από τη μνήμη συστήματος και για τον διαμοιρασμό ενός μοντέλου σε πολλές GPU.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Οι τιμές των μηχανημάτων είναι η φθηνότερη σύνθεση κάθε σειράς χωρίς GPU. Οι RTX 40 servers μπορούν να παραγγελθούν σε New York, Miami, San Francisco and Bucharest. Τα μηχανήματα του Άμστερνταμ δεν προσφέρονται με αυτές τις GPU. Κάθε κτίριο περιγράφεται στα data centers.
Φόρτοι εργασίας
Μία RTX 4090D εξυπηρετεί ένα μοντέλο 13B στα 8-bit με χώρο για context ή ένα μοντέλο 30B στα 4-bit με σύντομο context. Εκτελέστε Ollama, llama.cpp ή vLLM πίσω από το δικό σας API· τα prompts και τα αποτελέσματα παραμένουν στο μηχάνημά σας.
Οι RT cores 3ης γενιάς επιταχύνουν το Blender Cycles μέσω OptiX, καθώς και την Unreal Engine και το V-Ray. Ένας ray tracing GPU server με σταθερή μηνιαία τιμή κάνει rendering κατά τη διάρκεια της νύχτας χωρίς να τρέχει χρέωση ανά ώρα.
Η 4090D διαθέτει δύο NVENC engines 8ης γενιάς και ένα NVDEC. Και οι δύο GPU κωδικοποιούν AV1 σε hardware, κάτι που η σειρά RTX 30 δεν μπορεί, επομένως ένα live pipeline μπορεί να εξυπηρετεί AV1 δίπλα σε H.264.
Ο GeForce driver εκτελεί DirectX, Vulkan και OpenGL όπως ένα desktop. Εγκαταστήστε Windows ή Linux και λειτουργήστε ένα cloud gaming host, ένα streamed workstation ή έναν game server με αποκλειστική GPU.
Παράδοση και όροι
Είναι εγκατεστημένο και παραδίδεται. Οι Instant servers δείχνουν τι είναι racked σήμερα.
Ένας τεχνικός εγκαθιστά τη GPU στο μηχάνημα που διαμορφώσατε, δημιουργεί τη συστοιχία δίσκων και εγκαθιστά το λειτουργικό σύστημα. Πρόσθετη μνήμη ή δίσκοι τοποθετούνται στην ίδια επίσκεψη.
Παραγγέλνουμε το εξάρτημα και στη συνέχεια κάνουμε την εγκατάσταση όπως παραπάνω. Θα ενημερωθείτε ποια περίπτωση ισχύει πριν πληρώσετε.
Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθεί η πληρωμή και ο έλεγχος απάτης. Οι περισσότερες παραγγελίες ολοκληρώνονται μέσα σε λίγες ώρες· μια πρώτη παραγγελία σε νέο λογαριασμό μπορεί να διαρκέσει περισσότερο.
Οι κάτοχοι καταχωρούν μηχανήματα RTX 40 και στο marketplace μας, το καθένα σε μηνιαία τιμή που ορίζει ο κάτοχος. Μια καταχώριση από τη θυγατρική μας εταιρεία, Primcast, ενοικιάζεται στο primcast.com.
Προδιαγραφές
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Τα στοιχεία των GPU προέρχονται από τη σύγκριση της σειράς GeForce RTX 40 της NVIDIA, τον πίνακα υποστήριξης κωδικοποίησης και αποκωδικοποίησης βίντεο και τις δημοσιευμένες προδιαγραφές κυκλοφορίας της RTX 4090D. Οι τιμές, τα μηχανήματα, οι πόλεις και ο αριθμός ανά μηχάνημα διαβάζονται από τον κατάλογο παραγγελιών μας, αυτόν από τον οποίο χρεώνει το checkout.
Απαντήσεις
Ένας πλήρης διακομιστής με μία RTX 4090D ξεκινά από $372.47 τον μήνα. Αυτό είναι η GPU στα $299 συν το φθηνότερο μηχάνημα που τη δέχεται: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Κάθε επιπλέον GPU προσθέτει τη δική της μηνιαία γραμμή, και μια GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ τέλος εγκατάστασης $29.
Είναι η RTX 4090D. Έχει τα 24 GB GDDR6X της RTX 4090, εύρος ζώνης 1.008 GB/s, ρολόι boost 2,52 GHz και δύο κωδικοποιητές AV1, με 14.592 πυρήνες CUDA αντί για 16.384. Το λέμε εδώ ώστε να μην το ανακαλύψει κανείς αφού πληρώσει.
Το πολύ περίπου 11% σε εργασίες που εξαρτώνται από την απόδοση των shader, όπως η απόδοση εικόνας και η εκπαίδευση, επειδή αυτό είναι το ποσοστό των πυρήνων CUDA που της λείπει στο ίδιο ρολόι. Σε εργασίες που εξαρτώνται από το μέγεθος ή το εύρος ζώνης της μνήμης, όπως η παραγωγή token LLM, οι δύο θα πρέπει να αποδίδουν το ίδιο.
Ναι. Ένα μηχάνημα δέχεται έως 4 από αυτές, 96 GB μνήμης GPU συνολικά, και ο διαμορφωτής δείχνει το μέγιστο που δέχεται κάθε μηχάνημα. Οι GPU συνδέονται μέσω PCIe, καθώς οι GeForce RTX 40 δεν έχουν NVLink.
Bare metal. Το μηχάνημα ενοικιάζεται σε έναν λογαριασμό και η GPU περνά απευθείας στο λειτουργικό σας σύστημα: χωρίς hypervisor, χωρίς τμήμα vGPU, χωρίς καταμερισμό χρόνου. Εγκαθιστάτε τον οδηγό NVIDIA και την έκδοση CUDA που επιλέγετε.
Η ωριαία χρέωση ισχύει για ένα μηχάνημα ήδη τοποθετημένο σε rack και ενοικιαζόμενο ως έχει, οπότε εξαρτάται από το τι αναφέρει η σελίδα άμεσων διακομιστών εκείνη την ημέρα. Μια GPU που τοποθετείται σε μηχάνημα που διαμορφώσατε χρεώνεται ανά μήνα, χωρίς συμβόλαιο.
Ναι. Οι πυρήνες RT 3ης γενιάς επιταχύνουν το ray tracing σε Blender Cycles με OptiX, Unreal Engine, V-Ray και άλλους renderers, και τα 24 GB χωρούν μεγάλες σκηνές. Με σταθερή μηνιαία τιμή, οι μεγάλες αποδόσεις κοστίζουν το ίδιο με τις μικρές.
Περίπου 30 λεπτά μετά την έγκριση όταν ένα μηχάνημα με τη GPU είναι ήδη σε rack. Όταν τοποθετούμε μια GPU από απόθεμα, 4 έως 24 ώρες· όταν η GPU πρέπει να αγοραστεί, 5 έως 10 εργάσιμες ημέρες, και ενημερώνεστε ποιο ισχύει πριν πληρώσετε.
Σε New York, Miami, San Francisco and Bucharest, στο δίκτυο της Server Room. Τα μηχανήματα του Άμστερνταμ δεν προσφέρονται με αυτές τις GPU.
Ο διακομιστής RTX 4070 ξεκινά από $262.67 τον μήνα πλήρης, με τη GPU στα $179 από αυτό. Έχει 12 GB GDDR6X και έναν κωδικοποιητή AV1, και ένα μηχάνημα δέχεται έως 4.
Επιλέξτε πόσες GPU, μετά τον επεξεργαστή, τη μνήμη, τους δίσκους και την πόλη. Ο διαμορφωτής ανατιμά κάθε αλλαγή καθώς την κάνετε.
Κάθε GPU που τοποθετούμε · Διακομιστές RTX 30 · Διακομιστές RTX 50 · Σε rack αυτή τη στιγμή