96 GB
Μνήμη GDDR7 με ECC
Διπλάσια από τα 48 GB της RTX 6000 Ada και περισσότερη από τις A100 και H100 των 80 GB που τοποθετούμε. Το ECC διορθώνει σφάλματα ενός bit στη μνήμη της GPU, κάτι που έχει σημασία σε εκτελέσεις που διαρκούν ημέρες.
Dedicated servers με GPU · NVIDIA Blackwell · με τον μήνα
Dedicated server RTX PRO 600096 GB σε μία GPU. Ολόκληρο το μηχάνημα είναι δικό σας.
Ένας dedicated server RTX PRO 6000 από εμάς είναι ένα bare-metal μηχάνημα με μία NVIDIA RTX PRO 6000 Blackwell που περνά απευθείας στο δικό σας λειτουργικό σύστημα. Ο πλήρης server ξεκινά από $1,382.67 a month. Η GPU διαθέτει 96 GB GDDR7 με ECC. No GPU in our order catalogue holds more.
- Πλήρης GPU, όχι vGPU
- Θύρα χωρίς όριο
- 4 πόλεις
- Χωρίς συμβόλαιο
Έχετε root στο μηχάνημα, τη GPU στον δίαυλο PCIe και τον driver και την έκδοση CUDA που επιλέγετε. Η τιμή είναι ο επεξεργαστής, η μνήμη, οι δίσκοι, η θύρα και μία διεύθυνση IPv4, συν τη GPU ως ξεχωριστή μηνιαία χρέωση. Αλλάξτε οποιοδήποτε από αυτά στον configurator.
Η GPU
Τι προσφέρει η RTX PRO 6000 Blackwell σε έναν server
Είναι η επαγγελματική GPU Blackwell της NVIDIA, διάδοχος της RTX 6000 Ada. Τέσσερα μέρη της καθορίζουν σε τι είναι καλός ο server.
752
Tensor cores 5ης γενιάς
Οι Tensor cores εκτελούν μαθηματικούς υπολογισμούς πινάκων FP4, FP8 και FP16 για inference και training. Η NVIDIA βαθμολογεί τη GPU στα 4.000 AI TOPS σε FP4 με sparsity.
188
RT cores 4ης γενιάς
Οι RT cores εκτελούν τους ελέγχους ακτίνων και τριγώνων σε hardware, με βαθμολογία 380 TFLOPS. Οι renderers OptiX όπως οι Blender Cycles, V-Ray και Arnold GPU τους χρησιμοποιούν.
4 + 4
Μηχανές NVENC και NVDEC
Τέσσερις encoders 9ης γενιάς και τέσσερις decoders 6ης γενιάς, όλοι με AV1, δίπλα στους compute cores. Οι A100 και H100 δεν έχουν καθόλου video encoder.
Απέναντι στους επιταχυντές
RTX PRO 6000 έναντι H100, A100 και των GPU 48 GB
Αυτές είναι οι GPU με 40 GB ή περισσότερο που τοποθετούμε, καθεμία τιμολογημένη ως πλήρης διακομιστής. Η RTX PRO 6000 διαθέτει περισσότερη μνήμη από την H100 and costs $300 a month less as a complete server.
Αυτό που θυσιάζει είναι το NVLink. Δύο από αυτές σε ένα μηχάνημα αποτελούν δύο ξεχωριστές δεξαμενές 96 GB που ανταλλάσσουν δεδομένα μέσω PCIe. Οι A100 και H100 διαθέτουν υποδοχή γέφυρας NVLink, και μια σύνθεση με γέφυρα κοστολογείται χειροκίνητα στους διακομιστές A100 ή H100. Η A100 80 GB διαβάζει επίσης τη μνήμη της λίγο πιο γρήγορα, 1.935 GB/s έναντι 1.792 GB/s, κάτι που φαίνεται όταν εξυπηρετείτε πολλούς χρήστες με μεγάλο μέγεθος παρτίδας.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Πλατφόρμες
Σε ποιο μηχάνημα μπαίνει η GPU και ποια σύνδεση PCIe λαμβάνει
Η RTX PRO 6000 διαθέτει διεπαφή PCIe Gen 5. Τα μηχανήματά μας Intel Xeon Silver και Gold τη λειτουργούν σε PCIe 3.0· το μηχάνημα AMD EPYC τη λειτουργεί σε PCIe 4.0. Μόλις τα βάρη ή η σκηνή βρεθούν στη μνήμη της GPU, η σύνδεση είναι ως επί το πλείστον αδρανής. Έχει σημασία για βρόχους εκπαίδευσης που αντιγράφουν μια νέα παρτίδα από τη μνήμη συστήματος σε κάθε βήμα, οπότε επιλέξτε το μηχάνημα EPYC για αυτές τις περιπτώσεις.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Κάθε τιμή είναι η φθηνότερη σύνθεση αυτού του μηχανήματος όπως την ανοίγει ο διαμορφωτής, και το κουμπί το ανοίγει με την GPU ήδη επιλεγμένη. Περισσότερος επεξεργαστής, μνήμη, δίσκοι και ταχύτερη θύρα κοστολογούνται εκεί. Οι συνθέσεις στο Βουκουρέστι τιμολογούνται σε ευρώ. Τα μηχανήματα του Άμστερνταμ δεν προσφέρονται με αυτή την GPU. Περισσότερες από μία RTX PRO 6000 σε ένα μηχάνημα κοστολογούνται χειροκίνητα: ρωτήστε στη συνομιλία ή δείτε τους διακομιστές πολλαπλών GPU.
Διαστασιολόγηση
Τι χωράει σε 96 GB μνήμης GPU
Τα βάρη ενός μοντέλου καταλαμβάνουν τον αριθμό παραμέτρων επί τα byte ανά παράμετρο. Η GPU χρειάζεται επιπλέον ένα τέταρτο έως μισό για την κρυφή μνήμη KV και τον χρόνο εκτέλεσης, και ο παρακάτω πίνακας εφαρμόζει αυτόν τον κανόνα. Ένα μοντέλο 70B στα 4-bit χωράει με περιθώριο για συμφραζόμενα· στα 8-bit φορτώνει, αλλά μεγάλα συμφραζόμενα ή δεύτερος χρήστης το εξαντλούν.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Μόνο βάρη, στρογγυλοποιημένα προς τα πάνω. Για πλάνο ανά μοντέλο, με το μηχάνημα που χρειάζεται, δείτε τους διακομιστές LLM.
Φόρτοι εργασίας
Τι εκτελεί ένας διακομιστής RTX PRO 6000 και πού σταματά
Συμπερασμός LLM σε μία GPU
Εξυπηρετήστε ένα μοντέλο 70B στα 4-bit ή ένα μοντέλο 30B στα 8-bit, πίσω από το δικό σας API με vLLM, llama.cpp ή Ollama. Οι προτροπές και οι έξοδοι παραμένουν στο μηχάνημά σας.
Λεπτομερής ρύθμιση
QLoRA σε μοντέλο 70B ή LoRA σε μοντέλο 13B στα 16-bit χωράει σε 96 GB. Η μνήμη ECC προστατεύει μια εκτέλεση πολλών ημερών από σιωπηλές αναστροφές bit.
Απόδοση και οπτικοποίηση
Σκηνές που δεν χωρούν σε 24 ή 48 GB αποδίδονται σε μία GPU αντί να διασπώνται. Οι πυρήνες RT αναλαμβάνουν την ανίχνευση ακτίνων.
Βίντεο σε όγκο
Τέσσερις κωδικοποιητές AV1 και τέσσερις αποκωδικοποιητές μετατρέπουν πολλά ζωντανά κανάλια σε υλικό ενώ οι πυρήνες CUDA εκτελούν κάτι άλλο. Για μηχάνημα ρυθμισμένο με Flussonic ή Wowza, δείτε τους διακομιστές μετατροπής GPU.
- Χωρίς NVLink. Οι GPU σε ένα μηχάνημα μοιράζονται δεδομένα μόνο μέσω PCIe. Όταν δύο GPU πρέπει να ανταλλάσσουν τανυστές ταχύτερα από αυτό, μια σύνθεση A100 ή H100 με γέφυρα NVLink κοστολογείται χειροκίνητα.
- Υποδοχή PCIe 3.0 ή 4.0. Κανένα μηχάνημα που τη δέχεται δεν διαθέτει υποδοχή Gen 5, οπότε η GPU λειτουργεί με σύνδεση Gen 3 ή Gen 4. Ο συμπερασμός και η απόδοση μόλις που το αντιλαμβάνονται· η έντονη κίνηση από τον κεντρικό υπολογιστή προς τη GPU το αντιλαμβάνεται.
- Όχι για εκπαίδευση μεγάλου μοντέλου από το μηδέν. Αυτό απαιτεί πολλές GPU συνδεδεμένες με γρήγορο δίκτυο. Μία RTX PRO 6000 προορίζεται για συμπερασμό, λεπτομερή ρύθμιση και εκπαίδευση σε μία GPU.
Παράδοση και όροι
Πόσο σύντομα είναι online και τι καλύπτει η μηνιαία τιμή
- Περίπου 30 λεπτά
Ήδη σε μηχάνημα με rack
Τίποτα προς τοποθέτηση: ο διακομιστής είναι εγκατεστημένος και παραδίδεται. Οι άμεσοι διακομιστές παραθέτουν τι είναι σε rack αυτή τη στιγμή.
- 4 έως 24 ώρες
GPU που διαθέτουμε
Ένας τεχνικός την τοποθετεί στο μηχάνημα που διαμορφώσατε, χτίζει τους δίσκους και εγκαθιστά το λειτουργικό σύστημα.
- 5 έως 10 εργάσιμες ημέρες
GPU που αγοράζουμε
Την παραγγέλνουμε από διανομέα και μετά την τοποθετούμε.
- 10 έως 15 εργάσιμες ημέρες
GPU με κατανομή
Όταν οι διανομείς περιορίζουν μια GPU, λαμβάνετε την ημερομηνία πριν δεσμευτείτε.
- Περιλαμβάνεται
- Επεξεργαστής, μνήμη, δίσκοι, IPv4 και IPv6, και απεριόριστη θύρα. Τίποτα δεν μετρά κίνηση προς καμία κατεύθυνση.
- Πρόσβαση
- Root ή διαχειριστής στο δικό σας λειτουργικό σύστημα, επανεγκατάσταση από τον πίνακα ελέγχου χωρίς χρέωση, και η out-of-band κονσόλα του διακομιστή σε ξεχωριστό δίκτυο διαχείρισης.
- Εγκατάσταση
- $29 μία φορά για GPU που τοποθετείται κατόπιν παραγγελίας. Ένα μηχάνημα με rack που παραγγέλνεται ως έχει δεν έχει χρέωση εγκατάστασης.
- Διάρκεια
- Ένας μήνας κάθε φορά, χωρίς συμβόλαιο. Κύκλοι 3, 6 και 12 μηνών εξοικονομούν έως 15%.
- Υποστήριξη
- Συνομιλία που απαντάται σε δευτερόλεπτα από βοηθό τεχνητής νοημοσύνης που μπορεί να ελέγξει τον λογαριασμό σας και τον διακομιστή σας, και άνθρωπος τη στιγμή που τον ζητήσετε.
Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθούν η πληρωμή και ο έλεγχος απάτης. Ενημερώνεστε ποιο από τα τέσσερα ισχύει πριν πληρώσετε.
Μηχανήματα RTX PRO 6000 στην αγορά GPU μας
Οι ιδιοκτήτες καταχωρούν επίσης μηχανήματα RTX PRO 6000 στην αγορά μας, καθένα σε τιμή που ορίζει ο ιδιοκτήτης. Οι καταχωρίσεις που επισημαίνονται ότι προέρχονται από τη θυγατρική μας εταιρεία, Primcast, ενοικιάζονται στο primcast.com.
Προδιαγραφές
Προδιαγραφές RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Απαντήσεις
Ερωτήσεις για τον διακομιστή RTX PRO 6000
Πόσο κοστίζει ένας αποκλειστικός διακομιστής RTX PRO 6000;
Ένας πλήρης διακομιστής RTX PRO 6000 ξεκινά από $1,382.67 τον μήνα. Αυτό είναι η GPU στα $1,299 συν το φθηνότερο μηχάνημα που τη δέχεται, στα $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Μια GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ τέλος εγκατάστασης $29, και η προπληρωμή 12 μηνών αφαιρεί 15%.
Πόσους πυρήνες RT και πυρήνες Tensor έχει η RTX PRO 6000;
188 πυρήνες RT τέταρτης γενιάς και 752 πυρήνες Tensor πέμπτης γενιάς, δίπλα σε 24.064 πυρήνες CUDA. Η NVIDIA βαθμολογεί τους πυρήνες RT στα 380 TFLOPS και τους πυρήνες Tensor στα 4.000 AI TOPS σε FP4 με αραιότητα. Οι αριθμοί είναι ίδιοι στις εκδόσεις Workstation, Max-Q και Server.
Είναι η RTX PRO 6000 η ίδια GPU με την RTX 6000 Ada;
Όχι. Η RTX 6000 Ada είναι η προηγούμενη γενιά, με 48 GB GDDR6. Η RTX PRO 6000 είναι Blackwell, με 96 GB GDDR7, πυρήνες Tensor πέμπτης γενιάς και κωδικοποιητές AV1. Τοποθετούμε και τις δύο: αν τα 48 GB καλύπτουν τη δουλειά σας, η RTX 6000 Ada είναι ο φθηνότερος διακομιστής, και η σελίδα Διακομιστές GPU τιμολογεί κάθε GPU που τοποθετούμε.
Υποστηρίζει η RTX PRO 6000 το NVLink;
Όχι. Η RTX PRO 6000 δεν έχει υποδοχή NVLink, οπότε δύο σε έναν διακομιστή είναι δύο δεξαμενές των 96 GB που ανταλλάσσουν δεδομένα μέσω PCIe. Οι A100 και H100 διαθέτουν υποδοχή γέφυρας NVLink, και μια σύνθεση με γέφυρα τιμολογείται χειροκίνητα. Το ίδιο ισχύει και για περισσότερες από μία RTX PRO 6000 σε ένα μηχάνημα.
Μπορεί ένα μοντέλο 70B να τρέξει σε μία RTX PRO 6000;
Ναι. Στα 4-bit τα βάρη ενός μοντέλου 70B καταλαμβάνουν περίπου 38 GB, που αφήνει χώρο στα 96 GB για μεγάλο πλαίσιο και πολλούς χρήστες. Στα 8-bit καταλαμβάνουν περίπου 70 GB: φορτώνει, με ελάχιστο περιθώριο. Στα 16-bit χρειάζεται δύο ή περισσότερες GPU.
Είναι η GPU κοινόχρηστη ή εικονικοποιημένη;
Όχι. Το μηχάνημα ενοικιάζεται σε έναν λογαριασμό και ολόκληρη η GPU περνά απευθείας στο λειτουργικό σας σύστημα. Δεν υπάρχει hypervisor ούτε προφίλ vGPU, και εγκαθιστάτε τον οδηγό NVIDIA και την έκδοση CUDA που θέλετε.
Πόσο γρήγορα είναι online ένας διακομιστής RTX PRO 6000;
Περίπου 30 λεπτά μετά την έγκριση της παραγγελίας σας, όταν ένα μηχάνημα με τη GPU είναι ήδη τοποθετημένο σε rack. Όταν τοποθετούμε μια GPU που έχουμε σε απόθεμα, 4 έως 24 ώρες· μία που αγοράζουμε χρειάζεται 5 έως 10 εργάσιμες ημέρες. Ενημερώνεστε ποιο ισχύει πριν πληρώσετε.
Πού βρίσκονται οι διακομιστές RTX PRO 6000;
Σε New York, Miami, San Francisco and Bucharest, στα δικά μας rack στο δικό μας δίκτυο. Οι συνθέσεις στο Βουκουρέστι τιμολογούνται σε ευρώ. Η GPU δεν προσφέρεται σε μηχανήματα του Άμστερνταμ.
Διαμορφώστε τον διακομιστή RTX PRO 6000
Επιλέξτε το μηχάνημα, τη μνήμη, τους δίσκους και την πόλη. Ο διαμορφωτής τιμολογεί κάθε αλλαγή καθώς την κάνετε, με τη GPU ήδη επιλεγμένη.
Κάθε GPU που τοποθετούμε · Διακομιστές A100 και H100 · Διακομιστές L40S · Διακομιστές RTX 5090 · Άμεσα διαθέσιμοι