Η πλήρης GPU
PCIe passthrough στο λειτουργικό σας σύστημα. Κανένας hypervisor, διαμέρισμα MIG, προφίλ vGPU ή χρονομερισμός δεν παρεμβάλλεται μεταξύ του κώδικά σας και της GPU.
Διακομιστές GPU για εκπαίδευση και συμπερασμό
Ένας αποκλειστικός διακομιστής AI είναι ένα ολόκληρο φυσικό μηχάνημα με την GPU του περασμένη απευθείας στο δικό σας λειτουργικό σύστημα, με μηνιαία μίσθωση. Οι δικοί μας ξεκινούν από $169.93 τον μήνα με Instinct MI50 (16 GB HBM2), και κλιμακώνονται με δύο τρόπους: περισσότερες GPU σε ένα πλαίσιο ή περισσότεροι κόμβοι σε έναν μεταγωγέα.
Αυτή η σελίδα αφορά το βήμα μετά την πρώτη GPU. Συγκρίνει κάθε πλατφόρμα στην οποία τοποθετούμε GPU ως προς τις λωρίδες PCIe, την ταχύτητα θύρας και την πόλη, κοστολογεί το δίκτυο για ένα cluster ανά κόμβο και δίνει τις ημερομηνίες παράδοσης πριν παραγγείλετε.
Περιλαμβάνονται σε κάθε κόμβο
Τα ίδια τέσσερα πράγματα σε έναν διακομιστή με μία GPU για βαθιά μάθηση ή σε ένα cluster των είκοσι.
PCIe passthrough στο λειτουργικό σας σύστημα. Κανένας hypervisor, διαμέρισμα MIG, προφίλ vGPU ή χρονομερισμός δεν παρεμβάλλεται μεταξύ του κώδικά σας και της GPU.
Ένα καθαρό λειτουργικό σύστημα με root. Εσείς καθορίζετε τον οδηγό, την έκδοση CUDA ή ROCm και τα builds του framework στα οποία δοκιμάστηκε ο κώδικάς σας.
Χωρίς μέτρηση και προς τις δύο κατευθύνσεις. Σύνολα δεδομένων προς τα μέσα, checkpoints προς τα έξω και αναπαραγωγή μεταξύ κόμβων δεν εμφανίζονται ποτέ ως γραμμή εξερχόμενης κίνησης.
Η τεχνητή νοημοσύνη μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό σας και τους διακομιστές σας ενώ εργάζεται. Ζητήστε έναν άνθρωπο και αναλαμβάνει εκείνος.
Κλιμάκωση πέρα από μία GPU
Αντιμετωπίζουν διαφορετικές ελλείψεις, κοστίζουν διαφορετικά και φτάνουν σε διαφορετικές ημερομηνίες. Βρείτε πού βρίσκεται το όριο πριν συγκρίνετε τιμές.
Διακομιστής πολλαπλών GPU
Επιλέξτε το όταν η GPU είναι το όριο: το μοντέλο δεν χωρά πλέον στη μνήμη της GPU ή οι εργασίες περιμένουν στην ουρά στην GPU ενώ το υπόλοιπο μηχάνημα παραμένει αδρανές. Περισσότερες από μία GPU ανά πλαίσιο κοστολογούνται, δεν επιλέγονται απλώς, επειδή η διαθεσιμότητα υποδοχών, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν τον αριθμό για κάθε μοντέλο GPU.
GPU cluster
Επιλέξτε το όταν το μηχάνημα είναι το όριο. Η μεγαλύτερη πλατφόρμα GPU εδώ σταματά στα 2 sockets και 1 TB RAM. Πέρα από αυτό, η επόμενη μονάδα χωρητικότητας είναι ένας άλλος διακομιστής.
Δεν είστε σίγουροι σε ποια πλευρά βρίσκεστε; Στείλτε το μέγεθος του μοντέλου, το σύνολο δεδομένων και την προθεσμία στο . Αν ένα μηχάνημα το καλύπτει, θα σας το πούμε.
Ζωντανά από τον κατάλογο
Κάθε πλατφόρμα στην οποία τοποθετούμε GPU, με τα στοιχεία που καθορίζουν το μέγεθος ενός cluster. Οι γενιές PCIe αντιστοιχούν στη σελίδα GPU. Κάθε άλλο στοιχείο προέρχεται από τον κατάλογο παραγγελιών κάθε φορά που φορτώνει αυτή η σελίδα.
| Platform | PCIe to the GPU | Port ceiling | Sockets | RAM ceiling | Cities |
|---|---|---|---|---|---|
| Intel Xeon Silver / Gold | 48 lanes per socketPCIe 3.0 | 100 Gbps1 Gbps included | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v3/v4 | 40 lanes per socketPCIe 3.0 | 40 Gbps1 Gbps included | 2 | 1 TB | 5 |
| Intel Xeon E5-2600 v1/v2 | 40 lanes per socketPCIe 3.0 | 20 Gbps1 Gbps included | 2 | 256 GB | 3 |
| AMD EPYC | 128 lanes per socketPCIe 4.0 | 20 Gbps1 Gbps included | 2 | 1 TB | 2 |
Ποια GPU μπαίνει σε κάθε πλατφόρμα και η μηνιαία τιμή της δίπλα στο μηχάνημα στο οποίο ανήκει, βρίσκεται στους αποκλειστικούς διακομιστές GPU.
Δικτύωση cluster
Μία θύρα αγοράζεται ανά μηχάνημα, επομένως το δίκτυο κάτω από ένα cluster είναι η ίδια γραμμή μία φορά ανά κόμβο, κάθε μήνα. Ο πίνακας κάνει αυτόν τον πολλαπλασιασμό για εσάς.
| Port | 1 node | 2 nodes | 4 nodes | 8 nodes | Platforms |
|---|---|---|---|---|---|
| 1 Gbps | included | included | included | included | all 4 |
| 2 Gbps | $189 | $378 | $756 | $1,512 | all 4 |
| 3 Gbps | $299 | $598 | $1,196 | $2,392 | all 4 |
| 5 Gbps | $459 | $918 | $1,836 | $3,672 | all 4 |
| 10 Gbps | $529 | $1,058 | $2,116 | $4,232 | all 4 |
| 20 Gbps | $1,629 | $3,258 | $6,516 | $13,032 | all 4 |
| 40 Gbps | $2,799 | $5,598 | $11,196 | $22,392 | 2 of 4 |
| 100 Gbps | $3,999 | $7,998 | $15,996 | $31,992 | 1 of 4 |
Κάθε ταχύτητα είναι χωρίς μέτρηση και προς τις δύο κατευθύνσεις χωρίς όριο μεταφοράς. Για μία θύρα σε ένα μηχάνημα, δείτε το εύρος ζώνης χωρίς μέτρηση.
Τοποθέτηση
Οι κόμβοι που μοιράζονται μία εργασία ανήκουν σε ένα κτίριο και οι πέντε πόλεις μας δεν διαθέτουν όλες τις ίδιες πλατφόρμες. New York and Bucharest διαθέτουν όλες. Ελέγξτε πρώτα την πόλη και μετά διαμορφώστε.
Ισχύς, πάροχοι και πρόσβαση για κάθε κτίριο βρίσκονται στα κέντρα δεδομένων. Αν η καθυστέρηση μεταξύ δύο πόλεών μας έχει σημασία για τον σχεδιασμό σας, ζητήστε από την υποστήριξη να τη μετρήσει μεταξύ αυτών των αιθουσών.
Από την παραγγελία στο rack
Μία κατασκευή πολλαπλών κόμβων μπορεί να περιλαμβάνει πολλά μηχανήματα και μία εντολή αγοράς για εξαρτήματα. Η προσφορά ονομάζει το πιο αργό εξάρτημα πριν πληρώσετε, χρησιμοποιώντας τους ίδιους χρόνους παράδοσης με το build to order.
Το μηχάνημα υπάρχει ήδη και παραδίδεται. Οι άμεσοι διακομιστές αναφέρουν τι είναι στο rack τώρα και είναι το πρώτο μέρος για να κοιτάξετε για τους απλούς κόμβους ενός cluster.
GPU τοποθετημένες, δίσκοι ρυθμισμένοι, λειτουργικό σύστημα εγκατεστημένο. Πολλοί κόμβοι κατασκευάζονται παράλληλα.
Ένα εξάρτημα που δεν κρατάμε στο ράφι παραγγέλλεται πρώτα. Για ένα πλαίσιο πολλαπλών GPU αυτή είναι η συνηθισμένη περίπτωση και το πλαίσιο είναι συνήθως το αργό εξάρτημα.
Οι τρέχοντες επιταχυντές αποστέλλονται όταν τους αποστέλλει ο διανομέας. Το υλικό που αγοράζεται για μία παραγγελία πληρώνεται τρεις μήνες προκαταβολικά.
Εργάσιμες ημέρες στις δύο τελευταίες σειρές. Κάθε ρολόι ξεκινά μόλις εκκαθαριστούν η πληρωμή και ο έλεγχος απάτης. Σε μία μεγάλη πρώτη παραγγελία, ένα τραπεζικό έμβασμα συνήθως εκκαθαρίζεται από τον έλεγχο ταχύτερα από μία πληρωμή με κάρτα.
Απαντήσεις
Ένας φυσικός διακομιστής που ενοικιάζεται σε έναν πελάτη, με μία ή περισσότερες GPU που περνούν απευθείας στο λειτουργικό σύστημα που εγκαθιστά ο πελάτης. Κανένας hypervisor δεν παρεμβάλλεται ανάμεσα στον κώδικά σας και την GPU, και τίποτα στο μηχάνημα δεν είναι κοινόχρηστο: οι πυρήνες, η μνήμη, οι δίσκοι, ολόκληρη η GPU και η θύρα δικτύου είναι δικά σας, με πρόσβαση root.
Η χαμηλότερη πλήρης τιμή με GPU εκπαιδευτικής κλάσης είναι $169.93 τον μήνα: Instinct MI50 (16 GB HBM2) σε Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Οι μεγαλύτερες GPU κοστίζουν περισσότερο, και κάθε μία αναγράφεται με την πλήρη μηνιαία τιμή της στη σελίδα GPU dedicated servers. Μια σύνθεση με GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ κόστος εγκατάστασης $29. Σε ένα cluster, κάθε κόμβος πληρώνει επίσης για τη δική του θύρα πάνω από την περιλαμβανόμενη ταχύτητα.
Ξεκινήστε από τη μνήμη της GPU, όχι από την ταχύτητα. Τα βάρη, οι ενεργοποιήσεις και η κατάσταση του βελτιστοποιητή πρέπει να χωράνε, και μια εργασία που δεν χωράει δεν διορθώνεται από μια ταχύτερη GPU. Καταγράφουμε 15 μοντέλα GPU εκπαιδευτικής κλάσης, με έως 80 GB μνήμης σε μία GPU. Για εκπαίδευση που στέλνει παρτίδες από τον κεντρικό υπολογιστή, ελέγξτε επίσης τη στήλη PCIe· για εξυπηρέτηση ενός μοντέλου που παραμένει φορτωμένο, έχει πολύ μικρότερη σημασία.
Συχνά ναι, και αυτό κοστολογείται κατόπιν προσφοράς αντί να επιλέγεται στο ταμείο. Το διάκενο των υποδοχών, το πλάτος της GPU, οι λωρίδες PCIe ανά υποδοχή και το τροφοδοτικό καθορίζουν τον αριθμό για ένα δεδομένο πλαίσιο. Πείτε μας τη GPU στη συνομιλία και η προσφορά επιστρέφει με το πλαίσιο, τον αριθμό και μια ημερομηνία. Δύο GPU δεν συνενώνουν τη μνήμη τους εκτός αν το framework σας μοιράσει το μοντέλο μεταξύ τους.
Όχι ως είδος καταλόγου. Οι κόμβοι συνδέονται μέσω Ethernet, μία θύρα ανά κόμβο, από 1 Gbps περιλαμβανόμενη έως 100 Gbps. Το InfiniBand, ή μια γέφυρα GPU-προς-GPU μεταξύ μηχανημάτων, είναι θέμα προσφοράς, και η απάντηση μπορεί να είναι όχι. Ρωτήστε πριν σχεδιάσετε μια εργασία γύρω από αυτό.
Τόσο γρήγορα όσο η πιο αργή από τις δύο θύρες τους. Η κορυφαία θύρα είναι 100 Gbps, διαθέσιμη σε Intel Xeon Silver / Gold. Κρατήστε τους κόμβους σε μία πόλη: μεταξύ πόλεων, η απόσταση προσθέτει καθυστέρηση που μια ταχύτερη θύρα δεν αφαιρεί.
Όχι. Κάθε θύρα είναι απεριόριστη και προς τις δύο κατευθύνσεις, χωρίς όριο μεταφοράς και χωρίς χρέωση εξερχόμενης κίνησης. Η αντιγραφή συνόλων δεδομένων, ο συγχρονισμός κλίσεων και η εγγραφή σημείων ελέγχου μεταξύ των κόμβων σας κοστίζουν την τιμή της θύρας και τίποτα περισσότερο.
Όχι. Ένα μηχάνημα, ένας λογαριασμός. Η GPU είναι σε PCIe passthrough, χωρίς διαμέριση MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό, οπότε το benchmark που τρέχετε την πρώτη μέρα ισχύει ακόμα την ενενηκοστή.
Αυτή που εγκαθιστάτε εσείς. Ο διακομιστής παραδίδεται με καθαρό λειτουργικό σύστημα και πρόσβαση root, και εσείς επιλέγετε τον driver, την έκδοση CUDA ή ROCm και τις εκδόσεις των frameworks. Αν θέλετε έναν driver εγκατεστημένο κατά την παράδοση, αναφέρετε την ακριβή έκδοση στην παραγγελία.
Περίπου 30 λεπτά μετά την έγκριση πληρωμής για ένα μηχάνημα που είναι ήδη τοποθετημένο σε rack και παραλαμβάνεται ως έχει. 4 έως 24 ώρες όταν το συναρμολογούμε από το απόθεμά μας, 5 έως 10 εργάσιμες ημέρες όταν ένα εξάρτημα αγοράζεται, και 10 έως 15 εργάσιμες ημέρες για GPU σε κατανομή διανομέα. Μια προσφορά για πολλούς κόμβους αναφέρει το πιο αργό εξάρτημα πριν πληρώσετε.
Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι. Δεν διαθέτει κάθε πόλη κάθε πλατφόρμα GPU: New York and Bucharest διαθέτουν όλες τις 4. Τα μηχανήματα σε Άμστερνταμ και Βουκουρέστι χρεώνονται σε ευρώ.
Ναι. Κάθε μηχάνημα λειτουργεί από μήνα σε μήνα χωρίς τίποτα να υπογράψετε. Κύκλοι 3, 6 και 12 μηνών εξοικονομούν έως 15%. Υλικό που αγοράζεται για μία μεμονωμένη παραγγελία πληρώνεται τρεις μήνες προκαταβολικά.
Για το αρχείο
Διαβάζονται από τον κατάλογο παραγγελιών όταν προβλήθηκε αυτή η σελίδα, οι ίδιες γραμμές από τις οποίες χρεώνει το ταμείο.
Καταχωρισμένα από τους ιδιοκτήτες τους
Μηχανήματα με δύο ή περισσότερες GPU, και συνδεδεμένα ζεύγη, που οι ιδιοκτήτες καταχωρίζουν στην αγορά μας στη δική τους μηνιαία τιμή. Η Primcast, η αδελφή μας εταιρεία, καταχωρίζει μερικά· αυτά ενοικιάζονται στο primcast.com.
Σχετικές σελίδες
Διαμορφώστε τώρα τη χαμηλότερη σε τιμή σύνθεση, ή περιγράψτε την εργασία στη συνομιλία και λάβετε προσφορά για τις GPU, τους κόμβους και την ημερομηνία.