Διακομιστές GPU για εκπαίδευση και συμπερασμό

Αποκλειστικός διακομιστής AI Πλήρης GPU. Το δικό σας λειτουργικό. Μία θύρα ανά κόμβο.

Ένας αποκλειστικός διακομιστής AI είναι ένα ολόκληρο φυσικό μηχάνημα με την GPU του περασμένη απευθείας στο δικό σας λειτουργικό σύστημα, με μηνιαία μίσθωση. Οι δικοί μας ξεκινούν από $169.93 τον μήνα με Instinct MI50 (16 GB HBM2), και κλιμακώνονται με δύο τρόπους: περισσότερες GPU σε ένα πλαίσιο ή περισσότεροι κόμβοι σε έναν μεταγωγέα.

  • Ένας μισθωτής
  • PCIe passthrough
  • Χωρίς χρέωση εξερχόμενης κίνησης
  • 5 πόλεις
  • Χωρίς συμβόλαιο

Αυτή η σελίδα αφορά το βήμα μετά την πρώτη GPU. Συγκρίνει κάθε πλατφόρμα στην οποία τοποθετούμε GPU ως προς τις λωρίδες PCIe, την ταχύτητα θύρας και την πόλη, κοστολογεί το δίκτυο για ένα cluster ανά κόμβο και δίνει τις ημερομηνίες παράδοσης πριν παραγγείλετε.

  • 4platforms that take a GPU
  • 100 Gbpstop port, per node
  • 2sockets, one chassis
  • 1 TBRAM, one chassis
  • 5cities

Περιλαμβάνονται σε κάθε κόμβο

Τι περιλαμβάνει κάθε αποκλειστικός διακομιστής AI

Τα ίδια τέσσερα πράγματα σε έναν διακομιστή με μία GPU για βαθιά μάθηση ή σε ένα cluster των είκοσι.

Η πλήρης GPU

PCIe passthrough στο λειτουργικό σας σύστημα. Κανένας hypervisor, διαμέρισμα MIG, προφίλ vGPU ή χρονομερισμός δεν παρεμβάλλεται μεταξύ του κώδικά σας και της GPU.

Η δική σας στοίβα

Ένα καθαρό λειτουργικό σύστημα με root. Εσείς καθορίζετε τον οδηγό, την έκδοση CUDA ή ROCm και τα builds του framework στα οποία δοκιμάστηκε ο κώδικάς σας.

Μία θύρα χωρίς μετρητή

Χωρίς μέτρηση και προς τις δύο κατευθύνσεις. Σύνολα δεδομένων προς τα μέσα, checkpoints προς τα έξω και αναπαραγωγή μεταξύ κόμβων δεν εμφανίζονται ποτέ ως γραμμή εξερχόμενης κίνησης.

Απαντήσεις σε δευτερόλεπτα

Η τεχνητή νοημοσύνη μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό σας και τους διακομιστές σας ενώ εργάζεται. Ζητήστε έναν άνθρωπο και αναλαμβάνει εκείνος.

Κλιμάκωση πέρα από μία GPU

Διακομιστής βαθιάς μάθησης: προσθέστε μία GPU ή προσθέστε ένα μηχάνημα

Αντιμετωπίζουν διαφορετικές ελλείψεις, κοστίζουν διαφορετικά και φτάνουν σε διαφορετικές ημερομηνίες. Βρείτε πού βρίσκεται το όριο πριν συγκρίνετε τιμές.

Διακομιστής πολλαπλών GPU

Περισσότερες GPU σε ένα πλαίσιο

Επιλέξτε το όταν η GPU είναι το όριο: το μοντέλο δεν χωρά πλέον στη μνήμη της GPU ή οι εργασίες περιμένουν στην ουρά στην GPU ενώ το υπόλοιπο μηχάνημα παραμένει αδρανές. Περισσότερες από μία GPU ανά πλαίσιο κοστολογούνται, δεν επιλέγονται απλώς, επειδή η διαθεσιμότητα υποδοχών, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν τον αριθμό για κάθε μοντέλο GPU.

Αποφασίζεται από
Το πλαίσιο. Ονομάστε την GPU και η προσφορά ονομάζει το πλαίσιο, τον αριθμό και την ημερομηνία.
Να γνωρίζετε
Δύο GPU διατηρούν δύο δεξαμενές μνήμης. Μία μεγάλη εργασία πρέπει να χωριστεί με παραλληλισμό tensor ή pipeline και πληρώνει για την κίνηση μεταξύ των GPU. Ανεξάρτητες εργασίες απλώς εκτελούνται δύο φορές περισσότερες ταυτόχρονα.

GPU cluster

Περισσότερα μηχανήματα σε έναν μεταγωγέα

Επιλέξτε το όταν το μηχάνημα είναι το όριο. Η μεγαλύτερη πλατφόρμα GPU εδώ σταματά στα 2 sockets και 1 TB RAM. Πέρα από αυτό, η επόμενη μονάδα χωρητικότητας είναι ένας άλλος διακομιστής.

Αποφασίζεται από
Την πόλη και τη θύρα. Οι κόμβοι που συνεργάζονται πηγαίνουν σε ένα κτίριο και καθένας πληρώνει για τη δική του θύρα.
Να γνωρίζετε
Ένα cluster εδώ είναι ένα σύνολο ξεχωριστών διακομιστών, καθένας παραγγέλλεται, χρεώνεται, αναβαθμίζεται και αντικαθίσταται μόνος του. Δεν υπάρχει SKU cluster, επομένως δεν υπάρχει επιπλέον χρέωση cluster ούτε ελάχιστος αριθμός κόμβων.

Δεν είστε σίγουροι σε ποια πλευρά βρίσκεστε; Στείλτε το μέγεθος του μοντέλου, το σύνολο δεδομένων και την προθεσμία στο . Αν ένα μηχάνημα το καλύπτει, θα σας το πούμε.

Ζωντανά από τον κατάλογο

Πλατφόρμες διακομιστών μηχανικής μάθησης, δίπλα δίπλα

Κάθε πλατφόρμα στην οποία τοποθετούμε GPU, με τα στοιχεία που καθορίζουν το μέγεθος ενός cluster. Οι γενιές PCIe αντιστοιχούν στη σελίδα GPU. Κάθε άλλο στοιχείο προέρχεται από τον κατάλογο παραγγελιών κάθε φορά που φορτώνει αυτή η σελίδα.

From the order catalog, read when this page loaded.
PlatformPCIe to the GPUPort ceilingSocketsRAM ceilingCities
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2
  • PCIe προς την GPU περιορίζει τη μεταφορά host-προς-GPU: ροή παρτίδων εκπαίδευσης, φόρτωση σκηνών, οτιδήποτε ξεχειλίζει από τη μνήμη της GPU. Ένα μοντέλο που παραμένει φορτωμένο σχεδόν δεν το χρησιμοποιεί.
  • Ανώτατο όριο θύρας περιορίζει τη μεταφορά κόμβου-προς-κόμβο. Ένα μηχάνημα δεν το αντιλαμβάνεται ποτέ. Μία εργασία χωρισμένη σε δύο μηχανήματα εξαρτάται από αυτό.
  • Οι πόλεις προηγούνται για ένα cluster. Μία πλατφόρμα που δεν υπάρχει στην πόλη σας δεν αποτελεί επιλογή.
  • Η ανταλλαγή: ο ευρύτερος δίαυλος, AMD EPYC σε PCIe 4.0, φτάνει το μέγιστο στα 20 Gbps. Η θύρα 100 Gbps βρίσκεται σε Intel Xeon Silver / Gold, σε παλαιότερο δίαυλο. Καμία πλατφόρμα δεν έχει και τα δύο, οπότε αποφασίστε ποιο χρειάζεται η εργασία σας.

Ποια GPU μπαίνει σε κάθε πλατφόρμα και η μηνιαία τιμή της δίπλα στο μηχάνημα στο οποίο ανήκει, βρίσκεται στους αποκλειστικούς διακομιστές GPU.

Δικτύωση cluster

Θύρες GPU cluster, κοστολογημένες ανά κόμβο

Μία θύρα αγοράζεται ανά μηχάνημα, επομένως το δίκτυο κάτω από ένα cluster είναι η ίδια γραμμή μία φορά ανά κόμβο, κάθε μήνα. Ο πίνακας κάνει αυτόν τον πολλαπλασιασμό για εσάς.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port1 node2 nodes4 nodes8 nodesPlatforms
1 Gbpsincludedincludedincludedincludedall 4
2 Gbps$189$378$756$1,512all 4
3 Gbps$299$598$1,196$2,392all 4
5 Gbps$459$918$1,836$3,672all 4
10 Gbps$529$1,058$2,116$4,232all 4
20 Gbps$1,629$3,258$6,516$13,032all 4
40 Gbps$2,799$5,598$11,196$22,3922 of 4
100 Gbps$3,999$7,998$15,996$31,9921 of 4
  • Τα βήματα δεν είναι γραμμικά. Σε αρκετά σημεία, περισσότεροι κόμβοι ένα βήμα χαμηλότερα κοστίζουν λιγότερο από λιγότερους κόμβους ένα βήμα ψηλότερα. Αν η εργασία διαμερίζεται καλά, αυτό αγοράζει έναν επιπλέον διακομιστή.
  • Τα ανώτερα βήματα είναι στενότερα. Οι ταχύτερες θύρες υπάρχουν σε λιγότερες πλατφόρμες και όχι σε εκείνη με τον ευρύτερο δίαυλο.
  • Ethernet, με σαφήνεια. Η σύνδεση μεταξύ δύο μηχανημάτων μας είναι μία θύρα Ethernet. Καμία γραμμή InfiniBand και καμία γέφυρα GPU-προς-GPU μεταξύ μηχανημάτων δεν υπάρχει σε καμία φόρμα παραγγελίας. Αν η εργασία σας τη χρειάζεται, ρωτήστε πριν παραγγείλετε: είναι προσφορά και η απάντηση μπορεί να είναι όχι.

Κάθε ταχύτητα είναι χωρίς μέτρηση και προς τις δύο κατευθύνσεις χωρίς όριο μεταφοράς. Για μία θύρα σε ένα μηχάνημα, δείτε το εύρος ζώνης χωρίς μέτρηση.

Τοποθέτηση

Επιλέξτε την πόλη πριν από την πλατφόρμα

Οι κόμβοι που μοιράζονται μία εργασία ανήκουν σε ένα κτίριο και οι πέντε πόλεις μας δεν διαθέτουν όλες τις ίδιες πλατφόρμες. New York and Bucharest διαθέτουν όλες. Ελέγξτε πρώτα την πόλη και μετά διαμορφώστε.

  • New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Ισχύς, πάροχοι και πρόσβαση για κάθε κτίριο βρίσκονται στα κέντρα δεδομένων. Αν η καθυστέρηση μεταξύ δύο πόλεών μας έχει σημασία για τον σχεδιασμό σας, ζητήστε από την υποστήριξη να τη μετρήσει μεταξύ αυτών των αιθουσών.

Από την παραγγελία στο rack

Οι ημερομηνίες παράδοσης έρχονται με την προσφορά

Μία κατασκευή πολλαπλών κόμβων μπορεί να περιλαμβάνει πολλά μηχανήματα και μία εντολή αγοράς για εξαρτήματα. Η προσφορά ονομάζει το πιο αργό εξάρτημα πριν πληρώσετε, χρησιμοποιώντας τους ίδιους χρόνους παράδοσης με το build to order.

  1. ~30 λεπτά

    Στο rack, ως έχει

    Το μηχάνημα υπάρχει ήδη και παραδίδεται. Οι άμεσοι διακομιστές αναφέρουν τι είναι στο rack τώρα και είναι το πρώτο μέρος για να κοιτάξετε για τους απλούς κόμβους ενός cluster.

  2. 4–24 ώρες

    Κατασκευή από το απόθεμά μας

    GPU τοποθετημένες, δίσκοι ρυθμισμένοι, λειτουργικό σύστημα εγκατεστημένο. Πολλοί κόμβοι κατασκευάζονται παράλληλα.

  3. 5–10 ημέρες

    Εξαρτήματα που αγοράστηκαν

    Ένα εξάρτημα που δεν κρατάμε στο ράφι παραγγέλλεται πρώτα. Για ένα πλαίσιο πολλαπλών GPU αυτή είναι η συνηθισμένη περίπτωση και το πλαίσιο είναι συνήθως το αργό εξάρτημα.

  4. 10–15 ημέρες

    GPU σε κατανομή

    Οι τρέχοντες επιταχυντές αποστέλλονται όταν τους αποστέλλει ο διανομέας. Το υλικό που αγοράζεται για μία παραγγελία πληρώνεται τρεις μήνες προκαταβολικά.

Εργάσιμες ημέρες στις δύο τελευταίες σειρές. Κάθε ρολόι ξεκινά μόλις εκκαθαριστούν η πληρωμή και ο έλεγχος απάτης. Σε μία μεγάλη πρώτη παραγγελία, ένα τραπεζικό έμβασμα συνήθως εκκαθαρίζεται από τον έλεγχο ταχύτερα από μία πληρωμή με κάρτα.

Απαντήσεις

Ερωτήσεις για αποκλειστικούς διακομιστές AI

Τι ακριβώς είναι ένας αποκλειστικός διακομιστής AI;

Ένας φυσικός διακομιστής που ενοικιάζεται σε έναν πελάτη, με μία ή περισσότερες GPU που περνούν απευθείας στο λειτουργικό σύστημα που εγκαθιστά ο πελάτης. Κανένας hypervisor δεν παρεμβάλλεται ανάμεσα στον κώδικά σας και την GPU, και τίποτα στο μηχάνημα δεν είναι κοινόχρηστο: οι πυρήνες, η μνήμη, οι δίσκοι, ολόκληρη η GPU και η θύρα δικτύου είναι δικά σας, με πρόσβαση root.

Πόσο κοστίζει μηνιαίως ένας αποκλειστικός διακομιστής AI;

Η χαμηλότερη πλήρης τιμή με GPU εκπαιδευτικής κλάσης είναι $169.93 τον μήνα: Instinct MI50 (16 GB HBM2) σε Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Οι μεγαλύτερες GPU κοστίζουν περισσότερο, και κάθε μία αναγράφεται με την πλήρη μηνιαία τιμή της στη σελίδα GPU dedicated servers. Μια σύνθεση με GPU που τοποθετείται κατόπιν παραγγελίας προσθέτει εφάπαξ κόστος εγκατάστασης $29. Σε ένα cluster, κάθε κόμβος πληρώνει επίσης για τη δική του θύρα πάνω από την περιλαμβανόμενη ταχύτητα.

Ποια GPU είναι η καλύτερη για έναν διακομιστή βαθιάς μάθησης;

Ξεκινήστε από τη μνήμη της GPU, όχι από την ταχύτητα. Τα βάρη, οι ενεργοποιήσεις και η κατάσταση του βελτιστοποιητή πρέπει να χωράνε, και μια εργασία που δεν χωράει δεν διορθώνεται από μια ταχύτερη GPU. Καταγράφουμε 15 μοντέλα GPU εκπαιδευτικής κλάσης, με έως 80 GB μνήμης σε μία GPU. Για εκπαίδευση που στέλνει παρτίδες από τον κεντρικό υπολογιστή, ελέγξτε επίσης τη στήλη PCIe· για εξυπηρέτηση ενός μοντέλου που παραμένει φορτωμένο, έχει πολύ μικρότερη σημασία.

Μπορώ να βάλω πολλές GPU σε έναν αποκλειστικό διακομιστή AI;

Συχνά ναι, και αυτό κοστολογείται κατόπιν προσφοράς αντί να επιλέγεται στο ταμείο. Το διάκενο των υποδοχών, το πλάτος της GPU, οι λωρίδες PCIe ανά υποδοχή και το τροφοδοτικό καθορίζουν τον αριθμό για ένα δεδομένο πλαίσιο. Πείτε μας τη GPU στη συνομιλία και η προσφορά επιστρέφει με το πλαίσιο, τον αριθμό και μια ημερομηνία. Δύο GPU δεν συνενώνουν τη μνήμη τους εκτός αν το framework σας μοιράσει το μοντέλο μεταξύ τους.

Προσφέρετε GPU clusters με InfiniBand;

Όχι ως είδος καταλόγου. Οι κόμβοι συνδέονται μέσω Ethernet, μία θύρα ανά κόμβο, από 1 Gbps περιλαμβανόμενη έως 100 Gbps. Το InfiniBand, ή μια γέφυρα GPU-προς-GPU μεταξύ μηχανημάτων, είναι θέμα προσφοράς, και η απάντηση μπορεί να είναι όχι. Ρωτήστε πριν σχεδιάσετε μια εργασία γύρω από αυτό.

Πόσο γρήγορα μπορούν δύο διακομιστές μου να επικοινωνήσουν μεταξύ τους;

Τόσο γρήγορα όσο η πιο αργή από τις δύο θύρες τους. Η κορυφαία θύρα είναι 100 Gbps, διαθέσιμη σε Intel Xeon Silver / Gold. Κρατήστε τους κόμβους σε μία πόλη: μεταξύ πόλεων, η απόσταση προσθέτει καθυστέρηση που μια ταχύτερη θύρα δεν αφαιρεί.

Χρεώνεται η κίνηση μεταξύ των κόμβων μου;

Όχι. Κάθε θύρα είναι απεριόριστη και προς τις δύο κατευθύνσεις, χωρίς όριο μεταφοράς και χωρίς χρέωση εξερχόμενης κίνησης. Η αντιγραφή συνόλων δεδομένων, ο συγχρονισμός κλίσεων και η εγγραφή σημείων ελέγχου μεταξύ των κόμβων σας κοστίζουν την τιμή της θύρας και τίποτα περισσότερο.

Μοιράζομαι την GPU με άλλους πελάτες;

Όχι. Ένα μηχάνημα, ένας λογαριασμός. Η GPU είναι σε PCIe passthrough, χωρίς διαμέριση MIG, χωρίς προφίλ vGPU και χωρίς χρονομερισμό, οπότε το benchmark που τρέχετε την πρώτη μέρα ισχύει ακόμα την ενενηκοστή.

Ποια έκδοση driver και CUDA είναι προεγκατεστημένη;

Αυτή που εγκαθιστάτε εσείς. Ο διακομιστής παραδίδεται με καθαρό λειτουργικό σύστημα και πρόσβαση root, και εσείς επιλέγετε τον driver, την έκδοση CUDA ή ROCm και τις εκδόσεις των frameworks. Αν θέλετε έναν driver εγκατεστημένο κατά την παράδοση, αναφέρετε την ακριβή έκδοση στην παραγγελία.

Πόσο γρήγορα παραδίδεται ένας αποκλειστικός διακομιστής AI;

Περίπου 30 λεπτά μετά την έγκριση πληρωμής για ένα μηχάνημα που είναι ήδη τοποθετημένο σε rack και παραλαμβάνεται ως έχει. 4 έως 24 ώρες όταν το συναρμολογούμε από το απόθεμά μας, 5 έως 10 εργάσιμες ημέρες όταν ένα εξάρτημα αγοράζεται, και 10 έως 15 εργάσιμες ημέρες για GPU σε κατανομή διανομέα. Μια προσφορά για πολλούς κόμβους αναφέρει το πιο αργό εξάρτημα πριν πληρώσετε.

Πού βρίσκονται οι διακομιστές AI σας;

Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι. Δεν διαθέτει κάθε πόλη κάθε πλατφόρμα GPU: New York and Bucharest διαθέτουν όλες τις 4. Τα μηχανήματα σε Άμστερνταμ και Βουκουρέστι χρεώνονται σε ευρώ.

Μπορώ να ενοικιάσω έναν διακομιστή AI μηνιαίως, χωρίς συμβόλαιο;

Ναι. Κάθε μηχάνημα λειτουργεί από μήνα σε μήνα χωρίς τίποτα να υπογράψετε. Κύκλοι 3, 6 και 12 μηνών εξοικονομούν έως 15%. Υλικό που αγοράζεται για μία μεμονωμένη παραγγελία πληρώνεται τρεις μήνες προκαταβολικά.

Για το αρχείο

Αυτή η σελίδα σε αριθμούς

Διαβάζονται από τον κατάλογο παραγγελιών όταν προβλήθηκε αυτή η σελίδα, οι ίδιες γραμμές από τις οποίες χρεώνει το ταμείο.

Lowest price
$169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs
15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis
One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster
Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms
4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes
Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at
2 sockets and 1 TB of RAM.
Cities
5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic
Unmetered in both directions at every port speed. No egress charge.
Tenancy
One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software
Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery
About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term
Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support
AI chat that answers in seconds and can check your account and servers; a person on request.

Πείτε μας το μοντέλο, τα δεδομένα και την προθεσμία

Διαμορφώστε τώρα τη χαμηλότερη σε τιμή σύνθεση, ή περιγράψτε την εργασία στη συνομιλία και λάβετε προσφορά για τις GPU, τους κόμβους και την ημερομηνία.

Διαμόρφωση διακομιστή