PCIe 3.0
Intel Xeon E5-2600 v1/v2
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- GPUs
- 28
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Max RAM
- 256 GB
Αποκλειστικοί διακομιστές GPU · bare metal · μηνιαία
Ένας αποκλειστικός διακομιστής GPU είναι ένα φυσικό μηχάνημα που ενοικιάζεται σε έναν λογαριασμό ανά μήνα, με την GPU να περνά απευθείας στο δικό σας λειτουργικό σύστημα. Χωρίς hypervisor, χωρίς τμήμα vGPU, χωρίς γείτονα στο πυρίτιο.
Επιλέξτε την GPU ανάλογα με την εργασία και τη μνήμη που χρειάζεται. Κάθε σειρά στη λίστα είναι ένας πλήρης διακομιστής με εγκατεστημένη αυτή την GPU, τιμολογημένος από τον ίδιο κατάλογο από τον οποίο χρεώνει το ταμείο, και το μερίδιο της ίδιας της GPU αναγράφεται κάτω από το σύνολο.
Ο κατάλογος
Πείτε για ποιο σκοπό προορίζεται η GPU και τη λιγότερη μνήμη που χρειάζεται. Η λίστα περιορίζεται καθώς προχωράτε, με το φθηνότερο πρώτα. Κάθε σειρά ανοίγει το μηχάνημα που δέχεται αυτή την GPU στον διαμορφωτή.
Καμία μεμονωμένη GPU που προσφέρουμε δεν έχει τόση μνήμη. Η μεγαλύτερη διαθέτει 96 GB. Πέρα από αυτό, η σύνθεση είναι δύο ή περισσότερες GPUs σε ένα πλαίσιο, με τιμή κατόπιν συνεννόησης: δείτε διακομιστές πολλαπλών GPU, ή .
Οι τιμές είναι τα ίδια τα νούμερα του ταμείου. Μια GPU της οποίας ο κατασκευαστής δεν δημοσιεύει νούμερο μνήμης εμφανίζει μια παύλα και αποσύρεται μόλις ο έλεγχος μνήμης μετακινηθεί από το “οποιαδήποτε”. Ορισμένες GPUs ταιριάζουν σε περισσότερα από ένα πλαίσια: η σειρά δείχνει το φθηνότερο, ο διαμορφωτής δείχνει τα υπόλοιπα.
Μίσθωση
Η GPU βρίσκεται σε μια φυσική υποδοχή PCIe σε ένα μηχάνημα που ενοικιάζεται σε έναν λογαριασμό. Εγκαθιστάτε το λειτουργικό σύστημα, φορτώνετε το module του πυρήνα και καρφιτσώνετε τον οδηγό, την έκδοση CUDA ή ROCm με την οποία δοκιμάστηκε ο κώδικάς σας. Τίποτα δεν την αναβαθμίζει κάτω από τα πόδια σας.
Το μηχάνημα ακολουθεί τον ίδιο κανόνα: κάθε πυρήνας, όλη η μνήμη, και οι δύο δίσκοι, root, και η κονσόλα iLO ή iDRAC του ίδιου του διακομιστή σε ξεχωριστό δίκτυο διαχείρισης. Αν ένα πείραμα οδηγού ρίξει το δίκτυο, εξακολουθείτε να έχετε την οθόνη, τα εικονικά μέσα και τον έλεγχο τροφοδοσίας.
Πώς λειτουργεί η τιμολόγηση
Οι περισσότεροι πάροχοι πωλούν μια GPU ως βαθμίδα, με τον επεξεργαστή, τη μνήμη, τους δίσκους και το δίκτυο τιμολογημένα γύρω της. Εδώ το μηχάνημα είναι μία μηνιαία γραμμή και η GPU είναι άλλη. Αλλάξτε την GPU αργότερα και ο λογαριασμός μεταβάλλεται ακριβώς κατά τη διαφορά μεταξύ των δύο GPUs.
Ξεκινήστε από την κορυφή της λίστας. Κρατήσαμε παλαιότερες GPUs που εξακολουθούν να κάνουν πραγματική δουλειά, όπως μέρη Tesla και Quadro που κάνουν transcoding βίντεο ή οδηγούν απομακρυσμένους επιτραπέζιους υπολογιστές, και βρίσκονται στο ίδιο πλήρες μηχάνημα με την ίδια απεριόριστη θύρα όπως η νεότερη GPU. Γιατί κρατάμε παλαιότερο υλικό εξηγεί την ανταλλαγή.
Συγκρίνετε με ωριαία clouds GPU; Η ακριβότερη σύνθεση στη λίστα, H100 80GB, είναι $1,682.67 τον μήνα για ολόκληρο το μηχάνημα, περίπου $2.31 την ώρα σε έναν μήνα 730 ωρών, και καμία γραμμή egress δεν φτάνει αργότερα.
Complete, per month, from$91.72
Κύκλοι τριών, έξι και δώδεκα μηνών εξοικονομούν έως και 15%. Ο διαμορφωτής στρογγυλοποιεί τις τιμές ανά δίσκο και μπορεί να πέσει έξω κατά ένα λεπτό. Τιμολόγηση παραθέτει κάθε νούμερο στον ιστότοπο.
Αγορά GPU
Δίπλα στις GPUs που προσφέρουμε, οι ιδιοκτήτες καταχωρούν τα δικά τους μηχανήματα GPU στην αγορά μας. Ορίζουν το ενοίκιο που πληρώνονται, και η Server Room ορίζει την τιμή που πληρώνετε. Καταχωρήσεις από τη θυγατρική μας εταιρεία, Primcast, εμφανίζονται επίσης εδώ και ενοικιάζονται εκεί.
Μνήμη GPU
Η μνήμη GPU καθορίζει αν ένα μοντέλο θα τρέξει καθόλου· οι πυρήνες και τα ρολόγια καθορίζουν μόνο το πόσο γρήγορα. Μια GPU που υπολείπεται κατά δύο gigabytes δεν τρέχει αργά, αποτυγχάνει να φορτώσει. Ξεκαθαρίστε πρώτα αυτόν τον αριθμό.
Τα βάρη καταλαμβάνουν παραμέτρους επί bytes ανά παράμετρο: δύο bytes στα 16-bit, ένα στα 8-bit, μισό byte στα 4-bit. Η κβαντοποίηση στα 4-bit επιτρέπει σε ένα μοντέλο να χωρέσει σε μικρότερη GPU, με μετρήσιμο κόστος στην ποιότητα.
Αφήστε περιθώριο. Ο πίνακας μετρά μόνο τα βάρη. Το runtime, οι ενεργοποιήσεις και η cache κλειδιών-τιμών μοιράζονται την ίδια μνήμη, και η cache μεγαλώνει με κάθε token περιεχομένου, οπότε 38 GB βαρών δεν θα εξυπηρετηθούν άνετα από μια GPU 40 GB. Προσθέστε από ένα τέταρτο έως μισό επιπλέον.
και θα διαστασιολογήσουμε τη GPU με βάση αυτό που πραγματικά τρέχετε.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Μόνο τα βάρη, στρογγυλοποιημένα προς τα πάνω στο επόμενο gigabyte.
Πλατφόρμες
Κάθε πλατφόρμα δίνει στη θύρα διαφορετική γενιά PCIe και προϋπολογισμό λωρίδων. Το αναφέρουμε γιατί αλλάζει τα αποτελέσματα: ένας πελάτης μετακινήθηκε κάποτε σε νεότερη καταναλωτική GPU σε πλατφόρμα PCIe 3.0 και απέδωσε πιο αργά, και κατάλαβε το γιατί πριν από εμάς.
PCIe 3.0
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
PCIe 3.0
$73.47/mo before the GPU
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
PCIe 3.0
$83.67/mo before the GPU
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
PCIe 4.0
$217.59/mo before the GPU
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Περιλαμβάνεται
Ένα καθαρό λειτουργικό σύστημα και τα κλειδιά. Εσείς επιλέγετε τον οδηγό, την έκδοση CUDA ή ROCm και το build του framework, και παραμένουν καρφιτσωμένα. Θέλετε τον οδηγό εγκατεστημένο πριν την παράδοση; Βάλτε την ακριβή έκδοση στην παραγγελία.
iLO στα μηχανήματα HPE, iDRAC στα Dell: πληκτρολόγιο και οθόνη, εικονικά μέσα, έλεγχος τροφοδοσίας, αισθητήρες και αρχεία καταγραφής υλικού. Μια μονάδα που κρεμάει την οθόνη ή την κάρτα δικτύου είναι μια επανεκκίνηση που κάνετε μόνοι σας, βλέποντας το POST.
Απεριόριστη και προς τις δύο κατευθύνσεις στην περιλαμβανόμενη ταχύτητα και σε κάθε ταχύτητα πάνω από αυτήν. Χωρίς όριο μεταφοράς και χωρίς γραμμή εξερχόμενης κίνησης. Απεριόριστο εύρος ζώνης παραθέτει τις ταχύτερες θύρες.
Εικόνες λειτουργικού συστήματος με ένα κλικ, όσο συχνά θέλετε, χωρίς χρέωση. Το reverse DNS είναι δικό σας για επεξεργασία, το IPv6 περιλαμβάνεται, και επιπλέον IPv4 είναι μια γραμμή στον διαμορφωτή.
Το chat απαντάται σε δευτερόλεπτα από έναν βοηθό AI που μπορεί να ελέγξει τον λογαριασμό σας και τον διακομιστή σας, και ένας άνθρωπος αναλαμβάνει τη στιγμή που θα το ζητήσετε. Ένα ελαττωματικό εξάρτημα αντικαθίσταται εντός του παραθύρου του πλάνου υποστήριξης: 24 ώρες στο περιλαμβανόμενο πλάνο Basic, 4 στο Bronze, 3 στο Silver, 2 στο Gold και Platinum.
Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι, όλα στο δίκτυο της Server Room, AS19624. Η τοποθεσία καθορίζει την καθυστέρηση προς τους χρήστες και τη νομοθεσία προστασίας δεδομένων στην οποία υπάγεστε. Κέντρα δεδομένων περιγράφει κάθε κτίριο.
Παράδοση
Εξαρτάται από το πού βρίσκεται η GPU σήμερα, και σας λέμε σε ποια περίπτωση είστε πριν πληρώσετε.
Τίποτα για τοποθέτηση. Το μηχάνημα είναι εγκατεστημένο και παραδίδεται. Άμεσοι διακομιστές παραθέτει τι είναι έτοιμο αυτή τη στιγμή.
Η συνηθισμένη περίπτωση. Ένας τεχνικός εγκαθιστά τη GPU, χτίζει τη συστοιχία δίσκων και εγκαθιστά το λειτουργικό σύστημα. Επιπλέον μνήμη ή διαφορετικός δίσκος γίνεται στην ίδια επίσκεψη.
Παραγγέλνουμε το εξάρτημα και μετά χτίζουμε όπως παραπάνω. Κατασκευή κατά παραγγελία καλύπτει ένα μηχάνημα με την πλήρη προδιαγραφή σας.
Οι τρέχοντες επιταχυντές αποστέλλονται στην ημερομηνία του διανομέα, και την ονομάζουμε πριν δεσμευτείτε. Υλικό που αγοράζεται για έναν πελάτη κοστολογείται με τρεις μήνες προπληρωμένους.
Κάθε χρονοδιάγραμμα ξεκινά μόλις ολοκληρωθεί η πληρωμή και ο έλεγχος απάτης. Οι περισσότερες παραγγελίες ολοκληρώνονται μέσα σε λίγες ώρες· μια πρώτη παραγγελία σε νέο λογαριασμό μπορεί να πάρει περισσότερο.
Το πεδίο ενός συνεργάτη
Viral Mind Technologies, συνεργάτης της Server Room, δημιουργεί και διαχειρίζεται τις δικές της ψηφιακές ιδιοκτησίες: εικονικές προσωπικότητες, διαδικτυακά μέσα ενημέρωσης και λογισμικό για δημιουργούς. Ξεκίνησε το 2019 ως εταιρεία ψηφιακού μάρκετινγκ και εργάζεται πάνω στα δικά της έργα τεχνητής νοημοσύνης από τα τέλη του 2022.
Η δημιουργία εικόνων και βίντεο κρατά ένα μοντέλο μόνιμα στη μνήμη της GPU και απασχολεί την GPU για ώρες κάθε φορά. Αυτό ισχύει για μια αποκλειστική GPU σε γυμνό μέταλλο και όχι για ένα τμήμα της, και μια πλήρης GPU είναι αυτό που νοικιάζει κάθε διακομιστής σε αυτή τη σελίδα.
Το χαρτοφυλάκιό τους και οι μελέτες περίπτωσης: viralmindtech.com
Απαντήσεις
Ένας φυσικός server που νοικιάζεται σε έναν πελάτη, με κάρτα γραφικών εγκατεστημένη και περασμένη απευθείας στο λειτουργικό σύστημα του ίδιου του πελάτη. Τίποτα δεν είναι εικονικοποιημένο ή κοινόχρηστο: παίρνετε κάθε πυρήνα, όλη τη μνήμη, τους δίσκους και την πλήρη GPU, με πρόσβαση root και απομακρυσμένη κονσόλα.
Ένα πλήρες μηχάνημα με εγκατεστημένη GPU ξεκινά από $91.72 έως $1,682.67 τον μήνα. Η τιμή είναι δύο γραμμές που προστίθενται: το μηχάνημα και η GPU στα $20.79 έως $1,599 τον μήνα. Επεξεργαστής, μνήμη, δύο δίσκοι, μη μετρημένη θύρα και μία διεύθυνση IPv4 περιλαμβάνονται. Η εγκατάσταση είναι εφάπαξ $29 σε σύνθεση με GPU που εγκαθίσταται κατόπιν παραγγελίας· ένα έτοιμο μηχάνημα που παραγγέλνεται ως έχει δεν έχει καμία.
Όχι. Ένα φυσικό μηχάνημα, ένας λογαριασμός και η GPU περασμένη απευθείας στο λειτουργικό σύστημα που εγκαταστήσατε. Δεν υπάρχει hypervisor, ούτε διαμέρισμα MIG, ούτε προφίλ vGPU, ούτε χρονομερισμός. Οι αριθμοί που μετράτε την πρώτη μέρα είναι οι αριθμοί που κρατάτε.
Ναι. Ο ένας μήνας είναι η προεπιλεγμένη διάρκεια και δεν υπάρχει τίποτα να υπογράψετε. Οι κύκλοι τριών, έξι και δώδεκα μηνών εξοικονομούν έως 15%, και η τιμή δεν αυξάνεται στην ανανέωση. Πληρώστε με πιστωτική κάρτα ή PayPal· για μεγαλύτερη παραγγελία μπορεί να κανονιστεί τραπεζικό έμβασμα, και συνήθως περνάει τον έλεγχο απάτης γρηγορότερα από μια πληρωμή με κάρτα.
Ναι. Η λίστα σε αυτή τη σελίδα είναι ταξινομημένη με το φτηνότερο πρώτο, και η φτηνότερη πλήρης σύνθεση είναι Quadro 3000M σε Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps στα $91.72 τον μήνα. Παλαιότερες GPUs Tesla και Quadro εξακολουθούν να κάνουν transcoding βίντεο και να οδηγούν απομακρυσμένους επιτραπέζιους υπολογιστές καλά, και έρχονται στο ίδιο πλήρες μηχάνημα με την ίδια μη μετρημένη θύρα.
57 GPUs είναι στη λίστα, από τρέχοντες επιταχυντές υπολογισμού NVIDIA και AMD Instinct μέχρι παλαιότερα μοντέλα Tesla, Quadro και GeForce. Κάθε μία αναφέρεται ονομαστικά με τη μνήμη της και την πλήρη μηνιαία τιμή. Αν η GPU που θέλετε λείπει, ρωτήστε: μπορούμε συχνά να την προμηθευτούμε.
Αυτές που εγκαθιστάτε εσείς. Ο server φτάνει με καθαρό λειτουργικό σύστημα και πρόσβαση root, και εσείς καθορίζετε τον driver, την έκδοση CUDA ή ROCm και το build του framework στο οποίο δοκιμάστηκε ο κώδικάς σας. Αν θέλετε τον driver εγκατεστημένο κατά την παράδοση, βάλτε την ακριβή έκδοση στην παραγγελία. Αν μια GPU πρέπει να υποστηρίζει συγκεκριμένη έκδοση CUDA, ρωτήστε πριν πληρώσετε και θα το ελέγξουμε.
Συχνά, και το κοστολογούμε χειροκίνητα: ο χώρος στο chassis, το πλάτος της GPU, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν τον αριθμό. Ονομάστε τη GPU και απαντάμε με το chassis, τον αριθμό και τον χρόνο παράδοσης. Ο συνηθισμένος λόγος είναι η μνήμη παρά η ταχύτητα, αφού δύο GPUs των 48 GB χωράνε ένα μοντέλο που μία GPU των 80 GB δεν μπορεί. Servers πολλαπλών GPUs και πολλαπλών κόμβων καλύπτουν το επόμενο βήμα.
Ναι, στον server που ήδη έχετε: χωρίς μετεγκατάσταση, χωρίς επανεγκατάσταση, χωρίς νέες διευθύνσεις IP. Είναι προγραμματισμένη επίσκεψη με σύντομη διακοπή, και ο λογαριασμός αλλάζει ακριβώς κατά τη διαφορά μεταξύ των δύο GPUs. RAM, δίσκοι και ταχύτερη θύρα προστίθενται με τον ίδιο κανόνα.
Την αντικαθιστούμε εντός του παραθύρου του πλάνου υποστήριξής σας, μετρημένο από τη στιγμή που το αναφέρετε: 24 ώρες στο συμπεριλαμβανόμενο πλάνο Basic, 4 στο Bronze, 3 στο Silver, 2 στο Gold και Platinum. Μετά το παράθυρο, η πίστωση υπηρεσίας ακολουθεί το πρόγραμμα που δημοσιεύεται στη σελίδα υποστήριξης.
Ναι, μια GPU που σας ανήκει, ή οποιοδήποτε άλλο εξάρτημα, μπορεί να μπει στον server που νοικιάζετε εδώ. Δεν είναι δωρεάν, επειδή η GPU καταναλώνει ρεύμα, και η χρέωση εξαρτάται από το υλικό. Δεν ευθυνόμαστε αν ένα εξάρτημα που φέρατε αποτύχει· το παράθυρο αντικατάστασης καλύπτει μόνο το υλικό που προμηθεύουμε εμείς. Κλείστε μια κλήση πριν το αγοράσετε ή το στείλετε: το κοστολογούμε και ελέγχουμε αν το chassis το δέχεται, επειδή ένα blade, για παράδειγμα, δεν έχει χώρο για GPU πλήρους μεγέθους.
Τίποτα δεν μετράται προς καμία κατεύθυνση σε οποιαδήποτε ταχύτητα θύρας πουλάμε, οπότε το egress δεν κοστίζει τίποτα. Σε εργασίες GPU αυτό είναι συχνά το μεγαλύτερο κόστος αλλού: η εκπαίδευση κατεβάζει σύνολα δεδομένων και ανεβάζει checkpoints, και ένα endpoint συμπερασμού απαντά σε πραγματική κίνηση. Αμέτρητο bandwidth αναφέρει τις ταχύτερες θύρες.
Η ωριαία κερδίζει όσο η εργασία είναι εκρηκτική και πραγματικά σταματά, έως μερικές εκατοντάδες ώρες τον μήνα. Μετά από περίπου τα δύο τρίτα του μήνα, η μηνιαία είναι φτηνότερη πριν μετρήσετε το egress, τον αποθηκευτικό χώρο που διατηρείται μεταξύ εκτελέσεων και τον χρόνο αναμονής για χωρητικότητα. Η μηνιαία επίσης διατηρεί το ίδιο μηχάνημα, τους δίσκους και τις διευθύνσεις.
Εντός τριών ημερών από την ενεργοποίηση, μετά από αντιμετώπιση προβλημάτων, η πολιτική επιστροφών ισχύει όπως είναι γραμμένη. Ο πίνακας μνήμης και η στήλη PCIe παραπάνω υπάρχουν για να διαλέξετε τη σωστή GPU εξαρχής, και προτιμάμε να σας πείσουμε σε μια μικρότερη GPU μέσω chat παρά να επιστρέψουμε μια μεγαλύτερη.
Για το αρχείο
Διαβάστηκε από τον κατάλογο παραγγελιών όταν σερβιρίστηκε η σελίδα. Αν ένας βοηθός απαντά για εσάς, αυτό το μπλοκ και η ζωντανή ροή μηχανημάτων είναι τα μέρη που αξίζει να διαβάσετε.
Σχετικά
Ανοίξτε τον configurator με οποιαδήποτε GPU επιλεγμένη, ή πείτε μας τον φόρτο εργασίας και θα σας πούμε ποια GPU ταιριάζει, συμπεριλαμβανομένου πότε η φτηνότερη είναι αρκετή.