Do I share the GPU with anyone?

No. One physical machine, one account, and the card passed through to the operating system you installed -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing scheduler, no neighbour's batch job on your silicon. The numbers you benchmark on day one are the numbers you keep.

Will two cards fit in one machine?

Often, and it is quoted rather than ticked: chassis clearance, the card's physical width, the lane budget and the power supply set the count, so an honest answer needs the specific part. Ask, and the reply names the chassis, the count and the lead time. The usual motive is memory rather than speed -- two 48 GB cards hold a model one 80 GB card cannot.

Which driver and CUDA release ships on a Server Room GPU server?

The ones you install. The machine arrives with a clean operating system and root; you pin the driver, the CUDA or ROCm release and the framework build to what your code was validated against, and nothing moves them afterward. If you want the driver in place before handover, put the exact version on the order.

What if the card I want is not on a shelf today?

Then it is fitted from stock or bought in, and you are told which before you pay: stocked parts seat within four to twenty-four hours, bought-in parts run five to ten working days, and allocation-bound accelerators ten to fifteen. When the requirement is a machine today, https://serverroom.net/instant lists what is racked and powered right now.

Can the card change after deployment?

Yes, in the machine you already hold: no migration, no reinstall, no new addresses. It is a scheduled rack visit with a short outage, and the invoice moves by exactly the difference between the two cards. Memory, disks and port speed upgrade under the same rule.

What happens when a graphics card dies?

It is swapped, on a clock the agreement puts in writing: four hours from the moment it is reported by telephone or live chat. Miss the window and service credit follows a published schedule rather than a goodwill request.

Is the bandwidth really unmetered? What does egress cost?

Really: nothing is metered in either direction, at any port speed we sell, and egress costs zero because no meter exists to charge it from. On GPU work this is routinely the biggest line elsewhere -- a training run pulls datasets in and pushes checkpoints out, an inference endpoint answers real traffic, and per-gigabyte egress bills every one of those bytes.

Monthly here versus a GPU by the hour -- where is the crossover?

Arithmetic settles it. Hourly wins while the work is bursty and genuinely stops -- up to a few hundred hours a month. Past roughly two thirds of the month it stops being close, before counting egress, persistent storage between runs, and queue time waiting on capacity. Monthly also means the same machine, disks and addresses next month.

How is it paid, and what does the contract look like?

Card, PayPal, ACH or bank wire -- and there is no contract to sign: one month is the default term, three, six and twelve-month cycles take a discount, and renewal does not step the price up. On a larger first order a wire usually clears fraud review faster than a card.

What if the card turns out to be the wrong one?

Within three calendar days of first activation, after troubleshooting is exhausted, the refund policy applies as written: https://serverroom.net/refund-policy-us. The sizing and bus-generation sections of the page exist precisely to make that clause unnecessary -- it is cheaper for both sides when the right card is bought first.

Do you carry the newest graphics card?

Sometimes -- and it is usually the wrong specification. The newest part is scarce, on allocation, priced as if every transistor were needed, and seated on platforms that cannot feed it the bus generation it was designed for. Most GPU work is serving a model that already fits, encoding video, rendering frames or driving desktops, and for those the right card is often two generations old at a quarter of the money. Name the job; if the answer genuinely is the newest part, we say so, with the cost and the date it can exist.

Κάρτες γραφικών σε bare metal · Server Room · από το 2004

Η κάρτα είναι μία γραμμή στο τιμολόγιο. Το μηχάνημα είναι η άλλη.

Κάθε κατάλογος σε αυτόν τον κλάδο κοστολογεί την κάρτα και τον διακομιστή ως ένα ποσό που συνέθεσε κάποιος άλλος. Εδώ τα κρατάμε χωριστά: το μηχάνημα έχει το δικό του μηνιαίο ποσό, η κάρτα το δικό της, και το σύνολο είναι το άθροισμά τους. Ρυθμίστε τα δύο στοιχεία παρακάτω — τι τρέχει πάνω του και πόση μνήμη κάρτας χρειάζεται η εργασία — και ό,τι απομένει είναι ένας πλήρης διακομιστής, κοστολογημένος από τον ίδιο κατάλογο που χρεώνει το ταμείο.

Περιορίστε τα ράφια Ποιανού είναι η κάρτα;

Ένας λογαριασμός ανά φυσικό μηχάνημα. Η κάρτα παραδίδεται στο λειτουργικό σας σύστημα μέσω PCIe passthrough — το δικό σας kernel module, η δική σας έκδοση driver, χωρίς hypervisor στη διαδρομή.

Ο πάγκος

Δύο ρυθμίσεις. Τα υπόλοιπα είναι αριθμητική.

Τίποτα εδώ δεν δεσμεύει απόθεμα ούτε ανοίγει λογαριασμό. Το ποσό σε κάθε γραμμή είναι ολόκληρος ο διακομιστής με την εκάστοτε κάρτα τοποθετημένη — επεξεργαστής, μνήμη, δίσκοι σε mirror, απεριόριστη θύρα, μία IPv4 — και το μερίδιο της ίδιας της κάρτας τυπώνεται από κάτω, ώστε και τα δύο μισά του κόστους να παραμένουν ορατά.

What runs on it?

How much card memory?

anygigabytes or more

5 GB7-8 billion parameters, 4-bit
8 GB13-14 billion parameters, 4-bit
19 GB30-34 billion parameters, 4-bit
38 GB70 billion parameters, 4-bit

Ο κατάλογος διατηρεί τρία δικά του ράφια, τοποθετημένα εκεί όπου κοστολογούνται τα εξαρτήματα και όχι επινοημένα από αυτή τη σελίδα. Επιλέξτε ένα και αυτή η γραμμή εξηγεί για ποιον σκοπό είναι φτιαγμένο το συγκεκριμένο ράφι. Επιταχυντές υπολογισμών: μεγάλες δεξαμενές μνήμης, ECC από άκρη σε άκρη, και στα τρέχοντα εξαρτήματα οι tensor μονάδες για τις οποίες μεταγλωττίζουν τα frameworks. Το ράφι για fine-tuning, για εξυπηρέτηση μοντέλου σε παραγωγική κίνηση και για κάθε εκτέλεση που πρέπει να ολοκληρωθεί και όχι απλώς να ξεκινήσει. Πυρίτιο σταθμών εργασίας: πιστοποιημένοι drivers, ECC στο μεγαλύτερο μέρος της σειράς, αποκλειστικές μηχανές βίντεο. Αυτά αποδίδουν, κωδικοποιούν και διαμερίζονται σε εικονικούς επιτραπέζιους υπολογιστές — και αρκετά είναι παλαιότερα εξαρτήματα που εξακολουθούν να εκτελούν τη μία τους εργασία σε πλήρη ταχύτητα και δεν νοικιάζονται σχεδόν πουθενά αλλού. Εξαρτήματα GeForce σε πλαίσια διακομιστών. Χωρίς ECC και χωρίς πιστοποιημένο driver, αλλά με την περισσότερη αριθμητική ισχύ ανά δολάριο σε οποιοδήποτε ράφι και το πυρίτιο πάνω στο οποίο έχει χτιστεί το περισσότερο καταναλωτικό λογισμικό. Game servers, batch rendering, πειράματα — εργασίες όπου ένα flipped bit κοστίζει μια επανάληψη, όχι έναν έλεγχο.

Εκτιμήσεις από τον κατάλογο παραγγελιών, όχι από τιμοκατάλογο, και είναι τα ίδια τα ποσά του ταμείου. Μια κάρτα της οποίας ο κατασκευαστής δεν δημοσιεύει μέγεθος μνήμης δεν εμφανίζει κανένα εδώ — και αποσύρεται μόλις ο έλεγχος μνήμης φύγει από το “οποιαδήποτε”, επειδή δεν θα δείξουμε εξάρτημα που περνά ένα όριο το οποίο δεν μπορούμε να επαληθεύσουμε· ρωτήστε και διαβάζουμε το νούμερο από την ίδια την κάρτα. Αρκετά εξαρτήματα τοποθετούνται σε περισσότερα από ένα πλαίσια σε περισσότερες από μία τιμές: η γραμμή δείχνει τη φθηνότερη θέση, ο configurator παραθέτει τις υπόλοιπες.

Καταμετρήθηκαν τη στιγμή που σερβιρίστηκε η σελίδα

57Cards on the shelves
$20.79Cheapest card line, per month
$91.72Cheapest complete build with a card
5Cities
0Bytes metered

Διαβάζονται από τον κατάλογο παραγγελιών κατά την απόδοση, ποτέ πληκτρολογημένα. Αποσύρετε μια κάρτα από το κατάστημα αύριο και αυτή η λωρίδα θα είναι μικρότερη αύριο. Το τι είναι racked και τροφοδοτημένο σήμερα το πρωί είναι ξεχωριστή ερώτηση με τη δική της σελίδα: άμεσοι διακομιστές.

Μίσθωση, πριν από οτιδήποτε άλλο

Ένας μισθωτής. Ολόκληρη η κάρτα. Τίποτα προγραμματισμένο πάνω από εσάς.

Παραδίδεται ολόκληρη, όχι τεμαχισμένη.

Η κάρτα βρίσκεται σε φυσική υποδοχή PCIe σε μηχάνημα που νοικιάζεται σε έναν λογαριασμό, και το λειτουργικό σύστημα που την κατέχει είναι αυτό που εγκαταστήσατε εσείς. Φορτώνετε το kernel module, καρφιτσώνετε τον driver, και το CUDA ή το ROCm παραμένει στην έκδοση στην οποία δοκιμάστηκε ο κώδικάς σας. Δεν υπάρχει επίπεδο hypervisor, ούτε διαμέρισμα MIG, ούτε προφίλ vGPU, ούτε χρονοπρογραμματιστής time-slicing — η καθυστέρηση που μετράτε το πρώτο απόγευμα είναι η καθυστέρηση που διατηρείτε, στις τέσσερις το απόγευμα και στις τέσσερις το πρωί.

Το πλαίσιο ακολουθεί τον ίδιο κανόνα: κάθε πυρήνας, κάθε DIMM, και οι δύο δίσκοι, το root, και το ίδιο το iLO ή iDRAC του μηχανήματος σε ξεχωριστό δίκτυο διαχείρισης για κονσόλα, εικονικά μέσα και τροφοδοσία. Ένα πείραμα driver που ρίχνει το δίκτυο εξακολουθεί να σας αφήνει την οθόνη.

Χωρίς τεμαχισμόΧωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU, χωρίς κλασματική κατανομή. Μία κάρτα, ένα λειτουργικό σύστημα.
Χωρίς ουράΚανένας χρονοπρογραμματιστής δεν μοιράζεται το πυρίτιο. Όταν η διεργασία σας είναι αδρανής, η κάρτα είναι αδρανής — και πάλι δική σας.
Χωρίς επίπεδοBare metal. Ο δικός σας kernel, τα δικά σας modules, η δική σας έκδοση driver, καρφιτσωμένα μέχρι να τα μετακινήσετε.
Χωρίς μετρητήΣύνολα δεδομένων μέσα, checkpoints και renders έξω. Τίποτα στη θύρα δεν μετρά τα bytes.

Το μοντέλο τιμολόγησης

Δύο γραμμές που αθροίζονται. Όχι βαθμίδα.

Ένα GPU “instance” είναι η απόφαση κάποιου άλλου για το πόσο πρέπει να πληρώσει ένας αγοραστής κάρτας για τον επεξεργαστή, τη μνήμη, τους δίσκους και το δίκτυο γύρω από την κάρτα. Εδώ αυτά είναι μία γραμμή, η κάρτα είναι άλλη, και αθροίζονται — γι’ αυτό και τα δύο άκρα του παραπάνω ραφιού τοποθετούνται στο ίδιο πλαίσιο, και γι’ αυτό η αλλαγή κάρτας μεταβάλλει το τιμολόγιο ακριβώς κατά τη διαφορά μεταξύ των δύο καρτών.

The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
SetupNothingNo contract; the default term is one month—

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

Ο configurator στρογγυλοποιεί την τιμολόγηση ανά δίσκο και μπορεί να πέσει ένα ή δύο λεπτά έξω από αυτά τα ποσά. Οι μεγαλύτεροι κύκλοι χρέωσης προσφέρουν περαιτέρω έκπτωση — η τιμολόγηση έχει κάθε ποσό σε ένα μέρος, και το παλαιότερο υλικό, χαμηλότερη τιμή είναι το διαρκές επιχείρημα για το γιατί υπάρχει το κάτω μέρος του ραφιού.

Μνήμη κάρτας

Η χωρητικότητα είναι δυαδική. Όλα τα υπόλοιπα είναι απλώς ταχύτητα.

Οι πυρήνες και τα ρολόγια καθορίζουν πόσο γρήγορα τρέχει ένα μοντέλο. Η μνήμη της κάρτας καθορίζει αν τρέχει καθόλου: τα βάρη είτε φορτώνονται είτε όχι, και μια κάρτα που υπολείπεται κατά δύο gigabytes δεν τρέχει αργά — τερματίζει. Ξεκαθαρίστε αυτόν τον αριθμό πριν από οποιονδήποτε άλλον, γιατί είναι η μόνη προδιαγραφή που σχεδόν κανείς δεν τυπώνει δίπλα σε μια τιμή.

Ο υπολογισμός είναι παράμετροι επί bytes ανά παράμετρο: δύο bytes το καθένα στα 16-bit, ένα στα 8-bit, μισό byte στα 4-bit. Η κβαντοποίηση στα 4-bit είναι ο μοχλός που χωράει ένα μοντέλο σε μικρότερο ράφι, και ανταλλάσσει μια μετρήσιμη ποσότητα ποιότητας για τη θέση.

Υπολογίστε περιθώριο. Ο πίνακας είναι μόνο τα βάρη και τίποτε άλλο. Το runtime, οι ενεργοποιήσεις και η cache κλειδιών-τιμών ζουν όλα στην ίδια μνήμη, και η cache μεγαλώνει με κάθε token περιεχομένου — 38 GB βάρη δεν εξυπηρετούνται άνετα από μια κάρτα 40 GB. Αφήστε ένα τέταρτο έως μισό επιπλέον, ή πείτε μας το μοντέλο και το μήκος περιεχομένου που πραγματικά τρέχετε και θα το διαστασιολογήσουμε με βάση αυτό.

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

Το σασί από κάτω

Τέσσερις πλατφόρμες δέχονται μια κάρτα, και ο δίαυλος είναι αυτό που τις χωρίζει.

Κάθε μία δίνει στη θύρα διαφορετική γενιά σύνδεσης και προϋπολογισμό λωρίδων, και η στήλη τυπώνεται επειδή αλλάζει τα αποτελέσματα και κανείς άλλος δεν τη δημοσιεύει: ένας πελάτης αντάλλαξε κάποτε μια γενιά καταναλωτικού εξοπλισμού με την επόμενη σε πλατφόρμα Gen 3 και έγινε πιο αργός, και είχε καταλάβει το γιατί πριν από εμάς. Ο αριθμός ανήκει στη σελίδα.

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted: 28
Bus to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted: 44
Bus to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted: 48
Bus to the card: PCIe 3.0
Lanes: 48 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted: 10
Bus to the card: PCIe 4.0
Lanes: 128 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

Πότε έχει σημασία η γενιά σύνδεσης, μετρημένη ανά φόρτο εργασίας

Μια κάρτα φτιαγμένη για νεότερο δίαυλο τρέχει σωστά σε παλαιότερο· απλώς δεν μπορεί να μετακινήσει δεδομένα μέσω της σύνδεσης στον ρυθμό σχεδιασμού της. Το αν αυτό σας κοστίζει κάτι εξαρτάται αποκλειστικά από το πού βρίσκονται τα δεδομένα.

Σας κοστίζει όταν η κίνηση διασχίζει συνεχώς τον δίαυλο — ένας βρόχος εκπαίδευσης που στέλνει παρτίδες από δίσκο ή μνήμη συστήματος, ένας renderer που τροφοδοτεί δεδομένα σκηνής κάθε καρέ, οποιοδήποτε σύνολο εργασίας ξεχειλίζει από τη μνήμη της κάρτας.
Δεν σας κοστίζει τίποτα μόλις τα βάρη φορτωθούν και παραμείνουν φορτωμένα — συμπερασμός σε μοντέλο που χωράει, διακωδικοποίηση βίντεο, οι περισσότερες προσομοιώσεις. Η σύνδεση τότε μεταφέρει αιτήματα και αποτελέσματα, και αυτά είναι μικρά.
Ονομάστε τον φόρτο εργασίας αν δεν είστε σίγουροι. Θα πούμε ξεκάθαρα αν η πλατφόρμα τον περιορίζει — συμπεριλαμβανομένης της περίπτωσης που η τίμια προδιαγραφή είναι φθηνότερη κάρτα σε ταχύτερη σύνδεση αντί για ακριβότερη κάρτα σε πιο αργή.

Ήδη στο ποσό

Τι περιλαμβάνει κάθε μηχάνημα πριν προσθέσετε οτιδήποτε.

Root, και μια στοίβα οδηγών που είναι δική σας

Ένα καθαρό λειτουργικό σύστημα και τα κλειδιά. Εσείς επιλέγετε την έκδοση οδηγού, την έκδοση CUDA ή ROCm και το build του framework, και τα κλειδώνετε — τίποτα δεν αναβαθμίζεται κάτω από μια προθεσμία. Θέλετε τον οδηγό στη θέση του πριν από την παράδοση; Ονομάστε την έκδοση στην παραγγελία και θα είναι.
Κονσόλα εκτός ζώνης στο δικό της δίκτυο

iLO στο σασί HPE, iDRAC στο Dell: κονσόλα πληκτρολογίου-οθόνης, εικονικά μέσα, έλεγχος τροφοδοσίας, καταγραφές αισθητήρων και υλικού. Μια μονάδα που μπλοκάρει την οθόνη ή τη NIC είναι μια επανεκκίνηση που κάνετε μόνοι σας, βλέποντας το POST — όχι ένα ticket.
Μια θύρα που τίποτα δεν μετράει

Χωρίς μέτρηση και προς τις δύο κατευθύνσεις στην περιλαμβανόμενη ταχύτητα και σε κάθε ταχύτητα πάνω από αυτήν. Κανένα όριο μεταφοράς, καμία γραμμή εξερχόμενης κίνησης σε κανένα τιμολόγιο — σύνολα δεδομένων μέσα, checkpoints έξω, ένα μοντέλο που εξυπηρετεί πραγματική κίνηση, όλα στην τιμή της θύρας. Το αμέτρητο bandwidth είναι η σκάλα προς τα πάνω, και είναι η μεγαλύτερη γραμμή που αυτή η σελίδα διαγράφει από έναν λογαριασμό hyperscaler.
Επανεγκαταστάσεις χωρίς ticket

Εικόνες λειτουργικού συστήματος με ένα κλικ, όσο συχνά θέλετε, χωρίς χρέωση — ένα πείραμα οδηγού που πάει στραβά κοστίζει είκοσι λεπτά. Το reverse DNS είναι δικό σας για επεξεργασία, το IPv6 περιλαμβάνεται, και επιπλέον IPv4 είναι μια γραμμή καταλόγου αντί για διαπραγμάτευση.
Μηχανικοί σε βάρδια, όλο το εικοσιτετράωρο

Τηλέφωνο, ζωντανή συνομιλία και tickets σε κάθε μηχάνημα, και ένα ελαττωματικό εξάρτημα αντικαθίσταται εντός τεσσάρων ωρών από την αναφορά τηλεφωνικά ή με συνομιλία. Η Υποστήριξη δημοσιεύει τους χρόνους απόκρισης και το πρόγραμμα πιστώσεων γραπτώς.
Πέντε αίθουσες σε δύο ηπείρους

Νέα Υόρκη, Μαϊάμι, Σαν Φρανσίσκο, Άμστερνταμ και Βουκουρέστι. Το πού βρίσκεται το μηχάνημα καθορίζει την καθυστέρηση προς ό,τι το καλεί και το καθεστώς προστασίας δεδομένων στο οποίο υπάγεται· η σελίδα κέντρα δεδομένων περιγράφει κάθε κτίριο.

Χρόνος παράδοσης

Μισή ώρα έως τρεις εβδομάδες, ανάλογα με το πού βρίσκεται η κάρτα σήμερα.

Ένας αριθμός θα ήταν ψέμα προς τη μία ή την άλλη κατεύθυνση, γιατί ποτέ δεν ήταν ένας αριθμός: μια κάρτα ήδη τοποθετημένη σε μηχάνημα σε rack είναι παράδοση, μια κάρτα που πρέπει να αγοραστεί είναι εντολή αγοράς. Αυτό που δεσμευόμαστε είναι να σας πούμε σε ποιο σκαλοπάτι βρίσκεστε πριν πληρώσετε.

~30 λεπτά
Η κάρτα είναι ήδη τοποθετημένη σε μηχάνημα σε rack
Τίποτα δεν τοποθετείται και τίποτα δεν μετακινείται. Το μηχάνημα εγκαθίσταται με εικόνα και παραδίδεται. Η σελίδα Άμεσοι διακομιστές αναφέρει τι βρίσκεται εκεί αυτή τη στιγμή.
4–24 ώρες
Τοποθετείται μια κάρτα από δικό μας απόθεμα
Η συνηθισμένη περίπτωση για αυτή τη σελίδα. Το εξάρτημα είναι στην αποθήκη· ένας τεχνικός την τοποθετεί, χτίζει τον πίνακα και εγκαθιστά το λειτουργικό σύστημα. Ένα μηχάνημα σε rack που είναι κοντά αλλά όχι ακριβές — προστιθέμενη μνήμη, αλλαγμένος δίσκος, πίνακας ξαναχτισμένος στη δική σας διάταξη — είναι η ίδια επίσκεψη, που γίνεται επί τόπου.
5–10 εργάσιμες ημέρες
Η κάρτα αγοράζεται
Ένα εξάρτημα που δεν διαθέτουμε παραγγέλνεται, και μετά η κατασκευή προχωρά όπως παραπάνω. Η σελίδα Κατασκευή κατά παραγγελία είναι για όταν ολόκληρη η προδιαγραφή είναι δική σας.
10–15 εργάσιμες ημέρες
Η κάρτα είναι σε κατανομή
Οι επιταχυντές τρέχουσας γενιάς αποστέλλονται στην ημερομηνία του διανομέα, όχι στη δική μας, και ονομάζουμε αυτό το μακρύ κοντάρι πριν δεσμευτείτε αντί μετά. Το υλικό που αγοράζεται για έναν πελάτη κοστολογείται με τρεις μήνες προκαταβολικά, γιατί είναι ένα μηχάνημα που δεν μπορούμε να ξανανοικιάσουμε αν ο λογαριασμός κλείσει τη δεύτερη εβδομάδα.

Κάθε σκαλοπάτι ξεκινά όταν η πληρωμή και ο έλεγχος απάτης εγκριθούν — το μόνο βήμα για το οποίο δεν θα δώσουμε υπόσχεση: οι περισσότερες παραγγελίες εγκρίνονται μέσα σε λίγες ώρες, μια πρώτη παραγγελία από νέο λογαριασμό μπορεί να πάρει περισσότερο. Κάρτα, PayPal, ACH και έμβασμα γίνονται δεκτά, και σε μια μεγαλύτερη πρώτη παραγγελία ένα έμβασμα συνήθως εγκρίνεται ταχύτερα από μια κάρτα.

Έχει ξαναρωτηθεί, απαντάται εδώ

Οι έντεκα ερωτήσεις που η σελίδα υπάρχει για να λύσει.

Συγκεντρωμένες από chat και tickets, περίπου με τη σειρά που τις ρωτούν οι αγοραστές. Η πρώτη έχει κοστίσει πραγματικές παραγγελίες, γι' αυτό ανοίγει τη λίστα.

Μοιράζομαι την GPU με κάποιον;: Όχι. Ένα φυσικό μηχάνημα, ένας λογαριασμός, και η κάρτα περασμένη απευθείας στο λειτουργικό σύστημα που εγκαταστήσατε — χωρίς hypervisor, χωρίς διαμέρισμα MIG, χωρίς προφίλ vGPU, χωρίς χρονοπρογραμματιστή time-slicing, χωρίς batch job γείτονα πάνω στο δικό σας πυρίτιο. Οι αριθμοί που μετράτε την πρώτη μέρα είναι οι αριθμοί που κρατάτε.
Χωράνε δύο κάρτες σε ένα μηχάνημα;: Συχνά, και αυτό δίνεται ως προσφορά παρά ως τσεκαρισμένο κουτάκι: το διάκενο του chassis, το φυσικό πλάτος της κάρτας, ο προϋπολογισμός lanes και το τροφοδοτικό καθορίζουν τον αριθμό, οπότε μια ειλικρινής απάντηση χρειάζεται το συγκεκριμένο εξάρτημα. Πείτε την κάρτα, και η απάντηση έρχεται με το chassis, τον αριθμό και τον χρόνο παράδοσης. Το συνηθισμένο κίνητρο είναι η μνήμη παρά η ταχύτητα — δύο κάρτες των 48 GB χωράνε ένα μοντέλο που μία κάρτα των 80 GB δεν μπορεί — και η σελίδα multi-GPU και multi-node είναι η διπλανή όταν η δεύτερη κάρτα αρχίζει να μοιάζει με δεύτερο μηχάνημα.
Ποιος driver και ποια έκδοση CUDA έρχεται μαζί του;: Αυτά που εγκαθιστάτε εσείς. Το μηχάνημα φτάνει με καθαρό λειτουργικό σύστημα και root· καρφιτσώνετε τον driver, την έκδοση CUDA ή ROCm και το build του framework σε ό,τι έχει επικυρωθεί ο κώδικάς σας, και τίποτα δεν τα μετακινεί μετά. Αν θέλετε τον driver στη θέση του πριν την παράδοση, βάλτε την ακριβή έκδοση στην παραγγελία. Αν μια συγκεκριμένη κάρτα πρέπει να υποστηρίζει μια συγκεκριμένη έκδοση CUDA, ρωτήστε πριν πληρώσετε και το ελέγχουμε αντί να μαντέψουμε.
Η κάρτα που θέλω δεν είναι σε ράφι σήμερα — τότε τι;: Τότε τοποθετείται από στοκ ή αγοράζεται, και σας λέμε ποιο πριν πληρώσετε: τα εξαρτήματα από στοκ μπαίνουν μέσα σε τέσσερις έως είκοσι τέσσερις ώρες, τα αγορασμένα εξαρτήματα θέλουν πέντε έως δέκα εργάσιμες ημέρες, και οι accelerators με δέσμευση κατανομής δέκα έως δεκαπέντε. Αυτή η σελίδα σκόπιμα δεν τυπώνει μετρητές στοκ — μια κάρτα είναι εξάρτημα που τοποθετούμε, όχι προϊόν που έρχεται και φεύγει — αλλά όταν η απαίτηση είναι ένα μηχάνημα σήμερα, η σελίδα instant servers καταγράφει τι είναι racked και powered αυτή τη στιγμή.
Μπορεί η κάρτα να αλλάξει μετά την ανάπτυξη;: Ναι, στο μηχάνημα που ήδη κρατάτε: χωρίς migration, χωρίς reinstall, χωρίς νέες διευθύνσεις. Είναι μια προγραμματισμένη επίσκεψη στο rack με σύντομη διακοπή, και το τιμολόγιο κινείται ακριβώς κατά τη διαφορά μεταξύ των δύο καρτών. Μνήμη, δίσκοι και ταχύτητα θύρας αναβαθμίζονται με τον ίδιο κανόνα.
Τι γίνεται όταν πεθάνει μια κάρτα;: Αντικαθίσταται, με ρολόι που η συμφωνία βάζει γραπτώς: τέσσερις ώρες από τη στιγμή που αναφέρεται τηλεφωνικά ή με live chat. Χάστε το παράθυρο και η πίστωση υπηρεσίας ακολουθεί δημοσιευμένο πρόγραμμα αντί για αίτημα καλής θέλησης. Η σελίδα Support φέρει το πρόγραμμα και τον αριθμό τηλεφώνου.
Είναι πραγματικά αμέτρητο το bandwidth; Τι κοστίζει το egress;: Πραγματικά: τίποτα δεν μετριέται προς καμία κατεύθυνση, σε οποιαδήποτε ταχύτητα θύρας πουλάμε, και το egress κοστίζει μηδέν γιατί δεν υπάρχει μετρητής για να το χρεώσει. Σε εργασίες GPU αυτό είναι συνήθως η μεγαλύτερη γραμμή αλλού — ένα training run τραβάει datasets μέσα και σπρώχνει checkpoints έξω, ένα inference endpoint απαντά σε πραγματική κίνηση, και το egress ανά gigabyte χρεώνει κάθε ένα από αυτά τα bytes. Η σελίδα Unmetered bandwidth είναι η σκάλα πάνω από την περιλαμβανόμενη ταχύτητα.
Μηνιαίο εδώ έναντι GPU ανά ώρα — πού είναι το σημείο καμπής;: Η αριθμητική το λύνει. Το ωριαίο κερδίζει όσο η εργασία είναι εκρηκτική και πραγματικά σταματά — έως μερικές εκατοντάδες ώρες τον μήνα. Μετά από περίπου τα δύο τρίτα του μήνα παύει να είναι κοντά, πριν μετρήσουμε egress, μόνιμη αποθήκευση μεταξύ των runs, και χρόνο αναμονής σε ουρά για χωρητικότητα. Το μηνιαίο σημαίνει επίσης το ίδιο μηχάνημα, δίσκοι και διευθύνσεις τον επόμενο μήνα, κάτι που τα production workloads νοιάζονται περισσότερο από ό,τι τα benchmarks.
Πώς πληρώνεται, και πώς μοιάζει το συμβόλαιο;: Κάρτα, PayPal, ACH ή τραπεζικό έμβασμα — και δεν υπάρχει συμβόλαιο να υπογράψετε: ο ένας μήνας είναι ο προεπιλεγμένος όρος, οι κύκλοι τριών, έξι και δώδεκα μηνών παίρνουν έκπτωση, και η ανανέωση δεν ανεβάζει την τιμή. Σε μια μεγαλύτερη πρώτη παραγγελία ένα έμβασμα συνήθως περνάει τον έλεγχο απάτης γρηγορότερα από μια κάρτα, κάτι που αξίζει να ξέρετε πριν ένα build περιμένει πάνω του.
Κι αν η κάρτα αποδειχθεί λάθος;: Εντός τριών ημερολογιακών ημερών από την πρώτη ενεργοποίηση, αφού εξαντληθεί το troubleshooting, ισχύει η πολιτική επιστροφών όπως είναι γραμμένη. Ο πίνακας μεγεθών και η στήλη γενιάς διαύλου παραπάνω υπάρχουν ακριβώς για να κάνουν αυτή τη ρήτρα περιττή — προτιμάμε να σας πείσουμε να κατεβείτε σε μικρότερη κάρτα παρά να διεκπεραιώσουμε την επιστροφή μιας μεγαλύτερης.
Έχετε την πιο καινούργια κάρτα;: Μερικές φορές — και συνήθως είναι η λάθος προδιαγραφή. Το πιο καινούργιο εξάρτημα είναι σπάνιο, σε κατανομή, τιμολογημένο σαν να χρειαζόταν κάθε τρανζίστορ, και τοποθετημένο σε πλατφόρμες που δεν μπορούν να του δώσουν τη γενιά διαύλου για την οποία σχεδιάστηκε. Η περισσότερη εργασία GPU εδώ δεν είναι frontier training: είναι να σερβίρει ένα μοντέλο που ήδη χωράει, να κωδικοποιεί βίντεο, να αποδίδει καρέ, να οδηγεί desktops — δουλειές όπου η σωστή κάρτα είναι δύο γενιές πίσω στο ένα τέταρτο των χρημάτων. Πείτε τη δουλειά· αν η απάντηση είναι πραγματικά το πιο καινούργιο εξάρτημα, το λέμε, με το κόστος και την ημερομηνία που μπορεί να υπάρξει.

Διπλανές σελίδες

Όλα όσα απέχουν ένα βήμα από αυτή τη σελίδα.

Αυτή η σελίδα κατέχει μία ερώτηση — ποιες κάρτες τοποθετούμε και τι κοστίζει η καθεμία. Οι ερωτήσεις εκατέρωθέν της έχουν η καθεμία τη δική της σελίδα, και αυτό είναι το πλήρες σύνολο.

Ακόμα ζυγίζετε δύο ράφια; — όποιος απαντήσει έχει διαστασιολογήσει ένα από αυτά στο παρελθόν, και θα πει πότε η φθηνότερη κάρτα είναι η σωστή προδιαγραφή.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit: 57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line: $20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it: $91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone: $70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train: Instinct MI50 16GB, $169.93 a month complete.
Dearest: H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy: One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth: Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where: 5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term: Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards: Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment: Card, PayPal, ACH and wire.

Δύο ρυθμίσεις. Τα υπόλοιπα είναι αριθμητική.

Ένας μισθωτής. Ολόκληρη η κάρτα. Τίποτα προγραμματισμένο πάνω από εσάς.

Δύο γραμμές που αθροίζονται. Όχι βαθμίδα.

Η χωρητικότητα είναι δυαδική. Όλα τα υπόλοιπα είναι απλώς ταχύτητα.

Τέσσερις πλατφόρμες δέχονται μια κάρτα, και ο δίαυλος είναι αυτό που τις χωρίζει.

Intel Xeon E5-2600 v1/v2

Intel Xeon E5-2600 v3/v4

Intel Xeon Silver / Gold

AMD EPYC

Πότε έχει σημασία η γενιά σύνδεσης, μετρημένη ανά φόρτο εργασίας

Τι περιλαμβάνει κάθε μηχάνημα πριν προσθέσετε οτιδήποτε.

Root, και μια στοίβα οδηγών που είναι δική σας

Κονσόλα εκτός ζώνης στο δικό της δίκτυο

Μια θύρα που τίποτα δεν μετράει

Επανεγκαταστάσεις χωρίς ticket

Μηχανικοί σε βάρδια, όλο το εικοσιτετράωρο

Πέντε αίθουσες σε δύο ηπείρους

Μισή ώρα έως τρεις εβδομάδες, ανάλογα με το πού βρίσκεται η κάρτα σήμερα.

Η κάρτα είναι ήδη τοποθετημένη σε μηχάνημα σε rack

Τοποθετείται μια κάρτα από δικό μας απόθεμα

Η κάρτα αγοράζεται

Η κάρτα είναι σε κατανομή

Οι έντεκα ερωτήσεις που η σελίδα υπάρχει για να λύσει.

Όλα όσα απέχουν ένα βήμα από αυτή τη σελίδα.

The whole page, reduced to figures.