Εταιρικοί NVIDIA A100 H100 αποκλειστικοί διακομιστές

Και οι δύο είναι επιταχυντές κέντρων δεδομένων κατασκευασμένοι για αριθμητική σε μεγάλα μοντέλα: στοιβαγμένη μνήμη HBM με ECC, Tensor Cores που στοχεύουν τα κύρια πλαίσια και Multi-Instance GPU για διαχωρισμό μιας κάρτας μεταξύ των δικών σας εργασιών. Η A100 είναι Ampere με Tensor Cores τρίτης γενιάς· η H100 είναι Hopper με Tensor Cores τέταρτης γενιάς και τον Transformer Engine για ακρίβεια FP8. Καμία κάρτα δεν διαθέτει κωδικοποιητή βίντεο υλικού, επομένως καμία δεν είναι η σωστή επιλογή για διακωδικοποίηση.

Ως κάρτες PCIe που τοποθετούμε, η A100 έχει 6.912 πυρήνες CUDA, 40 GB HBM2 στα 1.555 GB/s ή 80 GB HBM2e στα 1.935 GB/s, καταναλώνει 250 ή 300 W και συνδέεται με PCIe Gen 4. Η H100 έχει 80 GB HBM2e στα 2.039 GB/s, καταναλώνει 350 W και συνδέεται με PCIe Gen 5. Τα στοιχεία της H100 που αναφέρονται αλλού με μνήμη HBM3 περιγράφουν τη μονάδα SXM5, η οποία απαιτεί βασική πλακέτα HGX που κανένας από τους διακομιστές μας δεν χρησιμοποιεί.

Μέσα σε ένα μηχάνημα, κάθε κάρτα μπορεί να χωριστεί σε έως και επτά απομονωμένα στιγμιότυπα Multi-Instance GPU, το καθένα με δικό του υπολογισμό, μνήμη και κρυφή μνήμη. Και οι δύο κάρτες διαθέτουν επίσης υποδοχή γέφυρας NVLink, αλλά δεν υπάρχει γέφυρα στη φόρμα παραγγελίας: δύο κάρτες σε έναν διακομιστή επικοινωνούν μέσω PCIe εκτός εάν ζητηθεί προσφορά για γέφυρα, οπότε ρωτήστε πριν την παραγγελία αν η εργασία τη χρειάζεται. Μεταξύ διακομιστών η σύνδεση είναι η θύρα Ethernet κάθε μηχανήματος και οι κατασκευές πολλαπλών GPU και πολλαπλών κόμβων έχουν τη δική τους σελίδα.

Ένα μηχάνημα ήδη τοποθετημένο σε rack με την κάρτα παραδίδεται εντός περίπου 30 λεπτών από την επαλήθευση πληρωμής. Όταν τοποθετούμε μια κάρτα που έχουμε σε απόθεμα, χρειάζεται 4 έως 24 ώρες· μια κάρτα που πρέπει να αγοράσουμε χρειάζεται πέντε έως δέκα εργάσιμες ημέρες ή δέκα έως δεκαπέντε όταν ο επιταχυντής είναι σε κατανομή, και ενημερώνεστε ποιο ισχύει πριν πληρώσετε.