Αποκλειστικός διακομιστής A100 H100 Η πλήρης GPU, το δικό σας λειτουργικό, η δική σας root.

Ο H100 είναι η γενιά μετά τον A100. Ως προς τις PCIe GPU που τοποθετούμε, ο A100 έχει 40 GB HBM2 στα 1.555 GB/s ή 80 GB HBM2e στα 1.935 GB/s και διασύνδεση PCIe 4.0. Ο H100 έχει 80 GB HBM2e στα 2.039 GB/s, Tensor Cores τέταρτης γενιάς με FP8 και διασύνδεση PCIe 5.0, και καταναλώνει 350 W έναντι 250 ή 300 W. Και οι τρεις διαθέτουν ECC, Multi-Instance GPU και κανέναν κωδικοποιητή βίντεο.

Η χαμηλότερη μηνιαία τιμή για έναν πλήρη διακομιστή H100 80 GB είναι $1,682.67. Αυτό το μηχάνημα είναι Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, και η GPU είναι $1,599 του συνόλου. Μια σύνθεση με την GPU τοποθετημένη προσθέτει εφάπαξ τέλος εγκατάστασης $29, και ο πίνακας συνθέσεων αναφέρει κάθε πλατφόρμα με τη δική της τιμή.

Η χαμηλότερη μηνιαία τιμή για έναν πλήρη διακομιστή A100 είναι $772.47 με την GPU 40 GB και $972.47 με την GPU 80 GB, το καθένα στο φθηνότερο μηχάνημα που το υποστηρίζει. Η σύνθεση A100 40 GB είναι Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Μνήμη, δίσκοι και ταχύτερη θύρα τιμολογούνται στη φόρμα παραγγελίας.

PCIe. Τα πλαίσιά μας δέχονται πρόσθετες GPU PCIe, οπότε ο H100 που τοποθετούμε είναι η έκδοση PCIe 80 GB με HBM2e. Η μονάδα SXM5, με HBM3 και έως 700 W, απαιτεί μητρική HGX που κανένας από τους διακομιστές μας δεν διαθέτει.

Ναι, για μοντέλα που χωρούν σε 80 GB με τη μέθοδο εκπαίδευσης που χρησιμοποιείτε. Η πλήρης λεπτομερής ρύθμιση σε μικτή ακρίβεια με Adam χρειάζεται περίπου 16 bytes ανά παράμετρο πριν από τις ενεργοποιήσεις, οπότε ένας H100 εκπαιδεύει πλήρως περίπου 5 δισεκατομμύρια παραμέτρους, και οι προσαρμογείς LoRA ή QLoRA το επεκτείνουν σε πολύ μεγαλύτερα μοντέλα. Πέρα από αυτό, η εργασία απαιτεί πολλές GPU, κάτι που καλύπτουν οι διακομιστές πολλαπλών GPU.

Συχνά, και τιμολογείται χειροκίνητα αντί να επιλέγεται στο ταμείο: η απόσταση του πλαισίου, οι λωρίδες PCIe και το τροφοδοτικό καθορίζουν τον αριθμό. Και οι δύο GPU διαθέτουν υποδοχή γέφυρας NVLink, αλλά καμία γέφυρα δεν υπάρχει στη φόρμα παραγγελίας, οπότε οι GPU σε έναν διακομιστή επικοινωνούν μέσω PCIe εκτός αν ζητηθεί γέφυρα. Ρωτήστε στη συνομιλία πριν παραγγείλετε αν η εργασία τη χρειάζεται.

Μόνο ένα μηχάνημα ήδη τοποθετημένο σε rack, παραγγελμένο ως έχει, από τους άμεσους διακομιστές. Κοστίζει τη μηνιαία τιμή του διαιρεμένη με 730 ώρες, επί 1,3, χρεώνεται ανά δευτερόλεπτο μέχρι να το απελευθερώσετε. Μια σύνθεση κατά παραγγελία, όπως οι σειρές σε αυτή τη σελίδα, χρεώνεται ανά μήνα.

Περίπου 30 λεπτά μετά την έγκριση όταν ένα μηχάνημα με την GPU είναι ήδη τοποθετημένο, 4 έως 24 ώρες όταν τοποθετούμε μια GPU που διαθέτουμε, 5 έως 10 εργάσιμες ημέρες όταν η GPU αγοράζεται, και 10 έως 15 όταν είναι σε κατανομή. Δηλώνουμε ποια περίπτωση ισχύει πριν ληφθεί οποιαδήποτε πληρωμή.

Όχι σε υλικό. Κανένας δεν διαθέτει κωδικοποιητή NVENC, οπότε η κωδικοποίηση θα εκτελεστεί σε λογισμικό στη GPU ή στον επεξεργαστή. Αποκωδικοποιούν, με 5 μηχανές NVDEC στον A100 και 7 στον H100. Για ζωντανή μετατροπή επιλέξτε μια GPU με NVENC, όπως την L40S.

Όχι. Η GPU περνά απευθείας στο δικό σας λειτουργικό σύστημα χωρίς hypervisor ενδιάμεσα, και το μηχάνημα έχει έναν μισθωτή. Μπορείτε ακόμα να τη χωρίσετε μόνοι σας με Multi-Instance GPU σε έως επτά στιγμιότυπα για τις δικές σας εργασίες.

Η τεχνητή νοημοσύνη στη συνομιλία μας απαντά μέσα σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό σας και τον διακομιστή σας ενώ μιλάτε. Πείτε ότι θέλετε άνθρωπο και κάποιος από εμάς αναλαμβάνει την ίδια συνομιλία.