Διακομιστές AMD Instinct GPU

Αναπτύξτε τον AMD Instinct MI210 σε υποδομή bare metal

Ο επιταχυντής AMD Instinct MI210, με 64 GB HBM2e για μηχανική μάθηση και υπολογιστική υψηλών επιδόσεων, σε διακομιστή bare metal σε πλατφόρμα Intel Xeon Scalable ή AMD EPYC. Η διαστασιολόγηση υλικού για ένα γλωσσικό μοντέλο είναι διαφορετική ερώτηση: ξεκινήστε από τη φιλοξενία LLM.

Συνέχεια στη διαμόρφωση

64 GB HBM2e με εύρος ζώνης μνήμης 1.638 GB/s. Αρχιτεκτονική 2ης γενιάς CDNA™ σε κάρτα PCIe 4.0. Τρεις σειρές διακομιστών: δύο σε Intel Xeon Scalable, μία σε AMD EPYC.

Διακομιστές bare metal AMD Instinct MI210

Σχεδιασμένοι για μηχανική μάθηση και υπολογιστική υψηλών επιδόσεων. Ο MI210 συνδυάζει την υπολογιστική αρχιτεκτονική 2ης γενιάς CDNA™ με 64 GB μνήμης HBM2e για εντατική εκπαίδευση, συμπερασματολογία και εφαρμογές HPC.

Μέγιστη υπολογιστική απόδοση

Η αρχιτεκτονική 2ης γενιάς CDNA™ προσφέρει πρωτοποριακή υπολογιστική απόδοση για εκπαίδευση βαθιάς μάθησης και επιστημονικούς υπολογιστικούς φόρτους εργασίας που απαιτούν μέγιστη απόδοση.

Τυπικός παράγοντας μορφής PCIe

Ο MI210 φέρνει το πυρίτιο της σειράς MI200 σε μια τυπική κάρτα PCIe 4.0, ώστε να τοποθετείται σε έναν συνηθισμένο διακομιστή Xeon Scalable ή EPYC αντί για μια εξειδικευμένη πλατφόρμα επιταχυντή.

Τεράστια χωρητικότητα μνήμης

64 GB HBM2e με ECC επιτρέπουν την εκπαίδευση και τη συμπερασματολογία μοντέλων μεγάλης κλίμακας και φόρτους εργασίας HPC που εξαρτώνται από τη μνήμη, με εύρος ζώνης 1.638 GB/s που κρατά τις υπολογιστικές μονάδες τροφοδοτημένες.

Το μέλος PCIe της σειράς MI200

Οι MI250 και MI250X είναι μονάδες OAM για εξειδικευμένες πλατφόρμες exascale. Ο MI210 φέρνει την ίδια αρχιτεκτονική 2ης γενιάς CDNA™ σε μια τυπική κάρτα PCIe 4.0 — γι' αυτό είναι ο επιταχυντής Instinct στο ράφι μας.

Αρχιτεκτονική 2ης γενιάς CDNA™

Ειδικά σχεδιασμένο υπολογιστικό πυρίτιο που προσφέρει εξαιρετική πυκνότητα και ενεργειακή απόδοση για παράλληλους φόρτους εργασίας σε κλίμακα.

Επιτάχυνση AI

Βελτιστοποιημένες πράξεις πινάκων και υπολογισμοί μικτής ακρίβειας για επιταχυνόμενη εκπαίδευση βαθιάς μάθησης, λεπτομερή ρύθμιση μοντέλων και ανάπτυξη συμπερασματολογίας.

Αρχιτεκτονική συνοχής μνήμης

Η αρχιτεκτονική AMD Infinity 3ης γενιάς επιτρέπει επικοινωνία υψηλού εύρους ζώνης και χαμηλής καθυστέρησης μεταξύ των υπολογιστικών μονάδων GPU και της μνήμης συστήματος για μεγιστοποιημένη απόδοση δεδομένων.

Διασύνδεση GPU

Οι σύνδεσμοι AMD Infinity Fabric™ επιτρέπουν επικοινωνία υψηλής ταχύτητας peer-to-peer μεταξύ καρτών MI210 για εκπαίδευση πολλαπλών GPU και κατανεμημένους υπολογιστικούς φόρτους εργασίας.

Διακομιστές Intel Xeon Scalable και AMD EPYC για φόρτους εργασίας AMD Instinct™

Τρεις πλατφόρμες φιλοξενίας

Ο MI210 τοποθετείται στη σειρά Intel Xeon Scalable Silver και Gold, στις δύο επιχειρηματικές σειρές που κατασκευάζονται κατά παραγγελία (Xeon Gold 6330 έως 6354 σε DDR4, Gold 6438Y σε DDR5), και στη σειρά AMD EPYC, έως τον 64πύρηνο EPYC 7763. Ο EPYC δίνει στην κάρτα μια υποδοχή PCIe 4.0, τη δική της γενιά· οι Silver και Gold της δίνουν PCIe 3.0, το μισό σύνδεσμο κεντρικού υπολογιστή, που επιβραδύνει έναν βρόχο εκπαίδευσης που μεταφέρει παρτίδες μέσω του διαύλου και δεν αλλάζει τίποτα για έναν διακομιστή συμπερασματολογίας του οποίου τα βάρη βρίσκονται ήδη στην HBM.

Ευέλικτη επέκταση

Κλιμακώστε την υποδομή GPU σας κατά παραγγελία με γρήγορη παροχή υλικού. Οι τυπικές αναβαθμίσεις και η πρόσθετη χωρητικότητα αναπτύσσονται συνήθως εντός 24 ωρών.

Υποστήριξη από ειδικούς

Ειδικοί υποδομής GPU διαθέσιμοι όλο το εικοσιτετράωρο μέσω ζωντανής συνομιλίας και email για βοήθεια με την ανάπτυξη, τη βελτιστοποίηση και την αντιμετώπιση προβλημάτων.

	MI210	L40S	A100	H100
Αρχιτεκτονική GPU	CDNA 2.0	Ada Lovelace	NVIDIA Ampere	Hopper
Μνήμη GPU	64GB HBM2e	48GB GDDR6	80GB HBM2e	80GB HBM2e
Εύρος ζώνης μνήμης GPU	1638 GB/s	864 GB/s	1935 GB/s	2039 GB/s
FP32	22.63 TFLOPS	91.6 TFLOPS	19.5 TFLOPS	51 TFLOPS
TF32 Tensor Core	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Tensor Core	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Ισχύς	Έως 300W	Έως 350W	Έως 300W	Έως 350W
Μόνο η κάρτα, ανά μήνα	Φόρτωση...	Φόρτωση...	Φόρτωση...	Φόρτωση...

Η NVIDIA δημοσιεύει τα στοιχεία tensor-core των L40S, A100 και H100 με δομημένη αραιότητα, οπότε μειώστε στο μισό αυτά τα κελιά για πυκνή εργασία πινάκων. Η AMD αναφέρει τα 181 TFLOPS του MI210 χωρίς παράγοντα αραιότητας, γεγονός που καθιστά τη σειρά FP16/BF16 ένα πυκνό νούμερο δίπλα σε τρία αραιά. Ο MI210 δεν διαθέτει λειτουργία TF32, εξ ου και η παύλα σε αυτή τη σειρά.

Συχνές ερωτήσεις σχετικά με τους διακομιστές AMD Instinct MI210

Λάβετε απαντήσεις σε συνήθεις ερωτήσεις σχετικά με την ανάπτυξη και τη λειτουργία διακομιστών bare metal με επιτάχυνση GPU MI210 για εκπαίδευση, συμπερασματολογία και εφαρμογές υπολογιστικής υψηλών επιδόσεων.

Τι είναι ο AMD Instinct MI210 και ποιοι φόρτοι εργασίας ωφελούνται περισσότερο;

Ο AMD Instinct MI210 είναι μια επιχειρηματική υπολογιστική GPU βασισμένη στην αρχιτεκτονική 2ης γενιάς CDNA™, βελτιστοποιημένη για υπολογισμούς και όχι για γραφικά. Διαπρέπει στην εκπαίδευση και τη συμπερασματολογία βαθιάς μάθησης, τις επιστημονικές προσομοιώσεις, τη υπολογιστική ρευστοδυναμική, τη μοριακή μοντελοποίηση και την ανάλυση δεδομένων που απαιτούν τεράστιες δυνατότητες παράλληλης επεξεργασίας. Αν επιλέγετε υλικό για ένα γλωσσικό μοντέλο, αυτή η ερώτηση έχει τη δική της σελίδα — δείτε τη φιλοξενία LLM.

Σε τι διαφέρει ο MI210 από τους MI250 και MI250X;

Οι MI250 και MI250X είναι μονάδες OAM κατασκευασμένες για εξειδικευμένες πλατφόρμες exascale και δεν αποτελούν μέρος του καταλόγου μας. Ο MI210 φέρνει την ίδια αρχιτεκτονική 2ης γενιάς CDNA™ σε μια τυπική κάρτα PCIe 4.0 με 64 GB HBM2e, γι' αυτό και τοποθετείται στους ίδιους διακομιστές Xeon Scalable και EPYC με τις άλλες επιλογές GPU μας.

Ποιος είναι ο τυπικός χρόνος ανάπτυξης για διακομιστές AMD Instinct;

Ένα μηχάνημα που είναι ήδη τοποθετημένο σε rack με MI210 παραδίδεται εντός περίπου 30 λεπτών από την επαλήθευση πληρωμής. Όταν τοποθετούμε μια κάρτα που έχουμε σε απόθεμα, χρειάζονται 4 έως 24 ώρες· μια κάρτα που πρέπει να αγοράσουμε χρειάζεται πέντε έως δέκα εργάσιμες ημέρες, και ενημερώνεστε ποια ισχύει πριν πληρώσετε. Όλοι οι διακομιστές AMD Instinct υποστηρίζουν άμεση επανεγκατάσταση λειτουργικού συστήματος χωρίς να απαιτούνται δελτία υποστήριξης, επιτρέποντας ταχεία επανάληψη. Η υποδομή δικτύου είναι βελτιστοποιημένη για συνεχείς φόρτους εργασίας υψηλής απόδοσης και συνδεσιμότητα χαμηλής καθυστέρησης.

Ποια πλαίσια λογισμικού και εργαλεία υποστηρίζουν τις GPU AMD Instinct;

Οι επιταχυντές AMD Instinct εκτελούνται σε ROCm (Radeon Open Compute), μια πλατφόρμα υπολογιστικής GPU ανοιχτού κώδικα που υποστηρίζει PyTorch, TensorFlow, JAX, ONNX Runtime και άλλα κορυφαία πλαίσια ML. Το ROCm περιλαμβάνει το HIP (Heterogeneous-Compute Interface for Portability) που επιτρέπει την απλή μεταφορά κώδικα CUDA, καθώς και βελτιστοποιημένες βιβλιοθήκες για γραμμική άλγεβρα, FFT, γεννήτριες τυχαίων αριθμών και βαθιά νευρωνικά δίκτυα. Η πλήρης υποστήριξη κοντέινερ μέσω Docker και Kubernetes επιτρέπει την ανάπτυξη AI/ML σε κλίμακα παραγωγής.

Τι μνήμη παρέχει ο MI210;

Ο MI210 διαθέτει 64 GB HBM2e (High Bandwidth Memory) με ECC, προσφέροντας εύρος ζώνης μνήμης 1.638 GB/s. Αυτή η χωρητικότητα υποστηρίζει μεγάλα σύνολα δεδομένων και φόρτους εργασίας HPC που εξαρτώνται από τη μνήμη χωρίς συνεχή μετακίνηση μνήμης μεταξύ κεντρικού υπολογιστή και επιταχυντή. Η μνήμη RAM συστήματος και ο αποθηκευτικός χώρος NVMe διαμορφώνονται ξεχωριστά στη φόρμα παραγγελίας, ώστε να κλιμακώνονται ανεξάρτητα από τον επιταχυντή.