Server GPU AMD Instinct

Implementa la AMD Instinct MI210 su infrastruttura bare metal

L'acceleratore AMD Instinct MI210, con 64 GB di HBM2e per machine learning e calcolo ad alte prestazioni, in un server bare metal su piattaforma Intel Xeon Scalable o AMD EPYC. Dimensionare l'hardware per un modello linguistico è una questione diversa: parti invece da hosting LLM.

Continua alla configurazione

64 GB HBM2e con 1.638 GB/s di larghezza di banda della memoria. Architettura CDNA™ di 2ª generazione su scheda PCIe 4.0. Tre linee di server: due su Intel Xeon Scalable, una su AMD EPYC.

Server bare metal AMD Instinct MI210

Progettati per machine learning e calcolo ad alte prestazioni. L'MI210 abbina l'architettura di calcolo CDNA™ di 2ª generazione a 64 GB di memoria HBM2e per training intensivo, inferenza e applicazioni HPC.

Massima capacità di calcolo

L'architettura CDNA™ di 2ª generazione offre prestazioni di calcolo rivoluzionarie per il training di deep learning e i carichi di lavoro di calcolo scientifico che richiedono la massima capacità.

Fattore di forma PCIe standard

L'MI210 porta il silicio della serie MI200 su una scheda PCIe 4.0 standard, così si inserisce in un normale server Xeon Scalable o EPYC invece che in una piattaforma acceleratrice specializzata.

Capacità di memoria enorme

64 GB di HBM2e con ECC consentono training e inferenza di modelli su larga scala e carichi di lavoro HPC vincolati alla memoria, con 1.638 GB/s di larghezza di banda che mantengono alimentate le unità di calcolo.

Il membro PCIe della serie MI200

MI250 e MI250X sono moduli OAM per piattaforme exascale specializzate. L'MI210 porta la stessa architettura CDNA™ di 2ª generazione su una scheda PCIe 4.0 standard — ed è per questo che è l'acceleratore Instinct sul nostro scaffale.

Architettura CDNA™ di 2ª generazione

Silicio di calcolo appositamente progettato che offre densità ed efficienza energetica eccezionali per carichi di lavoro di elaborazione parallela su larga scala.

Accelerazione AI

Operazioni su matrici ottimizzate e calcolo a precisione mista per training di deep learning accelerato, messa a punto dei modelli e distribuzione dell'inferenza.

Architettura di coerenza della memoria

L'architettura AMD Infinity di 3ª generazione consente comunicazioni ad alta larghezza di banda e bassa latenza tra le unità di calcolo della GPU e la memoria di sistema per un throughput dei dati massimizzato.

Interconnessione GPU

I collegamenti AMD Infinity Fabric™ consentono comunicazioni peer-to-peer ad alta velocità tra le schede MI210 per training multi-GPU e carichi di lavoro di calcolo distribuito.

Server Intel Xeon Scalable e AMD EPYC per carichi di lavoro AMD Instinct™

Tre piattaforme host

L'MI210 è disponibile sulla linea Intel Xeon Scalable Silver e Gold, sulle due linee enterprise costruite su ordinazione (Xeon Gold 6330-6354 su DDR4, Gold 6438Y su DDR5) e sulla linea AMD EPYC, fino all'EPYC 7763 a 64 core. EPYC offre alla scheda uno slot PCIe 4.0, la sua stessa generazione; Silver e Gold le offrono PCIe 3.0, metà del collegamento host, che rallenta un ciclo di training che trasmette batch sul bus e non cambia nulla per un server di inferenza i cui pesi sono già in HBM.

Espansione flessibile

Scala la tua infrastruttura GPU su richiesta con provisioning hardware rapido. Aggiornamenti standard e capacità aggiuntiva generalmente distribuiti entro 24 ore.

Supporto esperto

Specialisti in infrastrutture GPU disponibili 24 ore su 24 tramite chat dal vivo ed e-mail per assistenza con distribuzione, ottimizzazione e risoluzione dei problemi.

	MI210	L40S	A100	H100
Architettura GPU	CDNA 2.0	Ada Lovelace	NVIDIA Ampere	Hopper
Memoria GPU	64GB HBM2e	48GB GDDR6	80GB HBM2e	80GB HBM2e
Larghezza di banda memoria GPU	1638 GB/s	864 GB/s	1935 GB/s	2039 GB/s
FP32	22.63 TFLOPS	91.6 TFLOPS	19.5 TFLOPS	51 TFLOPS
TF32 Tensor Core	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Tensor Core	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Potenza	Fino a 300W	Fino a 350W	Fino a 300W	Fino a 350W
La sola scheda, al mese	Caricamento...	Caricamento...	Caricamento...	Caricamento...

NVIDIA pubblica i dati dei tensor core di L40S, A100 e H100 con sparsità strutturata, quindi dimezza quelle celle per il lavoro su matrici dense. AMD cita i 181 TFLOPS dell'MI210 senza fattore di sparsità, il che rende la riga FP16/BF16 una cifra densa accanto a tre sparse. L'MI210 non ha modalità TF32, da qui il trattino in quella riga.

Domande frequenti sui server AMD Instinct MI210

Ottieni risposte alle domande più comuni su distribuzione e gestione dei server bare metal con accelerazione GPU MI210 per training, inferenza e applicazioni di calcolo ad alte prestazioni.

Cos'è l'AMD Instinct MI210 e quali carichi di lavoro ne traggono maggior beneficio?

L'AMD Instinct MI210 è una GPU di calcolo di livello enterprise basata sull'architettura CDNA™ di 2ª generazione, ottimizzata per il calcolo piuttosto che per la grafica. Eccelle in training e inferenza di deep learning, simulazioni scientifiche, fluidodinamica computazionale, modellazione molecolare e analisi dei dati che richiedono enormi capacità di elaborazione parallela. Se stai scegliendo l'hardware per un modello linguistico, quella domanda ha una pagina dedicata — vedi hosting LLM.

In cosa differisce l'MI210 da MI250 e MI250X?

MI250 e MI250X sono moduli OAM costruiti per piattaforme exascale specializzate e non fanno parte del nostro catalogo. L'MI210 porta la stessa architettura CDNA™ di 2ª generazione su una scheda PCIe 4.0 standard con 64 GB di HBM2e, motivo per cui va negli stessi server Xeon Scalable ed EPYC delle nostre altre opzioni GPU.

Qual è il tempo di distribuzione tipico per i server AMD Instinct?

Una macchina già installata in rack con un MI210 viene consegnata entro circa 30 minuti dalla verifica del pagamento. Quando installiamo una scheda che teniamo in magazzino, ci vogliono da 4 a 24 ore; una scheda che dobbiamo acquistare richiede da cinque a dieci giorni lavorativi, e ti viene comunicato quale dei due casi si applica prima del pagamento. Tutti i server AMD Instinct supportano il riavvio istantaneo del sistema operativo senza richiedere ticket di supporto, consentendo iterazioni rapide. L'infrastruttura di rete è ottimizzata per carichi di lavoro sostenuti ad alto throughput e connettività a bassa latenza.

Quali framework software e strumenti supportano le GPU AMD Instinct?

Gli acceleratori AMD Instinct girano su ROCm (Radeon Open Compute), una piattaforma di calcolo GPU open source che supporta PyTorch, TensorFlow, JAX, ONNX Runtime e altri framework ML leader. ROCm include HIP (Heterogeneous-Compute Interface for Portability) che consente il porting diretto del codice CUDA, oltre a librerie ottimizzate per algebra lineare, FFT, generazione di numeri casuali e reti neurali profonde. Il supporto completo dei container tramite Docker e Kubernetes consente la distribuzione AI/ML su scala di produzione.

Quale memoria offre l'MI210?

L'MI210 monta 64 GB di HBM2e (High Bandwidth Memory) con ECC, che offrono 1.638 GB/s di larghezza di banda della memoria. Questa capacità supporta grandi set di dati e carichi di lavoro HPC vincolati alla memoria senza continui spostamenti di memoria tra host e acceleratore. RAM di sistema e storage NVMe vengono configurati separatamente nel modulo d'ordine, quindi scalano indipendentemente dall'acceleratore.