AMD Instinct GPU sunucuları

AMD Instinct MI210'u çıplak metal altyapıda devreye alın

Makine öğrenimi ve yüksek performanslı hesaplama için 64 GB HBM2e bellekli AMD Instinct MI210 hızlandırıcı, Intel Xeon Scalable veya AMD EPYC platformunda çıplak metal bir sunucuda. Bir dil modeli için donanım boyutlandırmak farklı bir sorudur: bunun yerine LLM barındırma sayfasından başlayın.

Yapılandırmaya devam et

1.638 GB/s bellek bant genişliğine sahip 64 GB HBM2e. PCIe 4.0 kartında 2. Nesil CDNA™ mimarisi. Üç sunucu serisi: ikisi Intel Xeon Scalable, biri AMD EPYC üzerinde.

AMD Instinct MI210 çıplak metal sunucuları

Makine öğrenimi ve yüksek performanslı hesaplama için tasarlandı. MI210, yoğun eğitim, çıkarım ve HPC uygulamaları için 2. Nesil CDNA™ hesaplama mimarisini 64 GB HBM2e bellek ile birleştirir.

Maksimum hesaplama verimi

2. Nesil CDNA™ mimarisi, maksimum verim gerektiren derin öğrenme eğitimi ve bilimsel hesaplama iş yükleri için çığır açan hesaplama performansı sunar.

Standart PCIe form faktörü

MI210, MI200 serisi silikonu standart bir PCIe 4.0 kartına taşır; böylece özel bir hızlandırıcı platformu yerine sıradan bir Xeon Scalable veya EPYC sunucusuna takılır.

Devasa bellek kapasitesi

ECC'li 64 GB HBM2e, büyük ölçekli modellerin eğitimi ve çıkarımı ile bellek sınırlı HPC iş yüklerini mümkün kılar; 1.638 GB/s bant genişliği hesaplama birimlerini besler.

MI200 serisinin PCIe üyesi

MI250 ve MI250X, özel eksa ölçekli platformlar için OAM modülleridir. MI210 ise aynı 2. Nesil CDNA™ mimarisini standart bir PCIe 4.0 kartına taşır — bu yüzden rafımızdaki Instinct hızlandırıcısıdır.

2. Nesil CDNA™ mimarisi

Ölçekte paralel işleme iş yükleri için olağanüstü yoğunluk ve güç verimliliği sağlayan amaca yönelik hesaplama silikonu.

Yapay zeka hızlandırma

Hızlandırılmış derin öğrenme eğitimi, model ince ayarı ve çıkarım dağıtımı için optimize edilmiş matris işlemleri ve karışık hassasiyetli hesaplama.

Bellek tutarlılığı mimarisi

3. Nesil AMD Infinity mimarisi, GPU hesaplama birimleri ile sistem belleği arasında yüksek bant genişliği ve düşük gecikmeli iletişim sağlayarak veri aktarımını en üst düzeye çıkarır.

GPU ara bağlantısı

AMD Infinity Fabric™ bağlantıları, çoklu GPU eğitimi ve dağıtık hesaplama iş yükleri için MI210 kartları arasında yüksek hızlı uçtan uca iletişim sağlar.

AMD Instinct™ iş yükleri için Intel Xeon Scalable ve AMD EPYC sunucuları

Üç ana platform

MI210, Intel Xeon Scalable Silver ve Gold serisinde, sipariş üzerine üretilen iki kurumsal seride (DDR4 üzerinde Xeon Gold 6330'dan 6354'e, DDR5 üzerinde Gold 6438Y) ve 64 çekirdekli EPYC 7763'e kadar AMD EPYC serisinde yer alır. EPYC, karta kendi neslinden bir PCIe 4.0 yuvası verir; Silver ve Gold ise PCIe 3.0 verir, yani ana bağlantının yarısı — bu, veri yığınlarını veri yolu üzerinden akıtan bir eğitim döngüsünü yavaşlatır, ancak ağırlıkları zaten HBM'de duran bir çıkarım sunucusu için hiçbir şeyi değiştirmez.

Esnek genişleme

Hızlı donanım sağlama ile GPU altyapınızı talep üzerine ölçeklendirin. Standart yükseltmeler ve ek kapasite genellikle 24 saat içinde devreye alınır.

Uzman destek

GPU altyapı uzmanları, dağıtım, optimizasyon ve sorun giderme konularında yardımcı olmak için canlı sohbet ve e-posta yoluyla günün her saati hazırdır.

	MI210	L40S	A100	H100
GPU Mimarisi	CDNA 2.0	Ada Lovelace	NVIDIA Ampere	Hopper
GPU Belleği	64GB HBM2e	48GB GDDR6	80GB HBM2e	80GB HBM2e
GPU Bellek Bant Genişliği	1638 GB/s	864 GB/s	1935 GB/s	2039 GB/s
FP32	22.63 TFLOPS	91.6 TFLOPS	19.5 TFLOPS	51 TFLOPS
TF32 Tensor Çekirdeği	—	366 TFLOPS	312 TFLOPS	756 TFLOPS
FP16/BF16 Tensor Çekirdeği	181 TFLOPS	733 TFLOPS	624 TFLOPS	1513 TFLOPS
Güç	300W'a kadar	350W'a kadar	300W'a kadar	350W'a kadar
Yalnızca kart, aylık	Yükleniyor...	Yükleniyor...	Yükleniyor...	Yükleniyor...

NVIDIA, L40S, A100 ve H100 tensör çekirdeği rakamlarını yapılandırılmış seyreklik ile yayınlar; bu nedenle yoğun matris çalışması için bu hücreleri yarıya bölün. AMD, MI210'un 181 TFLOPS değerini seyreklik faktörü olmadan belirtir; bu da FP16/BF16 satırını üç seyrek rakamın yanında tek bir yoğun rakam haline getirir. MI210'da TF32 modu yoktur, bu yüzden o satırda tire işareti bulunur.

AMD Instinct MI210 sunucuları hakkında sık sorulan sorular

Eğitim, çıkarım ve yüksek performanslı hesaplama uygulamaları için MI210 GPU hızlandırmalı çıplak metal sunucuların dağıtımı ve işletilmesi hakkında sık sorulan soruların yanıtlarını alın.

AMD Instinct MI210 nedir ve hangi iş yüklerinden en çok faydalanır?

AMD Instinct MI210, grafikten çok hesaplamaya optimize edilmiş, 2. Nesil CDNA™ mimarisi üzerine kurulu kurumsal sınıf bir hesaplama GPU'sudur. Derin öğrenme eğitimi ve çıkarımı, bilimsel simülasyonlar, hesaplamalı akışkanlar dinamiği, moleküler modelleme ve yoğun paralel işleme yetenekleri gerektiren veri analitiğinde üstün performans gösterir. Bir dil modeli için donanım seçiyorsanız, bu sorunun kendi sayfası var — bkz. LLM barındırma.

MI210, MI250 ve MI250X'ten nasıl farklıdır?

MI250 ve MI250X, özel eksa ölçekli platformlar için üretilmiş OAM modülleridir ve kataloğumuzda yer almazlar. MI210, aynı 2. Nesil CDNA™ mimarisini 64 GB HBM2e ile standart bir PCIe 4.0 kartına taşır; bu yüzden diğer GPU seçeneklerimizle aynı Xeon Scalable ve EPYC sunucularına girer.

AMD Instinct sunucuları için tipik dağıtım süresi nedir?

MI210 ile önceden rafa yerleştirilmiş bir makine, ödeme doğrulamasından yaklaşık 30 dakika sonra teslim edilir. Stokta tuttuğumuz bir kartı taktığımızda 4 ila 24 saat sürer; satın almamız gereken bir kart beş ila on iş günü sürer ve ödemeden önce hangisinin geçerli olduğu size bildirilir. Tüm AMD Instinct sunucuları, destek talebi gerektirmeden anında işletim sistemi yeniden yüklemeyi destekler ve hızlı yinelemeye olanak tanır. Ağ altyapısı, sürekli yüksek verimli iş yükleri ve düşük gecikmeli bağlantı için optimize edilmiştir.

AMD Instinct GPU'larını hangi yazılım çerçeveleri ve araçları destekler?

AMD Instinct hızlandırıcıları, PyTorch, TensorFlow, JAX, ONNX Runtime ve diğer önde gelen ML çerçevelerini destekleyen açık kaynaklı bir GPU hesaplama platformu olan ROCm (Radeon Open Compute) üzerinde çalışır. ROCm, kolay CUDA kodu taşımayı sağlayan HIP (Heterogeneous-Compute Interface for Portability) ile doğrusal cebir, FFT, rastgele sayı üretimi ve derin sinir ağları için optimize edilmiş kütüphaneler içerir. Docker ve Kubernetes aracılığıyla tam konteyner desteği, üretim ölçeğinde AI/ML dağıtımını mümkün kılar.

MI210 hangi belleği sağlar?

MI210, ECC'li 64 GB HBM2e (Yüksek Bant Genişliğine Sahip Bellek) taşır ve 1.638 GB/s bellek bant genişliği sunar. Bu kapasite, sürekli ana bilgisayar-hızlandırıcı bellek aktarımı olmadan büyük veri kümelerini ve bellek sınırlı HPC iş yüklerini destekler. Sistem RAM'i ve NVMe depolama, sipariş formunda ayrı olarak yapılandırılır; böylece hızlandırıcıdan bağımsız olarak ölçeklenirler.