Kurumsal NVIDIA A100 H100 dedicated sunucular

Her ikisi de büyük modeller üzerinde aritmetik için üretilmiş veri merkezi hızlandırıcılarıdır: ECC'li yığılmış HBM bellek, büyük çerçevelerin hedeflediği Tensor Çekirdekleri ve bir kartı kendi işleriniz arasında bölmek için Çok Örnekli GPU. A100, üçüncü nesil Tensor Çekirdekli Ampere'dir; H100 ise dördüncü nesil Tensor Çekirdekli ve FP8 hassasiyeti için Transformer Engine'li Hopper'dır. Her iki kartta da donanım video kodlayıcı bulunmadığından, ikisi de kod dönüştürme için doğru seçim değildir.

Taktığımız PCIe kartları olarak A100'de 6.912 CUDA çekirdeği, 1.555 GB/sn hızında 40 GB HBM2 veya 1.935 GB/sn hızında 80 GB HBM2e bulunur, 250 veya 300 W güç çeker ve PCIe Gen 4 ile bağlanır. H100'de 2.039 GB/sn hızında 80 GB HBM2e bulunur, 350 W güç çeker ve PCIe Gen 5 ile bağlanır. Başka yerlerde HBM3 bellekle belirtilen H100 rakamları, sunucularımızın hiçbirinin kullanmadığı bir HGX taban plakası gerektiren SXM5 modülünü tanımlar.

Tek bir makinede her kart, her biri kendi hesaplama, bellek ve önbelleğine sahip yedi adede kadar yalıtılmış Çok Örnekli GPU örneğine bölünebilir. Her iki kart da NVLink köprü konektörü taşır, ancak sipariş formunda köprü bulunmaz: bir sunucudaki iki kart, köprü için fiyat teklifi alınmadığı sürece PCIe üzerinden iletişim kurar; bu nedenle iş bunu gerektiriyorsa sipariş vermeden önce sorun. Sunucular arasında bağlantı her makinenin Ethernet bağlantı noktasıdır ve çok GPU'lu ve çok düğümlü yapılandırmaların kendi sayfası vardır.

Kartla birlikte rafa yerleştirilmiş bir makine, ödeme onayından yaklaşık 30 dakika sonra teslim edilir. Stokta tuttuğumuz bir kartı taktığımızda 4 ila 24 saat sürer; satın almamız gereken bir kart beş ila on iş günü, hızlandırıcı tahsisli olduğunda on ila on beş iş günü sürer ve ödeme yapmadan önce hangisi olduğu size bildirilir.