Serwery dedykowane NVIDIA A100 H100 dla przedsiębiorstw

Oba to akceleratory do centrów danych zbudowane do obliczeń na dużych modelach: warstwowa pamięć HBM z ECC, rdzenie Tensor, na które celują główne frameworki, oraz Multi-Instance GPU do dzielenia jednej karty między własne zadania. A100 to Ampere z rdzeniami Tensor trzeciej generacji; H100 to Hopper z rdzeniami Tensor czwartej generacji i silnikiem Transformer do precyzji FP8. Żadna z kart nie ma sprzętowego kodera wideo, więc żadna nie jest właściwym wyborem do transkodowania.

Wśród kart PCIe, które montujemy, A100 ma 6 912 rdzeni CUDA, 40 GB HBM2 z szybkością 1 555 GB/s lub 80 GB HBM2e z szybkością 1 935 GB/s, pobiera 250 lub 300 W i łączy się przez PCIe Gen 4. H100 ma 80 GB HBM2e z szybkością 2 039 GB/s, pobiera 350 W i łączy się przez PCIe Gen 5. Parametry H100 podawane gdzie indziej z pamięcią HBM3 dotyczą modułu SXM5, który wymaga płyty bazowej HGX, a żaden z naszych serwerów jej nie używa.

W obrębie jednej maszyny każdą kartę można podzielić na maksymalnie siedem izolowanych instancji Multi-Instance GPU, każda z własnymi zasobami obliczeniowymi, pamięcią i pamięcią podręczną. Obie karty mają też złącze mostka NVLink, ale w formularzu zamówienia nie ma mostka: dwie karty w jednym serwerze komunikują się przez PCIe, chyba że mostek zostanie wyceniony, więc zapytaj przed zamówieniem, jeśli zadanie go wymaga. Między serwerami łączność zapewnia port Ethernet każdej maszyny, a konfiguracje wielo-GPU i wielowęzłowe mają własną stronę.

Maszyna już wpięta w szafę wraz z kartą jest dostarczana w ciągu około 30 minut od weryfikacji płatności. Gdy montujemy kartę, którą mamy na stanie, zajmuje to od 4 do 24 godzin; kartę, którą musimy kupić, sprowadzamy w ciągu pięciu do dziesięciu dni roboczych, a gdy akcelerator jest reglamentowany – dziesięciu do piętnastu; o tym, który wariant dotyczy zamówienia, dowiesz się przed zapłatą.