Server dedicat A100 H100 GPU-ul complet, sistemul tău de operare, acces root.

H100 este generația următoare după A100. În cazul GPU-urilor PCIe pe care le instalăm, A100 are 40 GB de HBM2 la 1.555 GB/s sau 80 GB de HBM2e la 1.935 GB/s și o interfață PCIe 4.0. H100 are 80 GB de HBM2e la 2.039 GB/s, Tensor Cores de a patra generație cu FP8 și o interfață PCIe 5.0, iar consumul este de 350 W față de 250 sau 300 W. Toate trei au ECC, Multi-Instance GPU și niciun encoder video.

Cel mai mic preț lunar pentru un server complet H100 de 80 GB este $1,682.67. Mașina respectivă este Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, iar GPU-ul reprezintă $1,599 din total. O configurație cu GPU-ul instalat adaugă o taxă unică de instalare de $29, iar tabelul de configurații listează fiecare platformă cu prețul ei propriu.

Cel mai mic preț lunar pentru un server complet A100 este $772.47 cu GPU-ul de 40 GB și $972.47 cu GPU-ul de 80 GB, fiecare în cea mai ieftină mașină care îl acceptă. Configurația A100 de 40 GB este Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memoria, discurile și un port mai rapid au prețuri stabilite în formularul de comandă.

PCIe. Șasiurile noastre acceptă GPU-uri PCIe add-in, deci H100 pe care îl instalăm este versiunea PCIe de 80 GB cu HBM2e. Modulul SXM5, cu HBM3 și până la 700 W, necesită o placă de bază HGX pe care niciunul dintre serverele noastre nu o are.

Da, pentru modele care încap în 80 GB cu metoda de antrenare pe care o folosești. Ajustarea fină completă în precizie mixtă cu Adam necesită aproximativ 16 octeți per parametru înainte de activări, deci un singur H100 antrenează complet aproximativ 5 miliarde de parametri, iar adaptoarele LoRA sau QLoRA extind acest lucru la modele mult mai mari. Dincolo de acest punct, sarcina necesită mai multe GPU-uri, aspect acoperit de serverele multi-GPU.

Adesea da, iar acest lucru se cotează manual, nu se bifează la finalizarea comenzii: spațiul din șasiu, benzile PCIe și sursa de alimentare stabilesc numărul. Ambele GPU-uri au un conector de punte NVLink, dar nicio punte nu este disponibilă în formularul de comandă, deci GPU-urile dintr-un server comunică prin PCIe, cu excepția cazului în care se cotează o punte. Întreabă în chat înainte de a comanda dacă sarcina necesită una.

Doar o mașină deja instalată în rack, comandată așa cum este, din serverele instant. Costă prețul lunar împărțit la 730 de ore, înmulțit cu 1,3, facturat la secundă până când îl eliberezi. O configurație la comandă, precum rândurile de pe această pagină, se facturează lunar.

Aproximativ 30 minute după aprobare când o mașină cu GPU-ul este deja instalată în rack, 4 până la 24 de ore când instalăm un GPU pe care îl avem în stoc, 5 până la 10 zile lucrătoare când GPU-ul este achiziționat și 10 până la 15 când este pe alocare. Spunem care variantă se aplică înainte de a se prelua orice plată.

Nu în hardware. Niciunul nu are encoder NVENC, deci codificarea ar rula în software pe GPU sau pe procesor. Ele decodează, cu 5 motoare NVDEC pe A100 și 7 pe H100. Pentru transcodificare live alege un GPU cu NVENC, cum ar fi L40S.

Nu. GPU-ul este pasat direct către propriul tău sistem de operare, fără niciun hypervisor între ele, iar mașina are un singur chiriaș. Poți totuși să îl împarți singur cu Multi-Instance GPU în până la șapte instanțe pentru propriile tale sarcini.

AI-ul din chatul nostru răspunde în câteva secunde și poate căuta contul tău și serverul tău în timp ce vorbești. Spune că vrei o persoană și unul dintre noi preia aceeași conversație.