Server dedicato A100 H100 La GPU completa, il tuo sistema operativo, i tuoi privilegi di root.

L'H100 è la generazione successiva all'A100. Tra le GPU PCIe che installiamo, l'A100 ha 40 GB di HBM2 a 1.555 GB/s oppure 80 GB di HBM2e a 1.935 GB/s e un'interfaccia PCIe 4.0. L'H100 ha 80 GB di HBM2e a 2.039 GB/s, Tensor Core di quarta generazione con FP8 e un'interfaccia PCIe 5.0, e assorbe 350 W contro 250 o 300 W. Tutte e tre hanno ECC, Multi-Instance GPU e nessun encoder video.

Il prezzo mensile più basso per un server H100 80 GB completo è $1,682.67. Quella macchina è Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e la GPU è $1,599 del totale. Una configurazione con la GPU installata aggiunge un costo di attivazione una tantum di $29, e la tabella delle configurazioni elenca ogni piattaforma con il proprio prezzo.

Il prezzo mensile più basso per un server A100 completo è $772.47 con la GPU da 40 GB e $972.47 con la GPU da 80 GB, ciascuno nella macchina più economica che la supporta. La configurazione A100 40 GB è Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memoria, dischi e una porta più veloce hanno un prezzo nel modulo d'ordine.

PCIe. I nostri chassis accettano GPU PCIe aggiuntive, quindi l'H100 che installiamo è la versione PCIe da 80 GB con HBM2e. Il modulo SXM5, con HBM3 e fino a 700 W, richiede una scheda base HGX che nessuno dei nostri server possiede.

Sì, per modelli che rientrano negli 80 GB con il metodo di addestramento che usi. Il fine-tuning completo in precisione mista con Adam richiede circa 16 byte per parametro prima delle attivazioni, quindi un H100 addestra completamente circa 5 miliardi di parametri, e gli adattatori LoRA o QLoRA lo estendono a modelli molto più grandi. Oltre questo limite servono più GPU, come spiegato nella pagina server multi-GPU.

Spesso sì, e viene quotato manualmente anziché selezionato al checkout: lo spazio nello chassis, le linee PCIe e l'alimentatore determinano il numero. Entrambe le GPU hanno un connettore per bridge NVLink, ma nessun bridge è presente nel modulo d'ordine, quindi le GPU in un server comunicano via PCIe a meno che non venga quotato un bridge. Chiedi in chat prima di ordinare se il lavoro ne richiede uno.

Solo una macchina già montata in rack, ordinata così com'è, dalla sezione server istantanei. Costa il suo prezzo mensile diviso per 730 ore, moltiplicato per 1,3, fatturato al secondo finché non la rilasci. Una configurazione su ordinazione, come le righe di questa pagina, viene fatturata a mese.

Circa 30 minuti dopo l'approvazione quando una macchina con la GPU è già montata in rack, da 4 a 24 ore quando installiamo una GPU che abbiamo in magazzino, da 5 a 10 giorni lavorativi quando la GPU viene acquistata e da 10 a 15 quando è in allocazione. Comunichiamo quale opzione si applica prima di qualsiasi pagamento.

Non in hardware. Nessuno dei due ha un encoder NVENC, quindi la codifica verrebbe eseguita in software sulla GPU o sul processore. Supportano la decodifica, con 5 motori NVDEC sull'A100 e 7 sull'H100. Per la transcodifica live scegli una GPU con NVENC, come la L40S.

No. La GPU viene passata direttamente al tuo sistema operativo senza hypervisor intermedi e la macchina ha un solo tenant. Puoi comunque suddividerla tu stesso con Multi-Instance GPU fino a sette istanze per i tuoi lavori.

L'IA della nostra chat risponde in pochi secondi e può consultare il tuo account e il tuo server mentre parli. Di' che vuoi una persona e uno di noi subentra nella stessa conversazione.