Servidor dedicado A100 H100 A GPU completa, o seu sistema operacional, o seu root.

A H100 é a geração seguinte à A100. Entre as GPUs PCIe que instalamos, a A100 tem 40 GB de HBM2 a 1.555 GB/s ou 80 GB de HBM2e a 1.935 GB/s e uma interface PCIe 4.0. A H100 tem 80 GB de HBM2e a 2.039 GB/s, Tensor Cores de quarta geração com FP8 e uma interface PCIe 5.0, e consome 350 W contra 250 ou 300 W. As três têm ECC, Multi-Instance GPU e nenhum codificador de vídeo.

O preço mensal mais baixo para um servidor H100 completo de 80 GB é $1,682.67. Essa máquina é Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, e a GPU é $1,599 do total. Uma configuração com a GPU instalada acrescenta uma taxa única de instalação de $29, e a tabela de configurações lista cada plataforma com o seu próprio preço.

O preço mensal mais baixo para um servidor A100 completo é $772.47 com a GPU de 40 GB e $972.47 com a GPU de 80 GB, cada uma na máquina mais barata que a aceita. A configuração A100 de 40 GB é Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memória, discos e uma porta mais rápida são cotados no formulário de pedido.

PCIe. Os nossos chassis aceitam GPUs PCIe add-in, por isso a H100 que instalamos é a versão PCIe de 80 GB com HBM2e. O módulo SXM5, com HBM3 e até 700 W, exige uma placa base HGX que nenhum dos nossos servidores tem.

Sim, para modelos que cabem em 80 GB com o método de treino que utiliza. O fine-tuning completo em precisão mista com Adam precisa de cerca de 16 bytes por parâmetro antes das ativações, por isso uma H100 treina totalmente cerca de 5 mil milhões de parâmetros, e os adaptadores LoRA ou QLoRA estendem-na a modelos muito maiores. Acima disso, o trabalho exige várias GPUs, o que é abordado em servidores multi-GPU.

Muitas vezes sim, e é cotado manualmente em vez de marcado no checkout: a folga do chassis, as pistas PCIe e a fonte de alimentação definem a quantidade. Ambas as GPUs têm um conector de ponte NVLink, mas nenhuma ponte está no formulário de pedido, por isso as GPUs num servidor comunicam por PCIe, a menos que uma ponte seja cotada. Pergunte no chat antes de encomendar se o trabalho precisar de uma.

Apenas uma máquina já instalada em rack, encomendada tal como está, em servidores instantâneos. Custa o seu preço mensal dividido por 730 horas, vezes 1,3, medido ao segundo até a libertar. Uma configuração por encomenda, como as linhas desta página, é faturada por mês.

Cerca de 30 minutos após a aprovação quando uma máquina com a GPU já está em rack, 4 a 24 horas quando instalamos uma GPU que temos em stock, 5 a 10 dias úteis quando a GPU é comprada e 10 a 15 quando está em alocação. Dizemos qual se aplica antes de qualquer pagamento ser cobrado.

Não em hardware. Nenhuma tem codificador NVENC, por isso a codificação seria executada em software na GPU ou no processador. Elas descodificam, com 5 motores NVDEC na A100 e 7 na H100. Para transcodificação ao vivo, escolha uma GPU com NVENC, como a L40S.

Não. A GPU é passada diretamente para o seu próprio sistema operativo sem hipervisor pelo meio, e a máquina tem um único inquilino. Pode ainda assim dividi-la você mesmo com Multi-Instance GPU em até sete instâncias para os seus próprios trabalhos.

A IA no nosso chat responde em segundos e pode consultar a sua conta e o seu servidor enquanto fala. Diga que quer uma pessoa e um de nós assume a mesma conversa.