Servidor dedicado A100 H100 La GPU completa, tu sistema operativo, tu root.

La H100 es la generación posterior a la A100. En las GPU PCIe que instalamos, la A100 tiene 40 GB de HBM2 a 1.555 GB/s u 80 GB de HBM2e a 1.935 GB/s y una interfaz PCIe 4.0. La H100 tiene 80 GB de HBM2e a 2.039 GB/s, Tensor Cores de cuarta generación con FP8 y una interfaz PCIe 5.0, y consume 350 W frente a 250 o 300 W. Las tres tienen ECC, Multi-Instance GPU y ningún codificador de vídeo.

El precio mensual más bajo de un servidor H100 completo de 80 GB es $1,682.67. Esa máquina es Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, y la GPU es $1,599 del total. Una configuración con la GPU instalada añade una tarifa única de $29, y la tabla de configuraciones muestra cada plataforma con su propio precio.

El precio mensual más bajo de un servidor A100 completo es $772.47 con la GPU de 40 GB y $972.47 con la GPU de 80 GB, cada una en la máquina más barata que la admite. La configuración A100 de 40 GB es Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. La memoria, los discos y un puerto más rápido se cotizan en el formulario de pedido.

PCIe. Nuestros chasis admiten GPU PCIe adicionales, por lo que la H100 que instalamos es la versión PCIe de 80 GB con HBM2e. El módulo SXM5, con HBM3 y hasta 700 W, requiere una placa base HGX que ninguno de nuestros servidores tiene.

Sí, para modelos que caben en 80 GB con el método de entrenamiento que utilice. El ajuste fino completo en precisión mixta con Adam necesita unos 16 bytes por parámetro antes de las activaciones, por lo que una H100 entrena por completo unos 5 mil millones de parámetros, y los adaptadores LoRA o QLoRA lo amplían a modelos mucho más grandes. A partir de ahí, el trabajo requiere varias GPU, lo que cubren los servidores multi-GPU.

A menudo, y se cotiza a mano en lugar de marcarse al pagar: el espacio del chasis, las líneas PCIe y la fuente de alimentación determinan la cantidad. Ambas GPU llevan un conector de puente NVLink, pero no hay ningún puente en el formulario de pedido, por lo que las GPU de un servidor se comunican por PCIe salvo que se cotice un puente. Pregunte en el chat antes de hacer el pedido si el trabajo lo necesita.

Solo una máquina ya instalada en rack, pedida tal como está, desde servidores instantáneos. Cuesta su precio mensual dividido por 730 horas, multiplicado por 1,3, facturado por segundo hasta que la libere. Una configuración a medida, como las filas de esta página, se factura por mes.

Unos 30 minutos después de la aprobación cuando una máquina con la GPU ya está en rack, de 4 a 24 horas cuando instalamos una GPU que tenemos en stock, de 5 a 10 días laborables cuando la GPU se compra, y de 10 a 15 cuando está bajo asignación. Indicamos cuál aplica antes de cobrar cualquier pago.

No por hardware. Ninguna tiene codificador NVENC, por lo que la codificación se ejecutaría por software en la GPU o en el procesador. Sí decodifican, con 5 motores NVDEC en la A100 y 7 en la H100. Para transcodificación en vivo, elija una GPU con NVENC, como la L40S.

No. La GPU se pasa directamente a su propio sistema operativo sin ningún hipervisor de por medio, y la máquina tiene un solo inquilino. Aun así, puede dividirla usted mismo con Multi-Instance GPU en hasta siete instancias para sus propios trabajos.

La IA de nuestro chat responde en segundos y puede consultar su cuenta y su servidor mientras habla. Diga que quiere una persona y uno de nosotros toma el relevo en la misma conversación.