A100 · H100 · Servidores GPU NVIDIA

Servidores dedicados NVIDIA A100 H100 empresariales

Servidores bare metal con una NVIDIA A100 (40 u 80 GB) o una H100 de 80 GB, ambas como tarjetas adicionales PCIe, para entrenamiento de IA, inferencia y computación de alto rendimiento. Una máquina ya montada en rack con su tarjeta se entrega en minutos; cualquier otra configuración se instala o se compra, y se confirma la fecha antes de pagar.

SLA de disponibilidad Soporte empresarial

Especificaciones de las GPU NVIDIA A100 y H100

Aceleradores GPU de nivel empresarial diseñados para entrenamiento de IA, inferencia y computación científica.

Compare las especificaciones técnicas para elegir la configuración óptima según los requisitos de su carga de trabajo.

NVIDIA A100

La GPU A100 ofrece un rendimiento, una escalabilidad y una fiabilidad excepcionales para cargas de trabajo de entrenamiento e inferencia de IA. Basada en la arquitectura Ampere con Tensor Cores avanzados para computación acelerada a escala empresarial.

Arquitectura

Ampere

Memoria de vídeo

40 GB HBM2 u 80 GB HBM2e

Núcleos CUDA

6.912

Ancho de banda máximo

1.555 GB/s (40 GB), 1.935 GB/s (80 GB)

Potencia máxima

250 W (40 GB), 300 W (80 GB)

Interfaz de bus

PCIe Gen 4 x16

Codificadores de vídeo NVENC

Ninguno (5 decodificadores NVDEC)

NVIDIA H100

Hopper, la generación posterior a Ampere, en su formato de tarjeta adicional PCIe: la H100 que cabe en los servidores que construimos. El módulo SXM5 con HBM3 se monta en una placa base HGX, y ninguno de nuestros chasis admite uno, por lo que sus cifras no se aplican aquí.

Arquitectura

Hopper

Memoria de vídeo

80 GB HBM2e

Ancho de banda máximo

2.039 GB/s

Potencia máxima

350 W

Interfaz de bus

PCIe Gen 5 x16

Codificadores de vídeo NVENC

Ninguno (7 decodificadores NVDEC)

Infraestructura de IA empresarial para cargas de trabajo exigentes

Servidores dedicados NVIDIA A100 y H100 con arquitecturas Ampere y Hopper, optimizados para entrenamiento de IA a gran escala, inferencia de LLM y aplicaciones de computación científica.

Arquitectura Ampere

Fabricada en proceso de 7 nm con 54 mil millones de transistores, la arquitectura NVIDIA Ampere ofrece un rendimiento revolucionario para cargas de trabajo de entrenamiento de IA y HPC.

Memoria de alto ancho de banda

Memoria apilada en cada tarjeta que instalamos: HBM2 a 1.555 GB/s en la A100 de 40 GB, HBM2e a 1.935 GB/s en la A100 de 80 GB y a 2.039 GB/s en la H100, todas con ECC.

Aceleración de IA

Los Tensor Cores avanzados ofrecen hasta 20 veces más rendimiento que las generaciones anteriores para cargas de trabajo de entrenamiento e inferencia de aprendizaje profundo.

GPU multiinstancia

Divida cada GPU en hasta siete instancias aisladas con recursos dedicados de cómputo, memoria y caché para una utilización multiinquilino óptima.

Conectividad NVLink

Ambas tarjetas llevan un conector de puente NVLink. No hay ningún puente en el formulario de pedido, así que dos tarjetas en un servidor se comunican por PCIe salvo que se cotice un puente; pregunte antes de hacer el pedido si el trabajo lo necesita.

Fiabilidad empresarial

GPU de nivel de centro de datos con memoria ECC, funciones RAS avanzadas y soporte empresarial para implementaciones de producción de misión crítica.

Preguntas frecuentes sobre los servidores GPU NVIDIA A100 H100

Preguntas habituales sobre la implementación y gestión de servidores dedicados empresariales con GPU NVIDIA A100 H100 para entrenamiento de IA, inferencia y computación de alto rendimiento.

¿Qué hace que las GPU NVIDIA A100 y H100 sean adecuadas para cargas de trabajo de IA empresarial?

Ambas son aceleradores de centro de datos diseñados para operaciones aritméticas con modelos grandes: memoria HBM apilada con ECC, Tensor Cores a los que apuntan los principales frameworks y GPU multiinstancia para dividir una tarjeta entre sus propios trabajos. La A100 es Ampere con Tensor Cores de tercera generación; la H100 es Hopper con Tensor Cores de cuarta generación y el Transformer Engine para precisión FP8. Ninguna de las dos tarjetas tiene codificador de vídeo por hardware, así que ninguna es la opción adecuada para transcodificación.

¿Cómo se comparan las GPU A100 y H100 en rendimiento y capacidades?

Como tarjetas PCIe que instalamos, la A100 tiene 6.912 núcleos CUDA, 40 GB de HBM2 a 1.555 GB/s u 80 GB de HBM2e a 1.935 GB/s, consume 250 o 300 W y se conecta por PCIe Gen 4. La H100 tiene 80 GB de HBM2e a 2.039 GB/s, consume 350 W y se conecta por PCIe Gen 5. Las cifras de la H100 que se citan en otros sitios con memoria HBM3 describen el módulo SXM5, que necesita una placa base HGX que ninguno de nuestros servidores utiliza.

¿Qué funciones de conectividad y escalabilidad empresarial están disponibles?

Dentro de una máquina, cada tarjeta se puede dividir en hasta siete instancias aisladas de GPU multiinstancia, cada una con su propio cómputo, memoria y caché. Ambas tarjetas también llevan un conector de puente NVLink, pero no hay ningún puente en el formulario de pedido: dos tarjetas en un servidor se comunican por PCIe salvo que se cotice un puente, así que pregunte antes de hacer el pedido si el trabajo lo necesita. Entre servidores, el enlace es el puerto Ethernet de cada máquina, y las configuraciones multi-GPU y multinodo tienen su propia página.

¿Cuánto tarda en entregarse un servidor A100 o H100?

Una máquina ya montada en rack con la tarjeta se entrega en unos 30 minutos tras la verificación del pago. Cuando instalamos una tarjeta que tenemos en stock, tarda de 4 a 24 horas; una tarjeta que tenemos que comprar tarda de cinco a diez días laborables, o de diez a quince cuando el acelerador está bajo asignación, y se le informa de cuál es el caso antes de pagar.