96 GB
Memoria GDDR7 con ECC
El doble de los 48 GB de la RTX 6000 Ada y más que las A100 y H100 de 80 GB que instalamos. La ECC corrige errores de un solo bit en la memoria de la GPU, algo importante en ejecuciones que duran días.
Servidores dedicados GPU · NVIDIA Blackwell · por meses
Servidor dedicado RTX PRO 600096 GB en una GPU. Toda la máquina es tuya.
Un servidor dedicado RTX PRO 6000 nuestro es una máquina bare-metal con una NVIDIA RTX PRO 6000 Blackwell conectada directamente a tu propio sistema operativo. El servidor completo parte de $1,382.67 a month. La GPU lleva 96 GB de GDDR7 con ECC. No GPU in our order catalogue holds more.
- GPU completa, sin vGPU
- Puerto sin límite de tráfico
- 4 ciudades
- Sin permanencia
Tienes acceso root en la máquina, la GPU en el bus PCIe y la versión de driver y CUDA que elijas. El precio incluye el procesador, la memoria, los discos, el puerto y una dirección IPv4, más la GPU como partida mensual propia. Cambia cualquiera de estos elementos en el configurador.
La GPU
Qué aporta la RTX PRO 6000 Blackwell a un servidor
Es la GPU profesional Blackwell de NVIDIA, sucesora de la RTX 6000 Ada. Cuatro de sus componentes determinan para qué es bueno el servidor.
752
Núcleos Tensor de 5.ª generación
Los núcleos Tensor ejecutan operaciones matriciales en FP4, FP8 y FP16 para inferencia y entrenamiento. NVIDIA cifra la GPU en 4.000 TOPS de IA en FP4 con dispersión.
188
Núcleos RT de 4.ª generación
Los núcleos RT realizan por hardware las pruebas de rayos y triángulos, con un rendimiento de 380 TFLOPS. Los renderizadores OptiX como Blender Cycles, V-Ray y Arnold GPU los aprovechan.
4 + 4
Motores NVENC y NVDEC
Cuatro codificadores de 9.ª generación y cuatro decodificadores de 6.ª generación, todos con AV1, junto a los núcleos de cálculo. Las A100 y H100 no tienen ningún codificador de vídeo.
Frente a las aceleradoras
RTX PRO 6000 frente a H100, A100 y las GPU de 48 GB
Estas son las GPU de 40 GB o más que instalamos, cada una con precio de servidor completo. La RTX PRO 6000 tiene más memoria que la H100 and costs $300 a month less as a complete server.
Lo que cede es NVLink. Dos de ellas en una misma máquina son dos grupos separados de 96 GB que intercambian datos por PCIe. La A100 y la H100 llevan un conector de puente NVLink, y un montaje con puente se cotiza a mano en servidores A100 o H100. La A100 de 80 GB también lee su memoria algo más rápido, 1.935 GB/s frente a 1.792 GB/s, y eso se nota cuando atiendes a muchos usuarios con un tamaño de lote grande.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Plataformas
En qué máquina va la GPU y qué enlace PCIe recibe
La RTX PRO 6000 tiene una interfaz PCIe Gen 5. Nuestras máquinas Intel Xeon Silver y Gold la ejecutan a PCIe 3.0; la máquina AMD EPYC la ejecuta a PCIe 4.0. Una vez que los pesos o la escena están en la memoria de la GPU, el enlace queda casi inactivo. Importa en los bucles de entrenamiento que copian un lote nuevo desde la memoria del sistema en cada paso, así que para esos casos elige la máquina EPYC.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Cada precio es la configuración más barata de esa máquina tal como la abre el configurador, y el botón la abre con la GPU ya seleccionada. Allí se cotizan más procesador, memoria, discos y un puerto más rápido. Las configuraciones de Bucarest se facturan en euros. Las máquinas de Ámsterdam no se ofrecen con esta GPU. Más de una RTX PRO 6000 en una misma máquina se cotiza a mano: pregunta por chat o consulta servidores multi-GPU.
Dimensionamiento
Qué cabe en 96 GB de memoria de GPU
Los pesos de un modelo ocupan su número de parámetros por los bytes por parámetro. La GPU necesita entre un cuarto y la mitad más por encima para la caché KV y el entorno de ejecución, y la tabla de abajo aplica esa regla. Un modelo de 70B a 4 bits cabe con margen para contexto; a 8 bits carga, pero un contexto largo o un segundo usuario lo agota.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Solo pesos, redondeados al alza. Para un plan modelo por modelo, con la máquina que necesita, consulta servidores LLM.
Cargas de trabajo
Qué ejecuta un servidor RTX PRO 6000 y dónde se queda corto
Inferencia de LLM en una GPU
Sirve un modelo de 70B a 4 bits, o uno de 30B a 8 bits, detrás de tu propia API con vLLM, llama.cpp u Ollama. Las peticiones y las salidas se quedan en tu máquina.
Ajuste fino
QLoRA en un modelo de 70B, o LoRA en uno de 13B a 16 bits, cabe en 96 GB. La memoria ECC protege una ejecución de varios días contra cambios silenciosos de bits.
Renderizado y visualización
Las escenas que no caben en 24 o 48 GB se renderizan en una sola GPU en lugar de dividirse. Los núcleos RT se encargan del trazado de rayos.
Vídeo a gran volumen
Cuatro codificadores AV1 y cuatro decodificadores transcodifican muchos canales en directo por hardware mientras los núcleos CUDA ejecutan otra cosa. Para una máquina configurada con Flussonic o Wowza, consulta servidores de transcodificación por GPU.
- Sin NVLink. Las GPU de una máquina comparten datos solo por PCIe. Cuando dos GPU deben intercambiar tensores más rápido que eso, se cotiza a mano una configuración A100 o H100 con puente NVLink.
- Una ranura PCIe 3.0 o 4.0. Ninguna de las máquinas que la admiten tiene ranura Gen 5, así que la GPU funciona con un enlace Gen 3 o Gen 4. La inferencia y el renderizado apenas lo notan; el tráfico intenso de host a GPU sí.
- No sirve para entrenar un modelo grande desde cero. Eso requiere muchas GPU unidas por una estructura rápida. Una RTX PRO 6000 es para inferencia, ajuste fino y entrenamiento en una sola GPU.
Entrega y condiciones
Cuánto tarda en estar en línea y qué cubre el precio mensual
- Unos 30 minutos
Ya en una máquina en bastidor
Nada que instalar: el servidor está montado y se entrega. Servidores instantáneos muestra lo que hay en bastidor ahora mismo.
- De 4 a 24 horas
Una GPU que tenemos en stock
Un técnico la instala en la máquina que configuraste, prepara los discos e instala el sistema operativo.
- De 5 a 10 días laborables
Una GPU que compramos
La pedimos a un distribuidor y luego la instalamos.
- De 10 a 15 días laborables
Una GPU bajo asignación
Cuando los distribuidores racionan una GPU, recibes la fecha antes de comprometerte.
- Incluido
- Procesador, memoria, discos, IPv4 e IPv6, y un puerto sin medición. Nada cuenta el tráfico en ninguna dirección.
- Acceso
- Root o administrador en tu propio sistema operativo, reinstalado desde el panel de control sin coste, y la consola fuera de banda del servidor en una red de gestión separada.
- Instalación
- $29 una sola vez por una GPU instalada bajo pedido. Una máquina en bastidor pedida tal como está no tiene cargo de instalación.
- Plazo
- Un mes cada vez, sin contrato. Los ciclos de 3, 6 y 12 meses ahorran hasta un 15%.
- Soporte
- Chat respondido en segundos por un asistente de IA que puede revisar tu cuenta y tu servidor, y una persona en cuanto la pidas.
Todos los plazos empiezan una vez que el pago y la revisión antifraude se aprueban. Se te indica cuál de los cuatro aplica antes de pagar.
Máquinas RTX PRO 6000 en nuestro mercado de GPU
Los propietarios también publican máquinas RTX PRO 6000 en nuestro mercado, cada una al precio que fija el propietario. Los anuncios marcados como procedentes de nuestra empresa hermana, Primcast, se alquilan en primcast.com.
Especificaciones
Especificaciones de la RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Respuestas
Preguntas sobre el servidor RTX PRO 6000
¿Cuánto cuesta un servidor dedicado RTX PRO 6000?
Un servidor RTX PRO 6000 completo parte de $1,382.67 al mes. Eso es la GPU a $1,299 más la máquina más económica que la admite, a $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Una GPU instalada bajo pedido añade una configuración única de $29, y pagar 12 meses por adelantado descuenta un 15%.
¿Cuántos núcleos RT y núcleos Tensor tiene la RTX PRO 6000?
188 núcleos RT de cuarta generación y 752 núcleos Tensor de quinta generación, junto a 24.064 núcleos CUDA. NVIDIA valora los núcleos RT en 380 TFLOPS y los núcleos Tensor en 4.000 AI TOPS en FP4 con dispersión. Las cifras son las mismas en las ediciones Workstation, Max-Q y Server.
¿Es la RTX PRO 6000 la misma GPU que la RTX 6000 Ada?
No. La RTX 6000 Ada es de la generación anterior, con 48 GB de GDDR6. La RTX PRO 6000 es Blackwell, con 96 GB de GDDR7, núcleos Tensor de quinta generación y codificadores AV1. Instalamos ambas: si 48 GB cubren tu trabajo, la RTX 6000 Ada es el servidor más económico, y servidores GPU muestra el precio de cada GPU que instalamos.
¿La RTX PRO 6000 admite NVLink?
No. La RTX PRO 6000 no tiene conector NVLink, así que dos en un servidor son dos bloques de 96 GB que intercambian datos por PCIe. Las A100 y H100 llevan un conector de puente NVLink, y un montaje con puente se cotiza a mano. Lo mismo ocurre con más de una RTX PRO 6000 en una misma máquina.
¿Puede un modelo de 70B ejecutarse en una sola RTX PRO 6000?
Sí. A 4 bits, los pesos de un modelo de 70B ocupan unos 38 GB, lo que deja espacio en 96 GB para un contexto largo y varios usuarios. A 8 bits ocupan unos 70 GB: carga, con poco margen libre. A 16 bits necesita dos GPU o más.
¿La GPU es compartida o está virtualizada?
No. La máquina se alquila a una sola cuenta y la GPU completa se pasa directamente a tu sistema operativo. No hay hipervisor ni perfil vGPU, e instalas el controlador NVIDIA y la versión de CUDA que quieras.
¿Cuánto tarda en estar en línea un servidor RTX PRO 6000?
Unos 30 minutos después de aprobarse tu pedido cuando ya hay una máquina con la GPU en el rack. Cuando instalamos una GPU que tenemos en stock, de 4 a 24 horas; una que compramos tarda de 5 a 10 días laborables. Se te informa de cuál es el caso antes de pagar.
¿Dónde están ubicados sus servidores RTX PRO 6000?
En New York, Miami, San Francisco and Bucharest, en nuestros propios racks y en nuestra propia red. Los montajes de Bucarest se facturan en euros. La GPU no se ofrece en máquinas de Ámsterdam.
Configura tu servidor RTX PRO 6000
Elige la máquina, la memoria, los discos y la ciudad. El configurador calcula el precio de cada cambio a medida que lo haces, con la GPU ya seleccionada.
Cada GPU que instalamos · Servidores A100 y H100 · Servidores L40S · Servidores RTX 5090 · En rack ahora mismo