Servidores dedicados GPU · NVIDIA Ada Lovelace · por mes
Nuestro servidor dedicado RTX 4090 utiliza la GeForce RTX 4090D, no la RTX 4090 completa. Conserva los 24 GB de GDDR6X de la 4090, sus 1.008 GB/s de ancho de banda de memoria y sus dos codificadores AV1, y tiene 14.592 núcleos CUDA donde la 4090 tiene 16.384. Un servidor completo con una comienza en $372.47 al mes.
Con nuestro alojamiento de servidores RTX 4090 alquilas la máquina completa. La GPU se pasa directamente a tu propio sistema operativo, con acceso root y la consola fuera de banda del servidor. El precio mostrado es el servidor completo: procesador, memoria, discos, el puerto y una dirección IPv4, más la línea mensual propia de la GPU.
RTX 4090D vs RTX 4090
NVIDIA lanzó la RTX 4090D el 28 de diciembre de 2023, después de que una norma de exportación de Estados Unidos detuviera las ventas de la RTX 4090 en China. Es el mismo chip AD102 con menos multiprocesadores de flujo activados: 114 en lugar de 128. La memoria, el reloj de impulso y los motores de vídeo son los mismos; el límite de potencia de la placa es un poco menor.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Cualquier cosa limitada por el tamaño o la velocidad de la memoria. Un modelo que cabe en 24 GB en una 4090 cabe en una 4090D, y generar tokens con él está limitado por los mismos 1.008 GB/s. La codificación de vídeo usa el mismo par de motores NVENC. El controlador, CUDA, PyTorch, Blender y cualquier otra herramienta lo tratan como una GPU GeForce Ada Lovelace.
Trabajo limitado por el rendimiento de los sombreadores: lotes grandes de entrenamiento, renderizado con Cycles y OptiX, procesamiento de prompts en entradas largas. La 4090D tiene un 11% menos de núcleos CUDA al mismo reloj de impulso de 2,52 GHz, así que espera que quede detrás de una 4090 hasta por ese margen en esas tareas. La potencia de la placa es de 425 W frente a 450 W.
Las configuraciones
Estas son las dos GPU GeForce RTX 40 que nuestro catálogo de pedidos instala en servidores en rack. La RTX 4090D es la opción de 24 GB y se apila en una máquina. La RTX 4070 tiene 12 GB y el mismo codificador AV1 de octava generación, para trabajos que no necesitan más memoria.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Cada precio es la máquina más barata que admite esa GPU, tal como la abre el configurador, y el botón abre esa máquina con la GPU ya seleccionada. Otros procesadores, más memoria, discos más grandes, un puerto más rápido y más GPU se cotizan allí. Las configuraciones de Bucarest se facturan en euros; el configurador cambia de moneda al elegir la ciudad.
Dimensionamiento
Dimensiona la inferencia primero por memoria. Los pesos ocupan parámetros por bytes por parámetro, y las GPU necesitan entre un cuarto y la mitad más para la caché KV y el tiempo de ejecución. La tabla aplica esa regla a la RTX 4070, a una RTX 4090D y a varias en una misma máquina, que llama.cpp y vLLM reparten entre ellas.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
Las GPU GeForce RTX 40 no tienen conector NVLink, así que varias 4090D en un mismo servidor se comunican por PCIe. Repartir un modelo entre ellas para inferencia funciona sobre ese enlace. El entrenamiento, que intercambia gradientes en cada paso, aprovecha menos cada GPU adicional de lo que lo haría en GPU unidas por NVLink.
Un modelo que necesita un único espacio de memoria grande, o memoria ECC, pertenece a una GPU de cómputo o de estación de trabajo con 48 u 80 GB. Esas están en todas las GPU que instalamos. Para un plan modelo por modelo, consulta servidores LLM.
Plataformas
Ambas GPU tienen una interfaz PCIe 4.0 x16. Las máquinas Intel Xeon la ejecutan a PCIe 3.0, lo que reduce a la mitad el ancho de banda hacia el host. La máquina AMD EPYC da a cada GPU un enlace PCIe 4.0 completo. Una vez que los pesos o una escena están en la memoria de la GPU, el enlace apenas importa; sí lo hace para bucles de entrenamiento que transmiten datos desde la memoria del sistema, y para repartir un modelo entre GPU.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Los precios de las máquinas son la configuración más barata de cada línea sin GPU. Los servidores RTX 40 se pueden pedir en New York, Miami, San Francisco and Bucharest. Las máquinas de Ámsterdam no se ofrecen con estas GPU. Cada edificio se describe en centros de datos.
Cargas de trabajo
Una RTX 4090D sirve un modelo de 13B a 8 bits con espacio para contexto, o un modelo de 30B a 4 bits con uno corto. Ejecuta Ollama, llama.cpp o vLLM detrás de tu propia API; las peticiones y las respuestas permanecen en tu máquina.
Los núcleos RT de tercera generación aceleran Blender Cycles mediante OptiX, así como Unreal Engine y V-Ray. Un servidor GPU de trazado de rayos a un precio mensual fijo renderiza durante la noche sin un contador por hora en marcha.
La 4090D lleva dos motores NVENC de octava generación y un NVDEC. Ambas GPU codifican AV1 por hardware, algo que la serie RTX 30 no puede, así que una canalización en vivo puede servir AV1 junto a H.264.
El controlador GeForce ejecuta DirectX, Vulkan y OpenGL como lo hace un equipo de escritorio. Instala Windows o Linux y monta un anfitrión de juego en la nube, una estación de trabajo transmitida o un servidor de juegos con una GPU dedicada.
Entrega y condiciones
Está instalada y entregada. Servidores instantáneos muestra lo que está en bastidor hoy.
Un técnico instala la GPU en la máquina que configuraste, monta la matriz de discos e instala el sistema operativo. La memoria o los discos añadidos se colocan en la misma visita.
Pedimos la pieza y luego montamos como se indica arriba. Se te informa de qué caso aplica antes de pagar.
Cada plazo empieza una vez que el pago y la revisión antifraude se completan. La mayoría de los pedidos se completan en un par de horas; un primer pedido en una cuenta nueva puede tardar más.
Los propietarios también publican máquinas RTX 40 en nuestro mercado, cada una a un precio mensual que fija el propietario. Un anuncio de nuestra empresa hermana, Primcast, se alquila en primcast.com.
Especificaciones
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Cifras de GPU de la comparativa de la serie GeForce RTX 40 de NVIDIA, su matriz de soporte de codificación y decodificación de vídeo, y la especificación de lanzamiento publicada de la RTX 4090D. Los precios, las máquinas, las ciudades y los recuentos por máquina se leen de nuestro catálogo de pedidos, el mismo con el que factura el proceso de compra.
Respuestas
Un servidor completo con una RTX 4090D parte de $372.47 al mes. Eso es la GPU a $299 más la máquina más económica que la admite: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Cada GPU adicional suma su propia línea mensual, y una GPU instalada bajo pedido añade una configuración única de $29.
Es la RTX 4090D. Tiene los 24 GB de GDDR6X de la RTX 4090, 1.008 GB/s de ancho de banda, reloj boost de 2,52 GHz y dos codificadores AV1, con 14.592 núcleos CUDA en lugar de 16.384. Lo decimos aquí para que nadie se entere después de pagar.
Como mucho, alrededor de un 11% en trabajos limitados por el rendimiento de los shaders, como el renderizado y el entrenamiento, porque esa es la proporción de núcleos CUDA que le falta al mismo reloj. En trabajos limitados por el tamaño o el ancho de banda de la memoria, como la generación de tokens en LLM, ambas deberían rendir igual.
Sí. Una máquina admite hasta 4 de ellas, 96 GB de memoria de GPU en total, y el configurador muestra el máximo que admite cada máquina. Las GPU se conectan por PCIe, ya que las GeForce RTX 40 no tienen NVLink.
Bare metal. La máquina se alquila a una sola cuenta y la GPU se pasa directamente a tu sistema operativo: sin hipervisor, sin porción de vGPU, sin tiempo compartido. Instalas el controlador NVIDIA y la versión de CUDA que elijas.
La facturación por horas se aplica a una máquina ya montada en rack y alquilada tal como está, así que depende de lo que muestre ese día la página de servidores instantáneos. Una GPU instalada en una máquina que configures se factura por mes, sin permanencia.
Sí. Sus núcleos RT de tercera generación aceleran el trazado de rayos en Blender Cycles con OptiX, Unreal Engine, V-Ray y otros renderizadores, y 24 GB admiten escenas grandes. Con un precio mensual fijo, los renders largos cuestan lo mismo que los cortos.
Unos 30 minutos después de la aprobación cuando ya hay una máquina con la GPU en rack. Cuando instalamos una GPU de stock, de 4 a 24 horas; cuando hay que comprar la GPU, de 5 a 10 días laborables, y se te informa de cuál es el caso antes de pagar.
En New York, Miami, San Francisco and Bucharest, en la red propia de Server Room. Las máquinas de Ámsterdam no se ofrecen con estas GPU.
El servidor RTX 4070 parte de $262.67 al mes completo, de los cuales la GPU son $179. Tiene 12 GB de GDDR6X y un codificador AV1, y una máquina admite hasta 4.
Elige cuántas GPU, y luego el procesador, la memoria, los discos y la ciudad. El configurador recalcula el precio con cada cambio que hagas.
Todas las GPU que instalamos · Servidores RTX 30 · Servidores RTX 50 · En rack ahora mismo