Servidores dedicados con GPU · NVIDIA Ampere · por mes
Nuestros servidores con RTX 3090, 3080 y 3070 son máquinas bare-metal que se alquilan por mes, con la GPU completa pasada a tu propio sistema operativo. Elige una de las cinco GPUs RTX 30 con 8 a 24 GB de memoria, en una máquina Intel Xeon o AMD EPYC, desde $209.93 al mes con todo incluido.
El precio de cada GPU que ves abajo es el del servidor completo: procesador, memoria, discos, el puerto y una dirección IPv4, más la cuota mensual de la propia GPU. Elige la GPU según la memoria que necesita tu trabajo y luego cambia cualquier otra cosa en el configurador.
Las cinco GPUs
Las cinco comparten la arquitectura Ampere, el controlador y el conjunto de funciones: núcleos Tensor de 3.ª generación, núcleos RT de 2.ª generación y PCIe 4.0. Lo que las diferencia es el tamaño y el ancho de banda de la memoria. Empieza por la memoria que necesitas y quédate con la primera GPU que la tenga.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Cada precio corresponde a la máquina más barata que admite esa GPU, tal como la abre el configurador. El botón abre esa máquina con la GPU ya seleccionada; allí se indican los precios de otros procesadores, más memoria, discos más grandes y un puerto más rápido. Las configuraciones de Bucarest se facturan en euros, y el configurador muestra ese precio cuando eliges la ciudad.
Dimensionamiento
Para la inferencia, la primera cuestión es la memoria, no la velocidad. Los pesos de un modelo ocupan parámetros por bytes por parámetro, y la GPU necesita entre un cuarto y la mitad más para la caché KV y el tiempo de ejecución. La tabla aplica esa regla a cada tamaño de memoria de esta página.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
Es la RTX 3080 original con 8.704 núcleos CUDA. NVIDIA vendió después una versión de 12 GB con 8.960 núcleos bajo el mismo nombre, y muchos anuncios citan su memoria. Dimensionamiento frente a 10 GB: un modelo de 8B en 8 bits carga con poco margen para contexto, y un modelo de 13B en 8 bits no carga en absoluto.
La RTX 3090 es la única GPU RTX 30 con 24 GB. Nuestras máquinas Xeon más grandes admiten hasta 3 de ellas, 72 GB en total, que llama.cpp o vLLM pueden repartir entre un modelo. Dos contienen un modelo de 70B en 4 bits, justo. Para una GPU con más memoria, consulte todas las GPU que instalamos; para planes modelo por modelo, servidores LLM.
Plataformas
Toda GPU RTX 30 tiene una interfaz PCIe 4.0. En las máquinas Intel Xeon funciona a PCIe 3.0; la máquina AMD EPYC da a la RTX 3080 un enlace PCIe 4.0 completo. Una vez que un modelo o una escena se carga en la memoria de la GPU, el enlace apenas importa. Importa para los bucles de entrenamiento que transmiten lotes desde la memoria del sistema en cada paso.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Los precios de las máquinas son la configuración más barata de cada línea sin GPU. Los servidores RTX 30 se pueden pedir en New York, Miami, San Francisco and Bucharest. Las máquinas de Ámsterdam no se ofrecen con estas GPU. La ubicación determina la latencia para sus usuarios y la ley de protección de datos que se aplica; centros de datos describe cada edificio.
Cargas de trabajo
Una RTX 3090 sirve un modelo de 13B en 8 bits con espacio para contexto, o un modelo de 30B en 4 bits con uno corto, detrás de su propia API con Ollama, llama.cpp o vLLM. Nada de lo que envíe sale de su máquina.
Blender Cycles renderiza en CUDA u OptiX, y los núcleos RT aceleran el trazado de rayos. Instale el sistema operativo que su renderizador necesite y renderice durante la noche por un precio mensual fijo.
El controlador GeForce ejecuta DirectX, Vulkan y OpenGL como lo hace un escritorio. Ejecute un servidor de juegos, un host de juegos en la nube o una estación de trabajo remota con una GPU dedicada detrás.
Cada GPU tiene un codificador NVENC para H.264 y HEVC y un decodificador NVDEC. NVIDIA permite hasta 8 sesiones de codificación simultáneas por sistema en GPU GeForce, con el controlador 550.54.14 o posterior.
Entrega y condiciones
Nada que instalar: el servidor está montado y se entrega. Servidores instantáneos enumera lo que está en rack ahora mismo.
Un técnico instala la GPU, construye la matriz de discos e instala el sistema operativo. La memoria adicional u otras unidades se colocan durante la misma visita.
Cada cronograma comienza una vez que el pago y la revisión de fraude se aprueban. La mayoría de los pedidos se aprueban en un par de horas; un primer pedido en una cuenta nueva puede tardar más.
Los propietarios también publican máquinas RTX 30 en nuestro mercado, cada una a un precio mensual que fija el propietario. Los anuncios marcados como procedentes de nuestra empresa hermana, Primcast, se alquilan en primcast.com.
Especificaciones
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Cifras de la comparativa de la serie GeForce RTX 30 de NVIDIA y su matriz de soporte de codificación y decodificación de vídeo. Los precios, las máquinas, las ciudades y los recuentos por máquina se leen de nuestro catálogo de pedidos, el mismo desde el que factura el proceso de compra.
Respuestas
Un servidor RTX 3090 completo parte de $309.93 al mes. Eso es la GPU a $239 más la máquina más económica que la admite: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. La configuración RTX 30 más barata es la RTX 3070 a $209.93. Una GPU instalada bajo pedido añade una tarifa única de configuración de $29.
La versión de 10 GB, con 8.704 núcleos CUDA y 760 GB/s de ancho de banda de memoria. Un servidor RTX 3080 completo parte de $229.93 al mes. Si su modelo necesita 12 GB, elija la RTX 3080 Ti, que tiene 12 GB en un bus de 384 bits.
Sí. Nuestras máquinas Xeon más grandes admiten hasta 3 RTX 3090, 72 GB de memoria de GPU en total, y el configurador muestra el máximo que admite cada máquina. Cada GPU es una línea mensual propia, así que el precio aumenta según la cifra de la GPU por cada una que añada.
Para inferencia y ajuste fino con QLoRA, sí. Sus 24 GB alojan un modelo de 13B a 8 bits con espacio para contexto, o uno de 30B a 4 bits con contexto corto. No tiene memoria ECC, así que para entrenamientos largos sin puntos de control una GPU de cómputo es la opción más segura.
Unos 30 minutos después de aprobarse su pedido cuando ya hay una máquina con esa GPU en rack; esas aparecen en la página de servidores instantáneos. Cuando instalamos la GPU en la máquina que usted configuró, el plazo es de 4 a 24 horas.
No. La máquina se alquila a una sola cuenta y la GPU se pasa directamente a su sistema operativo. No hay hipervisor, ni perfil vGPU, ni reparto de tiempo, y usted instala el controlador NVIDIA y la versión de CUDA que desee.
No. Las GPU RTX 30 decodifican AV1 pero solo codifican H.264 y HEVC, con un codificador NVENC por GPU. La codificación AV1 por hardware comienza con la serie RTX 40.
En New York, Miami, San Francisco and Bucharest, en la red propia de Server Room. Las máquinas que admiten estas GPU no se ofrecen con ellas en Ámsterdam.
Elija la GPU por memoria y luego el procesador, la memoria, los discos y la ciudad. El configurador calcula el precio de cada cambio a medida que lo hace.
Todas las GPU que instalamos · La RTX 3050 de escritorio · Servidores RTX 40 · En rack ahora mismo