Servidores dedicados com GPU · NVIDIA Ada Lovelace · por mês
Nosso servidor dedicado RTX 4090 usa a GeForce RTX 4090D, não a RTX 4090 completa. Ele mantém os 24 GB de GDDR6X da 4090, seus 1.008 GB/s de largura de banda de memória e seus dois codificadores AV1, e tem 14.592 núcleos CUDA onde a 4090 tem 16.384. Um servidor completo com uma delas começa em $372.47 por mês.
Com nossa hospedagem de servidor RTX 4090, você aluga a máquina inteira. A GPU é passada diretamente para o seu próprio sistema operacional, com acesso root e o console out-of-band do servidor. O preço exibido é o servidor completo: processador, memória, discos, a porta e um endereço IPv4, além da linha mensal da própria GPU.
RTX 4090D vs RTX 4090
A NVIDIA lançou a RTX 4090D em 28 de dezembro de 2023, depois que uma regra de exportação dos Estados Unidos interrompeu as vendas da RTX 4090 na China. É o mesmo chip AD102 com menos multiprocessadores de fluxo ativados: 114 em vez de 128. A memória, o clock de boost e os motores de vídeo são os mesmos; o limite de energia da placa é um pouco menor.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Qualquer coisa limitada pelo tamanho ou pela velocidade da memória. Um modelo que cabe em 24 GB numa 4090 cabe numa 4090D, e gerar tokens a partir dele é limitado pelos mesmos 1.008 GB/s. A codificação de vídeo usa o mesmo par de motores NVENC. O driver, CUDA, PyTorch, Blender e todas as outras ferramentas a tratam como uma GPU GeForce Ada Lovelace.
Trabalho limitado pela taxa de transferência dos shaders: grandes lotes de treinamento, renderização com Cycles e OptiX, processamento de prompts em entradas longas. A 4090D tem 11% menos núcleos CUDA no mesmo clock de boost de 2,52 GHz, então espere que ela fique atrás de uma 4090 por até essa margem nesses trabalhos. A energia da placa é de 425 W contra 450 W.
As configurações
Estas são as duas GPUs GeForce RTX 40 que nosso catálogo de pedidos instala em servidores rack. A RTX 4090D é a opção de 24 GB e pode ser empilhada em uma máquina. A RTX 4070 tem 12 GB e o mesmo codificador AV1 de 8ª geração, para trabalhos que não precisam de mais memória.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Cada preço é a máquina mais barata que aceita aquela GPU, conforme o configurador a abre, e o botão abre essa máquina com a GPU já selecionada. Outros processadores, mais memória, discos maiores, uma porta mais rápida e mais GPUs são precificados lá. As configurações em Bucareste são faturadas em euros; o configurador troca a moeda quando você escolhe a cidade.
Dimensionamento
Dimensione a inferência primeiro pela memória. Os pesos ocupam parâmetros vezes bytes por parâmetro, e as GPUs precisam de um quarto a metade a mais para o cache KV e o runtime. A tabela aplica essa regra à RTX 4070, a uma RTX 4090D e a várias numa só máquina, que o llama.cpp e o vLLM dividem entre si.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
As GPUs GeForce RTX 40 não têm conector NVLink, por isso várias 4090D num servidor comunicam por PCIe. Dividir um modelo entre elas para inferência funciona por essa ligação. O treino que troca gradientes a cada passo ganha menos com cada GPU adicional do que ganharia em GPUs ligadas por NVLink.
Um modelo que precise de um único espaço de memória grande, ou de memória ECC, pertence a uma GPU de computação ou workstation com 48 ou 80 GB. Essas estão em todas as GPUs que instalamos. Para um plano modelo a modelo, veja servidores LLM.
Plataformas
Ambas as GPUs têm uma interface PCIe 4.0 x16. As máquinas Intel Xeon funcionam a PCIe 3.0, o que reduz para metade a largura de banda para o host. A máquina AMD EPYC dá a cada GPU uma ligação PCIe 4.0 completa. Quando os pesos ou uma cena estão na memória da GPU, a ligação pouco importa; importa para ciclos de treino que fazem streaming de dados da memória do sistema e para dividir um modelo entre GPUs.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Os preços das máquinas são a configuração mais barata de cada linha sem GPU. Os servidores RTX 40 podem ser encomendados em New York, Miami, San Francisco and Bucharest. As máquinas de Amesterdão não são oferecidas com estas GPUs. Cada edifício está descrito em centros de dados.
Cargas de trabalho
Uma RTX 4090D serve um modelo de 13B a 8 bits com espaço para contexto, ou um modelo de 30B a 4 bits com um curto. Execute Ollama, llama.cpp ou vLLM atrás da sua própria API; os prompts e os resultados ficam na sua máquina.
Os núcleos RT de 3.ª geração aceleram o Blender Cycles através do OptiX, bem como o Unreal Engine e o V-Ray. Um servidor GPU de ray tracing por um preço mensal fixo renderiza durante a noite sem um contador por hora a correr.
A 4090D traz dois motores NVENC de 8.ª geração e um NVDEC. Ambas as GPUs codificam AV1 em hardware, o que a série RTX 30 não consegue, por isso um pipeline em direto pode servir AV1 ao lado de H.264.
O driver GeForce executa DirectX, Vulkan e OpenGL como um computador de secretária. Instale Windows ou Linux e execute um anfitrião de cloud gaming, uma workstation transmitida ou um servidor de jogos com uma GPU dedicada.
Entrega e condições
Está instalada e é entregue. Servidores instantâneos mostra o que está no rack hoje.
Um técnico instala a GPU na máquina que configurou, monta o array de discos e instala o sistema operativo. Memória ou discos adicionais são colocados na mesma visita.
Encomendamos a peça e depois montamos como acima. É informado de qual o caso aplicável antes de pagar.
Cada prazo começa quando o pagamento e a revisão de fraude forem aprovados. A maioria das encomendas é aprovada em poucas horas; uma primeira encomenda numa conta nova pode demorar mais.
Os proprietários também listam máquinas RTX 40 no nosso marketplace, cada uma por um preço mensal definido pelo proprietário. Um anúncio da nossa empresa irmã, Primcast, é alugado em primcast.com.
Especificações
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Valores das GPUs da comparação da série GeForce RTX 40 da NVIDIA, da sua matriz de suporte de codificação e descodificação de vídeo e da especificação de lançamento publicada da RTX 4090D. Os preços, máquinas, cidades e contagens por máquina são lidos do nosso catálogo de encomendas, aquele a partir do qual o checkout fatura.
Respostas
Um servidor completo com uma RTX 4090D começa em $372.47 por mês. Isso é a GPU a $299 mais a máquina mais barata que a aceita: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Cada GPU extra acrescenta a sua própria linha mensal, e uma GPU instalada sob encomenda acrescenta uma configuração única de $29.
É a RTX 4090D. Tem os 24 GB de GDDR6X da RTX 4090, 1.008 GB/s de largura de banda, clock de boost de 2,52 GHz e dois codificadores AV1, com 14.592 núcleos CUDA em vez de 16.384. Dizemos isso aqui para que ninguém descubra depois de pagar.
No máximo cerca de 11% em trabalhos limitados pela capacidade de processamento dos shaders, como renderização e treinamento, porque essa é a parcela de núcleos CUDA que lhe falta no mesmo clock. Em trabalhos limitados pelo tamanho ou largura de banda da memória, como geração de tokens em LLM, as duas devem ter desempenho semelhante.
Sim. Uma máquina aceita até 4 delas, 96 GB de memória de GPU no total, e o configurador mostra o máximo que cada máquina aceita. As GPUs se conectam por PCIe, já que as GPUs GeForce RTX 40 não têm NVLink.
Bare metal. A máquina é alugada para uma conta e a GPU é passada diretamente para o seu sistema operacional: sem hipervisor, sem fatia de vGPU, sem compartilhamento de tempo. Você instala o driver NVIDIA e a versão do CUDA que escolher.
A cobrança por hora se aplica a uma máquina já montada em rack e alugada como está, então depende do que a página de servidores instantâneos listar naquele dia. Uma GPU instalada em uma máquina que você configurou é cobrada por mês, sem contrato.
Sim. Seus núcleos RT de 3ª geração aceleram o ray tracing no Blender Cycles com OptiX, Unreal Engine, V-Ray e outros renderizadores, e 24 GB comportam cenas grandes. Com um preço mensal fixo, renders longos custam o mesmo que renders curtos.
Cerca de 30 minutos após a aprovação quando uma máquina com a GPU já está montada em rack. Quando instalamos uma GPU do estoque, de 4 a 24 horas; quando a GPU precisa ser comprada, de 5 a 10 dias úteis, e você é informado disso antes de pagar.
Em New York, Miami, San Francisco and Bucharest, na rede própria da Server Room. Máquinas em Amsterdã não são oferecidas com essas GPUs.
O servidor RTX 4070 começa em $262.67 por mês completo, sendo $179 disso a GPU. Ele tem 12 GB de GDDR6X e um codificador AV1, e uma máquina aceita até 4.
Escolha quantas GPUs e depois o processador, a memória, os discos e a cidade. O configurador reprecifica cada alteração conforme você a faz.
Todas as GPUs que instalamos · Servidores RTX 30 · Servidores RTX 50 · Montados agora