Servidores dedicados com GPU · NVIDIA Ampere · por mês
Os nossos servidores com RTX 3090, 3080, 3070 são máquinas bare-metal alugadas por mês, com a GPU completa passada para o seu próprio sistema operativo. Escolha uma das cinco GPUs RTX 30 com 8 a 24 GB de memória, numa máquina Intel Xeon ou AMD EPYC, a partir de $209.93 por mês, tudo incluído.
O preço de cada GPU abaixo é o do servidor completo: processador, memória, discos, a porta e um endereço IPv4, mais a mensalidade da própria GPU. Escolha a GPU pela memória que o seu trabalho exige e altere tudo o resto no configurador.
As cinco GPUs
As cinco partilham a arquitetura Ampere, o driver e o conjunto de funcionalidades: núcleos Tensor de 3.ª geração, núcleos RT de 2.ª geração, PCIe 4.0. O que as distingue é o tamanho e a largura de banda da memória. Comece pela memória de que precisa e pare na primeira GPU que a comporta.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Cada preço é o da máquina mais barata que aceita essa GPU, tal como o configurador a abre. O botão abre essa máquina com a GPU já selecionada; outros processadores, mais memória, discos maiores e uma porta mais rápida são cotados aí. As configurações em Bucareste são faturadas em euros, e o configurador mostra esse preço quando escolhe a cidade.
Dimensionamento
Para inferência, a primeira questão é memória, não velocidade. Os pesos de um modelo ocupam parâmetros vezes bytes por parâmetro, e a GPU precisa de um quarto a metade a mais para o cache KV e o runtime. A tabela aplica essa regra a cada tamanho de memória nesta página.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
É a RTX 3080 original com 8.704 núcleos CUDA. A NVIDIA vendeu depois uma versão de 12 GB com 8.960 núcleos sob o mesmo nome, e muitos anúncios citam a memória dela. Dimensione contra 10 GB: um modelo 8B em 8 bits carrega com pouco espaço restante para contexto, e um modelo 13B em 8 bits não carrega de todo.
A RTX 3090 é a única GPU RTX 30 com 24 GB. As nossas máquinas Xeon maiores levam até 3 delas, 72 GB no total, que o llama.cpp ou o vLLM podem dividir por um modelo. Duas seguram um modelo 70B em 4 bits, com pouco espaço. Para uma GPU com mais memória, veja todas as GPUs que instalamos; para planos modelo a modelo, servidores LLM.
Plataformas
Cada GPU RTX 30 tem uma interface PCIe 4.0. Nas máquinas Intel Xeon funciona a PCIe 3.0; a máquina AMD EPYC dá à RTX 3080 uma ligação PCIe 4.0 completa. Depois de um modelo ou uma cena estar carregado na memória da GPU, a ligação pouco importa. Importa para ciclos de treino que transmitem lotes da memória do sistema a cada passo.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Os preços das máquinas são a configuração mais barata de cada linha sem GPU. Os servidores RTX 30 podem ser encomendados em New York, Miami, San Francisco and Bucharest. As máquinas de Amesterdão não são oferecidas com estas GPUs. A localização define a latência para os seus utilizadores e a lei de proteção de dados aplicável; centros de dados descreve cada edifício.
Cargas de trabalho
Uma RTX 3090 serve um modelo 13B em 8 bits com espaço para contexto, ou um modelo 30B em 4 bits com um curto, atrás da sua própria API com Ollama, llama.cpp ou vLLM. Nada do que enviar sai da sua máquina.
O Blender Cycles renderiza em CUDA ou OptiX, e os núcleos RT aceleram o ray tracing. Instale o sistema operativo de que o seu renderizador precisa e renderize durante a noite por um preço mensal fixo.
O driver GeForce executa DirectX, Vulkan e OpenGL como um computador de secretária. Execute um servidor de jogos, um anfitrião de cloud gaming ou uma estação de trabalho remota com uma GPU dedicada por trás.
Cada GPU tem um codificador NVENC para H.264 e HEVC e um descodificador NVDEC. A NVIDIA permite até 8 sessões de codificação em simultâneo por sistema em GPUs GeForce, com o driver 550.54.14 ou posterior.
Entrega e condições
Nada para instalar: o servidor está montado e é entregue. Servidores instantâneos lista o que está em rack neste momento.
Um técnico instala a GPU, monta o conjunto de discos e instala o sistema operativo. Memória extra ou outros discos entram durante a mesma visita.
Cada prazo começa assim que o pagamento e a revisão de fraude forem aprovados. A maioria das encomendas é aprovada em algumas horas; uma primeira encomenda numa conta nova pode demorar mais.
Os proprietários também listam máquinas RTX 30 no nosso mercado, cada uma por um preço mensal definido pelo proprietário. As listagens marcadas como provenientes da nossa empresa irmã, Primcast, são alugadas em primcast.com.
Especificações
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Valores da comparação da série GeForce RTX 30 da NVIDIA e da sua matriz de suporte de codificação e descodificação de vídeo. Preços, máquinas, cidades e contagens por máquina são lidos do nosso catálogo de encomendas, aquele que o checkout fatura.
Respostas
Um servidor RTX 3090 completo começa em $309.93 por mês. Isso é a GPU a $239 mais a máquina mais barata que a aceita: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. A configuração RTX 30 mais barata é a RTX 3070 por $209.93. Uma GPU instalada sob encomenda acrescenta uma taxa única de configuração de $29.
A versão de 10 GB, com 8.704 núcleos CUDA e 760 GB/s de largura de banda de memória. Um servidor RTX 3080 completo começa em $229.93 por mês. Se o seu modelo precisar de 12 GB, escolha a RTX 3080 Ti, que tem 12 GB num barramento de 384 bits.
Sim. As nossas máquinas Xeon maiores aceitam até 3 RTX 3090, 72 GB de memória de GPU no total, e o configurador mostra o máximo que cada máquina aceita. Cada GPU é uma linha mensal própria, por isso o preço aumenta conforme o valor da GPU por cada uma que adicionar.
Para inferência e ajuste fino com QLoRA, sim. Os seus 24 GB comportam um modelo de 13B a 8 bits com espaço para contexto, ou um modelo de 30B a 4 bits com um contexto curto. Não tem memória ECC, por isso, para treinos longos sem pontos de verificação, uma GPU de computação é a escolha mais segura.
Cerca de 30 minutos após a aprovação da sua encomenda, quando já existe uma máquina com essa GPU instalada; essas estão listadas na página de servidores instantâneos. Quando instalamos a GPU na máquina que configurou, conte com 4 a 24 horas.
Não. A máquina é alugada a uma única conta e a GPU é passada diretamente para o seu sistema operativo. Não há hipervisor, perfil vGPU nem divisão de tempo, e instala o driver NVIDIA e a versão CUDA que quiser.
Não. As GPUs RTX 30 descodificam AV1, mas codificam apenas H.264 e HEVC, num codificador NVENC por GPU. A codificação de hardware AV1 começa com a série RTX 40.
Em New York, Miami, San Francisco and Bucharest, na rede própria da Server Room. As máquinas que aceitam estas GPUs não são oferecidas com elas em Amesterdão.
Escolha a GPU pela memória e, depois, o processador, a memória, os discos e a cidade. O configurador mostra o preço de cada alteração assim que a faz.
Todas as GPUs que instalamos · O desktop RTX 3050 · Servidores RTX 40 · Disponíveis agora