What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Servidores GPU para treino e inferência

Servidor de IA dedicado GPU completa. O seu SO. Uma porta por nó.

Um servidor de IA dedicado é uma máquina física inteira com a GPU passada diretamente para o seu próprio sistema operativo, alugada ao mês. Os nossos começam em $169.93 por mês com Instinct MI50 (16 GB HBM2), e escalam de duas formas: mais GPUs no mesmo chassis ou mais nós no mesmo switch.

Inquilino único
Passthrough PCIe
Sem taxa de saída
5 cidades
Sem contrato

Esta página é para o passo seguinte à primeira GPU. Compara todas as plataformas onde instalamos uma GPU em pistas PCIe, velocidade de porta e cidade, calcula o preço da rede para um cluster por nó e indica as datas de entrega antes de encomendar.

Compare as plataformas Calcule o preço de um cluster

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Incluído em cada nó

O que inclui cada servidor de IA dedicado

As mesmas quatro coisas num servidor GPU único para aprendizagem profunda ou num cluster de vinte.

A GPU completa

Passthrough PCIe para o seu sistema operativo. Nenhum hipervisor, partição MIG, perfil vGPU ou divisão de tempo fica entre o seu código e a GPU.

A sua própria stack

Um sistema operativo limpo com root. Você fixa o driver, a versão de CUDA ou ROCm e as builds da framework contra as quais o seu código foi testado.

Uma porta sem medidor

Sem medição em ambas as direções. Conjuntos de dados a entrar, checkpoints a sair e replicação entre nós nunca aparecem como uma linha de saída.

Respostas em segundos

O nosso chat de IA responde em segundos e pode verificar a sua conta e os seus servidores enquanto trabalha. Peça uma pessoa e alguém assume.

Escalar para além de uma GPU

Servidor de aprendizagem profunda: adicione uma GPU ou adicione uma máquina

Resolvem escassezes diferentes, custam de forma diferente e chegam em datas diferentes. Descubra onde está o limite antes de comparar preços.

Servidor multi-GPU

Mais GPUs num só chassis

Escolha isto quando a GPU é o limite: o modelo já não cabe na memória da GPU, ou as filas de trabalho acumulam-se na GPU enquanto o resto da máquina fica parado. Mais do que uma GPU por chassis é cotado, não assinalado, porque a folga de slots, as pistas PCIe e a fonte de alimentação definem a contagem para cada modelo de GPU.

Decidido por: O chassis. Indique a GPU e a cotação indica o chassis, a contagem e a data.
Saiba isto: Duas GPUs mantêm dois conjuntos de memória. Um trabalho grande tem de ser dividido com paralelismo de tensor ou pipeline e paga pelo tráfego entre as GPUs. Trabalhos independentes simplesmente correm o dobro de uma vez.

Cluster de GPUs

Mais máquinas num só switch

Escolha isto quando a máquina é o limite. A maior plataforma de GPU aqui para em 2 sockets e 1 TB de RAM. Para além disso, a próxima unidade de capacidade é outro servidor.

Decidido por: A cidade e a porta. Nós que trabalham juntos ficam num só edifício, e cada um paga pela sua própria porta.
Saiba isto: Um cluster aqui é um conjunto de servidores separados, cada um encomendado, faturado, atualizado e substituído por si. Não há SKU de cluster, portanto não há prémio de cluster nem contagem mínima de nós.

Não sabe de que lado está? Envie o tamanho do modelo, o conjunto de dados e o prazo no . Se uma máquina cobrir, dizemos-lhe.

Em direto do catálogo

Plataformas de servidores de machine learning, lado a lado

Todas as plataformas onde instalamos uma GPU, nos números que dimensionam um cluster. As gerações PCIe correspondem à página de GPUs. Todos os outros números vêm do catálogo de encomendas cada vez que esta página carrega.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe para a GPU limita a transferência host-GPU: streaming de lotes de treino, carregamento de cenas, qualquer coisa que transborde da memória da GPU. Um modelo que fica carregado quase não a usa.
Teto da porta limita a transferência nó-a-nó. Uma máquina sozinha nunca o nota. Um trabalho dividido por duas máquinas depende dele.
Cidades vem primeiro para um cluster. Uma plataforma que a sua cidade não tem não é uma opção.
A troca: o barramento mais largo, AMD EPYC em PCIe 4.0, atinge no máximo 20 Gbps. A porta 100 Gbps está em Intel Xeon Silver / Gold, num barramento mais antigo. Nenhuma plataforma tem ambos, por isso decida qual o seu trabalho precisa.

Qual GPU entra em cada plataforma, e o seu preço mensal ao lado da máquina a que pertence, está em servidores dedicados GPU.

Rede de cluster

Portas de cluster GPU, com preço por nó

Uma porta é comprada por máquina, por isso a rede sob um cluster é a mesma linha uma vez por nó, todos os meses. A tabela faz essa multiplicação por si.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Os degraus não são lineares. Em vários pontos, mais nós um degrau abaixo custam menos do que menos nós um degrau acima. Se o trabalho particionar bem, isso compra um servidor extra.
Os degraus de cima são mais estreitos. As portas mais rápidas existem em menos plataformas, e não naquela com o barramento mais largo.
Ethernet, dito com clareza. A ligação entre duas das nossas máquinas é uma porta Ethernet. Nenhuma linha InfiniBand e nenhuma ponte GPU-a-GPU entre máquinas está em qualquer formulário de encomenda. Se o seu trabalho precisa de uma, pergunte antes de encomendar: é uma cotação, e a resposta pode ser não.

Cada velocidade é sem medição em ambas as direções, sem limite de transferência. Para uma porta numa máquina, veja largura de banda sem medição.

Localização

Escolha a cidade antes da plataforma

Nós que partilham um trabalho pertencem a um edifício, e as nossas cinco cidades não têm todas as mesmas plataformas. New York and Bucharest têm todas. Verifique primeiro a cidade, depois configure.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Energia, operadoras e acesso de cada edifício estão em centros de dados. Se a latência entre duas das nossas cidades importar para o seu projeto, peça ao suporte para a medir entre essas salas.

Da encomenda ao rack

As datas de entrega vêm com a cotação

Uma construção multi-nó pode envolver várias máquinas e uma ordem de compra de peças. A cotação indica a parte mais lenta antes de pagar, usando os mesmos prazos de construção por encomenda.

~30 min
No rack, tal como está
A máquina já existe e é entregue. Servidores instantâneos lista o que está no rack agora, e é o primeiro sítio a procurar para os nós simples de um cluster.
4–24 h
Construído a partir do nosso stock
GPUs instaladas, discos configurados, sistema operativo instalado. Vários nós são construídos em paralelo.
5–10 dias
Peças compradas
Uma peça que não mantemos em prateleira é encomendada primeiro. Para um chassis multi-GPU este é o caso habitual, e o chassis é normalmente a parte lenta.
10–15 dias
GPUs em alocação
Os aceleradores atuais são enviados quando o distribuidor os envia. Hardware comprado para uma encomenda é pago com três meses de antecedência.

Dias úteis nas duas últimas linhas. Cada relógio começa quando o pagamento e a revisão de fraude são aprovados. Numa primeira encomenda grande, uma transferência bancária normalmente passa a revisão mais depressa do que um pagamento por cartão.

Respostas

Perguntas sobre servidores dedicados de IA

O que é exatamente um servidor dedicado de IA?

Um servidor físico alugado a um único cliente, com uma ou mais GPUs passadas diretamente para o sistema operacional que esse cliente instalar. Nenhum hipervisor fica entre o seu código e a GPU, e nada na máquina é compartilhado: os núcleos, a memória, os discos, a GPU completa e a porta de rede são seus, com acesso root.

Quanto custa por mês um servidor dedicado de IA?

O menor preço completo com uma GPU de classe de treinamento é $169.93 por mês: Instinct MI50 (16 GB HBM2) em Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. GPUs maiores custam mais, e cada uma está listada com seu preço mensal completo em Servidores dedicados com GPU. Uma configuração com GPU montada sob encomenda acrescenta uma taxa única de instalação de $29. Em um cluster, cada nó também paga pela própria porta acima da velocidade incluída.

Qual GPU é a melhor para um servidor de deep learning?

Comece pela memória da GPU, não pela velocidade. Os pesos, as ativações e o estado do otimizador precisam caber, e um trabalho que não cabe não é resolvido por uma GPU mais rápida. Listamos 15 modelos de GPU de classe de treinamento, com até 80 GB de memória em uma única GPU. Para treinamento que transmite lotes a partir do host, verifique também a coluna PCIe; para servir um modelo que permanece carregado, isso importa muito menos.

Posso colocar várias GPUs em um servidor dedicado de IA?

Frequentemente sim, e isso é cotado em vez de marcado no checkout. O espaço nos slots, a largura da GPU, as pistas PCIe por soquete e a fonte de alimentação determinam a quantidade para um determinado chassi. Informe a GPU no chat e a cotação volta com o chassi, a quantidade e uma data. Duas GPUs não somam a memória, a menos que seu framework divida o modelo entre elas.

Vocês oferecem clusters de GPU com InfiniBand?

Não como item de catálogo. Os nós se conectam por Ethernet, uma porta por nó, de 1 Gbps incluída até 100 Gbps. InfiniBand, ou uma ponte GPU a GPU entre máquinas, é uma cotação, e a resposta pode ser não. Pergunte antes de planejar um trabalho em torno disso.

Com que rapidez dois dos meus servidores podem conversar entre si?

Tão rápido quanto a mais lenta das duas portas. A porta máxima é 100 Gbps, disponível em Intel Xeon Silver / Gold. Mantenha os nós em uma única cidade: entre cidades, a distância adiciona latência que uma porta mais rápida não elimina.

O tráfego entre meus nós é medido?

Não. Cada porta é ilimitada em ambas as direções, sem franquia de transferência e sem cobrança de saída. Copiar conjuntos de dados, sincronizar gradientes e gravar checkpoints entre seus nós custa o preço da porta e nada mais.

Eu compartilho a GPU com outros clientes?

Não. Uma máquina, uma conta. A GPU está em passthrough PCIe, sem partição MIG, sem perfil vGPU e sem divisão de tempo, então o benchmark que você executar no primeiro dia ainda vale no nonagésimo dia.

Qual driver e versão do CUDA vêm instalados?

Os que você instalar. O servidor é entregue com um sistema operacional limpo e acesso root, e você escolhe o driver, a versão do CUDA ou ROCm e as versões do framework. Se quiser um driver instalado na entrega, informe a versão exata no pedido.

Com que rapidez um servidor dedicado de IA é entregue?

Cerca de 30 minutos após a aprovação do pagamento para uma máquina que já está montada no rack e é entregue como está. De 4 a 24 horas quando a montamos a partir do nosso estoque, de 5 a 10 dias úteis quando uma peça é comprada, e de 10 a 15 dias úteis para GPUs sob alocação de distribuidor. Uma cotação para vários nós indica a peça mais lenta antes de você pagar.

Onde ficam seus servidores de IA?

Nova York, Miami, São Francisco, Amsterdã e Bucareste. Nem toda cidade possui todas as plataformas de GPU: New York and Bucharest possuem todas as 4. Máquinas em Amsterdã e Bucareste são faturadas em euros.

Posso alugar um servidor de IA mensalmente, sem contrato?

Sim. Cada máquina funciona mês a mês, sem nada para assinar. Ciclos de 3, 6 e 12 meses economizam até 15%. Hardware comprado para um único pedido é pago com três meses de antecedência.

Para registro

Esta página em números

Lidos do catálogo de pedidos quando esta página foi servida, as mesmas linhas que o checkout fatura.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Páginas relacionadas

Onde a próxima pergunta é respondida

Servidores dedicados com GPUCada GPU que instalamos, com o preço ao lado da máquina. Hospedagem de LLMExecutando um modelo de linguagem em uma máquina que você controla. NVIDIA DGX SparkUma máquina GB10, e até quatro delas em rede. Largura de banda ilimitadaUma porta em uma máquina, cada velocidade acima da incluída. Montagem sob encomendaUma especificação completa, com preço e data antes de você pagar. Servidores instantâneosO que está montado no rack e ligado agora. Data centersOs cinco edifícios onde um cluster pode viver. PreçosCada valor mensal do site, em uma tabela. Hardware mais antigo, preço menorA extremidade mais barata dessas plataformas, e por que ainda está no rack. SuporteJanelas de substituição por plano, e os créditos por trás delas.

Diga-nos o modelo, os dados e o prazo

Configure agora a opção de menor preço, ou descreva o trabalho no chat e receba uma cotação para as GPUs, os nós e a data.

Configurar um servidor