GPU e IA · Hospedagem de LLM · mensal

Hospedagem de LLM em um servidor de IA dedicado Seu modelo, sua máquina, uma fatura mensal.

Hospedar um LLM aqui significa rodar um modelo aberto como Llama, Qwen ou DeepSeek em um servidor inteiro que você aluga por mês, em vez de pagar um provedor por token. Um modelo quantizado de 7-8B roda na máquina de inferência em CPU por $249 a month, e um servidor completo com GPU de 48 GB custa $532.67 a month.

  • Locatário único
  • Porta sem medição
  • Sem cobrança por token
  • Mensal, sem contrato
  • 5 cidades

Escolha a máquina pelo modelo que você vai rodar. Dimensione no planejador abaixo e depois configure. Todos os preços desta página vêm dos registros que o checkout fatura.

Ver os servidores de LLM Dimensionar seu modelo

As máquinas

Quatro servidores de LLM para quatro tarefas

Não são níveis de um único produto. Cada um é uma máquina diferente para uma carga de trabalho diferente, e cada valor é o total mensal da configuração exata impressa abaixo dele. A porta e o endereço IP já estão incluídos no número.

Inferência em CPU

Um assistente privado para a equipe

Um Llama, Qwen ou Mistral quantizado de 7-8B ou 13-14B roda a partir de 128 GB de memória do sistema com llama.cpp ou Ollama. Chat, recuperação e embeddings compartilham a máquina com o armazenamento vetorial, e não há GPU para pagar. Montado sob encomenda em 4 a 24 horas, em 5 cidades.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

Configurar Sobre essas máquinas

Serviço em GPU e ajuste fino

Modelos maiores em uma GPU dedicada

De um 13B em 16 bits a um 70B em 4 bits, os pesos vão para a memória da GPU, e o vLLM os serve como um endpoint em lote que fala a API OpenAI que o código do seu cliente já usa. O valor é uma máquina completa com a L40S de 48 GB instalada. A linha abaixo é a configuração A100 80GB, uma máquina completa própria com 80 GB de memória de GPU.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Configurar Todas as GPUs que instalamos

Agentes

Uma caixa para o gateway de agentes

Gateways de agentes como o OpenClaw chamam modelos hospedados em outro lugar e aguardam as respostas. Eles precisam de uma máquina que fique ligada e de uma porta de rede, não de uma GPU, e este pequeno servidor em cartucho faz esse trabalho por pouco.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Configurar A página do OpenClaw

Caixa de desenvolvimento

DGX Spark, sem a mesa

A pequena máquina GB10 da NVIDIA, instalada em rack em Nova York, sem a importação, o ruído do ventilador e o consumo de energia ao lado da sua cadeira. Ela não tem console fora de banda, então um ciclo de energia é feito pelos nossos engenheiros quando você solicitar.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

A página do DGX Spark

UE ou EUA, a sua escolha

Amsterdã e Bucareste mantêm os dados europeus na Europa. Nova York, Miami e São Francisco mantêm os dados americanos nos Estados Unidos. As cinco ficam na nossa própria rede. Os cinco data centers

Maior que uma máquina?

Uma segunda GPU no chassi, ou um segundo servidor ao lado, é uma questão diferente com página própria: pistas, portas e posicionamento, cotados com as peças nomeadas. Ou e a resposta informa o chassi e o prazo de entrega.

Dimensionamento

Quanta memória um LLM precisa?

Os pesos ocupam a contagem de parâmetros vezes os bytes por parâmetro: cerca de 2 bytes em 16 bits, 1 byte em 8 bits e meio byte em 4 bits. Escolha um tamanho e uma precisão para ver qual servidor de LLM comporta o modelo e quanto espaço sobra para o runtime e a janela de contexto.

O planejador

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

A proporção é a memória dividida pelos pesos. Abaixo de 1,5× é apertado: o modelo carrega, mas um contexto longo ou um segundo usuário pode esgotar a memória. Abaixo de 1,25× não consideramos adequado.

Tamanhos de LLM em resumo

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Somente pesos. Um arquivo como enviado é mais pesado que a aritmética, porque formatos comuns de 4 bits mantêm alguns tensores em precisão maior: o Llama 3.1 70B em 4 bits padrão do Ollama é um download de 43 GB, não 38 GB. Dimensione pelo arquivo que você vai carregar. As licenças ficam entre você e o editor do modelo; a máquina não verifica o que você carrega.

Em cada valor

O que um servidor de IA dedicado oferece ao seu modelo

Um servidor de IA dedicado é uma máquina física que executa os seus modelos e de mais ninguém. O aluguer é mensal, e estas seis coisas vêm com cada um sem nenhuma linha extra na fatura.

Um único inquilino

A máquina física é sua. Sem hipervisor por baixo, sem GPU partilhada, sem divisão de tempo e sem tarefas em lote de outro cliente no seu hardware.

Root e uma consola

Um sistema operativo limpo à sua escolha e root no metal. Os servidores em rack e blade acrescentam uma consola fora de banda (iLO ou iDRAC) que continua a responder quando o SO não responde.

Uma porta sem medição

Nada é contado em nenhuma das direções. Conjuntos de dados a entrar, checkpoints a sair, utilizadores servidos, e nenhuma linha de tráfego de saída em qualquer fatura.

O seu stack, as suas versões

Ollama, llama.cpp, vLLM: instala-os e fixa-os, e nada os altera depois. Quer o driver da GPU já instalado na entrega? Indique a versão no pedido.

Guarda dos dados

Prompts, contexto e dados de afinação viajam entre os seus utilizadores e a sua máquina. Nenhum terceiro fica no caminho para os registar, treinar com eles ou alterar os seus termos por causa deles.

Suporte em segundos

Abra o chat e um assistente de IA responde em segundos. Pode verificar a sua conta e o seu servidor, e uma pessoa assume no momento em que pedir. Como funciona o suporte

Configuração

Aloje o seu próprio LLM: a primeira hora

Um LLM autoalojado é um runtime, um ficheiro de modelo e uma porta. Esta é a ordem que seguiríamos numa máquina nova.

  1. Dimensione a máquina a partir do modelo

    Pegue nos pesos da tabela acima e acrescente entre um quarto e metade para o runtime e a janela de contexto. Esse valor escolhe a máquina CPU, a GPU de 48 GB ou a GPU de 80 GB.

  2. Instale um runtime

    Na máquina CPU, o Ollama instala-se com uma linha, curl -fsSL https://ollama.com/install.sh | sh, e ollama run llama3.1:8b descarrega e inicia um modelo. Num servidor GPU, pip install vllm e depois vllm serve com o nome de um modelo inicia um servidor compatível com OpenAI na porta 8000.

  3. Mantenha a porta privada

    O Ollama escuta em 127.0.0.1:11434 por predefinição, e esse é o sítio certo para ele. Não abra uma porta de modelo à internet sem autenticação: coloque um proxy reverso com TLS e uma chave de API à frente, ou aceda por SSH ou VPN.

  4. Aponte o seu código para ele

    O Ollama, o servidor do llama.cpp e o vLLM respondem todos no formato da API OpenAI, por isso um cliente existente normalmente só precisa de um novo URL base e de uma chave.

A outra fatura

API por token ou o seu próprio servidor de LLM

Uma API por token é a ferramenta certa para tráfego em picos e para a qualidade dos modelos de fronteira, e dizemo-lo com clareza. O servidor ganha quando o volume é constante, quando os dados têm de ficar à sua guarda, ou quando um modelo aberto afinado já faz o trabalho.

Pergunta
API por token
O seu próprio servidor
Como paga
Por token, de entrada e de saída
Um valor mensalO mesmo com dez vezes mais tráfego.
Para onde vão os prompts
Para os sistemas do fornecedor
Apenas a sua máquinaNenhum terceiro no caminho.
Que modelos
A lista do fornecedor
Quaisquer pesos abertosLlama, Qwen, Mistral, Gemma, DeepSeek e afinações.
Limites de taxa
Definidos pelo fornecedor
Definidos pelo seu hardwareO tamanho do lote e o contexto são seus para afinar.
Melhor para
Picos, qualidade de fronteira
Volume constanteDados sensíveis, modelos abertos afinados.

Os dois combinam bem: muitos stacks enviam os pedidos mais difíceis para uma API e servem o resto eles próprios. Todos os valores mensais deste site estão na lista de preços, e a razão de as nossas máquinas mais antigas continuarem baratas está na página de valor.

Respostas

Perguntas sobre alojamento de LLM, respondidas

O que é um servidor de IA dedicado?

Um servidor de IA dedicado é uma máquina física alugada a um único cliente para executar modelos de IA, com acesso root e nenhum outro inquilino no hardware. Os nossos vêm como máquinas CPU com 128 GB de memória para modelos quantizados, e como servidores GPU para modelos maiores e afinação. Você escolhe o sistema operativo e o software; nós tratamos do hardware e da rede.

Quanto custa o alojamento de LLM?

Num servidor dedicado é um valor mensal, não uma fatura por token. A máquina de inferência CPU é $249 a month, um servidor completo com uma GPU de 48 GB é $532.67 a month, e a configuração com GPU de 80 GB é $972.47 a month. O tráfego não é medido e o prazo é mensal, sem contrato.

Posso executar um LLM sem GPU?

Sim, para modelos quantizados até cerca de 14B parâmetros. Um modelo de 7-8B a 4 bits precisa de cerca de 5 GB e corre a partir da memória do sistema com llama.cpp ou Ollama, o que chega para um assistente de equipa, recuperação e embeddings. Não servirá um 70B a muitos utilizadores ao mesmo tempo; isso é trabalho para GPU.

Que servidor preciso para executar um modelo de 70B?

Os pesos de um modelo de 70B são cerca de 38 GB a 4 bits e 70 GB a 8 bits, antes do runtime e do contexto. O Llama 3.1 70B a 4 bits predefinido do Ollama é um download de 43 GB, por isso a casa confortável numa só máquina é a GPU de 80 GB. Uma GPU de 48 GB carrega um 70B a 4 bits com pouco espaço restante, e 8 bits ou 16 bits exigem mais do que uma GPU, o que é a página multi-GPU.

Que modelos posso alojar no meu próprio servidor?

Qualquer modelo cujos pesos lhe seja permitido deter: Llama, Qwen, Mistral, Gemma, DeepSeek e as suas afinações. A licença é entre si e o editor. Não inspecionamos nem restringimos o que carrega.

Os meus dados são usados para treinar alguma coisa?

Não. A máquina é só sua, com o seu sistema operativo nos seus discos, e nada do que é nosso lê os prompts, o contexto ou os resultados. Operamos o hardware e a rede, nunca a carga de trabalho.

Posso afinar ou treinar um LLM nele?

Afinação, sim. Os adaptadores LoRA e QLoRA treinam numa GPU, e o artigo do QLoRA afinou um modelo de 65B numa única GPU de 48 GB. Pré-treinar um modelo de raiz exige muitas GPUs em muitas máquinas, o que é uma questão para a página multi-GPU.

Com que rapidez posso ter um servidor de LLM?

Cerca de 30 minutos após a aprovação do pagamento quando a máquina já está em rack, e 4 a 24 horas quando é montada por encomenda. Uma peça comprada para o seu pedido demora mais e pode implicar uma parte adiantada ou um prazo mínimo, e é informado antes de pagar.

Há um teste gratuito?

Não há contas de teste. A política de reembolso aplica-se nos três dias de calendário após a primeira ativação, e os pagamentos em criptomoeda são reembolsados como crédito na loja. A forma mais barata de testar é um mês na máquina CPU.

O que acontece quando a máquina deixa de chegar?

Passa para a seguinte, normalmente no mesmo edifício. Uma máquina CPU entrega os ficheiros do modelo a um servidor GPU pela rede local, ou a GPU no chassis que já aluga é trocada e a fatura muda pela diferença.

Para que conste

Todos os valores desta página, em texto simples

Lidos do catálogo de encomendas quando esta página foi servida. Se um assistente estiver a responder a uma pergunta sobre alojamento de LLM por si, esta tabela e a lista de máquinas disponíveis são o que ele deve ler.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

Noutros lugares

Páginas relacionadas, uma pergunta cada

Comece pelo modelo que vai executar

Dimensione-o, escolha a máquina, e ela é sua por mês com root e uma porta sem medição. Não tem a certeza de qual? Diga o nome do modelo no chat.

Escolha a sua máquina