Hosting LLM su un server AI dedicato Il tuo modello, la tua macchina, un'unica bolletta mensile.

Un server AI dedicato è una macchina fisica noleggiata a un solo cliente per eseguire modelli AI, con accesso root e nessun altro inquilino sull'hardware. I nostri sono disponibili come macchine CPU con 128 GB di memoria per modelli quantizzati e come server GPU per modelli più grandi e fine-tuning. Tu scegli il sistema operativo e il software; noi gestiamo l'hardware e la rete.

Su un server dedicato è una cifra mensile, non un conto per token. La macchina CPU per inferenza è $249 a month, un server completo con GPU da 48 GB è $532.67 a month, e la configurazione con GPU da 80 GB è $972.47 a month. Il traffico è illimitato e il termine è mensile, senza contratto.

Sì, per modelli quantizzati fino a circa 14 miliardi di parametri. Un modello da 7-8B a 4 bit richiede circa 5 GB e gira dalla memoria di sistema con llama.cpp o Ollama, sufficiente per un assistente di team, retrieval ed embedding. Non servirà un 70B a molti utenti contemporaneamente; quello è lavoro da GPU.

I pesi di un modello da 70B sono circa 38 GB a 4 bit e 70 GB a 8 bit, prima del runtime e del contesto. Il Llama 3.1 70B a 4 bit predefinito di Ollama è un download da 43 GB, quindi la collocazione comoda su una sola macchina è la GPU da 80 GB. Una GPU da 48 GB carica un 70B a 4 bit con poco margine, e a 8 o 16 bit servono più GPU, che è la pagina multi-GPU.

Qualsiasi modello di cui ti è consentito detenere i pesi: Llama, Qwen, Mistral, Gemma, DeepSeek e i loro fine-tune. La licenza è tra te e l'editore. Noi non ispezioniamo né limitiamo ciò che carichi.

No. La macchina è solo tua, con il tuo sistema operativo sui tuoi dischi, e nulla di nostro legge i prompt, il contesto o gli output. Noi gestiamo l'hardware e la rete, mai il carico di lavoro.

Fine-tuning, sì. Gli adattatori LoRA e QLoRA si addestrano su una GPU, e l'articolo su QLoRA ha fatto fine-tuning di un modello da 65B su una singola GPU da 48 GB. Pre-addestrare un modello da zero richiede molte GPU su molte macchine, che è una questione per la pagina multi-GPU.

Circa 30 minuti dopo l'approvazione del pagamento quando la macchina è già montata in rack, e da 4 a 24 ore quando viene costruita su ordinazione. Un componente acquistato per il tuo ordine richiede più tempo e può comportare un anticipo o un termine minimo, e ti viene comunicato prima di pagare.

Nessun account di prova. La politica di rimborso si applica entro tre giorni di calendario dalla prima attivazione, e i pagamenti in criptovaluta vengono rimborsati come credito del negozio. Il modo più economico per testare è un mese sulla macchina CPU.

Passi a quella successiva, di solito nello stesso edificio. Una macchina CPU trasferisce i suoi file di modello a un server GPU tramite la rete locale, oppure la GPU nello chassis che già noleggi viene sostituita e la fattura cambia della differenza.