GPU și AI · găzduire LLM · lunar

Găzduire LLM pe un server AI dedicat Modelul tău, mașina ta, o singură factură lunară.

Găzduirea LLM aici înseamnă rularea unui model deschis precum Llama, Qwen sau DeepSeek pe un server întreg pe care îl închiriezi lunar, în loc să plătești un furnizor per token. Un model cuantizat de 7-8B rulează pe mașina de inferență CPU la $249 a month, iar un server complet cu un GPU de 48 GB este $532.67 a month.

  • Un singur chiriaș
  • Port nemăsurat
  • Fără factură per token
  • Lunar, fără contract
  • 5 orașe

Alege mașina în funcție de modelul pe care îl vei rula. Dimensionează-l în planificatorul de mai jos, apoi configurează-l. Fiecare preț de pe această pagină provine din înregistrările pe care le facturează checkout-ul.

Vezi serverele LLM Dimensionează-ți modelul

Mașinile

Patru servere LLM pentru patru sarcini

Acestea nu sunt niveluri ale unui singur produs. Fiecare este o mașină diferită pentru o sarcină diferită, iar fiecare cifră este totalul lunar al configurației exacte tipărite sub ea. Portul și adresa IP sunt deja incluse în număr.

Inferență CPU

Un asistent privat pentru echipă

Un Llama, Qwen sau Mistral cuantizat de 7-8B sau 13-14B rulează din 128 GB de memorie de sistem cu llama.cpp sau Ollama. Chat-ul, regăsirea și înglobările împart mașina cu stocarea vectorială și nu există niciun GPU de plătit. Construit la comandă în 4 până la 24 de ore, în 5 orașe.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

Configurează-l Despre aceste mașini

Servire GPU și ajustare fină

Modele mai mari pe un GPU dedicat

De la un 13B pe 16 biți la un 70B pe 4 biți, ponderile se mută în memoria GPU, iar vLLM le servește ca un endpoint în loturi care vorbește API-ul OpenAI pe care codul tău client îl folosește deja. Cifra este o mașină completă cu L40S de 48 GB instalat. Linia de sub ea este configurația A100 80GB, o mașină completă de sine stătătoare cu 80 GB de memorie GPU.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Configurează-l Fiecare GPU pe care îl montăm

Agenți

O cutie pentru gateway-ul de agenți

Gateway-urile de agenți precum OpenClaw apelează modele găzduite în altă parte și așteaptă răspunsurile. Au nevoie de o mașină care rămâne pornită și de un port de rețea, nu de un GPU, iar acest server-cartuș mic face treaba asta pe bani puțini.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Configurează-l Pagina OpenClaw

Cutie de dezvoltare

DGX Spark, fără birou

Mașina mică GB10 de la NVIDIA, montată în rack în New York, fără import, fără zgomotul ventilatorului și fără consumul de lângă scaunul tău. Nu are consolă out-of-band, așa că o repornire este făcută de inginerii noștri când o ceri.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

Pagina DGX Spark

UE sau SUA, alegerea ta

Amsterdam și București păstrează datele europene în Europa. New York, Miami și San Francisco păstrează datele americane în Statele Unite. Toate cele cinci sunt pe rețeaua noastră proprie. Cele cinci centre de date

Mai mare decât o singură mașină?

Un al doilea GPU în șasiu sau un al doilea server lângă el este o întrebare diferită, cu propria pagină: benzi, porturi și amplasare, cotate cu piesele numite. Sau , iar răspunsul numește șasiul și termenul de livrare.

Dimensionare

Câtă memorie are nevoie un LLM?

Ponderile ocupă numărul de parametri înmulțit cu octeții per parametru: aproximativ 2 octeți pe 16 biți, 1 octet pe 8 biți și jumătate de octet pe 4 biți. Alege o dimensiune și o precizie pentru a vedea ce server LLM îl susține și cât spațiu rămâne pentru runtime și fereastra de context.

Planificatorul

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Raportul este memoria împărțită la ponderi. Sub 1,5× este strâmt: modelul se încarcă, dar un context lung sau un al doilea utilizator îl poate lăsa fără memorie. Sub 1,25× nu îl considerăm potrivit.

Dimensiuni LLM dintr-o privire

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Doar ponderile. Un fișier așa cum este livrat este mai greu decât aritmetica, deoarece formatele comune pe 4 biți păstrează unii tensori la precizie mai mare: Llama 3.1 70B pe 4 biți implicit de la Ollama este un descărcabil de 43 GB, nu 38 GB. Dimensionează după fișierul pe care îl vei încărca. Licențele sunt între tine și editorul modelului; mașina nu verifică ce încarci.

În fiecare cifră

Ce oferă modelului tău un server AI dedicat

Un server AI dedicat este o mașină fizică ce rulează modelele tale și ale nimănui altcuiva. Închirierea este lunară, iar aceste șase lucruri vin cu fiecare server, fără nicio linie suplimentară pe factură.

Un singur chiriaș

Mașina fizică este a ta. Fără hypervisor dedesubt, fără GPU partajat, fără time-slicing și fără jobul batch al altui client pe hardware-ul tău.

Root și o consolă

Un sistem de operare curat, la alegerea ta, și root pe metal. Serverele rack și blade adaugă o consolă out-of-band (iLO sau iDRAC) care răspunde chiar și atunci când sistemul de operare nu o face.

Un port nemăsurat

Nimic nu este contorizat în nicio direcție. Seturi de date în, checkpoint-uri afară, utilizatori serviți, și nicio linie de trafic pe nicio factură.

Stack-ul tău, versiunile tale

Ollama, llama.cpp, vLLM: le instalezi și le fixezi, iar apoi nimic nu le mai schimbă. Vrei driverul GPU instalat la predare? Pune versiunea pe comandă.

Custodia datelor

Prompturile, contextul și datele de fine-tuning circulă între utilizatorii tăi și mașina ta. Nicio terță parte nu stă în cale ca să le înregistreze, să se antreneze pe ele sau să-și schimbe termenii în jurul lor.

Suport în secunde

Deschide chatul și un asistent AI răspunde în câteva secunde. Poate verifica contul și serverul tău, iar un om preia imediat ce ceri. Cum funcționează suportul

Configurare

Găzduiește-ți propriul LLM: prima oră

Un LLM auto-găzduit înseamnă un runtime, un fișier de model și un port. Iată ordinea în care am proceda noi pe o mașină nouă.

  1. Dimensionează mașina pornind de la model

    Ia greutățile din tabelul de mai sus și adaugă un sfert până la jumătate în plus pentru runtime și fereastra de context. Acea cifră alege mașina CPU, GPU-ul de 48 GB sau GPU-ul de 80 GB.

  2. Instalează un runtime

    Pe mașina CPU, Ollama se instalează cu o singură linie, curl -fsSL https://ollama.com/install.sh | sh, iar ollama run llama3.1:8b descarcă și pornește un model. Pe un server GPU, pip install vllm și apoi vllm serve cu un nume de model pornește un server compatibil OpenAI pe portul 8000.

  3. Ține portul privat

    Ollama ascultă implicit pe 127.0.0.1:11434, iar acesta este locul potrivit pentru el. Nu deschide un port de model către internet fără autentificare: pune în față un reverse proxy cu TLS și o cheie API sau accesează-l prin SSH sau VPN.

  4. Îndreaptă-ți codul către el

    Ollama, serverul llama.cpp și vLLM răspund toate în formatul API OpenAI, așa că un client existent are nevoie de obicei doar de un nou URL de bază și de o cheie.

Cealaltă factură

API per token sau propriul tău server LLM

Un API per token este instrumentul potrivit pentru trafic în rafale și pentru calitatea modelelor de frontieră, și o spunem deschis. Serverul câștigă atunci când volumul este constant, când datele trebuie să rămână în custodia ta sau când un model open reglat fin face deja treaba.

Întrebare
API per token
Propriul tău server
Cum plătești
Per token, intrare și ieșire
O singură sumă lunarăAceeași la un trafic de zece ori mai mare.
Unde merg prompturile
Către sistemele furnizorului
Doar mașina taNicio terță parte în cale.
Ce modele
Lista furnizorului
Orice greutăți openLlama, Qwen, Mistral, Gemma, DeepSeek și fine-tune-uri.
Limite de rată
Stabilite de furnizor
Stabilite de hardware-ul tăuDimensiunea batch-ului și contextul sunt ale tale de reglat.
Cel mai bun pentru
Rafale, calitate de frontieră
Volum constantDate sensibile, modele open reglate fin.

Cele două se combină bine: multe stack-uri trimit cele mai dificile cereri către un API și servesc restul singure. Fiecare sumă lunară de pe acest site este pe lista de prețuri, iar de ce mașinile noastre mai vechi rămân ieftine este pe pagina de valoare.

Răspunsuri

Întrebări despre găzduirea LLM, cu răspunsuri

Ce este un server AI dedicat?

Un server AI dedicat este o mașină fizică închiriată unui singur client pentru a rula modele AI, cu acces root și fără alt chiriaș pe hardware. Ale noastre vin ca mașini CPU cu 128 GB de memorie pentru modele cuantizate și ca servere GPU pentru modele mai mari și fine-tuning. Tu alegi sistemul de operare și software-ul; noi rulăm hardware-ul și rețeaua.

Cât costă găzduirea LLM?

Pe un server dedicat este o singură sumă lunară, nu o factură per token. Mașina de inferență CPU este $249 a month, un server complet cu GPU de 48 GB este $532.67 a month, iar configurația cu GPU de 80 GB este $972.47 a month. Traficul este nemăsurat, iar termenul este lunar, fără contract.

Pot rula un LLM fără GPU?

Da, pentru modele cuantizate de până la aproximativ 14B parametri. Un model de 7-8B pe 4 biți are nevoie de aproximativ 5 GB și rulează din memoria de sistem cu llama.cpp sau Ollama, ceea ce este suficient pentru un asistent de echipă, retrieval și embeddings. Nu va servi un 70B multor utilizatori simultan; aceea este treabă de GPU.

De ce server am nevoie pentru a rula un model de 70B?

Greutățile unui model de 70B sunt de aproximativ 38 GB pe 4 biți și 70 GB pe 8 biți, înainte de runtime și context. Llama 3.1 70B implicit pe 4 biți de la Ollama este o descărcare de 43 GB, așa că locul confortabil pe o singură mașină este GPU-ul de 80 GB. Un GPU de 48 GB încarcă un 70B pe 4 biți cu puțin spațiu rămas, iar pe 8 biți sau 16 biți este nevoie de mai mult de un GPU, ceea ce este pagina multi-GPU.

Ce modele pot găzdui pe propriul meu server?

Orice model ale cărui greutăți ai voie să le deții: Llama, Qwen, Mistral, Gemma, DeepSeek și fine-tune-urile lor. Licența este între tine și editor. Noi nu inspectăm și nu restricționăm ce încarci.

Sunt folosite datele mele pentru a antrena ceva?

Nu. Mașina este doar a ta, cu sistemul tău de operare pe discurile tale, și nimic de-al nostru nu citește prompturile, contextul sau rezultatele. Noi operăm hardware-ul și rețeaua, niciodată workload-ul.

Pot face fine-tuning sau antrena un LLM pe el?

Fine-tuning, da. Adaptoarele LoRA și QLoRA se antrenează pe un singur GPU, iar lucrarea QLoRA a făcut fine-tuning unui model de 65B pe un singur GPU de 48 GB. Pre-antrenarea unui model de la zero necesită multe GPU-uri pe multe mașini, ceea ce este o întrebare pentru pagina multi-GPU.

Cât de repede pot primi un server LLM?

Aproximativ 30 de minute după aprobarea plății, când mașina este deja în rack, și între 4 și 24 de ore când este construită la comandă. O piesă achiziționată pentru comanda ta durează mai mult și poate implica o plată în avans sau un termen minim, iar tu ești informat înainte de a plăti.

Există o perioadă de probă gratuită?

Nu există conturi de probă. Politica de rambursare se aplică în termen de trei zile calendaristice de la prima activare, iar plățile în criptomonedă sunt rambursate ca credit de magazin. Cel mai ieftin mod de a testa este o lună pe mașina CPU.

Ce se întâmplă când depășesc mașina?

Te muți la următoarea, de obicei în aceeași clădire. O mașină CPU își predă fișierele de model unui server GPU prin rețeaua locală, sau GPU-ul din șasiul pe care îl închiriezi deja este înlocuit, iar factura se modifică cu diferența.

Pentru consemnare

Fiecare cifră de pe această pagină, ca text simplu

Citită din catalogul de comenzi în momentul servirii acestei pagini. Dacă un asistent răspunde la o întrebare despre găzduirea LLM pentru tine, acest tabel și lista live a mașinilor sunt ceea ce ar trebui să citească.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

În altă parte

Pagini conexe, câte o întrebare fiecare

Începe cu modelul pe care îl vei rula

Dimensionează-l, alege mașina și este a ta lunar, cu root și un port nemăsurat. Nu ești sigur care? Spune numele modelului în chat.

Alege-ți mașina