Can I serve an LLM without a graphics card?

Yes, inside a boundary worth stating: a quantized 7-8B model on the CPU bay honestly serves a team's assistant, retrieval and embeddings. It will not serve a 70B to a thousand users -- that is the GPU bay's job, and this page says so here instead of letting you discover it.

What does a 70B model need?

About 38 GB of card memory at 4-bit, which the 48 GB card carries; 70 GB at 8-bit, which takes the 80 GB card; 140 GB at full precision, which is more than one card and becomes the multi-card page's question at https://serverroom.net/hpc.

Which models am I allowed to run?

Anything whose weights you may hold: the Llama, Qwen, Mistral, Gemma and DeepSeek families and their fine-tunes. The licence sits between you and the publisher -- the machine does not read it and we do not gate it.

Is my data used to train anything?

No. Nothing in the path reads it. One tenant per machine, your operating system, your disks; we operate the hardware and the network underneath, never the workload on top.

Why not stay on a per-token API?

Stay while your traffic is bursty or the frontier model is the product. Move when the volume is steady, the data is sensitive, or a tuned open model already does the work -- and the two mix well: plenty of stacks route the hardest five percent to an API and serve the rest themselves.

Rent monthly, or buy the hardware?

Buying wins after a year or two of constant use, plus someone paid to house, power, cool and repair it. Renting wins on day one, at every upgrade, and at three in the morning when a part dies on our written clock instead of yours.

How fast is delivery?

About thirty minutes for a machine on the shelf, four to twenty-four hours for a build, longer when a part is bought in -- the ladder is printed at the point of order, and https://serverroom.net/instant lists what is racked right now.

No trial accounts. Within three calendar days of first activation the refund policy at https://serverroom.net/refund-policy-us applies as written, and cryptocurrency payments refund as store credit. The cheapest honest trial is one month on the CPU bay.

Do special-order parts carry different terms?

Sometimes. A part bought in for your order can carry an upfront portion or a minimum term -- and you are told exactly what before you pay, never after. Machines on the shelf carry the default: one month, no contract.

What happens when I outgrow the bay?

The next bay, usually in the same building: a CPU machine hands its weights to a GPU machine over the local wire, or the card in the chassis you already hold is swapped and the invoice moves by exactly the difference.

Özel Sunucularda LLM Hosting - Kendi Modelinizi Çalıştırın

Sayıldı, uydurulmadı

$249a month serves a quantized 8B on CPU
$532.67a month complete, 48 GB card seated
5cities on two continents
0tokens counted, bytes metered, egress lines
24/7humans on chat, mail and the phone

Yukarıdaki her rakam, bu istek üzerine yapılandırıcının faturalandırdığı satırlardan türetilir; böylece hiçbiri dağıtımlar arasında bayatlayamaz. Bunu okurken rafta ve güçte olan şey ayrı bir sorudur ve anında sunucular sayfasının konusudur — bu sayfa dolu bir rafta da boş bir rafta da aynı şeyi okur.

İş yüküne göre katalog

Dört yuva, eksiksiz fiyatlandırılmış.

Tek bir ürünün dört kademesi değil — dört farklı iş için dört farklı makine; her rakam, yanında yazılı tam yapılandırmanın aylık toplamıdır. Sonradan hiçbir şey gelmez: port, adres ve bant dışı konsol zaten rakamın içindedir.

cpu çıkarımı

Tüm ekip için özel bir asistan

Nicemlenmiş 7–8B'lik bir Llama, Qwen veya Mistral; sohbeti, getirmeyi ve gömmeleri doğrudan 128 GB sistem belleğinden sunar — llama.cpp ve Ollama'nın yazıldığı iş tam olarak budur. Grafik kartı yok, grafik kartının fiyatı yok ve vektör deposu modelle aynı donanım üzerinde yaşar. Beş şehrin tamamında 4–24 saat içinde sipariş üzerine kurulur.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

aracılar

Aracının kutusu

OpenClaw gibi ağ geçitleri ömürlerini başka yerlerdeki modelleri çağırıp yanıt bekleyerek geçirir. Hızlandırıcıya değil, çalışma süresine ve bir porta ihtiyaç duyarlar — ve bu görev için en ucuz dürüst makine budur.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 · OpenClaw image, one-time

gpu sunumu · ince ayar

Büyükler için kart belleği

Hızlı 13B'den 4-bit 70B'ye kadar iş kart belleğine taşınır ve vLLM kartı, istemci kodunuzun zaten konuştuğu toplu, OpenAI uyumlu bir uç noktaya dönüştürür. Aşağıdaki rakam, 48 GB hızlandırıcısı zaten takılı eksiksiz bir makinedir; altındaki satır kartın tek başına kattığı değerdir ve yanındaki 80 GB yapılandırma, 70B'yi 8-bit olarak taşıyan aynı kasadır.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

$449 of that is the card · A100 80GB (80 GB HBM2e): $972.47

Taktığımız her kart arasından hangisi, kendi sayfası olan bir konudur — her biri makinesinin yanında kendi satırı olarak fiyatlandırılır, GPU sayfasında.

geliştirme kutusu

DGX Spark, masasız

NVIDIA'nın küçük GB10 makinesi, New York'ta yıllık dönemle rafta — çerçevelerin önce hedeflediği kutu; ithalat derdi ve sandalyenizin yanındaki fan gürültüsü olmadan.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

saklama

AB veya ABD, sizin kararınız

Amsterdam ve Bükreş Avrupa işini Avrupa'da tutar; New York, Miami ve San Francisco Amerikan işini evinde tutar. Beş bina →

Bir yuvadan daha büyük mü?

Kasada ikinci bir kart veya yanında ikinci bir makine, kendi sayfası olan farklı bir sorudur — hatlar, portlar ve yerleşim, parça adıyla birlikte fiyatlandırılır. Ya da ileri atlayın: ve yanıt kasayı ve teslim süresini adlandırır.

Aritmetik

Modeli boyutlandırın. Makine onu izler.

Ağırlıklar; parametre sayısı çarpı parametre başına bayttır — kıyaslama değil aritmetiktir ve GPU sayfasının bastığı aynı kaynaklı tablodur. Bir boyut ve bir hassasiyet seçin; yanıt, ağırlıkların ihtiyaç duyduğu belleği, onları taşıyan en ucuz yuvayı ve kalan boşluğu düz bir oran olarak adlandırır, çünkü zar zor sığan bir model hizmet vermez.

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Yalnızca ağırlıklar — çalışma zamanı ve bağlam penceresi boşlukta yaşar; bu yüzden yukarıdaki hiçbir yanıt belleğini ağzına kadar doldurmaz. Gönderilen bir dosya aritmetikten daha ağır çalışır, çünkü yaygın 4-bit biçimler bazı tensörleri daha yüksek hassasiyette tutar: Ollama'nın varsayılan 4-bit Llama 3.1 70B'si 38 GB değil 43 GB'lık bir indirmedir; bu yüzden yükleyeceğiniz dosyaya göre boyutlandırın. Lisanslar sizinle modelin yayıncısı arasındadır; makine ne yüklediğinize kapı koymaz.

Zaten her rakamın içinde

Her yuvanın içerdikleri.

Tek kiracıFiziksel makine yalnızca sizindir. Altında hipervizör yok, paylaşılan kart yok, zaman dilimleme yok, silikonunuzda komşunun toplu işi yok.

Root ve konsolSeçtiğiniz temiz bir işletim sistemi, donanım üzerinde root ve işletim sistemi yanıt vermediğinde bile yanıt veren bir bant dışı konsol (iLO, iDRAC, IPMI).

Ölçümsüz bir portHer iki yönde de hiçbir şey sayılmaz. Veri kümeleri içeri, kontrol noktaları dışarı, kullanıcılara hizmet — hiçbir faturada çıkış satırı yoktur.

Sizin yığınınız, sizin sürümlerinizOllama, llama.cpp, vLLM — kurar ve sabitlersiniz; sonrasında hiçbir şey onları değiştirmez. Teslimden önce GPU sürücüsünün yerinde olmasını mı istiyorsunuz? Siparişe tam sürümü yazın.

Saklamaİstemler, bağlam ve ince ayar verileri kullanıcılarınızla makineniz arasında hareket eder; yolda onları kaydedecek, üzerlerinde eğitecek veya koşullarını onların etrafında yeniden yazacak üçüncü bir taraf yoktur.

İnsanlar, günün her saatiSohbet, posta ve telefon, yılın her saati — ve ölü bir parça iyi niyet vaadiyle değil, yazılı bir saatle değiştirilir. Saatler yayınlanmıştır.

Diğer fatura

İş sabitken sabit ücret, ölçümlüyü yener.

Token başına API; ani artışlar ve öncü model kalitesi için doğru araçtır — bunu ona karşı satış yapmak yerine açıkça söyleyeceğiz. Makine; hacim sabitken, veriler sizin saklamanızda kalmalıyken veya ince ayarlı açık bir model zaten işi yapıyorken kazanır: rakamı on kat trafikte de aynı okunur ve büyüme bir satır kalemi olmaktan çıkar. Bu alan adındaki her aylık rakam, tek bir tabloda toplanmış olarak fiyatlandırma sayfasıdır; buradaki eski makinelerin neden ucuz kaldığı ise değer sayfasıdır.

Satın almadan önce soruldu

On net yanıt.

Grafik kartı olmadan bir LLM sunabilir miyim?

Evet, belirtmeye değer bir sınır içinde: CPU yuvasındaki nicemlenmiş 7–8B'lik bir model, bir ekibin asistanını, getirmeyi ve gömmeleri dürüstçe sunar. Bin kullanıcıya bir 70B sunmaz — bu GPU yuvasının işidir ve bu sayfa bunu keşfetmenize izin vermek yerine burada söyler.

Bir 70B modelin neye ihtiyacı var?

4-bit'te yaklaşık 38 GB kart belleği; bunu 48 GB kart taşır; 8-bit'te 70 GB, bu da 80 GB kartı gerektirir; tam hassasiyette 140 GB, bu birden fazla karttır ve çok kartlı sayfanın sorusu olur.

Hangi modelleri çalıştırmama izin var?

Ağırlıklarını elinizde tutabileceğiniz her şey: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri ve bunların ince ayarları. Lisans sizinle yayıncı arasındadır — makine onu okumaz ve biz ona kapı koymayız.

Verilerim herhangi bir şeyi eğitmek için kullanılıyor mu?

Hayır. Yoldaki hiçbir şey onu okumaz. Makine başına tek kiracı, sizin işletim sisteminiz, sizin diskleriniz; biz alttaki donanımı ve ağı işletiriz, üstteki iş yükünü asla.

Neden token başına API'de kalmayayım?

Trafiğiniz ani artışlıyken veya öncü model ürünün kendisiyken kalın. Hacim sabitken, veriler hassasken veya ince ayarlı açık bir model zaten işi yapıyorken geçin — ve ikisi iyi karışır: pek çok yığın en zor yüzde beşi bir API'ye yönlendirir ve gerisini kendisi sunar.

Aylık kiralayayım mı, donanımı mı satın alayım?

Satın almak bir veya iki yıllık sürekli kullanımdan sonra kazanır; artı barındırması, güç vermesi, soğutması ve onarması için birine ödeme yapılır. Kiralamak birinci günde, her yükseltmede ve sabahın üçünde bir parça sizin değil bizim yazılı saatimizde öldüğünde kazanır.

Teslimat ne kadar hızlı?

Raftaki bir makine için yaklaşık otuz dakika, bir yapılandırma için dört ila yirmi dört saat, bir parça sipariş edildiğinde daha uzun — merdiven sipariş noktasında yazdırılır ve anında sunucular şu anda rafta olanı listeler.

Deneme var mı?

Deneme hesabı yok. İlk etkinleştirmeden itibaren üç takvim günü içinde iade politikası yazıldığı gibi uygulanır ve kripto para ödemeleri mağaza kredisi olarak iade edilir. En ucuz dürüst deneme, CPU yuvasında bir aydır.

Özel sipariş parçaları farklı koşullar mı taşır?

Bazen. Siparişiniz için satın alınan bir parça ön ödeme payı veya asgari dönem taşıyabilir — ve size ödemeden önce tam olarak ne olduğu söylenir, asla sonra değil. Raftaki makineler varsayılanı taşır: bir ay, sözleşmesiz.

Yuvayı aştığımda ne olur?

Bir sonraki yuva, genellikle aynı binada: bir CPU makinesi ağırlıklarını yerel hat üzerinden bir GPU makinesine devreder ya da zaten elinizde tuttuğunuz kasadaki kart değiştirilir ve fatura tam olarak aradaki fark kadar hareket eder.

Bitişik sayfalar

Burada bir soru. Komşular, her biri bir sayfa.

Sahibinin listelediği makineler

Ya da modeli birinin listelediği bir makinede çalıştırın.

Sahiplerinin pazar yerimizde listelediği GPU makineleri, o sahipler tarafından aylık fiyatlandırılır. Kardeş şirketimiz Primcast'nin listeleri de görünür; onları primcast.com'da kiralarsınız.

Pazar yerine göz atın →

Tek raf. Model çalıştırmanın her yolu.