Can I serve an LLM without a graphics card?

Yes, inside a boundary worth stating: a quantized 7-8B model on the CPU bay honestly serves a team's assistant, retrieval and embeddings. It will not serve a 70B to a thousand users -- that is the GPU bay's job, and this page says so here instead of letting you discover it.

What does a 70B model need?

About 38 GB of card memory at 4-bit, which the 48 GB card carries; 70 GB at 8-bit, which takes the 80 GB card; 140 GB at full precision, which is more than one card and becomes the multi-card page's question at https://serverroom.net/hpc.

Which models am I allowed to run?

Anything whose weights you may hold: the Llama, Qwen, Mistral, Gemma and DeepSeek families and their fine-tunes. The licence sits between you and the publisher -- the machine does not read it and we do not gate it.

Is my data used to train anything?

No. Nothing in the path reads it. One tenant per machine, your operating system, your disks; we operate the hardware and the network underneath, never the workload on top.

Why not stay on a per-token API?

Stay while your traffic is bursty or the frontier model is the product. Move when the volume is steady, the data is sensitive, or a tuned open model already does the work -- and the two mix well: plenty of stacks route the hardest five percent to an API and serve the rest themselves.

Rent monthly, or buy the hardware?

Buying wins after a year or two of constant use, plus someone paid to house, power, cool and repair it. Renting wins on day one, at every upgrade, and at three in the morning when a part dies on our written clock instead of yours.

How fast is delivery?

About thirty minutes for a machine on the shelf, four to twenty-four hours for a build, longer when a part is bought in -- the ladder is printed at the point of order, and https://serverroom.net/instant lists what is racked right now.

No trial accounts. Within three calendar days of first activation the refund policy at https://serverroom.net/refund-policy-us applies as written, and cryptocurrency payments refund as store credit. The cheapest honest trial is one month on the CPU bay.

Do special-order parts carry different terms?

Sometimes. A part bought in for your order can carry an upfront portion or a minimum term -- and you are told exactly what before you pay, never after. Machines on the shelf carry the default: one month, no contract.

What happens when I outgrow the bay?

The next bay, usually in the same building: a CPU machine hands its weights to a GPU machine over the local wire, or the card in the chassis you already hold is swapped and the invoice moves by exactly the difference.

Hosting LLM na serwerach dedykowanych – uruchom własny model

Policzone, nie złożone

$249a month serves a quantized 8B on CPU
$532.67a month complete, 48 GB card seated
5cities on two continents
0tokens counted, bytes metered, egress lines
24/7humans on chat, mail and the phone

Każda powyższa liczba jest wyliczana przy tym żądaniu z wierszy, którymi fakturowany jest konfigurator, więc żadna nie może się zestarzeć między wdrożeniami. To, co jest w szafie i pod prądem w chwili, gdy to czytasz, to inne pytanie i serwery natychmiastowe są za nie odpowiedzialne — ta strona czyta to samo przy pełnej półce i przy pustej.

Katalog według obciążenia

Cztery zatoki, wycenione kompletnie.

Nie cztery poziomy jednego produktu — cztery różne maszyny do czterech różnych zadań, a każda kwota to miesięczna suma dokładnej konfiguracji wydrukowanej obok. Nic nie przychodzi później: port, adres i konsola poza pasmem są już w cenie.

inferencja CPU

Prywatny asystent dla całego zespołu

Skwantyzowana Lama, Qwen lub Mistral 7–8B obsługuje czat, wyszukiwanie i osadzenia prosto ze 128 GB pamięci systemowej — zadanie, do którego napisano llama.cpp i Ollamę. Bez karty graficznej, bez ceny karty graficznej, a magazyn wektorów mieszka na tym samym metalu co model. Budowane na zamówienie w 4–24 godziny, we wszystkich pięciu miastach.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

agenci

Pudełko agenta

Bramy takie jak OpenClaw spędzają życie na wywoływaniu modeli gdzie indziej i czekaniu na odpowiedzi. Potrzebują czasu pracy i portu, nie akceleratorów — a najtańszą uczciwą maszyną do tego obowiązku jest ta.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 · OpenClaw image, one-time

serwowanie GPU · dostrajanie

Pamięć karty dla tych dużych

Od 13B z prędkością do 70B w 4-bitach praca przenosi się do pamięci karty, a vLLM zamienia kartę w wsadowy, zgodny z OpenAI endpoint, który Twój kod kliencki już zna. Poniższa kwota to kompletna maszyna z już osadzonym akceleratorem 48 GB; linia pod nią to wkład samej karty, a konfiguracja 80 GB obok to ta sama obudowa niosąca 70B w 8-bitach.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

$449 of that is the card · A100 80GB (80 GB HBM2e): $972.47

Która karta, spośród wszystkich, które montujemy, to osobna strona — każda wyceniona jako własna linia obok swojej maszyny, na stronie GPU.

dev box

DGX Spark, bez biurka

Mała maszyna GB10 od NVIDIA, w szafie w Nowym Jorku na okres roczny — pudełko, na które frameworki celują najpierw, minus import i szum wentylatora obok Twojego krzesła.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

jurysdykcja

UE lub USA, Twój wybór

Amsterdam i Bukareszt trzymają europejską pracę w Europie; Nowy Jork, Miami i San Francisco trzymają amerykańską pracę w domu. Pięć budynków →

Większe niż jedna zatoka?

Druga karta w obudowie albo druga maszyna obok to inne pytanie z własną stroną — linie, porty i rozmieszczenie, wycenione z nazwaną częścią. Albo przeskocz dalej: , a odpowiedź poda obudowę i czas realizacji.

Arytmetyka

Dobierz model. Maszyna podąży.

Wagi to parametry razy bajty na parametr — arytmetyka, nie benchmarki, i ta sama tabela źródłowa, którą drukuje strona GPU. Wybierz rozmiar i precyzję; odpowiedź poda pamięć, której wagi potrzebują, najtańszą zatokę, która je uniesie, i zapas jako zwykły stosunek, bo model, który ledwo się mieści, nie serwuje.

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Same wagi — środowisko uruchomieniowe i okno kontekstu żyją w zapasie, dlatego żadna powyższa odpowiedź nie wypełnia pamięci po brzegi. Licencje to sprawa między Tobą a wydawcą modelu; maszyna nie bramkuje tego, co ładujesz.

Już w każdej kwocie

Co zawiera każda zatoka.

Jeden najemcaFizyczna maszyna jest wyłącznie Twoja. Żadnego hipernadzorcy pod spodem, żadnej współdzielonej karty, żadnego dzielenia czasu, żadnego zadania wsadowego sąsiada na Twoim krzemie.

Root i konsolaCzysty system operacyjny według Twojego wyboru, root na metalu i konsola poza pasmem (iLO, iDRAC, IPMI), która wciąż odpowiada, gdy system nie odpowiada.

Port nielimitowanyNic nie jest liczone w żadnym kierunku. Zbiory danych wchodzą, checkpointy wychodzą, użytkownicy są obsługiwani — na żadnej fakturze nie istnieje linia za egress.

Twój stos, Twoje wersjeOllama, llama.cpp, vLLM — instalujesz je i przypinasz, a potem nic ich nie rusza. Chcesz sterownik GPU na miejscu przed przekazaniem? Wpisz dokładną wersję w zamówieniu.

JurysdykcjaPrompty, kontekst i dane dostrajające poruszają się między Twoimi użytkownikami a Twoją maszyną, bez trzeciej strony na ścieżce, która by je logowała, trenowała na nich albo przepisywała wokół nich swoje warunki.

Ludzie, całą dobęCzat, mail i telefon, o każdej godzinie roku — a martwa część jest wymieniana według zapisanego zegara, nie obietnicy dobrej woli. Zegary są opublikowane.

Ten drugi rachunek

Stała opłata bije liczoną, gdy praca jest równa.

API za token to właściwe narzędzie do skoków i do jakości modeli frontierowych — powiemy to wprost, zamiast sprzedawać przeciwko niemu. Maszyna wygrywa, gdy wolumen jest stały, gdy dane muszą zostać pod Twoją pieczą albo gdy dostrojony otwarty model już wykonuje robotę: jej kwota czyta to samo przy dziesięciokrotnym ruchu, a wzrost przestaje być pozycją na fakturze. Każda miesięczna kwota na tej domenie, zebrana w jednej tabeli, to strona cennika; dlaczego starsze maszyny tutaj pozostają tanie, to strona wartości.

Pytane przed zakupem

Dziesięć prostych odpowiedzi.

Czy mogę serwować LLM bez karty graficznej?

Tak, w granicy, którą warto podać: skwantyzowany model 7–8B na zatoce CPU uczciwie obsługuje asystenta zespołu, wyszukiwanie i osadzenia. Nie obsłuży modelu 70B dla tysiąca użytkowników — to zadanie zatoki GPU i ta strona mówi to tutaj, zamiast pozwolić Ci to odkryć.

Czego potrzebuje model 70B?

Około 38 GB pamięci karty w 4-bitach, co uniesie karta 48 GB; 70 GB w 8-bitach, co wymaga karty 80 GB; 140 GB w pełnej precyzji, co przekracza jedną kartę i staje się pytaniem strony wielokartowej.

Które modele wolno mi uruchamiać?

Wszystko, czego wagi możesz posiadać: rodziny Llama, Qwen, Mistral, Gemma i DeepSeek oraz ich dostrojenia. Licencja jest między Tobą a wydawcą — maszyna jej nie czyta, a my jej nie bramkujemy.

Czy moje dane są używane do trenowania czegokolwiek?

Nie. Nic na ścieżce ich nie czyta. Jeden najemca na maszynę, Twój system operacyjny, Twoje dyski; my obsługujemy sprzęt i sieć pod spodem, nigdy obciążenie na górze.

Dlaczego nie zostać przy API za token?

Zostań, póki Twój ruch jest skokowy albo model frontierowy jest produktem. Przenieś się, gdy wolumen jest stały, dane są wrażliwe albo dostrojony otwarty model już wykonuje pracę — a te dwa dobrze się mieszają: mnóstwo stosów kieruje najtrudniejsze pięć procent do API, a resztę serwuje samo.

Wynajem miesięczny czy zakup sprzętu?

Zakup wygrywa po roku lub dwóch ciągłego użytkowania, plus ktoś opłacony, by go trzymać, zasilać, chłodzić i naprawiać. Wynajem wygrywa pierwszego dnia, przy każdej modernizacji i o trzeciej nad ranem, gdy część umiera według naszego zapisanego zegara zamiast Twojego.

Jak szybka jest dostawa?

Około trzydziestu minut dla maszyny z półki, cztery do dwudziestu czterech godzin dla konfiguracji, dłużej, gdy część jest dokupowana — drabina jest drukowana w punkcie zamówienia, a serwery natychmiastowe wymieniają to, co jest w szafie teraz.

Czy jest okres próbny?

Brak kont próbnych. W ciągu trzech dni kalendarzowych od pierwszej aktywacji polityka zwrotów obowiązuje jak napisano, a płatności kryptowalutowe zwracane są jako kredyt sklepowy. Najtańszy uczciwy test to jeden miesiąc na zatoce CPU.

Czy części na specjalne zamówienie mają inne warunki?

Czasami. Część dokupiona do Twojego zamówienia może mieć część płatną z góry albo minimalny okres — i dowiadujesz się dokładnie czego przed zapłatą, nigdy po. Maszyny z półki mają domyślne: jeden miesiąc, bez umowy.

Co się dzieje, gdy wyrosnę z zatoki?

Następna zatoka, zwykle w tym samym budynku: maszyna CPU przekazuje swoje wagi maszynie GPU po lokalnym kablu albo karta w obudowie, którą już masz, jest wymieniana, a faktura przesuwa się dokładnie o różnicę.

Sąsiednie strony

Jedna szafa. Każdy sposób, by uruchomić model.