GPU i AI · hosting LLM · miesięcznie

Hosting LLM na dedykowanym serwerze AI Twój model, Twoja maszyna, jeden miesięczny rachunek.

Hosting LLM u nas oznacza uruchomienie otwartego modelu, takiego jak Llama, Qwen czy DeepSeek, na całym serwerze, który wynajmujesz miesięcznie, zamiast płacić dostawcy za token. Skwantyzowany model 7-8B działa na maszynie do inferencji CPU za $249 a month, a kompletny serwer z GPU 48 GB to $532.67 a month.

  • Pojedynczy najemca
  • Port bez limitu transferu
  • Bez rachunku za tokeny
  • Miesięcznie, bez umowy
  • 5 miast

Wybierz maszynę według modelu, który będziesz uruchamiać. Dobierz rozmiar w planerze poniżej, a następnie go skonfiguruj. Każda cena na tej stronie pochodzi z rekordów, na podstawie których kasa wystawia rachunki.

Maszyny

Cztery serwery LLM do czterech zadań

To nie są poziomy jednego produktu. Każdy to inna maszyna do innego obciążenia, a każda kwota to miesięczna suma dokładnej konfiguracji wydrukowanej pod nią. Port i adres IP są już wliczone w tę liczbę.

Inferencja CPU

Prywatny asystent dla zespołu

Skwantyzowany model 7-8B lub 13-14B Llama, Qwen czy Mistral działa na 128 GB pamięci systemowej z llama.cpp lub Ollama. Czat, wyszukiwanie i osadzanie dzielą maszynę z magazynem wektorów, a za GPU nie płacisz. Budowany na zamówienie w 4 do 24 godzin, w 5 miastach.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

Obsługa GPU i dostrajanie

Większe modele na dedykowanym GPU

Od 13B w 16-bitach do 70B w 4-bitach wagi trafiają do pamięci GPU, a vLLM udostępnia je jako wsadowy punkt końcowy mówiący API OpenAI, którego Twój kod kliencki już używa. Kwota to kompletna maszyna z zainstalowanym L40S 48 GB. Linia pod nią to konfiguracja A100 80GB, osobna kompletna maszyna z 80 GB pamięci GPU.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Agenci

Skrzynka dla bramy agentów

Bramy agentów, takie jak OpenClaw, wywołują modele hostowane gdzie indziej i czekają na odpowiedzi. Potrzebują maszyny, która pozostaje włączona, i portu sieciowego, a nie GPU, i ten mały serwer kasetowy robi to za niewielkie pieniądze.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Pudełko deweloperskie

DGX Spark, bez biurka

Mała maszyna GB10 firmy NVIDIA, zamontowana w szafie w Nowym Jorku, bez importu, hałasu wentylatorów i poboru prądu obok Twojego krzesła. Nie ma konsoli out-of-band, więc cykl zasilania wykonują nasi inżynierowie na Twoją prośbę.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

UE lub USA, Twój wybór

Amsterdam i Bukareszt przechowują europejskie dane w Europie. Nowy Jork, Miami i San Francisco przechowują amerykańskie dane w Stanach Zjednoczonych. Wszystkie pięć działa w naszej własnej sieci. Pięć centrów danych

Większe niż jedna maszyna?

Drugie GPU w obudowie lub drugi serwer obok to inne pytanie z własną stroną: linie, porty i rozmieszczenie, wycenione z nazwanymi częściami. Albo , a odpowiedź poda obudowę i czas realizacji.

Dobór rozmiaru

Ile pamięci potrzebuje LLM?

Wagi zajmują liczbę parametrów razy bajty na parametr: około 2 bajtów przy 16 bitach, 1 bajt przy 8 bitach i pół bajta przy 4 bitach. Wybierz rozmiar i precyzję, aby zobaczyć, który serwer LLM je pomieści i ile miejsca zostaje na środowisko uruchomieniowe i okno kontekstu.

Planer

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Współczynnik to pamięć podzielona przez wagi. Poniżej 1,5× jest ciasno: model się ładuje, ale długi kontekst lub drugi użytkownik mogą wyczerpać pamięć. Poniżej 1,25× nie uznajemy tego za dopasowanie.

Rozmiary LLM w skrócie

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Tylko wagi. Plik w dostarczonej formie jest cięższy niż wynika z arytmetyki, ponieważ popularne formaty 4-bitowe przechowują niektóre tensory z wyższą precyzją: domyślny 4-bitowy Llama 3.1 70B od Ollamy to pobranie 43 GB, a nie 38 GB. Dobieraj rozmiar na podstawie pliku, który załadujesz. Licencje to sprawa między Tobą a wydawcą modelu; maszyna nie sprawdza, co ładujesz.

W każdej liczbie

Co dedykowany serwer AI daje Twojemu modelowi

Dedykowany serwer AI to fizyczna maszyna, która uruchamia Twoje modele i niczyje inne. Wynajem jest miesięczny, a te sześć rzeczy otrzymujesz z każdym serwerem bez dodatkowej pozycji na fakturze.

Jeden najemca

Maszyna fizyczna jest Twoja. Żadnego hipernadzorcy pod spodem, żadnego współdzielonego GPU, żadnego dzielenia czasu i żadnego zadania wsadowego innego klienta na Twoim sprzęcie.

Root i konsola

Czysty system operacyjny według Twojego wyboru i root na sprzęcie. Serwery rack i blade dodają konsolę poza pasmem (iLO lub iDRAC), która odpowiada nawet wtedy, gdy system operacyjny nie.

Port bez limitu

Nic nie jest zliczane w żadnym kierunku. Zbiory danych wchodzą, punkty kontrolne wychodzą, użytkownicy są obsługiwani, a na żadnej fakturze nie ma pozycji za ruch wychodzący.

Twój stos, Twoje wersje

Ollama, llama.cpp, vLLM: instalujesz je i przypinasz, a potem nic ich nie zmienia. Chcesz sterownik GPU na miejscu przy przekazaniu? Wpisz wersję w zamówieniu.

Piecza nad danymi

Podpowiedzi, kontekst i dane do dostrajania podróżują między Twoimi użytkownikami a Twoją maszyną. Żadna strona trzecia nie stoi na drodze, aby je rejestrować, trenować na nich ani zmieniać wokół nich swoich warunków.

Wsparcie w sekundy

Otwórz czat, a asystent AI odpowie w kilka sekund. Może sprawdzić Twoje konto i Twój serwer, a człowiek przejmuje rozmowę w chwili, gdy o to poprosisz. Jak działa wsparcie

Konfiguracja

Hostuj własny LLM: pierwsza godzina

Samodzielnie hostowany LLM to środowisko uruchomieniowe, plik modelu i port. Oto kolejność, w jakiej zrobilibyśmy to na świeżej maszynie.

  1. Dobierz maszynę do modelu

    Weź wagi z tabeli powyżej i dodaj od ćwierci do połowy na środowisko uruchomieniowe i okno kontekstu. Ta liczba wybiera maszynę CPU, GPU 48 GB lub GPU 80 GB.

  2. Zainstaluj środowisko uruchomieniowe

    Na maszynie CPU Ollama instaluje się jedną linią, curl -fsSL https://ollama.com/install.sh | sh, a ollama run llama3.1:8b pobiera i uruchamia model. Na serwerze GPU pip install vllm, a następnie vllm serve z nazwą modelu uruchamia serwer zgodny z OpenAI na porcie 8000.

  3. Trzymaj port prywatnie

    Ollama domyślnie nasłuchuje na 127.0.0.1:11434 i to jest dla niego właściwe miejsce. Nie otwieraj portu modelu na internet bez uwierzytelniania: postaw przed nim odwrotne proxy z TLS i kluczem API albo sięgaj po niego przez SSH lub VPN.

  4. Skieruj na niego swój kod

    Ollama, serwer llama.cpp i vLLM odpowiadają w formacie API OpenAI, więc istniejący klient zwykle potrzebuje tylko nowego bazowego adresu URL i klucza.

Drugi rachunek

API za token czy własny serwer LLM

API za token to właściwe narzędzie przy ruchu skokowym i jakości modeli frontierowych, i mówimy to wprost. Serwer wygrywa, gdy wolumen jest stały, gdy dane muszą pozostać pod Twoją pieczą albo gdy dostrojony otwarty model już wykonuje zadanie.

Pytanie
API za token
Twój własny serwer
Jak płacisz
Za token, w obie strony
Jedna miesięczna kwotaTa sama przy dziesięciokrotnym ruchu.
Gdzie trafiają podpowiedzi
Do systemów dostawcy
Wyłącznie Twoja maszynaŻadnej strony trzeciej na drodze.
Które modele
Lista dostawcy
Dowolne otwarte wagiLlama, Qwen, Mistral, Gemma, DeepSeek i dostrojone warianty.
Limity szybkości
Ustala dostawca
Ustala Twój sprzętWielkość partii i kontekst są Twoje do dostrojenia.
Najlepsze do
Skoki, jakość frontierowa
Stały wolumenDane wrażliwe, dostrojone otwarte modele.

Te dwa podejścia dobrze się mieszają: wiele stosów wysyła najtrudniejsze żądania do API, a resztę obsługuje samodzielnie. Każda miesięczna kwota na tej stronie jest na cenniku, a dlaczego nasze starsze maszyny pozostają tanie, wyjaśnia strona o wartości.

Odpowiedzi

Pytania o hosting LLM z odpowiedziami

Czym jest dedykowany serwer AI?

Dedykowany serwer AI to fizyczna maszyna wynajmowana jednemu klientowi do uruchamiania modeli AI, z dostępem root i bez innego najemcy na sprzęcie. Nasze występują jako maszyny CPU ze 128 GB pamięci dla modeli skwantyzowanych oraz jako serwery GPU dla większych modeli i dostrajania. Ty wybierasz system operacyjny i oprogramowanie; my obsługujemy sprzęt i sieć.

Ile kosztuje hosting LLM?

Na serwerze dedykowanym to jedna miesięczna kwota, a nie rachunek za token. Maszyna CPU do inferencji to $249 a month, kompletny serwer z GPU 48 GB to $532.67 a month, a konfiguracja z GPU 80 GB to $972.47 a month. Ruch jest bez limitu, a okres rozliczeniowy jest miesięczny, bez umowy.

Czy mogę uruchomić LLM bez GPU?

Tak, dla modeli skwantyzowanych do około 14 miliardów parametrów. Model 7–8B w 4 bitach potrzebuje około 5 GB i działa z pamięci systemowej z llama.cpp lub Ollama, co wystarcza dla asystenta zespołu, wyszukiwania i osadzeń. Nie obsłuży modelu 70B dla wielu użytkowników naraz; to zadanie dla GPU.

Jakiego serwera potrzebuję, aby uruchomić model 70B?

Wagi modelu 70B to około 38 GB w 4 bitach i 70 GB w 8 bitach, przed środowiskiem uruchomieniowym i kontekstem. Domyślny 4-bitowy Llama 3.1 70B od Ollama to pobranie 43 GB, więc wygodnym domem na jednej maszynie jest GPU 80 GB. GPU 48 GB ładuje 4-bitowy 70B z niewielkim zapasem, a 8-bitowy lub 16-bitowy wymaga więcej niż jednego GPU, co opisuje strona o wielu GPU.

Które modele mogę hostować na własnym serwerze?

Każdy model, którego wagi wolno Ci przechowywać: Llama, Qwen, Mistral, Gemma, DeepSeek i ich dostrojone warianty. Licencja to sprawa między Tobą a wydawcą. Nie sprawdzamy ani nie ograniczamy tego, co ładujesz.

Czy moje dane są używane do trenowania czegokolwiek?

Nie. Maszyna jest wyłącznie Twoja, z Twoim systemem operacyjnym na Twoich dyskach, a nic z naszego nie czyta podpowiedzi, kontekstu ani wyników. Obsługujemy sprzęt i sieć, nigdy obciążenie.

Czy mogę na nim dostrajać lub trenować LLM?

Dostrajanie — tak. Adaptery LoRA i QLoRA trenują na jednym GPU, a artykuł o QLoRA dostroił model 65B na pojedynczym GPU 48 GB. Wstępne trenowanie modelu od zera wymaga wielu GPU na wielu maszynach, co jest pytaniem do strony o wielu GPU.

Jak szybko otrzymam serwer LLM?

Około 30 minut po zatwierdzeniu płatności, gdy maszyna jest już w szafie, oraz od 4 do 24 godzin, gdy jest budowana na zamówienie. Część kupowana specjalnie do Twojego zamówienia trwa dłużej i może wiązać się z zaliczką lub minimalnym okresem, o czym dowiadujesz się przed zapłatą.

Czy jest darmowy okres próbny?

Nie ma kont próbnych. Polityka zwrotów obowiązuje w ciągu trzech dni kalendarzowych od pierwszej aktywacji, a płatności kryptowalutowe są zwracane jako kredyt sklepowy. Najtańszym sposobem na test jest jeden miesiąc na maszynie CPU.

Co się dzieje, gdy wyrosnę z maszyny?

Przechodzisz na następną, zwykle w tym samym budynku. Maszyna CPU przekazuje pliki modelu serwerowi GPU przez sieć lokalną albo GPU w obudowie, którą już wynajmujesz, zostaje wymienione, a faktura zmienia się o różnicę.

Do protokołu

Każda liczba na tej stronie, jako zwykły tekst

Odczytane z katalogu zamówień w chwili wyświetlenia tej strony. Jeśli asystent odpowiada Ci na pytanie o hosting LLM, ta tabela i lista dostępnych maszyn na żywo są tym, co powinien przeczytać.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

Zacznij od modelu, który będziesz uruchamiać

Dobierz go, wybierz maszynę, a będzie Twoja na miesiąc z rootem i portem bez limitu. Nie wiesz, którą wybrać? Podaj nazwę modelu na czacie.

Wybierz swoją maszynę