Hosting LLM na dedykowanym serwerze AI Twój model, Twoja maszyna, jeden miesięczny rachunek.

Dedykowany serwer AI to fizyczna maszyna wynajmowana jednemu klientowi do uruchamiania modeli AI, z dostępem root i bez innych najemców na sprzęcie. Nasze występują jako maszyny CPU ze 128 GB pamięci do modeli skwantyzowanych oraz jako serwery GPU do większych modeli i fine-tuningu. Ty wybierasz system operacyjny i oprogramowanie; my obsługujemy sprzęt i sieć.

Na serwerze dedykowanym to jedna kwota miesięczna, a nie rachunek za token. Maszyna CPU do inferencji kosztuje $249 a month, kompletny serwer z GPU 48 GB to $532.67 a month, a konfiguracja z GPU 80 GB to $972.47 a month. Transfer jest nielimitowany, a okres rozliczeniowy miesięczny, bez umowy.

Tak, dla modeli skwantyzowanych do około 14B parametrów. Model 7-8B w 4-bitach potrzebuje około 5 GB i działa z pamięci systemowej z llama.cpp lub Ollama, co wystarcza dla asystenta zespołu, retrievalu i embeddingów. Nie obsłuży modelu 70B dla wielu użytkowników naraz; to zadanie dla GPU.

Wagi modelu 70B to około 38 GB w 4-bitach i 70 GB w 8-bitach, przed doliczeniem środowiska uruchomieniowego i kontekstu. Domyślny 4-bitowy Llama 3.1 70B od Ollamy to pobranie 43 GB, więc wygodnym domem na jednej maszynie jest GPU 80 GB. GPU 48 GB ładuje 4-bitowy model 70B z niewielkim zapasem, a wersja 8-bitowa lub 16-bitowa wymaga więcej niż jednego GPU, o czym mówi strona multi-GPU.

Każdy model, którego wagi masz prawo przechowywać: Llama, Qwen, Mistral, Gemma, DeepSeek i ich fine-tune'y. Licencja to sprawa między Tobą a wydawcą. Nie sprawdzamy ani nie ograniczamy tego, co ładujesz.

Nie. Maszyna jest wyłącznie Twoja, z Twoim systemem operacyjnym na Twoich dyskach i nic z naszego nie odczytuje promptów, kontekstu ani wyników. Obsługujemy sprzęt i sieć, nigdy obciążenie.

Fine-tuning — tak. Adaptery LoRA i QLoRA trenują na jednym GPU, a artykuł o QLoRA opisał fine-tuning modelu 65B na pojedynczym GPU 48 GB. Pre-trenowanie modelu od zera wymaga wielu GPU na wielu maszynach, a to pytanie do strony multi-GPU.

Około 30 minut po zatwierdzeniu płatności, gdy maszyna jest już w szafie, oraz od 4 do 24 godzin, gdy jest budowana na zamówienie. Część zamawiana specjalnie dla Ciebie trwa dłużej i może wiązać się z opłatą wstępną lub minimalnym okresem, o czym dowiesz się przed zapłatą.

Nie ma kont próbnych. Polityka zwrotów obowiązuje w ciągu trzech dni kalendarzowych od pierwszej aktywacji, a płatności kryptowalutowe są zwracane jako środki w sklepie. Najtańszym sposobem na test jest jeden miesiąc na maszynie CPU.

Przenosisz się na następną, zwykle w tym samym budynku. Maszyna CPU przekazuje pliki modelu serwerowi GPU po sieci lokalnej albo GPU w obudowie, którą już wynajmujesz, zostaje wymienione, a faktura zmienia się o różnicę.