LLM-Hosting auf einem dedizierten KI-Server Ihr Modell, Ihre Maschine, eine monatliche Rechnung.

Ein dedizierter KI-Server ist eine physische Maschine, die an einen Kunden vermietet wird, um KI-Modelle auszuführen – mit Root-Zugang und ohne weitere Mieter auf der Hardware. Unsere gibt es als CPU-Maschinen mit 128 GB Arbeitsspeicher für quantisierte Modelle und als GPU-Server für größere Modelle und Fine-Tuning. Sie wählen Betriebssystem und Software; wir betreiben Hardware und Netzwerk.

Auf einem dedizierten Server ist es ein monatlicher Betrag, keine Rechnung pro Token. Die CPU-Inferenzmaschine kostet $249 a month, ein kompletter Server mit 48-GB-GPU $532.67 a month und die 80-GB-GPU-Ausstattung $972.47 a month. Der Traffic ist ungedrosselt, die Laufzeit monatlich und ohne Vertrag.

Ja, für quantisierte Modelle bis etwa 14B Parameter. Ein 7-8B-Modell in 4-Bit benötigt rund 5 GB und läuft mit llama.cpp oder Ollama aus dem Arbeitsspeicher – genug für einen Team-Assistenten, Retrieval und Embeddings. Ein 70B-Modell für viele gleichzeitige Nutzer wird es nicht bedienen; das ist GPU-Arbeit.

Die Gewichte eines 70B-Modells sind etwa 38 GB in 4-Bit und 70 GB in 8-Bit, vor Laufzeit und Kontext. Ollamas Standard-4-Bit-Llama-3.1-70B ist ein 43-GB-Download, daher ist das komfortable Zuhause auf einer Maschine die 80-GB-GPU. Eine 48-GB-GPU lädt ein 4-Bit-70B mit wenig Spielraum, und 8-Bit oder 16-Bit erfordert mehr als eine GPU – dazu die Multi-GPU-Seite.

Jedes Modell, dessen Gewichte Sie halten dürfen: Llama, Qwen, Mistral, Gemma, DeepSeek und deren Fine-Tunes. Die Lizenz ist eine Sache zwischen Ihnen und dem Herausgeber. Wir prüfen nicht und schränken nicht ein, was Sie laden.

Nein. Die Maschine gehört Ihnen allein, mit Ihrem Betriebssystem auf Ihren Platten, und nichts von uns liest die Prompts, den Kontext oder die Ausgaben. Wir betreiben Hardware und Netzwerk, niemals die Workload.

Feinabstimmen, ja. LoRA- und QLoRA-Adapter trainieren auf einer GPU, und das QLoRA-Paper hat ein 65B-Modell auf einer einzelnen 48-GB-GPU feinabgestimmt. Ein Modell von Grund auf vorzutrainieren erfordert viele GPUs über viele Maschinen hinweg – das ist eine Frage für die Multi-GPU-Seite.

Etwa 30 Minuten nach Zahlungsfreigabe, wenn die Maschine bereits im Rack steht, und 4 bis 24 Stunden, wenn sie nach Bestellung gebaut wird. Ein für Ihre Bestellung beschafftes Teil dauert länger und kann eine Anzahlung oder eine Mindestlaufzeit mit sich bringen; das erfahren Sie vor der Zahlung.

Keine Testkonten. Die Rückerstattungsrichtlinie gilt innerhalb von drei Kalendertagen nach der ersten Aktivierung, und Kryptowährungszahlungen werden als Guthaben erstattet. Der günstigste Weg zum Testen ist ein Monat auf der CPU-Maschine.

Sie wechseln zur nächsten, meist im selben Gebäude. Eine CPU-Maschine übergibt ihre Modelldateien über das lokale Netzwerk an einen GPU-Server, oder die GPU im bereits gemieteten Gehäuse wird getauscht und die Rechnung ändert sich um die Differenz.