Hébergement LLM sur un serveur IA dédié Votre modèle, votre machine, une seule facture mensuelle.

Un serveur IA dédié est une machine physique louée à un seul client pour exécuter des modèles d'IA, avec un accès root et aucun autre locataire sur le matériel. Les nôtres se présentent sous forme de machines CPU avec 128 Go de mémoire pour les modèles quantifiés, et de serveurs GPU pour les modèles plus grands et le réglage fin. Vous choisissez le système d'exploitation et les logiciels ; nous gérons le matériel et le réseau.

Sur un serveur dédié, c'est un chiffre mensuel unique, pas une facture au jeton. La machine d'inférence CPU est $249 a month, un serveur complet avec un GPU de 48 Go est $532.67 a month, et la configuration avec GPU de 80 Go est $972.47 a month. Le trafic est sans compteur et l'engagement est mensuel, sans contrat.

Oui, pour les modèles quantifiés jusqu'à environ 14 milliards de paramètres. Un modèle de 7 à 8 milliards en 4 bits nécessite environ 5 Go et fonctionne depuis la mémoire système avec llama.cpp ou Ollama, ce qui suffit pour un assistant d'équipe, la recherche et les plongements. Il ne servira pas un modèle de 70 milliards à de nombreux utilisateurs à la fois ; c'est un travail de GPU.

Les poids d'un modèle de 70 milliards représentent environ 38 Go en 4 bits et 70 Go en 8 bits, avant l'environnement d'exécution et le contexte. Le Llama 3.1 70B en 4 bits par défaut d'Ollama est un téléchargement de 43 Go, donc l'emplacement confortable sur une seule machine est le GPU de 80 Go. Un GPU de 48 Go charge un 70B en 4 bits avec peu de marge restante, et le 8 bits ou le 16 bits nécessite plus d'un GPU, ce qui est la page multi-GPU.

Tout modèle dont vous êtes autorisé à détenir les poids : Llama, Qwen, Mistral, Gemma, DeepSeek et leurs réglages fins. La licence est entre vous et l'éditeur. Nous n'inspectons ni ne limitons ce que vous chargez.

Non. La machine est à vous seul, avec votre système d'exploitation sur vos disques, et rien de chez nous ne lit les invites, le contexte ou les sorties. Nous exploitons le matériel et le réseau, jamais la charge de travail.

Le réglage fin, oui. Les adaptateurs LoRA et QLoRA s'entraînent sur un seul GPU, et l'article sur QLoRA a réglé finement un modèle de 65 milliards sur un seul GPU de 48 Go. Le pré-entraînement d'un modèle à partir de zéro nécessite de nombreux GPU répartis sur de nombreuses machines, ce qui est une question pour la page multi-GPU.

Environ 30 minutes après l'approbation du paiement lorsque la machine est déjà en baie, et de 4 à 24 heures lorsqu'elle est construite sur commande. Une pièce achetée pour votre commande prend plus de temps et peut entraîner une part initiale ou une durée minimale, et vous en êtes informé avant de payer.

Pas de comptes d'essai. La politique de remboursement s'applique dans les trois jours calendaires suivant la première activation, et les paiements en cryptomonnaie sont remboursés sous forme d'avoir en magasin. Le moyen le moins cher de tester est un mois sur la machine CPU.

Vous passez à la suivante, généralement dans le même bâtiment. Une machine CPU transmet ses fichiers de modèle à un serveur GPU via le réseau local, ou le GPU du châssis que vous louez déjà est remplacé et la facture change de la différence.