What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Serveurs GPU pour l’entraînement et l’inférence

Serveur IA dédié GPU complet. Votre OS. Un port par nœud.

Un serveur IA dédié est une machine physique entière dont le GPU est transmis à votre propre système d’exploitation, louée au mois. Les nôtres démarrent à $169.93 par mois avec Instinct MI50 (16 GB HBM2), et ils évoluent de deux façons : plus de GPU dans un même châssis, ou plus de nœuds sur un même switch.

Locataire unique
Passthrough PCIe
Sans frais de sortie
5 villes
Sans engagement

Cette page concerne l’étape qui suit le premier GPU. Elle compare chaque plateforme dans laquelle nous installons un GPU selon les lignes PCIe, la vitesse de port et la ville, chiffre le réseau d’un cluster par nœud, et indique les délais de livraison avant que vous ne commandiez.

Comparer les plateformes Chiffrer un cluster

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Inclus sur chaque nœud

Ce que comprend chaque serveur IA dédié

Les quatre mêmes éléments, sur un serveur GPU unique pour le deep learning ou sur un cluster de vingt.

Le GPU complet

Passthrough PCIe dans votre système d’exploitation. Aucun hyperviseur, partition MIG, profil vGPU ou découpage temporel ne s’interpose entre votre code et le GPU.

Votre propre pile

Un système d’exploitation propre avec accès root. Vous fixez le pilote, la version CUDA ou ROCm et les builds du framework sur lesquels votre code a été testé.

Un port sans compteur

Sans mesure dans les deux sens. Les jeux de données entrants, les checkpoints sortants et la réplication entre nœuds n’apparaissent jamais comme une ligne de frais de sortie.

Des réponses en quelques secondes

Notre chat IA répond en quelques secondes et peut vérifier votre compte et vos serveurs pendant qu’il travaille. Demandez une personne et quelqu’un prend le relais.

Évoluer au-delà d’un GPU

Serveur de deep learning : ajouter un GPU ou ajouter une machine

Ils comblent des pénuries différentes, coûtent différemment et arrivent à des dates différentes. Trouvez où se situe la limite avant de comparer les prix.

Serveur multi-GPU

Plus de GPU dans un même châssis

Choisissez cette option lorsque le GPU est la limite : le modèle ne tient plus dans la mémoire GPU, ou les files d’attente s’accumulent sur le GPU pendant que le reste de la machine est inactif. Plus d’un GPU par châssis fait l’objet d’un devis, pas d’une simple case à cocher, car l’espace disponible, les lignes PCIe et l’alimentation déterminent le nombre pour chaque modèle de GPU.

Décidé par: Le châssis. Indiquez le GPU et le devis précise le châssis, le nombre et la date.
À savoir: Deux GPU conservent deux pools de mémoire distincts. Un gros travail doit être fractionné avec le parallélisme par tenseur ou par pipeline et paie le trafic entre les GPU. Les travaux indépendants s’exécutent simplement deux fois plus nombreux à la fois.

Cluster GPU

Plus de machines sur un même switch

Choisissez cette option lorsque la machine est la limite. La plus grande plateforme GPU ici s’arrête à 2 sockets et 1 TB de RAM. Au-delà, l’unité de capacité suivante est un autre serveur.

Décidé par: La ville et le port. Les nœuds qui travaillent ensemble vont dans un même bâtiment, et chacun paie son propre port.
À savoir: Un cluster ici est un ensemble de serveurs distincts, chacun commandé, facturé, mis à niveau et remplacé individuellement. Il n’y a pas de référence cluster, donc pas de supplément cluster ni de nombre minimal de nœuds.

Vous ne savez pas de quel côté vous êtes ? Envoyez la taille du modèle, le jeu de données et la date limite dans le . Si une seule machine suffit, nous vous le disons.

En direct du catalogue

Plateformes de serveurs de machine learning, côte à côte

Chaque plateforme dans laquelle nous installons un GPU, sur les chiffres qui dimensionnent un cluster. Les générations PCIe correspondent à la page GPU. Tous les autres chiffres proviennent du catalogue de commandes à chaque chargement de cette page.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe vers le GPU limite le transfert hôte-GPU : streaming des lots d’entraînement, chargement des scènes, tout ce qui déborde de la mémoire GPU. Un modèle qui reste chargé ne l’utilise presque pas.
Plafond de port limite le transfert nœud à nœud. Une seule machine ne le remarque jamais. Un travail réparti sur deux machines en dépend.
Les villes passent en premier pour un cluster. Une plateforme que votre ville ne propose pas n’est pas une option.
Le compromis : le bus le plus large, AMD EPYC sur PCIe 4.0, plafonne à 20 Gbps. Le port 100 Gbps est sur Intel Xeon Silver / Gold, sur un bus plus ancien. Aucune plateforme n’a les deux, alors décidez de ce dont votre travail a besoin.

Quel GPU va dans chaque plateforme, et son prix mensuel à côté de la machine à laquelle il appartient, figure sur Serveurs dédiés GPU.

Réseau de cluster

Ports de cluster GPU, tarifés par nœud

Un port s’achète par machine, donc le réseau sous un cluster est la même ligne une fois par nœud, chaque mois. Le tableau fait cette multiplication pour vous.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Les paliers ne sont pas linéaires. À plusieurs endroits, plus de nœuds un cran plus bas coûtent moins cher que moins de nœuds un cran plus haut. Si le travail se partitionne bien, cela permet d’acheter un serveur supplémentaire.
Les paliers supérieurs sont plus étroits. Les ports les plus rapides existent sur moins de plateformes, et pas sur celle qui a le bus le plus large.
Ethernet, en toute clarté. La liaison entre deux de nos machines est un port Ethernet. Aucune ligne InfiniBand ni pont GPU à GPU entre machines ne figure sur un bon de commande. Si votre travail en a besoin, demandez avant de commander : c’est un devis, et la réponse peut être non.

Chaque vitesse est sans mesure dans les deux sens, sans quota de transfert. Pour un port sur une machine, voir bande passante sans mesure.

Emplacement

Choisissez la ville avant la plateforme

Les nœuds qui partagent un travail appartiennent à un même bâtiment, et nos cinq villes ne proposent pas toutes les mêmes plateformes. New York and Bucharest les proposent toutes. Vérifiez d’abord la ville, puis configurez.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

L’alimentation, les opérateurs et l’accès de chaque bâtiment figurent sur centres de données. Si la latence entre deux de nos villes compte dans votre conception, demandez au support de la mesurer entre ces salles.

De la commande à l’installation en baie

Les délais de livraison accompagnent le devis

Une construction multi-nœuds peut impliquer plusieurs machines et un bon de commande pour les pièces. Le devis indique la pièce la plus lente avant que vous ne payiez, en utilisant les mêmes délais que construction à la demande.

~30 min
Installé en baie, pris tel quel
La machine existe déjà et est remise. Serveurs instantanés liste ce qui est en baie maintenant, et c’est le premier endroit où chercher les nœuds simples d’un cluster.
4–24 h
Construit à partir de notre stock
GPU installés, disques configurés, système d’exploitation installé. Plusieurs nœuds sont construits en parallèle.
5–10 jours
Pièces achetées
Une pièce que nous ne gardons pas en rayon est commandée d’abord. Pour un châssis multi-GPU, c’est le cas habituel, et le châssis est généralement la pièce la plus lente.
10–15 jours
GPU sur allocation
Les accélérateurs actuels sont expédiés lorsque le distributeur les expédie. Le matériel acheté pour une commande est payé trois mois à l’avance.

Jours ouvrés dans les deux dernières lignes. Chaque horloge démarre une fois le paiement et la vérification antifraude validés. Pour une première commande importante, un virement bancaire passe généralement la vérification plus vite qu’un paiement par carte.

Réponses

Questions sur les serveurs IA dédiés

Qu'est-ce qu'un serveur IA dédié, exactement ?

Un serveur physique loué à un seul client, avec un ou plusieurs GPU transmis au système d'exploitation que ce client installe. Aucun hyperviseur ne s'interpose entre votre code et le GPU, et rien sur la machine n'est partagé : les cœurs, la mémoire, les disques, le GPU complet et le port réseau vous appartiennent, avec un accès root.

Combien coûte un serveur IA dédié par mois ?

Le prix complet le plus bas avec un GPU de classe entraînement est de $169.93 par mois : Instinct MI50 (16 GB HBM2) en Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Les GPU plus grands coûtent plus cher, et chacun est listé avec son prix mensuel complet sur Serveurs dédiés GPU. Une configuration avec un GPU monté sur commande ajoute des frais d'installation uniques de $29. Dans un cluster, chaque nœud paie également son propre port au-delà de la vitesse incluse.

Quel GPU est le meilleur pour un serveur de deep learning ?

Commencez par la mémoire du GPU, pas par la vitesse. Les poids, les activations et l'état de l'optimiseur doivent tenir, et un travail qui ne tient pas n'est pas résolu par un GPU plus rapide. Nous listons 15 modèles de GPU de classe entraînement, avec jusqu'à 80 GB de mémoire sur un seul GPU. Pour l'entraînement qui diffuse des lots depuis l'hôte, vérifiez aussi la colonne PCIe ; pour servir un modèle qui reste chargé, cela importe beaucoup moins.

Puis-je mettre plusieurs GPU dans un seul serveur IA dédié ?

Souvent, et cela fait l'objet d'un devis plutôt que d'une case à cocher au moment du paiement. Le dégagement des emplacements, la largeur du GPU, les lignes PCIe par socket et l'alimentation déterminent le nombre pour un châssis donné. Indiquez-nous le GPU dans le chat et le devis revient avec le châssis, le nombre et une date. Deux GPU ne mutualisent pas leur mémoire à moins que votre framework ne répartisse le modèle entre eux.

Proposez-vous des clusters GPU avec InfiniBand ?

Pas comme article de catalogue. Les nœuds se connectent via Ethernet, un port par nœud, de 1 Gbps inclus jusqu'à 100 Gbps. InfiniBand, ou un pont GPU à GPU entre machines, fait l'objet d'un devis, et la réponse peut être non. Demandez avant de planifier un travail autour de cela.

À quelle vitesse deux de mes serveurs peuvent-ils communiquer entre eux ?

Aussi vite que le plus lent de leurs deux ports. Le port supérieur est 100 Gbps, disponible sur Intel Xeon Silver / Gold. Gardez les nœuds dans une seule ville : entre les villes, la distance ajoute une latence qu'un port plus rapide ne supprime pas.

Le trafic entre mes nœuds est-il mesuré ?

Non. Chaque port est non mesuré dans les deux sens, sans quota de transfert et sans frais de sortie. Copier des jeux de données, synchroniser les gradients et écrire des points de contrôle entre vos nœuds coûte le prix du port et rien de plus.

Est-ce que je partage le GPU avec d'autres clients ?

Non. Une machine, un compte. Le GPU est en passthrough PCIe, sans partition MIG, sans profil vGPU et sans découpage temporel, donc le benchmark que vous exécutez le premier jour tient toujours le quatre-vingt-dixième jour.

Quel pilote et quelle version CUDA sont installés ?

Ceux que vous installez. Le serveur est remis avec un système d'exploitation propre et un accès root, et vous choisissez le pilote, la version CUDA ou ROCm et les versions du framework. Si vous voulez un pilote en place à la remise, indiquez la version exacte sur la commande.

À quelle vitesse un serveur IA dédié est-il livré ?

Environ 30 minutes après l'approbation du paiement pour une machine déjà en rack et prise telle quelle. 4 à 24 heures lorsque nous la construisons depuis notre stock, 5 à 10 jours ouvrés lorsqu'une pièce est achetée, et 10 à 15 jours ouvrés pour les GPU sur allocation distributeur. Un devis pour plusieurs nœuds indique la pièce la plus lente avant que vous ne payiez.

Où sont situés vos serveurs IA ?

New York, Miami, San Francisco, Amsterdam et Bucarest. Toutes les villes ne disposent pas de chaque plateforme GPU : New York and Bucharest détiennent toutes les 4. Les machines à Amsterdam et à Bucarest sont facturées en euros.

Puis-je louer un serveur IA au mois, sans contrat ?

Oui. Chaque machine fonctionne au mois le mois sans rien à signer. Les cycles de 3, 6 et 12 mois permettent d'économiser jusqu'à 15%. Le matériel acheté pour une seule commande est payé trois mois à l'avance.

Pour mémoire

Cette page en chiffres

Lus depuis le catalogue de commandes au moment où cette page a été servie, les mêmes lignes que celles facturées au moment du paiement.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Pages associées

Où la prochaine question trouve sa réponse

Serveurs dédiés GPUChaque GPU que nous montons, chacun avec le prix de sa machine. Hébergement LLMFaire tourner un modèle de langage sur une machine que vous contrôlez. NVIDIA DGX SparkUne machine GB10, et jusqu'à quatre d'entre elles en réseau. Bande passante non mesuréeUn port sur une machine, chaque vitesse au-dessus de celle incluse. Construction sur commandeUne spécification complète, chiffrée et datée avant que vous ne payiez. Serveurs instantanésCe qui est en rack et sous tension maintenant. Centres de donnéesLes cinq bâtiments où un cluster peut vivre. TarificationChaque chiffre mensuel du site, dans un seul tableau. Matériel plus ancien, prix plus basL'extrémité la moins chère de ces plateformes, et pourquoi elle est toujours en rack. SupportFenêtres de remplacement par plan, et les crédits derrière elles.

Indiquez-nous le modèle, les données et la date limite

Configurez la construction au prix le plus bas maintenant, ou décrivez le travail dans le chat et obtenez un devis pour les GPU, les nœuds et la date.

Configurer un serveur