What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

GPU-Server für Training und Inferenz

Dedizierter KI-Server Volle GPU. Ihr Betriebssystem. Ein Port pro Node.

Ein dedizierter KI-Server ist eine komplette physische Maschine, deren GPU an Ihr eigenes Betriebssystem durchgereicht wird, monatlich gemietet. Unsere Modelle starten bei $169.93 im Monat mit Instinct MI50 (16 GB HBM2) und skalieren in zwei Richtungen: mehr GPUs in einem Gehäuse oder mehr Nodes an einem Switch.

Einzelmandant
PCIe-Durchreichung
Keine Egress-Gebühr
5 Städte
Kein Vertrag

Diese Seite ist für den Schritt nach der ersten GPU. Sie vergleicht jede Plattform, in die wir eine GPU einbauen, nach PCIe-Lanes, Portgeschwindigkeit und Stadt, bepreist das Netzwerk für einen Cluster pro Node und nennt die Liefertermine, bevor Sie bestellen.

Plattformen vergleichen Cluster kalkulieren

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Auf jedem Node enthalten

Was jeder dedizierte KI-Server beinhaltet

Dieselben vier Dinge auf einem einzelnen GPU-Server für Deep Learning oder auf einem Cluster aus zwanzig.

Die volle GPU

PCIe-Durchreichung in Ihr Betriebssystem. Kein Hypervisor, keine MIG-Partition, kein vGPU-Profil und kein Time-Slicing sitzt zwischen Ihrem Code und der GPU.

Ihr eigener Stack

Ein sauberes Betriebssystem mit Root. Sie legen den Treiber, die CUDA- oder ROCm-Version und die Framework-Builds fest, gegen die Ihr Code getestet wurde.

Ein Port ohne Zähler

Unlimitiert in beide Richtungen. Datensätze rein, Checkpoints raus und Replikation zwischen Nodes erscheinen nie als Egress-Posten.

Antworten in Sekunden

Unser KI-Chat antwortet in Sekunden und kann währenddessen Ihr Konto und Ihre Server prüfen. Fragen Sie nach einer Person, und jemand übernimmt.

Skalierung über eine GPU hinaus

Deep-Learning-Server: GPU hinzufügen oder Maschine hinzufügen

Sie beheben unterschiedliche Engpässe, kosten unterschiedlich und kommen zu unterschiedlichen Terminen. Finden Sie heraus, wo die Grenze liegt, bevor Sie Preise vergleichen.

Multi-GPU-Server

Mehr GPUs in einem Gehäuse

Wählen Sie das, wenn die GPU die Grenze ist: Das Modell passt nicht mehr in den GPU-Speicher, oder Warteschlangen lasten die GPU aus, während der Rest der Maschine leerläuft. Mehr als eine GPU pro Gehäuse wird angeboten, nicht angekreuzt, denn Steckplatzfreigabe, PCIe-Lanes und das Netzteil bestimmen die Anzahl für jedes GPU-Modell.

Entschieden durch: Das Gehäuse. Nennen Sie die GPU, und das Angebot nennt Gehäuse, Anzahl und Termin.
Wichtig zu wissen: Zwei GPUs behalten zwei Speicherpools. Ein großer Job muss mit Tensor- oder Pipeline-Parallelität aufgeteilt werden und zahlt für den Verkehr zwischen den GPUs. Unabhängige Jobs laufen einfach doppelt so viele gleichzeitig.

GPU-Cluster

Mehr Maschinen an einem Switch

Wählen Sie das, wenn die Maschine die Grenze ist. Die größte GPU-Plattform hier endet bei 2 sockets und 1 TB RAM. Darüber hinaus ist die nächste Kapazitätseinheit ein weiterer Server.

Entschieden durch: Die Stadt und den Port. Nodes, die zusammenarbeiten, stehen in einem Gebäude, und jeder zahlt für seinen eigenen Port.
Wichtig zu wissen: Ein Cluster ist hier eine Menge separater Server, jeder einzeln bestellt, abgerechnet, aufgerüstet und ersetzt. Es gibt keine Cluster-SKU, also keinen Cluster-Aufpreis und keine Mindestanzahl an Nodes.

Nicht sicher, auf welcher Seite Sie stehen? Senden Sie Modellgröße, Datensatz und Frist im . Wenn eine Maschine ausreicht, sagen wir es.

Live aus dem Katalog

Machine-Learning-Serverplattformen im Vergleich

Jede Plattform, in die wir eine GPU einbauen, mit den Kennzahlen, die einen Cluster dimensionieren. Die PCIe-Generationen entsprechen der GPU-Seite. Alle anderen Zahlen stammen bei jedem Laden dieser Seite aus dem Bestellkatalog.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe zur GPU begrenzt den Host-zu-GPU-Transfer: Streaming von Trainingsbatches, Laden von Szenen, alles, was aus dem GPU-Speicher auslagert. Ein Modell, das geladen bleibt, nutzt es kaum.
Port-Obergrenze begrenzt den Node-zu-Node-Transfer. Eine einzelne Maschine merkt sie nie. Ein Job, der auf zwei Maschinen aufgeteilt ist, hängt davon ab.
Städte kommen bei einem Cluster zuerst. Eine Plattform, die Ihre Stadt nicht führt, ist keine Option.
Der Kompromiss: der breiteste Bus, AMD EPYC auf PCIe 4.0, endet bei 20 Gbps. Der 100 Gbps-Port liegt auf Intel Xeon Silver / Gold, an einem älteren Bus. Keine Plattform hat beides, also entscheiden Sie, was Ihr Job braucht.

Welche GPU in welche Plattform passt und ihr monatlicher Preis neben der zugehörigen Maschine steht auf GPU-Dedicated-Server.

Cluster-Netzwerk

GPU-Cluster-Ports, pro Node bepreist

Ein Port wird pro Maschine gekauft, also ist das Netzwerk unter einem Cluster dieselbe Zeile einmal pro Node, jeden Monat. Die Tabelle übernimmt diese Multiplikation für Sie.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Die Stufen sind nicht linear. An mehreren Punkten kosten mehr Nodes eine Stufe tiefer weniger als weniger Nodes eine Stufe höher. Wenn der Job gut partitioniert, kauft das einen zusätzlichen Server.
Die oberen Stufen sind schmaler. Die schnellsten Ports existieren auf weniger Plattformen und nicht auf der mit dem breitesten Bus.
Ethernet, klar gesagt. Die Verbindung zwischen zwei unserer Maschinen ist ein Ethernet-Port. Keine InfiniBand-Leitung und keine GPU-zu-GPU-Brücke zwischen Maschinen steht auf irgendeinem Bestellformular. Wenn Ihr Job eine braucht, fragen Sie vor der Bestellung: Es ist ein Angebot, und die Antwort kann nein sein.

Jede Geschwindigkeit ist in beide Richtungen unlimitiert ohne Transferkontingent. Für einen Port an einer Maschine siehe unlimitierte Bandbreite.

Platzierung

Wählen Sie die Stadt vor der Plattform

Nodes, die einen Job teilen, gehören in ein Gebäude, und unsere fünf Städte führen nicht alle dieselben Plattformen. New York and Bucharest führen alle. Prüfen Sie zuerst die Stadt, dann konfigurieren Sie.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Strom, Carrier und Zugang für jedes Gebäude stehen unter Rechenzentren. Wenn die Latenz zwischen zwei unserer Städte für Ihr Design wichtig ist, bitten Sie den Support, sie zwischen diesen Räumen zu messen.

Von der Bestellung bis ins Rack

Liefertermine kommen mit dem Angebot

Ein Multi-Node-Build kann mehrere Maschinen und eine Bestellung von Teilen umfassen. Das Angebot nennt den langsamsten Teil, bevor Sie zahlen, mit denselben Lieferzeiten wie Build-to-Order.

~30 Min.
Gerackt, so wie es ist
Die Maschine existiert bereits und wird übergeben. Instant-Server listet, was jetzt gerackt ist, und ist der erste Ort, um nach den einfachen Nodes eines Clusters zu suchen.
4–24 Std.
Aus unserem Bestand gebaut
GPUs eingebaut, Festplatten eingerichtet, Betriebssystem installiert. Mehrere Nodes werden parallel gebaut.
5–10 Tage
Teile zugekauft
Ein Teil, das wir nicht auf Lager halten, wird zuerst bestellt. Bei einem Multi-GPU-Gehäuse ist das der übliche Fall, und das Gehäuse ist meist der langsame Teil.
10–15 Tage
GPUs auf Zuteilung
Aktuelle Beschleuniger werden geliefert, wenn der Distributor sie liefert. Für eine Bestellung zugekaufte Hardware wird drei Monate im Voraus bezahlt.

Werktage in den letzten beiden Zeilen. Jede Uhr startet, sobald Zahlung und Betrugsprüfung abgeschlossen sind. Bei einer großen Erstbestellung passiert eine Banküberweisung die Prüfung meist schneller als eine Kartenzahlung.

Antworten

Fragen zu dedizierten KI-Servern

Was genau ist ein dedizierter KI-Server?

Ein physischer Server, der an einen einzelnen Kunden vermietet wird, mit einer oder mehreren GPUs, die an das vom Kunden installierte Betriebssystem durchgereicht werden. Zwischen Ihrem Code und der GPU sitzt kein Hypervisor, und nichts auf der Maschine wird geteilt: Die Kerne, der Arbeitsspeicher, die Festplatten, die vollständige GPU und der Netzwerkport gehören Ihnen, mit Root-Zugriff.

Was kostet ein dedizierter KI-Server pro Monat?

Der niedrigste Komplettpreis mit einer GPU der Trainingsklasse beträgt $169.93 pro Monat: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Größere GPUs kosten mehr, und jede ist mit ihrem vollständigen Monatspreis auf GPU-Dedicated-Server aufgeführt. Ein Build mit einer auf Bestellung eingebauten GPU erfordert eine einmalige Einrichtungsgebühr von $29. In einem Cluster zahlt jeder Node außerdem für seinen eigenen Port oberhalb der enthaltenen Geschwindigkeit.

Welche GPU eignet sich am besten für einen Deep-Learning-Server?

Beginnen Sie beim GPU-Speicher, nicht bei der Geschwindigkeit. Die Gewichte, Aktivierungen und der Optimiererzustand müssen hineinpassen, und ein Job, der nicht hineinpasst, wird durch eine schnellere GPU nicht behoben. Wir führen 15 GPU-Modelle der Trainingsklasse, mit bis zu 80 GB Speicher auf einer einzelnen GPU. Für das Training, das Batches vom Host streamt, prüfen Sie auch die PCIe-Spalte; für das Bereitstellen eines Modells, das geladen bleibt, spielt sie eine deutlich geringere Rolle.

Kann ich mehrere GPUs in einen dedizierten KI-Server einbauen?

Oft ja, und das wird per Angebot statt per Ankreuzen an der Kasse geklärt. Der Platz für die Steckplätze, die Breite der GPU, die PCIe-Lanes pro Sockel und das Netzteil bestimmen die Anzahl für ein bestimmtes Gehäuse. Nennen Sie uns die GPU im Chat, und das Angebot kommt mit dem Gehäuse, der Anzahl und einem Datum zurück. Zwei GPUs bündeln ihren Speicher nicht, es sei denn, Ihr Framework teilt das Modell auf sie auf.

Bieten Sie GPU-Cluster mit InfiniBand an?

Nicht als Katalogartikel. Nodes verbinden sich über Ethernet, ein Port pro Node, von 1 Gbps enthalten bis zu 100 Gbps. InfiniBand oder eine GPU-zu-GPU-Brücke zwischen Maschinen ist ein Angebot, und die Antwort kann Nein lauten. Fragen Sie, bevor Sie einen Job darum herum planen.

Wie schnell können zwei meiner Server miteinander kommunizieren?

So schnell wie der langsamere ihrer beiden Ports. Der schnellste Port ist 100 Gbps, verfügbar auf Intel Xeon Silver / Gold. Halten Sie die Nodes in einer Stadt: Zwischen Städten fügt die Entfernung Latenz hinzu, die ein schnellerer Port nicht beseitigt.

Wird der Datenverkehr zwischen meinen Nodes gemessen?

Nein. Jeder Port ist in beide Richtungen ungemessen, ohne Transferkontingent und ohne Egress-Gebühr. Das Kopieren von Datensätzen, das Synchronisieren von Gradienten und das Schreiben von Checkpoints zwischen Ihren Nodes kostet den Portpreis und sonst nichts.

Teile ich die GPU mit anderen Kunden?

Nein. Eine Maschine, ein Konto. Die GPU läuft über PCIe-Passthrough, ohne MIG-Partition, ohne vGPU-Profil und ohne Time-Slicing, sodass der Benchmark, den Sie am ersten Tag ausführen, auch am neunzigsten Tag noch gilt.

Welche Treiber- und CUDA-Version ist vorinstalliert?

Die, die Sie installieren. Der Server wird mit einem sauberen Betriebssystem und Root-Zugriff übergeben, und Sie wählen den Treiber, die CUDA- oder ROCm-Version und die Framework-Versionen. Wenn Sie bei der Übergabe einen Treiber installiert haben möchten, nennen Sie die genaue Version in der Bestellung.

Wie schnell wird ein dedizierter KI-Server geliefert?

Etwa 30 Minuten nach Zahlungsfreigabe für eine Maschine, die bereits gerackt ist und so übernommen wird, wie sie ist. 4 bis 24 Stunden, wenn wir sie aus unserem Bestand bauen, 5 bis 10 Werktage, wenn ein Teil zugekauft wird, und 10 bis 15 Werktage für GPUs mit Distributor-Zuteilung. Ein Angebot für mehrere Nodes nennt das langsamste Teil, bevor Sie zahlen.

Wo befinden sich Ihre KI-Server?

New York, Miami, San Francisco, Amsterdam und Bukarest. Nicht jede Stadt hält jede GPU-Plattform bereit: New York and Bucharest halten alle 4. Maschinen in Amsterdam und Bukarest werden in Euro abgerechnet.

Kann ich einen KI-Server monatlich mieten, ohne Vertrag?

Ja. Jede Maschine läuft von Monat zu Monat, ohne etwas zu unterschreiben. Laufzeiten von 3, 6 und 12 Monaten sparen bis zu 15%. Hardware, die für eine einzelne Bestellung zugekauft wird, wird drei Monate im Voraus bezahlt.

Für das Protokoll

Diese Seite in Zahlen

Aus dem Bestellkatalog gelesen, als diese Seite ausgeliefert wurde – dieselben Zeilen, aus denen die Kasse abrechnet.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Verwandte Seiten

Wo die nächste Frage beantwortet wird

GPU-Dedicated-ServerJede GPU, die wir einbauen, jeweils mit Preis neben ihrer Maschine. LLM-HostingEin Sprachmodell auf einer Maschine betreiben, die Sie kontrollieren. NVIDIA DGX SparkEine GB10-Maschine und bis zu vier davon miteinander vernetzt. Ungemessene BandbreiteEin Port an einer Maschine, jede Geschwindigkeit oberhalb der enthaltenen. Build auf BestellungEine vollständige Spezifikation, bepreist und datiert, bevor Sie zahlen. Sofort-ServerWas jetzt gerackt und eingeschaltet ist. RechenzentrenDie fünf Gebäude, in denen ein Cluster leben kann. PreiseJede Monatsangabe auf der Website, in einer Tabelle. Ältere Hardware, niedrigerer PreisDas günstigere Ende dieser Plattformen und warum sie noch gerackt ist. SupportAustauschfenster pro Tarif und die Gutschriften dahinter.

Nennen Sie uns das Modell, die Daten und die Frist

Konfigurieren Sie jetzt den günstigsten Build oder beschreiben Sie den Job im Chat und erhalten Sie ein Angebot für die GPUs, die Nodes und das Datum.

Server konfigurieren