What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Serwery GPU do trenowania i wnioskowania

Dedykowany serwer AI Pełny GPU. Twój system. Port na każdy węzeł.

Dedykowany serwer AI to cała fizyczna maszyna z GPU przekazanym do Twojego własnego systemu operacyjnego, wynajmowana miesięcznie. Nasze zaczynają się od $169.93 miesięcznie z Instinct MI50 (16 GB HBM2) i skalują się na dwa sposoby: więcej GPU w jednej obudowie lub więcej węzłów na jednym przełączniku.

Pojedynczy najemca
Przepuszczanie PCIe
Bez opłaty za ruch wychodzący
5 miast
Bez umowy

Ta strona jest dla kroku po pierwszym GPU. Porównuje każdą platformę, w której montujemy GPU, pod kątem linii PCIe, prędkości portu i miasta, wycenia sieć dla klastra na węzeł i podaje terminy dostawy przed złożeniem zamówienia.

Porównaj platformy Wycena klastra

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

W zestawie na każdym węźle

Co zawiera każdy dedykowany serwer AI

Te same cztery rzeczy na pojedynczym serwerze GPU do uczenia głębokiego lub na klastrze dwudziestu.

Pełny GPU

Przepuszczanie PCIe do Twojego systemu operacyjnego. Żaden hiperwizor, partycja MIG, profil vGPU ani dzielenie czasu nie stoi między Twoim kodem a GPU.

Twój własny stos

Czysty system operacyjny z uprawnieniami root. Ty ustalasz sterownik, wersję CUDA lub ROCm i kompilacje frameworków, na których testowano Twój kod.

Port bez licznika

Bez limitu w obu kierunkach. Zbiory danych wchodzące, punkty kontrolne wychodzące i replikacja między węzłami nigdy nie pojawiają się jako pozycja za ruch wychodzący.

Odpowiedzi w sekundy

Nasz czat AI odpowiada w sekundy i może sprawdzić Twoje konto oraz serwery podczas pracy. Poproś o osobę, a ktoś przejmie rozmowę.

Skalowanie powyżej jednego GPU

Serwer do uczenia głębokiego: dodaj GPU lub dodaj maszynę

Rozwiązują różne braki, kosztują inaczej i mają różne terminy. Znajdź, gdzie jest limit, zanim porównasz ceny.

Serwer wielo-GPU

Więcej GPU w jednej obudowie

Wybierz to, gdy limitem jest GPU: model nie mieści się już w pamięci GPU lub kolejki pracy czekają na GPU, podczas gdy reszta maszyny jest bezczynna. Więcej niż jeden GPU w obudowie jest wyceniane, a nie zaznaczane, ponieważ wolne sloty, linie PCIe i zasilacz określają liczbę dla każdego modelu GPU.

Decyduje: Obudowa. Podaj GPU, a wycena wskaże obudowę, liczbę i termin.
Warto wiedzieć: Dwa GPU to dwie oddzielne pule pamięci. Jedno duże zadanie trzeba podzielić równoległością tensorową lub potokową i płaci się za ruch między GPU. Niezależne zadania po prostu wykonują się dwa razy więcej naraz.

Klaster GPU

Więcej maszyn na jednym przełączniku

Wybierz to, gdy limitem jest maszyna. Największa platforma GPU tutaj kończy się na 2 sockets i 1 TB pamięci RAM. Powyżej tego kolejną jednostką pojemności jest inny serwer.

Decyduje: Miasto i port. Węzły, które współpracują, trafiają do jednego budynku, a każdy płaci za własny port.
Warto wiedzieć: Klaster tutaj to zestaw oddzielnych serwerów, każdy zamawiany, rozliczany, aktualizowany i wymieniany osobno. Nie ma SKU klastra, więc nie ma premii za klaster ani minimalnej liczby węzłów.

Nie wiesz, po której jesteś stronie? Podaj rozmiar modelu, zbiór danych i termin na . Jeśli jedna maszyna to pokryje, powiemy to wprost.

Na żywo z katalogu

Platformy serwerów do uczenia maszynowego, obok siebie

Każda platforma, w której montujemy GPU, na liczbach, które dobierają klaster. Generacje PCIe pasują do strony GPU. Każda inna liczba pochodzi z katalogu zamówień przy każdym załadowaniu tej strony.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe do GPU ogranicza transfer host–GPU: strumieniowanie partii treningowych, ładowanie scen, wszystko, co wychodzi poza pamięć GPU. Model, który pozostaje załadowany, prawie z tego nie korzysta.
Pułap portu ogranicza transfer węzeł–węzeł. Jedna maszyna nigdy tego nie zauważa. Zadanie podzielone na dwie maszyny zależy od tego.
Miasta są najważniejsze dla klastra. Platforma, której nie ma w Twoim mieście, nie wchodzi w grę.
Kompromis: najszersza magistrala, AMD EPYC na PCIe 4.0, kończy się na 20 Gbps. Port 100 Gbps jest na Intel Xeon Silver / Gold, na starszej magistrali. Żadna platforma nie ma obu, więc zdecyduj, czego potrzebuje Twoje zadanie.

Który GPU trafia do której platformy i jego miesięczna cena obok maszyny, do której należy, jest na dedykowanych serwerach GPU.

Sieć klastra

Porty klastra GPU, wycenione na węzeł

Port kupuje się na maszynę, więc sieć pod klastrem to ta sama linia raz na węzeł, co miesiąc. Tabela wykonuje to mnożenie za Ciebie.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Stopnie nie są liniowe. W kilku punktach więcej węzłów o stopień niżej kosztuje mniej niż mniej węzłów o stopień wyżej. Jeśli zadanie dobrze się dzieli, to kupuje dodatkowy serwer.
Górne stopnie są węższe. Najszybsze porty istnieją na mniejszej liczbie platform, a nie na tej z najszerszą magistralą.
Ethernet, mówiąc wprost. Łącze między dwiema naszymi maszynami to port Ethernet. Żadna linia InfiniBand ani mostek GPU-do-GPU między maszynami nie znajduje się na żadnym formularzu zamówienia. Jeśli Twoje zadanie tego potrzebuje, zapytaj przed zamówieniem: to wycena, a odpowiedź może brzmieć nie.

Każda prędkość jest bez limitu w obu kierunkach, bez limitu transferu. Dla jednego portu na jednej maszynie zobacz przepustowość bez limitu.

Lokalizacja

Wybierz miasto przed platformą

Węzły współdzielące zadanie należą do jednego budynku, a nasze pięć miast nie ma tych samych platform. New York and Bucharest mają je wszystkie. Najpierw sprawdź miasto, potem konfiguruj.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Zasilanie, operatorzy i dostęp do każdego budynku są na centrach danych. Jeśli opóźnienie między dwoma naszymi miastami ma znaczenie dla Twojego projektu, poproś wsparcie o pomiar między tymi lokalizacjami.

Od zamówienia do szafy

Terminy dostawy są w wycenie

Budowa wielowęzłowa może obejmować kilka maszyn i zamówienie części. Wycena wskazuje najwolniejszą część przed zapłatą, używając tych samych czasów realizacji co budowa na zamówienie.

~30 min
W szafie, brane jak jest
Maszyna już istnieje i jest przekazywana. Serwery natychmiastowe pokazują, co jest teraz w szafach, i to pierwsze miejsce, gdzie szukać zwykłych węzłów klastra.
4–24 h
Zbudowane z naszych zapasów
GPU zamontowane, dyski skonfigurowane, system operacyjny zainstalowany. Kilka węzłów buduje się równolegle.
5–10 dni
Części dokupione
Część, której nie trzymamy na półce, zamawia się najpierw. Dla obudowy wielo-GPU to typowy przypadek, a obudowa jest zwykle najwolniejszą częścią.
10–15 dni
GPU w przydziale
Obecne akceleratory wysyłane są, gdy dystrybutor je wysyła. Sprzęt kupiony na jedno zamówienie opłaca się z góry za trzy miesiące.

Dni robocze w dwóch ostatnich wierszach. Każdy zegar startuje po zaksięgowaniu płatności i przejściu weryfikacji antyfraudowej. Przy dużym pierwszym zamówieniu przelew bankowy zwykle przechodzi weryfikację szybciej niż płatność kartą.

Odpowiedzi

Pytania o dedykowane serwery AI

Czym dokładnie jest dedykowany serwer AI?

Fizyczny serwer wynajmowany jednemu klientowi, z jednym lub większą liczbą procesorów GPU przekazanych do systemu operacyjnego, który ten klient instaluje. Między Twoim kodem a GPU nie ma hypervisora i nic na maszynie nie jest współdzielone: rdzenie, pamięć, dyski, cały GPU i port sieciowy należą do Ciebie, z dostępem root.

Ile kosztuje dedykowany serwer AI miesięcznie?

Najniższa pełna cena z GPU klasy treningowej to $169.93 miesięcznie: Instinct MI50 (16 GB HBM2) w Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Większe GPU kosztują więcej, a każdy z nich jest podany z pełną ceną miesięczną na stronie Serwery dedykowane z GPU. Konfiguracja z GPU montowanym na zamówienie wiąże się z jednorazową opłatą instalacyjną w wysokości $29. W klastrze każdy węzeł płaci również za własny port powyżej prędkości zawartej w cenie.

Który GPU jest najlepszy do serwera deep learning?

Zacznij od pamięci GPU, nie od szybkości. Wagi, aktywacje i stan optymalizatora muszą się zmieścić, a zadania, które się nie mieści, szybszy GPU nie naprawi. Oferujemy 15 modeli GPU klasy treningowej, z maksymalnie 80 GB pamięci na jednym GPU. Do treningu, który przesyła partie z hosta, sprawdź też kolumnę PCIe; do serwowania modelu, który pozostaje załadowany, ma to znacznie mniejsze znaczenie.

Czy mogę umieścić kilka GPU w jednym dedykowanym serwerze AI?

Często tak, i jest to wyceniane indywidualnie, a nie wybierane w koszyku. Prześwit na sloty, szerokość GPU, liczba linii PCIe na gniazdo i zasilacz określają liczbę dla danej obudowy. Podaj nam GPU na czacie, a wycena wróci z obudową, liczbą i terminem. Dwa GPU nie łączą swojej pamięci, chyba że Twój framework podzieli model między nie.

Czy oferujecie klastry GPU z InfiniBand?

Nie jako pozycję katalogową. Węzły łączą się przez Ethernet, jeden port na węzeł, od 1 Gbps w cenie do 100 Gbps. InfiniBand lub mostek GPU-do-GPU między maszynami to wycena indywidualna, a odpowiedź może być odmowna. Zapytaj, zanim zaplanujesz wokół tego zadanie.

Jak szybko dwa moje serwery mogą się ze sobą komunikować?

Tak szybko, jak wolniejszy z ich dwóch portów. Najwyższy port to 100 Gbps, dostępny w Intel Xeon Silver / Gold. Trzymaj węzły w jednym mieście: między miastami odległość dodaje opóźnienia, którego szybszy port nie usunie.

Czy ruch między moimi węzłami jest limitowany?

Nie. Każdy port jest nielimitowany w obu kierunkach, bez limitu transferu i bez opłat za ruch wychodzący. Kopiowanie zbiorów danych, synchronizacja gradientów i zapisywanie punktów kontrolnych między węzłami kosztuje tylko cenę portu i nic więcej.

Czy współdzielę GPU z innymi klientami?

Nie. Jedna maszyna, jedno konto. GPU działa w trybie PCIe passthrough, bez partycji MIG, bez profilu vGPU i bez dzielenia czasu, więc benchmark, który uruchomisz pierwszego dnia, nadal będzie aktualny dziewięćdziesiątego dnia.

Który sterownik i wersja CUDA są zainstalowane?

Te, które sam zainstalujesz. Serwer jest przekazywany z czystym systemem operacyjnym i dostępem root, a Ty wybierasz sterownik, wersję CUDA lub ROCm oraz wersje frameworków. Jeśli chcesz, aby sterownik był zainstalowany w momencie przekazania, podaj dokładną wersję w zamówieniu.

Jak szybko dostarczany jest dedykowany serwer AI?

Około 30 minut po zatwierdzeniu płatności w przypadku maszyny, która jest już zamontowana w szafie i pobierana w obecnej konfiguracji. Od 4 do 24 godzin, gdy budujemy ją z naszego magazynu, od 5 do 10 dni roboczych, gdy część jest kupowana, i od 10 do 15 dni roboczych w przypadku GPU z alokacji dystrybutora. Wycena dla kilku węzłów wskazuje najwolniejszą część przed dokonaniem płatności.

Gdzie znajdują się Wasze serwery AI?

Nowy Jork, Miami, San Francisco, Amsterdam i Bukareszt. Nie w każdym mieście dostępna jest każda platforma GPU: New York and Bucharest mają wszystkie 4. Maszyny w Amsterdamie i Bukareszcie są rozliczane w euro.

Czy mogę wynająć serwer AI miesięcznie, bez umowy?

Tak. Każda maszyna działa w cyklu miesięcznym, bez żadnych dokumentów do podpisania. Cykle 3-, 6- i 12-miesięczne pozwalają zaoszczędzić do 15%. Sprzęt kupowany na pojedyncze zamówienie jest płatny z góry za trzy miesiące.

Dla porządku

Ta strona w liczbach

Odczytane z katalogu zamówień w momencie wyświetlenia tej strony, te same wiersze, z których korzysta system rozliczeniowy.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Powiązane strony

Gdzie znajdziesz odpowiedź na kolejne pytanie

Serwery dedykowane z GPUKażdy GPU, który montujemy, wyceniony obok swojej maszyny. Hosting LLMUruchamianie modelu językowego na jednej maszynie, którą kontrolujesz. NVIDIA DGX SparkMaszyna GB10 i do czterech takich maszyn połączonych w sieć. Nielimitowana przepustowośćJeden port na jednej maszynie, każda prędkość powyżej tej zawartej w cenie. Budowa na zamówieniePełna specyfikacja, wyceniona i z terminem przed zapłatą. Serwery natychmiastoweTo, co jest teraz zamontowane i włączone. Centra danychPięć budynków, w których może znajdować się klaster. CennikKażda miesięczna kwota na stronie, w jednej tabeli. Starszy sprzęt, niższa cenaTańsza strona tych platform i dlaczego wciąż są w szafach. WsparcieOkna wymiany dla każdego planu i stojące za nimi kredyty.

Podaj nam model, dane i termin

Skonfiguruj teraz najtańszą konfigurację lub opisz zadanie na czacie i otrzymaj wycenę GPU, węzłów i terminu.

Skonfiguruj serwer