What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Servere GPU pentru antrenare și inferență

Server AI dedicat GPU complet. Sistemul tău de operare. Un port per nod.

Un server AI dedicat este o mașină fizică întreagă, cu GPU-ul pasat către propriul tău sistem de operare, închiriat lunar. Ale noastre pornesc de la $169.93 pe lună cu Instinct MI50 (16 GB HBM2) și se scalează în două moduri: mai multe GPU-uri într-un singur șasiu sau mai multe noduri pe un singur switch.

Un singur chiriaș
Passthrough PCIe
Fără taxă de ieșire
5 orașe
Fără contract

Această pagină este pentru pasul de după primul GPU. Compară fiecare platformă în care montăm un GPU pe linii PCIe, viteză de port și oraș, prețuiește rețeaua pentru un cluster per nod și oferă datele de livrare înainte să comanzi.

Compară platformele Prețuiește un cluster

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Incluse pe fiecare nod

Ce include fiecare server AI dedicat

Aceleași patru lucruri pe un singur server GPU pentru învățare profundă sau pe un cluster de douăzeci.

GPU-ul complet

Passthrough PCIe în sistemul tău de operare. Niciun hypervisor, partiție MIG, profil vGPU sau time-slicing nu stă între codul tău și GPU.

Propriul tău stack

Un sistem de operare curat, cu root. Tu fixezi driverul, versiunea CUDA sau ROCm și build-urile de framework pe care a fost testat codul tău.

Un port fără contor

Nemăsurat în ambele direcții. Seturile de date la intrare, checkpoint-urile la ieșire și replicarea între noduri nu apar niciodată ca o linie de ieșire.

Răspunsuri în secunde

Chat-ul nostru AI răspunde în secunde și îți poate verifica contul și serverele în timp ce lucrează. Cere o persoană și una preia conversația.

Scalare dincolo de un GPU

Server de învățare profundă: adaugă un GPU sau adaugă o mașină

Rezolvă lipsuri diferite, costă diferit și ajung la date diferite. Găsește unde este limita înainte să compari prețurile.

Server multi-GPU

Mai multe GPU-uri într-un singur șasiu

Alege asta când GPU-ul este limita: modelul nu mai încape în memoria GPU sau cozile de lucru se adună pe GPU în timp ce restul mașinii stă degeaba. Mai mult de un GPU per șasiu se cotează, nu se bifează, pentru că spațiul de slot, liniile PCIe și sursa de alimentare stabilesc numărul pentru fiecare model de GPU.

Decis de: Șasiu. Spune GPU-ul și oferta numește șasiul, numărul și data.
Să știi asta: Două GPU-uri păstrează două pool-uri de memorie. O lucrare mare trebuie împărțită cu paralelism tensor sau pipeline și plătește traficul dintre GPU-uri. Lucrările independente pur și simplu rulează de două ori mai multe simultan.

Cluster GPU

Mai multe mașini pe un singur switch

Alege asta când mașina este limita. Cea mai mare platformă GPU de aici se oprește la 2 sockets și 1 TB de RAM. Dincolo de asta, următoarea unitate de capacitate este un alt server.

Decis de: Orașul și portul. Nodurile care lucrează împreună stau într-o singură clădire și fiecare plătește pentru propriul port.
Să știi asta: Un cluster aici este un set de servere separate, fiecare comandat, facturat, upgradat și înlocuit individual. Nu există un SKU de cluster, deci nu există nici primă de cluster și nici număr minim de noduri.

Nu ești sigur de ce parte ești? Trimite dimensiunea modelului, setul de date și termenul limită în . Dacă o singură mașină acoperă nevoia, o spunem.

Live din catalog

Platforme de server pentru machine learning, una lângă alta

Fiecare platformă în care montăm un GPU, pe cifrele care dimensionează un cluster. Generațiile PCIe corespund paginii GPU. Toate celelalte cifre vin din catalogul de comenzi de fiecare dată când se încarcă această pagină.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe către GPU limitează transferul host-GPU: streaming de batch-uri de antrenare, încărcarea scenelor, orice se revarsă din memoria GPU. Un model care rămâne încărcat abia îl folosește.
Plafonul de port limitează transferul nod-la-nod. O singură mașină nu îl observă niciodată. O lucrare împărțită pe două mașini depinde de el.
Orașele vin primele pentru un cluster. O platformă pe care orașul tău nu o are nu este o opțiune.
Compromisul: cel mai lat bus, AMD EPYC pe PCIe 4.0, se oprește la 20 Gbps. Portul de 100 Gbps este pe Intel Xeon Silver / Gold, pe un bus mai vechi. Nicio platformă nu le are pe amândouă, deci decide de care are nevoie lucrarea ta.

Ce GPU intră în fiecare platformă și prețul său lunar lângă mașina căreia îi aparține sunt pe servere dedicate GPU.

Rețea de cluster

Porturi de cluster GPU, prețuite per nod

Un port se cumpără per mașină, deci rețeaua de sub un cluster este aceeași linie o dată per nod, în fiecare lună. Tabelul face această înmulțire pentru tine.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Treptele nu sunt liniare. În mai multe puncte, mai multe noduri cu o treaptă mai jos costă mai puțin decât mai puține noduri cu o treaptă mai sus. Dacă lucrarea se partiționează bine, asta cumpără un server în plus.
Treptele de sus sunt mai înguste. Cele mai rapide porturi există pe mai puține platforme și nu pe cea cu cel mai lat bus.
Ethernet, spus clar. Legătura dintre două dintre mașinile noastre este un port Ethernet. Nicio linie InfiniBand și niciun bridge GPU-la-GPU între mașini nu apare pe niciun formular de comandă. Dacă lucrarea ta are nevoie de unul, întreabă înainte să comanzi: este o ofertă, iar răspunsul poate fi nu.

Fiecare viteză este nemăsurată în ambele direcții, fără alocație de transfer. Pentru un port pe o singură mașină, vezi lățime de bandă nemăsurată.

Amplasare

Alege orașul înaintea platformei

Nodurile care împart o lucrare trebuie să fie într-o singură clădire, iar cele cinci orașe ale noastre nu au toate aceleași platforme. New York and Bucharest le au pe toate. Verifică întâi orașul, apoi configurează.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Puterea, operatorii și accesul pentru fiecare clădire sunt pe centre de date. Dacă latența dintre două dintre orașele noastre contează pentru designul tău, cere suportului să o măsoare între acele camere.

De la comandă la montat în rack

Datele de livrare vin cu oferta

O construcție multi-nod poate implica mai multe mașini și o comandă de achiziție pentru piese. Oferta numește partea cea mai lentă înainte să plătești, folosind aceleași termene de livrare ca build to order.

~30 min
Montat în rack, luat așa cum este
Mașina există deja și este predată. Servere instant listează ce este montat acum și este primul loc unde să cauți nodurile simple ale unui cluster.
4–24 h
Construit din stocul nostru
GPU-uri montate, discuri configurate, sistem de operare instalat. Mai multe noduri sunt construite în paralel.
5–10 zile
Piese cumpărate
O piesă pe care nu o ținem pe raft se comandă întâi. Pentru un șasiu multi-GPU acesta este cazul obișnuit, iar șasiul este de obicei partea lentă.
10–15 zile
GPU-uri pe alocare
Acceleratoarele actuale se livrează când le livrează distribuitorul. Hardware-ul cumpărat pentru o singură comandă se plătește cu trei luni în avans.

Zile lucrătoare în ultimele două rânduri. Fiecare ceas pornește după ce plata și verificarea antifraudă se finalizează. La o primă comandă mare, un transfer bancar trece de obicei verificarea mai repede decât o plată cu cardul.

Răspunsuri

Întrebări despre serverele AI dedicate

Ce este, mai exact, un server AI dedicat?

Un server fizic închiriat unui singur client, cu unul sau mai multe GPU-uri pasate direct către sistemul de operare pe care îl instalează clientul. Niciun hypervisor nu stă între codul tău și GPU, iar nimic de pe mașină nu este partajat: nucleele, memoria, discurile, întregul GPU și portul de rețea sunt ale tale, cu acces root.

Cât costă lunar un server AI dedicat?

Cel mai mic preț complet cu un GPU de clasă training este $169.93 pe lună: Instinct MI50 (16 GB HBM2) în Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. GPU-urile mai mari costă mai mult, iar fiecare este listat cu prețul lunar complet pe servere dedicate cu GPU. O configurație cu un GPU montat la comandă adaugă o taxă unică de instalare de $29. Într-un cluster, fiecare nod plătește și pentru propriul port peste viteza inclusă.

Care GPU este cel mai bun pentru un server de deep learning?

Pornește de la memoria GPU, nu de la viteză. Weight-urile, activările și starea optimizerului trebuie să încapă, iar un job care nu încape nu este reparat de un GPU mai rapid. Listăm 15 modele de GPU de clasă training, cu până la 80 GB de memorie pe un singur GPU. Pentru training care streamează batch-uri de pe host, verifică și coloana PCIe; pentru servirea unui model care rămâne încărcat, contează mult mai puțin.

Pot pune mai multe GPU-uri într-un singur server AI dedicat?

Adesea da, iar acest lucru se cotează, nu se bifează la checkout. Spațiul din slot, lățimea GPU-ului, liniile PCIe per socket și sursa de alimentare stabilesc numărul pentru un anumit șasiu. Spune-ne GPU-ul în chat și oferta revine cu șasiul, numărul și o dată. Două GPU-uri nu își cumulează memoria decât dacă framework-ul tău împarte modelul între ele.

Oferiți clustere GPU cu InfiniBand?

Nu ca articol de catalog. Nodurile se conectează prin Ethernet, un port per nod, de la 1 Gbps inclus până la 100 Gbps. InfiniBand, sau o punte GPU-la-GPU între mașini, este o ofertă personalizată, iar răspunsul poate fi nu. Întreabă înainte de a planifica un job în jurul acestui lucru.

Cât de repede pot comunica două dintre serverele mele între ele?

La fel de repede ca cel mai lent dintre cele două porturi ale lor. Portul maxim este 100 Gbps, disponibil pe Intel Xeon Silver / Gold. Ține nodurile într-un singur oraș: între orașe, distanța adaugă latență pe care un port mai rapid nu o elimină.

Este contorizat traficul între nodurile mele?

Nu. Fiecare port este nemăsurat în ambele direcții, fără limită de transfer și fără taxă de egress. Copierea seturilor de date, sincronizarea gradienților și scrierea checkpoint-urilor între nodurile tale costă prețul portului și nimic în plus.

Împart GPU-ul cu alți clienți?

Nu. O mașină, un cont. GPU-ul este pe passthrough PCIe, fără partiție MIG, fără profil vGPU și fără time-slicing, astfel încât benchmark-ul pe care îl rulezi în prima zi rămâne valabil și în a nouăzecea zi.

Ce driver și ce versiune CUDA vin instalate?

Cele pe care le instalezi tu. Serverul este predat cu un sistem de operare curat și acces root, iar tu alegi driverul, versiunea CUDA sau ROCm și versiunile framework-ului. Dacă vrei un driver instalat la predare, menționează versiunea exactă în comandă.

Cât de repede este livrat un server AI dedicat?

Aproximativ 30 de minute după aprobarea plății pentru o mașină care este deja montată în rack și preluată ca atare. 4 până la 24 de ore când o construim din stocul nostru, 5 până la 10 zile lucrătoare când o componentă este achiziționată, și 10 până la 15 zile lucrătoare pentru GPU-uri pe alocare de la distribuitor. O ofertă pentru mai multe noduri menționează cea mai lentă componentă înainte să plătești.

Unde sunt localizate serverele voastre AI?

New York, Miami, San Francisco, Amsterdam și București. Nu fiecare oraș deține fiecare platformă GPU: New York and Bucharest dețin toate 4. Mașinile din Amsterdam și București sunt facturate în euro.

Pot închiria un server AI lunar, fără contract?

Da. Fiecare mașină rulează de la lună la lună, fără nimic de semnat. Ciclurile de 3, 6 și 12 luni economisesc până la 15%. Hardware-ul achiziționat pentru o singură comandă se plătește cu trei luni în avans.

Pentru evidență

Această pagină în cifre

Citite din catalogul de comenzi atunci când a fost servită această pagină, aceleași rânduri din care facturează checkout-ul.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Pagini conexe

Unde se răspunde la următoarea întrebare

Servere dedicate cu GPUFiecare GPU pe care îl montăm, fiecare cu prețul lângă mașina sa. Găzduire LLMRulează un model de limbaj pe o mașină pe care o controlezi. NVIDIA DGX SparkO mașină GB10, și până la patru dintre ele conectate în rețea. Lățime de bandă nemăsuratăUn port pe o mașină, fiecare viteză peste cea inclusă. Construire la comandăO specificație completă, cu preț și dată înainte să plătești. Servere instantCe este montat în rack și pornit acum. Centre de dateCele cinci clădiri în care poate locui un cluster. PrețuriFiecare cifră lunară de pe site, într-un singur tabel. Hardware mai vechi, preț mai micCapătul mai ieftin al acestor platforme, și de ce este încă montat în rack. SuportFerestre de înlocuire per plan, și creditele din spatele lor.

Spune-ne modelul, datele și termenul limită

Configurează acum cea mai ieftină variantă, sau descrie jobul în chat și primește o ofertă pentru GPU-uri, noduri și dată.

Configurează un server