What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Server GPU per addestramento e inferenza

Server AI dedicato GPU completa. Il tuo sistema operativo. Una porta per nodo.

Un server AI dedicato è un'intera macchina fisica con la GPU passata direttamente al tuo sistema operativo, noleggiata su base mensile. I nostri partono da $169.93 al mese con Instinct MI50 (16 GB HBM2), e si scalano in due modi: più GPU in uno chassis, o più nodi su uno switch.

Singolo tenant
Passthrough PCIe
Nessun costo di uscita
5 città
Nessun contratto

Questa pagina è per il passo successivo alla prima GPU. Confronta ogni piattaforma in cui installiamo una GPU su linee PCIe, velocità di porta e città, calcola il prezzo della rete per un cluster per nodo e fornisce le date di consegna prima dell'ordine.

Confronta le piattaforme Calcola il prezzo di un cluster

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Incluso su ogni nodo

Cosa include ogni server AI dedicato

Le stesse quattro cose su un singolo server GPU per deep learning o su un cluster di venti.

La GPU completa

Passthrough PCIe nel tuo sistema operativo. Nessun hypervisor, partizione MIG, profilo vGPU o time-slicing si frappone tra il tuo codice e la GPU.

Il tuo stack

Un sistema operativo pulito con accesso root. Scegli tu il driver, la versione di CUDA o ROCm e le build del framework su cui il tuo codice è stato testato.

Una porta senza contatore

Senza limiti in entrambe le direzioni. Dataset in ingresso, checkpoint in uscita e replica tra i nodi non compaiono mai come voce di traffico in uscita.

Risposte in pochi secondi

La nostra chat AI risponde in pochi secondi e può controllare il tuo account e i tuoi server mentre lavora. Chiedi di una persona e qualcuno prende il suo posto.

Scalare oltre una GPU

Server per deep learning: aggiungi una GPU o aggiungi una macchina

Risolvono carenze diverse, costano in modo diverso e arrivano in date diverse. Trova dove sta il limite prima di confrontare i prezzi.

Server multi-GPU

Più GPU in uno chassis

Scegli questa opzione quando il limite è la GPU: il modello non entra più nella memoria della GPU, oppure le code di lavoro si accumulano sulla GPU mentre il resto della macchina resta inattivo. Più di una GPU per chassis viene quotata, non spuntata, perché lo spazio per gli slot, le linee PCIe e l'alimentatore determinano il numero per ciascun modello di GPU.

Deciso da: Lo chassis. Indica la GPU e il preventivo indica lo chassis, il numero e la data.
Sappi questo: Due GPU mantengono due pool di memoria separati. Un lavoro grande deve essere suddiviso con parallelismo tensoriale o a pipeline e paga per il traffico tra le GPU. I lavori indipendenti semplicemente ne eseguono il doppio contemporaneamente.

Cluster GPU

Più macchine su uno switch

Scegli questa opzione quando il limite è la macchina. La piattaforma GPU più grande qui si ferma a 2 sockets e 1 TB di RAM. Oltre quello, l'unità di capacità successiva è un altro server.

Deciso da: La città e la porta. I nodi che lavorano insieme vanno in un unico edificio, e ognuno paga per la propria porta.
Sappi questo: Un cluster qui è un insieme di server separati, ognuno ordinato, fatturato, aggiornato e sostituito per conto proprio. Non esiste una SKU di cluster, quindi non c'è un sovrapprezzo per il cluster né un numero minimo di nodi.

Non sai da che parte stai? Invia la dimensione del modello, il dataset e la scadenza in . Se una sola macchina basta, te lo diciamo.

In tempo reale dal catalogo

Piattaforme per server di machine learning, a confronto

Ogni piattaforma in cui installiamo una GPU, sui dati che dimensionano un cluster. Le generazioni PCIe corrispondono alla pagina delle GPU. Ogni altro dato proviene dal catalogo ordini a ogni caricamento di questa pagina.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

PCIe verso la GPU limita il trasferimento host-GPU: streaming dei batch di addestramento, caricamento delle scene, tutto ciò che trabocca dalla memoria della GPU. Un modello che resta caricato lo usa appena.
Limite di porta limita il trasferimento nodo-nodo. Una singola macchina non lo nota mai. Un lavoro suddiviso su due macchine ne dipende.
Città viene prima per un cluster. Una piattaforma che la tua città non ospita non è un'opzione.
Il compromesso: il bus più ampio, AMD EPYC su PCIe 4.0, arriva al massimo a 20 Gbps. La porta 100 Gbps è su Intel Xeon Silver / Gold, su un bus più vecchio. Nessuna piattaforma ha entrambi, quindi decidi quale serve al tuo lavoro.

Quale GPU va in ogni piattaforma, e il suo prezzo mensile accanto alla macchina a cui appartiene, è su Server dedicati GPU.

Rete del cluster

Porte del cluster GPU, prezzo per nodo

Una porta si acquista per macchina, quindi la rete sotto un cluster è la stessa linea una volta per nodo, ogni mese. La tabella fa questa moltiplicazione per te.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

I gradini non sono lineari. In diversi punti, più nodi un gradino sotto costano meno di meno nodi un gradino sopra. Se il lavoro si partiziona bene, questo compra un server in più.
I gradini più alti sono più stretti. Le porte più veloci esistono su meno piattaforme, e non su quella con il bus più ampio.
Ethernet, detto chiaramente. Il collegamento tra due delle nostre macchine è una porta Ethernet. Nessuna linea InfiniBand e nessun ponte GPU-GPU tra macchine compare su alcun modulo d'ordine. Se il tuo lavoro ne ha bisogno, chiedi prima di ordinare: è un preventivo, e la risposta può essere no.

Ogni velocità è senza limiti in entrambe le direzioni e senza soglia di trasferimento. Per una porta su una macchina, vedi banda senza limiti.

Posizionamento

Scegli la città prima della piattaforma

I nodi che condividono un lavoro appartengono a un unico edificio, e le nostre cinque città non ospitano tutte le stesse piattaforme. New York and Bucharest le ospitano tutte. Controlla prima la città, poi configura.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Alimentazione, operatori e accesso per ogni edificio sono su data center. Se la latenza tra due delle nostre città conta per il tuo progetto, chiedi al supporto di misurarla tra quelle sale.

Dall'ordine al rack

Le date di consegna arrivano con il preventivo

Una build multi-nodo può coinvolgere diverse macchine e un ordine d'acquisto per i componenti. Il preventivo indica la parte più lenta prima che tu paghi, usando gli stessi tempi di consegna di build su ordinazione.

~30 min
In rack, preso così com'è
La macchina esiste già e viene consegnata. Server istantanei elenca cosa è in rack ora, ed è il primo posto dove cercare i nodi semplici di un cluster.
4–24 h
Costruito dal nostro stock
GPU installate, dischi configurati, sistema operativo installato. Diversi nodi vengono costruiti in parallelo.
5–10 giorni
Componenti acquistati
Un componente che non teniamo a magazzino viene ordinato per primo. Per uno chassis multi-GPU questo è il caso abituale, e lo chassis è di solito la parte più lenta.
10–15 giorni
GPU su allocazione
Gli acceleratori attuali vengono spediti quando li spedisce il distributore. L'hardware acquistato per un ordine viene pagato con tre mesi di anticipo.

Giorni lavorativi nelle ultime due righe. Ogni orologio parte una volta che il pagamento e la revisione antifrode sono completati. Su un primo ordine grande, un bonifico bancario di solito supera la revisione più velocemente di un pagamento con carta.

Risposte

Domande sui server AI dedicati

Che cos'è esattamente un server AI dedicato?

Un server fisico noleggiato a un singolo cliente, con una o più GPU passate direttamente al sistema operativo che il cliente installa. Nessun hypervisor si frappone tra il tuo codice e la GPU, e nulla sulla macchina è condiviso: i core, la memoria, i dischi, l'intera GPU e la porta di rete sono tuoi, con accesso root.

Quanto costa al mese un server AI dedicato?

Il prezzo completo più basso con una GPU di classe training è $169.93 al mese: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Le GPU più grandi costano di più, e ognuna è elencata con il suo prezzo mensile completo su Server dedicati con GPU. Una configurazione con GPU montata su ordinazione aggiunge un costo di setup una tantum di $29. In un cluster, ogni nodo paga anche la propria porta oltre la velocità inclusa.

Quale GPU è migliore per un server di deep learning?

Parti dalla memoria della GPU, non dalla velocità. I pesi, le attivazioni e lo stato dell'ottimizzatore devono entrarci, e un lavoro che non ci sta non viene risolto da una GPU più veloce. Elenchiamo 15 modelli di GPU di classe training, con fino a 80 GB di memoria su una singola GPU. Per l'addestramento che trasferisce batch dall'host, controlla anche la colonna PCIe; per servire un modello che resta caricato, conta molto meno.

Posso mettere più GPU in un server AI dedicato?

Spesso sì, e viene quotato piuttosto che spuntato al checkout. Lo spazio per gli slot, la larghezza della GPU, le linee PCIe per socket e l'alimentatore determinano il numero per un dato chassis. Dicci la GPU in chat e il preventivo arriva con lo chassis, il numero e una data. Due GPU non uniscono la loro memoria a meno che il tuo framework non divida il modello tra di esse.

Offrite cluster GPU con InfiniBand?

Non come voce di catalogo. I nodi si collegano via Ethernet, una porta per nodo, da 1 Gbps inclusa fino a 100 Gbps. InfiniBand, o un bridge GPU-a-GPU tra macchine, è un preventivo, e la risposta può essere no. Chiedi prima di pianificare un lavoro che ne dipenda.

Quanto velocemente possono parlare tra loro due miei server?

Tanto velocemente quanto la più lenta delle loro due porte. La porta massima è 100 Gbps, disponibile su Intel Xeon Silver / Gold. Tieni i nodi in una sola città: tra città, la distanza aggiunge latenza che una porta più veloce non elimina.

Il traffico tra i miei nodi è misurato?

No. Ogni porta è senza limiti in entrambe le direzioni, senza soglie di trasferimento e senza costi di uscita. Copiare dataset, sincronizzare i gradienti e scrivere checkpoint tra i tuoi nodi costa il prezzo della porta e nient'altro.

Condivido la GPU con altri clienti?

No. Una macchina, un account. La GPU è in passthrough PCIe, senza partizioni MIG, senza profili vGPU e senza time-slicing, quindi il benchmark che esegui il primo giorno vale ancora il novantesimo.

Quale driver e versione CUDA vengono installati?

Quelli che installi tu. Il server viene consegnato con un sistema operativo pulito e accesso root, e scegli tu il driver, la release CUDA o ROCm e le versioni del framework. Se vuoi un driver già installato alla consegna, indica la versione esatta nell'ordine.

Quanto velocemente viene consegnato un server AI dedicato?

Circa 30 minuti dopo l'approvazione del pagamento per una macchina già montata in rack e presa così com'è. Da 4 a 24 ore quando la assembliamo dal nostro magazzino, da 5 a 10 giorni lavorativi quando un componente viene acquistato, e da 10 a 15 giorni lavorativi per GPU in allocazione dal distributore. Un preventivo per più nodi indica il componente più lento prima che tu paghi.

Dove si trovano i vostri server AI?

New York, Miami, San Francisco, Amsterdam e Bucarest. Non tutte le città ospitano ogni piattaforma GPU: New York and Bucharest ospitano tutte le 4. Le macchine ad Amsterdam e Bucarest sono fatturate in euro.

Posso noleggiare un server AI mensilmente, senza contratto?

Sì. Ogni macchina funziona mese per mese senza nulla da firmare. I cicli da 3, 6 e 12 mesi fanno risparmiare fino al 15%. L'hardware acquistato per un singolo ordine viene pagato con tre mesi di anticipo.

Per la cronaca

Questa pagina in cifre

Letto dal catalogo ordini quando questa pagina è stata servita, le stesse righe da cui il checkout fattura.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

Pagine correlate

Dove trova risposta la prossima domanda

Server dedicati con GPUOgni GPU che montiamo, ciascuna con il prezzo accanto alla sua macchina. Hosting LLMEseguire un modello linguistico su una macchina che controlli tu. NVIDIA DGX SparkUna macchina GB10, e fino a quattro collegate in rete tra loro. Banda senza limitiUna porta su una macchina, ogni velocità sopra quella inclusa. Costruisci su ordinazioneUn'intera specifica, prezzata e datata prima che tu paghi. Server istantaneiCiò che è montato in rack e acceso adesso. Data centerI cinque edifici in cui può vivere un cluster. PrezziOgni cifra mensile del sito, in un'unica tabella. Hardware più vecchio, prezzo più bassoLa fascia più economica di queste piattaforme, e perché è ancora in rack. SupportoFinestre di sostituzione per piano, e i crediti dietro di esse.

Dicci il modello, i dati e la scadenza

Configura ora la build dal prezzo più basso, oppure descrivi il lavoro in chat e ottieni un preventivo per le GPU, i nodi e la data.

Configura un server