What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

Eğitim ve çıkarım için GPU sunucuları

Özel AI sunucusu Tam GPU. Sizin işletim sisteminiz. Düğüm başına bir port.

Özel bir AI sunucusu, GPU'su kendi işletim sisteminize doğrudan aktarılan, aylık kiralanan komple bir fiziksel makinedir. Bizimkiler ayda $169.93 ile başlar, Instinct MI50 (16 GB HBM2) ile birlikte ve iki şekilde ölçeklenir: tek kasada daha fazla GPU veya tek anahtarda daha fazla düğüm.

Tek kiracı
PCIe doğrudan geçiş
Çıkış ücreti yok
5 şehir
Sözleşme yok

Bu sayfa, ilk GPU'dan sonraki adım içindir. GPU taktığımız her platformu PCIe hatları, port hızı ve şehir bazında karşılaştırır, küme ağını düğüm başına fiyatlandırır ve sipariş vermeden önce teslim tarihlerini verir.

Platformları karşılaştırın Küme fiyatlandırın

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

Her düğümde dahil

Her özel AI sunucusunun içerdikleri

Derin öğrenme için tek GPU'lu bir sunucuda veya yirmi düğümlü bir kümede aynı dört şey.

Tam GPU

İşletim sisteminize PCIe doğrudan geçiş. Kodunuz ile GPU arasında hipervizör, MIG bölümü, vGPU profili veya zaman dilimleme bulunmaz.

Kendi yığınınız

Root yetkili temiz bir işletim sistemi. Sürücüyü, CUDA veya ROCm sürümünü ve kodunuzun test edildiği framework derlemelerini siz sabitlersiniz.

Sayaçsız bir port

Her iki yönde de sayaçsız. Veri kümeleri girişi, kontrol noktaları çıkışı ve düğümler arası çoğaltma asla bir çıkış kalemi olarak görünmez.

Saniyeler içinde yanıtlar

AI sohbetimiz saniyeler içinde yanıt verir ve çalışırken hesabınızı ve sunucularınızı kontrol edebilir. Bir kişi isteyin, biri devralır.

Tek GPU'nun ötesine ölçekleme

Derin öğrenme sunucusu: GPU ekleyin veya makine ekleyin

Farklı eksiklikleri giderirler, farklı maliyetleri vardır ve farklı tarihlerde gelirler. Fiyatları karşılaştırmadan önce sınırın nerede olduğunu bulun.

Çok GPU'lu sunucu

Tek kasada daha fazla GPU

GPU sınır olduğunda bunu seçin: model artık GPU belleğine sığmıyordur veya makinenin geri kalanı boştayken iş kuyrukları GPU'da birikiyordur. Kasa başına birden fazla GPU, işaretlenmez, fiyat teklifiyle verilir çünkü slot uygunluğu, PCIe hatları ve güç kaynağı her GPU modeli için sayıyı belirler.

Karar veren: Kasa. GPU'yu söyleyin, teklif kasayı, sayıyı ve tarihi söyler.
Bilinmesi gereken: İki GPU iki bellek havuzu tutar. Büyük bir iş tensor veya pipeline paralelliği ile bölünmeli ve GPU'lar arası trafiğin bedelini öder. Bağımsız işler aynı anda iki katı kadar çalışır.

GPU kümesi

Tek anahtarda daha fazla makine

Makine sınır olduğunda bunu seçin. Buradaki en büyük GPU platformu 2 sockets ve 1 TB RAM'de durur. Bunun ötesinde, bir sonraki kapasite birimi başka bir sunucudur.

Karar veren: Şehir ve port. Birlikte çalışan düğümler tek binada bulunur ve her biri kendi portu için ödeme yapar.
Bilinmesi gereken: Burada küme, her biri kendi başına sipariş edilen, faturalanan, yükseltilen ve değiştirilen ayrı sunuculardan oluşan bir kümedir. Küme SKU'su yoktur, dolayısıyla küme primi ve minimum düğüm sayısı yoktur.

Hangi tarafta olduğunuzdan emin değil misiniz? Model boyutunu, veri kümesini ve son teslim tarihini gönderin. Tek makine karşılıyorsa, söyleriz.

Katalogdan canlı

Makine öğrenimi sunucu platformları, yan yana

GPU taktığımız her platform, kümeyi boyutlandıran rakamlarla. PCIe nesilleri GPU sayfasıyla eşleşir. Diğer her rakam, bu sayfa her yüklendiğinde sipariş kataloğundan gelir.

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

GPU'ya PCIe ana bilgisayar-GPU aktarımını sınırlar: eğitim partilerini akışla aktarma, sahne yükleme, GPU belleğinden taşan her şey. Yüklü kalan bir model bunu neredeyse hiç kullanmaz.
Port tavanı düğümler arası aktarımı sınırlar. Tek makine bunu asla fark etmez. İki makineye bölünmüş bir iş buna bağlıdır.
Şehirler küme için önce gelir. Şehrinizin bulundurmadığı bir platform seçenek değildir.
Takas: en geniş veri yolu, AMD EPYC üzerinde PCIe 4.0, 20 Gbps ile tavan yapar. 100 Gbps portu Intel Xeon Silver / Gold üzerindedir, daha eski bir veri yolunda. Hiçbir platformda ikisi birden yoktur, bu yüzden işinizin hangisine ihtiyaç duyduğuna karar verin.

Her platforma hangi GPU'nun girdiği ve ait olduğu makinenin yanındaki aylık fiyatı GPU özel sunucuları sayfasındadır.

Küme ağı

GPU küme portları, düğüm başına fiyatlandırılır

Port makine başına satın alınır, bu yüzden küme altındaki ağ her düğüm için aynı hattır, her ay. Tablo bu çarpmayı sizin için yapar.

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

Basamaklar doğrusal değildir. Birkaç noktada, bir basamak aşağıdaki daha fazla düğüm, bir basamak yukarıdaki daha az düğümden daha ucuza gelir. İş iyi bölünüyorsa, bu ekstra bir sunucu satın alır.
Üst basamaklar daha dardır. En hızlı portlar daha az platformda bulunur ve en geniş veri yoluna sahip olanda yoktur.
Ethernet, açıkça söylenmiş. İki makinemiz arasındaki bağlantı bir Ethernet portudur. Hiçbir sipariş formunda InfiniBand hattı veya makineler arası GPU'dan GPU'ya köprü yoktur. İşiniz birine ihtiyaç duyuyorsa, sipariş vermeden önce sorun: bu bir tekliftir ve yanıt hayır olabilir.

Her hız, aktarım kotası olmadan her iki yönde sayaçsızdır. Tek makinede tek port için sayaçsız bant genişliği sayfasına bakın.

Yerleşim

Platformdan önce şehri seçin

Bir işi paylaşan düğümler tek binada bulunmalıdır ve beş şehrimizin hepsi aynı platformları barındırmaz. New York and Bucharest hepsini barındırır. Önce şehri kontrol edin, sonra yapılandırın.

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Her bina için güç, operatörler ve erişim veri merkezleri sayfasındadır. İki şehrimiz arasındaki gecikme tasarımınız için önemliyse, destekten bu odalar arasında ölçüm yapmasını isteyin.

Siparişten rafa

Teslim tarihleri teklifle birlikte gelir

Çok düğümlü bir kurulum birkaç makine ve parçalar için bir satın alma siparişi içerebilir. Teklif, ödeme yapmadan önce en yavaş parçayı, siparişe göre üretim ile aynı teslim sürelerini kullanarak belirtir.

~30 dk
Rafa kondu, olduğu gibi alındı
Makine zaten mevcuttur ve teslim edilir. Anında sunucular şu anda rafta olanları listeler ve bir kümenin sade düğümleri için bakılacak ilk yerdir.
4–24 sa
Stoğumuzdan üretildi
GPU'lar takıldı, diskler kuruldu, işletim sistemi yüklendi. Birkaç düğüm paralel olarak üretilir.
5–10 gün
Parçalar satın alındı
Rafta tutmadığımız bir parça önce sipariş edilir. Çok GPU'lu bir kasa için bu olağan durumdur ve kasa genellikle yavaş parçadır.
10–15 gün
GPU'lar tahsisli
Güncel hızlandırıcılar, dağıtıcı gönderdiğinde gönderilir. Tek sipariş için satın alınan donanım üç ay peşin ödenir.

Son iki satırda iş günleri. Her saat, ödeme ve dolandırıcılık incelemesi temizlendiğinde başlar. Büyük bir ilk siparişte, banka havalesi genellikle incelemeyi kart ödemesinden daha hızlı geçer.

Yanıtlar

Adanmış AI sunucusu soruları

Adanmış AI sunucusu tam olarak nedir?

Tek bir müşteriye kiralanan, müşterinin kurduğu işletim sistemine bir veya daha fazla GPU'nun doğrudan geçirildiği fiziksel bir sunucu. Kodunuz ile GPU arasında hipervizör bulunmaz ve makinede hiçbir şey paylaşılmaz: çekirdekler, bellek, diskler, GPU'nun tamamı ve ağ portu root erişimiyle size aittir.

Adanmış bir AI sunucusunun aylık maliyeti nedir?

Eğitim sınıfı bir GPU ile en düşük komple fiyat aylık $169.93: Instinct MI50 (16 GB HBM2) Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps içinde. Daha büyük GPU'lar daha pahalıdır ve her biri komple aylık fiyatıyla GPU adanmış sunucuları sayfasında listelenir. Siparişe göre GPU takılan bir yapılandırmada tek seferlik $29 kurulum ücreti eklenir. Bir kümede her düğüm, dahil edilen hızın üzerindeki kendi portu için de ödeme yapar.

Derin öğrenme sunucusu için en iyi GPU hangisidir?

Hızdan değil, GPU belleğinden başlayın. Ağırlıklar, aktivasyonlar ve optimize edici durumu sığmalıdır ve sığmayan bir iş daha hızlı bir GPU ile çözülmez. 15 eğitim sınıfı GPU modeli listeliyoruz, tek bir GPU'da 80 GB'a kadar bellek ile. Ana makineden yığın akışıyla eğitim için PCIe sütununa da bakın; yüklü kalan bir modeli sunmak için çok daha az önemlidir.

Tek bir adanmış AI sunucusuna birden fazla GPU koyabilir miyim?

Çoğu zaman evet ve bu, ödeme sırasında işaretlemek yerine teklifle yapılır. Yuva boşluğu, GPU'nun genişliği, soket başına PCIe hatları ve güç kaynağı belirli bir kasa için sayıyı belirler. Sohbette GPU'yu söyleyin, teklif kasa, sayı ve tarihle birlikte gelsin. İki GPU, çerçeveniz modeli aralarında bölmedikçe belleklerini birleştirmez.

InfiniBand ile GPU kümeleri sunuyor musunuz?

Katalog öğesi olarak hayır. Düğümler Ethernet üzerinden bağlanır, düğüm başına bir port, dahil edilen 1 Gbps'den 100 Gbps'a kadar. InfiniBand veya makineler arasında GPU'dan GPU'ya köprü bir tekliftir ve yanıt hayır olabilir. Bir işi bunun üzerine planlamadan önce sorun.

İki sunucum birbiriyle ne kadar hızlı konuşabilir?

İki portundan daha yavaş olanı kadar hızlı. En üst port 100 Gbps'tır, Intel Xeon Silver / Gold üzerinde mevcuttur. Düğümleri tek bir şehirde tutun: şehirler arasında mesafe, daha hızlı bir portun gideremeyeceği gecikme ekler.

Düğümlerim arasındaki trafik ölçülüyor mu?

Hayır. Her port her iki yönde de ölçümsüzdür, aktarım kotası ve çıkış ücreti yoktur. Düğümleriniz arasında veri kümelerini kopyalamak, gradyanları senkronize etmek ve kontrol noktaları yazmak port fiyatına mal olur, başka hiçbir şeye değil.

GPU'yu diğer müşterilerle paylaşıyor muyum?

Hayır. Tek makine, tek hesap. GPU PCIe doğrudan geçişindedir, MIG bölümü, vGPU profili ve zaman dilimleme yoktur; böylece birinci gün çalıştırdığınız kıyaslama doksanıncı gün de geçerlidir.

Hangi sürücü ve CUDA sürümü kurulu gelir?

Sizin kurduklarınız. Sunucu temiz bir işletim sistemi ve root erişimiyle teslim edilir; sürücüyü, CUDA veya ROCm sürümünü ve çerçeve sürümlerini siz seçersiniz. Teslimde bir sürücünün hazır olmasını istiyorsanız, siparişte tam sürümü belirtin.

Adanmış bir AI sunucusu ne kadar hızlı teslim edilir?

Zaten rafa takılmış ve olduğu gibi alınan bir makine için ödeme onayından yaklaşık 30 dakika sonra. Stokumuzdan kurduğumuzda 4 ila 24 saat, bir parça satın alındığında 5 ila 10 iş günü ve dağıtıcı tahsisindeki GPU'lar için 10 ila 15 iş günü. Birkaç düğüm için teklif, ödemeden önce en yavaş parçayı belirtir.

AI sunucularınız nerede bulunuyor?

New York, Miami, San Francisco, Amsterdam ve Bükreş. Her şehir her GPU platformunu barındırmaz: New York and Bucharest tüm 4'ı barındırır. Amsterdam ve Bükreş'teki makineler avro üzerinden faturalanır.

AI sunucusunu sözleşmesiz, aylık kiralayabilir miyim?

Evet. Her makine aydan aya çalışır, imzalanacak bir şey yoktur. 3, 6 ve 12 aylık dönemler 15%'a kadar tasarruf sağlar. Tek bir sipariş için satın alınan donanım üç ay peşin ödenir.

Kayıt için

Bu sayfa rakamlarla

Bu sayfa sunulduğunda sipariş kataloğundan okunur, ödemenin faturalandırdığı satırların aynısı.

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

İlgili sayfalar

Sonraki sorunun yanıtlandığı yer

GPU adanmış sunucularıTaktığımız her GPU, makinesinin yanında fiyatlandırılmış. LLM barındırmaKontrol ettiğiniz tek bir makinede dil modeli çalıştırmak. NVIDIA DGX SparkBir GB10 makinesi ve ağa bağlı dört taneye kadar. Ölçümsüz bant genişliğiTek makinede tek port, dahil edilenin üzerindeki her hız. Siparişe göre kurulumÖdemeden önce fiyatlandırılmış ve tarihlendirilmiş eksiksiz bir teknik özellik. Anında sunucularŞu anda rafta ve güç altında olanlar. Veri merkezleriBir kümenin yaşayabileceği beş bina. FiyatlandırmaSitedeki her aylık rakam, tek bir tabloda. Eski donanım, düşük fiyatBu platformların daha ucuz ucu ve neden hâlâ rafta olduğu. DestekPlan başına değişim pencereleri ve arkasındaki krediler.

Modeli, veriyi ve son tarihi bize söyleyin

En düşük fiyatlı yapılandırmayı şimdi yapılandırın veya sohbette işi anlatın; GPU'lar, düğümler ve tarih için teklif alın.

Sunucu yapılandır