Dedicated Instant Custom GPU Cloud VPS Unmetered Domains Pricing Data Centers
Marketplace Build your server

Birden fazla kart, birden fazla makine · Server Room · kuruluş 2004

Yukarı ölçekleme PCIe üzerinden gider. Yatay ölçekleme port üzerinden gider.

Tek bir makinedeki tek bir kart, GPU sayfasında eksiksiz fiyatlandırılmış, çözülmüş bir aritmetiktir. Birin ötesi mühendisliğin başladığı yerdir: sonraki kart kasa içinde hat ve watt için rekabet eder, sonraki makine düğüm başına satın alınan bir port üzerinden konuşur ve bu eksenlerden birini en üst düzeye çıkaran platform diğerinde dibe vurur. Kataloğumuz bu takası rakamlarla belirtir ve bu sayfa onları basar.

Hat-karşı-port takasını gör Fabric'i fiyatlandır

Her kasada tek kiracı, her kartta PCIe passthrough ve hiçbir portta bayt sayacı yok — düğümleriniz arasındaki trafik kimsenin fatura kalemi değildir.

Sayılmıştır, uydurulmamıştır

  • 4Platforms that seat a card
  • 100 GbpsTop port speed, per node
  • 2Socket ceiling, one chassis
  • 1 TBRAM ceiling, one chassis
  • 2Cities stocking all of them

Bu istek üzerine sipariş kataloğundan türetilmiştir — kasanın faturalandırdığı satırların aynısı, yani hiçbiri bayat olamaz. Bunu okurken fiziksel olarak rafta ve güç altında olan şey ayrı bir sorudur ve anında sunucular o listeyi tutar.

Önce darboğazı adlandırın

İkinci bir kart ve ikinci bir makine farklı eksiklikleri giderir.

“Daha fazla işlem gücüne ihtiyacımız var” henüz bir şartname değildir. Eksikliğin kasa içinde mi yoksa raf boyunca mı olduğu, neyin sipariş edileceğini, paranın nasıl akacağını ve bir sonraki hangi tavana çarpacağınızı belirler — bu yüzden sayfa burada, siparişin de ayrılacağı şekilde ayrılır.

Kasa içinde

Elinizdeki makineye bir kart ekleyin

Belirti, aç kalmış bir hızlandırıcı veya dışarı atılmış bir çalışma kümesidir: yığınlar veri yolunda kuyruğa girer veya model kartın belleğini aşmıştır. Çare ikinci bir karttır — ve kasanın kaç tane alacağını slot boşluğu, soket başına hat bütçesi ve güç kaynağının payı belirler; bunlar herhangi bir katalog satırına değil, belirli bir kartı tutan belirli bir kasaya ait üç sayıdır. Bir onay kutusu satmak yerine parçayı adlandırarak fiyat veririz.

Bunu belirleyen: kasadır. Kartı adlandırın, fiyat teklifi o kadarını alan kasayı ve tarihi adlandırır.

İki kartın olmadığı şey: tek bir büyük kart. Çalışma zamanınız işi aralarında bölmedikçe bellek havuzları ayrı kalır — tek bir büyük iş için tensor veya pipeline paralelliği, ki bu kartlar arasındaki bağlantıdan geçiş ücreti öder. Zaten birçok bağımsız iş olan iş, değişmeden iki kat silikon üzerinde çalışır.

Raf boyunca

Yanına ikinci bir makine dikin

Belirti dolu bir makinedir: soketler meşgul, DIMM yuvaları dolu, işler işlerin arkasında kuyrukta. Buradaki herhangi bir kart alan platformun sunduğu en iyi şey 2 sockets and 1 TB ve o duvarın ötesinde bu katalogda daha büyük tek bir kutu yoktur — bir sonraki kapasite birimi daha büyük bir sunucu değil, başka bir sunucudur.

Bunu belirleyen: bina ve porttur. Düğümden düğüme trafik yalnızca tek bir tesis içinde işe yarar ve her düğüm kendi portunu satın alır — fabric faturası port fiyatı çarpı düğüm sayısıdır, her ay.

Burada küme nedir: n ayrı sunucu. Ayrı sipariş edilir, ayrı faturalandırılır, ayrı yükseltilir ve değiştirilir. Küme SKU'su yoktur, bu da küme primi ve asgari düğüm sayısı da yok demektir.

Takas, ölçülmüş olarak

En geniş veri yolu ve en hızlı port farklı makinelerdedir.

Kart oturtacağımız her platform, bir sunucuyu değil bir kümeyi boyutlandıran eksenlerde. Veri yolu nesilleri GPU sayfasının bastığı aynı kaynaklı tablodur — tek dosya, iki sayfa, çelişme imkânı yok — ve geri kalan her şey sipariş kataloğunun kendi adına konuşmasıdır.

Live from the order catalog on this request. Follow any row across: the bus column and the port column pull against each other.
PlatformPCIe to the cardPort ceilingSocketsRAM ceilingCities
Intel Xeon Silver / Gold48 lanes per socketPCIe 3.0100 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v3/v440 lanes per socketPCIe 3.040 Gbps1 Gbps included21 TB5
Intel Xeon E5-2600 v1/v240 lanes per socketPCIe 3.020 Gbps1 Gbps included2256 GB3
AMD EPYC128 lanes per socketPCIe 4.020 Gbps1 Gbps included21 TB2

Bir mühendis o tabloyu nasıl okur

  • PCIe hatları ana bilgisayardan karta aktarımı sınırlar — yığın akışı, sahne yüklemeleri, kart belleğinden taşan her şey. Yerleşik olan ve yerleşik kalan bir model onları umursamayı bırakır.
  • Port tavanı düğümden düğüme aktarımı sınırlar. Tek makinede önemsizdir; iki makinede bütün sorun budur.
  • Şehirler bir küme için en son değil ilk kontrol edilecek sütundur: mükemmel olan ve binanızda bulunmayan bir platform aday değildir.
  • Dolayısıyla: veri yolundan beslenen tek düğümlü iş en geniş hatlara aittir ve portu yok sayabilir; bölümlenmiş iş portun zirve yaptığı yere aittir ve daha eski bir veri yolunu tolere edebilir. Aynı anda her iki maksimumu talep eden bir yapı bu katalogda yoktur ve bunu fatura zamanında keşfetmenize izin vermek yerine burada basarız.

Slota hangi silikonun girdiği ve her kartın kendi aylık satırı GPU özel sunucuları sayfasındadır — bu alan adında bir kartı fiyatlandırmasına izin verilen tek sayfa. Aşağıdaki hiçbir şey ondan bir rakamı tekrarlamaz.

Fabric faturası

Bütçe demeden önce portu n ile çarpın.

Bir port makine başına fiyatlandırılır, yani bir kümenin altındaki ara bağlantı düğüm başına bir kez aynı fatura kalemidir. Tablo bu çarpmayı zaten yapılmış olarak taşır, çünkü tek sunucu fiyatlarından oluşturulan bütçeler küme tekliflerinin sürpriz olarak geri dönmesinin sebebidir.

Monthly, per machine, on top of the machine itself. A cluster buys its speed once per node — the multiplied columns are the fabric bill.
SpeedPer node× 2 nodes× 4 nodesReaches it
1 Gbpsincludedincludedincludedall 4 platforms
2 Gbps$189$378$756all 4 platforms
3 Gbps$299$598$1,196all 4 platforms
5 Gbps$459$918$1,836all 4 platforms
10 Gbps$529$1,058$2,116all 4 platforms
20 Gbps$1,629$3,258$6,516all 4 platforms
40 Gbps$2,799$5,598$11,1962 of 4 platforms
100 Gbps$3,999$7,998$15,9961 of 4 platforms

O merdivende dikkate değer olanlar

  • Basamaklar doğrusal fiyatlandırılmamıştır. Birkaç noktada, bir basamak aşağıdaki n makine bir basamak yukarıdaki n−1 makineden daha ucuza gelir — ve size tam bir ekstra sunucu kazandırır. Bu takasın sizin için mevcut olup olmadığı yalnızca işin bölümlenip bölümlenmediğine bağlıdır.
  • Sağdaki sütun yukarı doğru incelir. En yüksek hızlar daha az platformda bulunur ve en geniş veri yoluna sahip olanda değil — platform tablosunun argümanı, ağ tarafından okunduğunda.

Katalogda olmayan şey, ima edilmek yerine belirtilmiştir

İki makinemiz arasında listelenen bağlantı bir Ethernet portudur. Hiçbir sipariş formunda InfiniBand kalemi ve karttan karta köprü yoktur ve kümeler hakkında bu gerçeğin etrafından dolaşan bir sayfa sizi yerleşimle yanıltıyordur. Bir yapı ikisinden birine ihtiyaç duyarsa, sipariş vermeden önce sorun: cevap bir fiyat teklifidir ve bazen cevap hayırdır — ikisini de önce duymak daha ucuzdur.

Her basamak her iki yönde de limitsizdir, hiçbir faturada ödenek ve çıkış satırı yoktur — düğümleriniz arasındaki replikasyon, shuffle'lar ve kontrol noktaları porta mal olur ve başka hiçbir şeye. Tek bir makinedeki tek bir port için, kendi değerleriyle değerlendirildiğinde, limitsiz portlar sayfasıdır.

Yerleşim

Bir küme yapılandırılmadan önce bir binaya yerleştirilir.

Gecikme tesisi sert bir kısıt yapar: bir işi paylaşan düğümler bir odayı paylaşır. Beş odamız aynı platformları stoklamaz, bu yüzden önce platformu seçen bir mühendis şehrinin taşımadığı birini seçebilir — önce odayı kontrol edin, sonra yapılandırın. Aşağıdaki ızgara türetilmiştir, yani yeni bir şehre ulaşan bir platform burada kimse hiçbir şey düzenlemeden görünür.

  • New York, US4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Bucharest, EU4 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
  • Miami, US3 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
  • San Francisco, US2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
  • Amsterdam, EU2 of 4 platformsIntel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

Binaların kendisi — güç, operatörler ve her birinde telefona kimin baktığı — veri merkezleri sayfasındadır. İki şehrimiz arasındaki gecikme düğüm çiftiniz için önemliyse, desteğe bunu o odalar arasında ölçmesini söyleyin; bir sayı bir haritadan iyidir.

Siparişten rafa

Tarih ödemeden sonra değil, teklifle birlikte gelir.

Çok düğümlü bir yapı birkaç makinedir ve çoğu zaman bir satın alma siparişi değerinde parçadır — bu yüzden yayınlanan şey bir teslimat sloganı değil, siparişe göre üretim ve GPU sayfasının zaten kullandığı teslim süresi kaydıdır; uzun kutup herhangi bir şeye bağlanmadan önce belirlenir.

  1. ~30 dakika

    Zaten rafta, olduğu gibi alınır

    Montaj yok ve raf ziyareti yok — makineler mevcuttur ve teslim edilir. Anında sunucular o listedir ve bir kümenin sade düğümleri için okunmaya değer ilk yerdir.

  2. 4–24 saat

    Kendi stoğumuzdan monte edilir

    Standart durum: kartlar oturtulur, diziler kurulur, işletim sistemleri yüklenir — her düğüm komşusunun arkasında kuyruğa girmek yerine paralel olarak işlenir.

  3. 5–10 iş günü

    Yapı için satın alınır

    Şartnamedeki bir parça rafta tuttuğumuz bir parça değildir, bu yüzden önce o sipariş edilir. Çok kartlı bir kasa için bu olağan basamaktır ve genellikle bunu belirleyen silikondan ziyade kasadır.

  4. 10–15 iş günü

    Tahsis üzerinde

    Mevcut nesil hızlandırıcılar distribütör ne zaman geleceğini söylüyorsa o zaman gelir. Bu bağımlılığı baştan adlandırırız ve tek bir siparişe karşı satın alınan donanım üç ay önceden alınır — ikinci haftada bir iptal kimse için yapılmamış bir makine bırakırdı.

Her basamağın saati ödeme ve dolandırıcılık incelemesi temizlendiğinde başlar — vaat edilen süre taşımayan tek adım. Büyük bir ilk siparişte, bir havale incelemeyi bir karttan daha hızlı geçme eğilimindedir; bir raf ziyareti buna bağlıyken bilinçli seçmeye değer.

Bir küme bir formdan çok sohbette hayatta kalır. — kaç düğüm, işin bölümlenip bölümlenmediği ve neyle konuşması gerektiği — ve cevap veren kişi daha önce bir tane fiyatlandırmıştır. Tek bir makine bunu karşılıyorsa, size dört tane satmak yerine bunu söyler.

Bitişik sayfalar

Burada bir soru. On tane daha, her biri bir sayfa.

Bu sayfa birden fazla kartın ve birden fazla makinenin neye benzediğiyle sınırlıdır. Bu soruyu çevreleyen her şeyin kendi sayfası vardır ve bu, kapıların eksiksiz kümesidir.

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. Card prices are missing on purpose — GPU dedicated servers prints every one of them beside the machine each figure belongs to.

Cards in one chassis
Above one, the count is quoted: slot clearance, the per-socket lane budget and the power envelope belong to a specific chassis holding a specific card, so the honest number needs the part named. Name it, and the quote comes back with the chassis, the count and the date.
Nodes in one cluster
Any number from one up. Each node is a whole physical server with its own invoice and its own term, ordered, upgraded and replaced independently — no cluster SKU exists here, so neither does a cluster premium or a minimum count.
Card-taking platforms
4, and they specialise: AMD EPYC gives a card the widest bus (PCIe 4.0, 128 lanes per socket) while topping out at 20 Gbps of network in 2 of 5 cities; the 100 Gbps ceiling belongs to Intel Xeon Silver / Gold, which feeds a card an older bus. Scaling up and scaling out are therefore different platform choices.
The link between nodes
An Ethernet port on each node — 1 Gbps included on each of them, priced rungs to 100 Gbps — bought per machine per month, so a cluster pays the rung once per node. No InfiniBand line and no card-to-card bridge is in the catalog; anything past the port is quoted, and the answer can be no.
Where one machine stops
2 sockets and 1 TB of RAM, on the best of these platforms. Past either figure the unit of capacity is the next machine, not a bigger one.
Cities
5: New York, Miami, San Francisco, Amsterdam, Bucharest. Nodes that share a job belong in one of them together, and New York and Bucharest stock the complete platform set.
Traffic
Unmetered at every speed, both directions, with no allowance and no egress line — replication, shuffles and checkpoints between your nodes cost the port and nothing further.
Tenancy
One account per physical machine, on every node of the cluster, each card on PCIe passthrough into that account’s own operating system — no hypervisor, no MIG partition, no vGPU profile, no time-slicing.
Delivery
About half an hour for machines racked as-is, four to twenty-four hours fitted from our stock, five to ten working days bought in, ten to fifteen for an allocation part — and a multi-node quote names its long pole before you pay.
Term
Monthly per machine, no contract; three, six and twelve-month cycles discount up to 15%. Hardware bought in against a single order takes three months up front.
Card money
Absent from this page by rule. Every card we seat and its own monthly line are on GPU dedicated servers, each figure printed beside the exact machine it belongs to.