PCIe 3.0
Intel Xeon E5-2600 v1/v2
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- GPUs
- 28
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Max RAM
- 256 GB
GPU özel sunucular · bare metal · aylık
GPU özel sunucu, tek bir hesaba aylık olarak kiralanan fiziksel bir makinedir; GPU doğrudan kendi işletim sisteminize geçirilir. Hipervizör yok, vGPU dilimi yok, silikon üzerinde komşu yok.
GPU'yu işe ve ihtiyaç duyduğu belleğe göre seçin. Listedeki her satır, o GPU takılı eksiksiz bir sunucudur; ödeme ekranının faturalandırdığı aynı katalogdan fiyatlandırılır ve GPU'nun kendi payı toplamın altında yazılıdır.
Katalog
GPU'nun ne için olduğunu ve ihtiyaç duyduğu en az belleği söyleyin. Liste ilerledikçe daralır, en ucuz önce gelir. Her satır, o GPU'yu alan makineyi yapılandırıcıda açar.
Sunduğumuz hiçbir tek GPU bu kadar belleğe sahip değil. En büyüğü 96 GB tutar. Bunun ötesinde yapı, tek kasada iki veya daha fazla GPU olur ve elle fiyatlandırılır: bkz. çoklu GPU sunucuları veya .
Fiyatlar ödeme ekranının kendi rakamlarıdır. Üreticisi bellek rakamı yayınlamayan bir GPU kısa çizgi gösterir ve bellek kontrolü “herhangi” konumundan ayrıldığında listeden düşer. Bazı GPU'lar birden fazla kasaya sığar: satır en ucuzunu gösterir, yapılandırıcı geri kalanını gösterir.
Kullanım hakkı
GPU, tek bir hesaba kiralanan makinedeki fiziksel bir PCIe yuvasında durur. İşletim sistemini siz kurarsınız, çekirdek modülünü yükler ve kodunuzun test edildiği sürücü, CUDA veya ROCm sürümünü sabitlersiniz. Hiçbir şey sizin altınızda onu yükseltmez.
Makine de aynı kurala uyar: her çekirdek, tüm bellek, her iki disk, root ve sunucunun kendi iLO veya iDRAC konsolu ayrı bir yönetim ağında. Bir sürücü denemesi ağı düşürürse bile ekran, sanal ortam ve güç kontrolü sizde kalır.
Fiyatlandırma nasıl işler
Çoğu sağlayıcı GPU'yu bir kademe olarak satar; işlemci, bellek, diskler ve ağ onun etrafında fiyatlandırılır. Burada makine bir aylık satır, GPU başka bir aylık satırdır. GPU'yu sonradan değiştirirseniz fatura tam olarak iki GPU arasındaki fark kadar değişir.
Listenin en üstünden başlayın. Video dönüştüren veya uzak masaüstü süren Tesla ve Quadro parçalar gibi hâlâ gerçek iş yapan eski GPU'ları tuttuk; bunlar en yeni GPU ile aynı komple makinede ve aynı sınırsız portta durur. Eski donanımı neden tutuyoruz bu takası açıklar.
Saatlik GPU bulutlarıyla mı karşılaştırıyorsunuz? Listedeki en pahalı yapı, H100 80GB, tüm makine için ayda $1,682.67, 730 saatlik bir ayda saatte yaklaşık $2.31 ve sonradan hiçbir çıkış trafiği satırı gelmez.
Complete, per month, from$91.72
Üç, altı ve on iki aylık döngüler 15%'e kadar tasarruf sağlar. Yapılandırıcı disk başına fiyatları yuvarlar ve bir sent sapabilir. Fiyatlandırma sitedeki her rakamı listeler.
GPU pazar yeri
Sunduğumuz GPU'ların yanında, sahipler kendi GPU makinelerini pazar yerimizde listeler. Onlara ödenen kirayı onlar belirler, sizin ödediğiniz fiyatı Server Room belirler. Kardeş şirketimiz Primcast'nin ilanları da burada görünür ve orada kiralanır.
GPU belleği
GPU belleği, bir modelin çalışıp çalışmayacağını belirler; çekirdekler ve saat hızları yalnızca ne kadar hızlı çalışacağını belirler. İki gigabayt eksik belleğe sahip bir GPU yavaş çalışmaz, yüklenemez. Önce bu sayıyı netleştirin.
Ağırlıklar, parametre sayısı çarpı parametre başına bayt kadar yer kaplar: 16 bitte iki bayt, 8 bitte bir bayt, 4 bitte yarım bayt. 4 bite nicemleme, modelin daha küçük bir GPU'ya sığmasını sağlar; bunun kalite üzerinde ölçülebilir bir bedeli vardır.
Boşluk bırakın. Tablo yalnızca ağırlıkları sayar. Çalışma zamanı, aktivasyonlar ve anahtar-değer önbelleği aynı belleği paylaşır ve önbellek her bağlam belirteciyle büyür; bu yüzden 38 GB ağırlık, 40 GB'lık bir GPU'da rahatça hizmet veremez. Üzerine dörtte bir ila yarım ekleyin.
; GPU'yu gerçekte çalıştırdığınız işe göre boyutlandıralım.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Yalnızca ağırlıklar, bir sonraki gigabayta yuvarlanmıştır.
Platformlar
Her platform, yuvaya farklı bir PCIe nesli ve hat bütçesi sunar. Bunu yazıyoruz çünkü sonuçları değiştirir: bir müşterimiz bir keresinde PCIe 3.0 platformunda daha yeni bir tüketici GPU'suna geçmiş ve daha yavaş render almıştı; nedenini bizden önce kendisi çözmüştü.
PCIe 3.0
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
PCIe 3.0
$73.47/mo before the GPU
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
PCIe 3.0
$83.67/mo before the GPU
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
PCIe 4.0
$217.59/mo before the GPU
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Sunucu platformlarının altında, içinde NVIDIA GPU bulunan ve bütün olarak satılan bir masaüstü sınıfı makine vardır. Bu sayfadaki GPU'lu adanmış bir makine için en düşük aylık fiyattır ve CUDA geliştirme, küçük model çıkarımı, NVENC kod dönüştürme veya uzak bir iş istasyonu için iyi bir seçimdir. Fiyat karşılığında nelerden vazgeçtiğinizi bilin: tek disk, yani RAID yok; uzak konsol yok, bu yüzden yeniden kurulumları ve gücü sizin için biz yönetiriz; ve sunucu kasası yerine masaüstü parçaları.
Desktop
€82.29/mo with the GPU
Intel Core i5-9500 @ 3.0GHz (6 cores) · 32 GB · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
Dahil olanlar
Temiz bir işletim sistemi ve anahtarlar. Sürücüyü, CUDA veya ROCm sürümünü ve çerçeve derlemesini siz seçersiniz; bunlar sabit kalır. Sürücünün teslimden önce kurulmasını mı istiyorsunuz? Siparişe tam sürümü yazın.
HPE makinelerde iLO, Dell'de iDRAC: klavye ve ekran, sanal ortam, güç kontrolü, sensörler ve donanım günlükleri. Ekranı veya ağ kartını kilitleyen bir modül, POST'u izleyerek kendiniz yapacağınız bir yeniden başlatmadır.
Dahil edilen hızda ve üzerindeki her hızda her iki yönde limitsiz. Aktarım kotası ve çıkış hattı yok. Limitsiz bant genişliği daha hızlı portları listeler.
İşletim sistemi görüntüleri tek tıkla, istediğiniz sıklıkta, ücretsiz. Ters DNS sizin düzenlemenize açıktır, IPv6 dahildir ve ek IPv4 yapılandırıcıda bir satırdır.
Sohbet, hesabınızı ve sunucunuzu kontrol edebilen bir yapay zeka asistanı tarafından saniyeler içinde yanıtlanır ve siz istediğiniz anda bir insan devralır. Arızalı bir parça, destek planınızın penceresi içinde değiştirilir: dahil edilen Basic planda 24 saat, Bronze'da 4, Silver'da 3, Gold ve Platinum'da 2 saat.
New York, Miami, San Francisco, Amsterdam ve Bükreş; hepsi Server Room’ın kendi ağında, AS19624. Konum, kullanıcılarınıza olan gecikmenizi ve tabi olduğunuz veri koruma yasasını belirler. Veri merkezleri her binayı açıklar.
Teslimat
GPU'nun bugün nerede olduğuna bağlıdır ve ödeme yapmadan önce hangi durumda olduğunuzu size söyleriz.
Takılacak bir şey yok. Makine kuruludur ve teslim edilir. Anında sunucular şu anda hazır olanları listeler.
Olağan durum. Bir teknisyen GPU'yu takar, disk dizisini kurar ve işletim sistemini yükler. Ek bellek veya farklı bir sürücü aynı ziyarette yapılır.
Parçayı sipariş ederiz, ardından yukarıdaki gibi kurarız. Siparişe göre üretim, tüm spesifikasyonunuza göre bir makineyi kapsar.
Güncel hızlandırıcılar distribütörün tarihinde sevk edilir ve siz taahhüt vermeden önce bunu belirtiriz. Tek bir müşteri için satın alınan donanım, üç ay peşin ödemeli olarak fiyatlandırılır.
Her zaman çizelgesi, ödeme ve dolandırıcılık incelemesi temizlendikten sonra başlar. Çoğu sipariş birkaç saat içinde temizlenir; yeni bir hesaptaki ilk sipariş daha uzun sürebilir.
Bir ortağın alanı
Viral Mind Technologies, bir Server Room ortağı, kendi dijital mülklerini kurar ve işletir: sanal kişilikler, çevrimiçi medya markaları ve içerik üreticileri için yazılımlar. 2019'da dijital pazarlama ajansı olarak başladı ve 2022 sonundan bu yana kendi yapay zekâ projeleri üzerinde çalışıyor.
Görüntü ve video üretmek, bir modeli GPU belleğinde tutar ve GPU'yu saatlerce meşgul eder. Bu, bir dilim yerine çıplak donanım üzerinde adanmış bir GPU için geçerli bir durumdur ve bu sayfadaki her sunucunun kiraladığı şey tam bir GPU'dur.
Portföyleri ve vaka çalışmaları: viralmindtech.com
Yanıtlar
Tek bir müşteriye kiralanan, üzerinde grafik kartı takılı olan ve bu kartın müşterinin kendi işletim sistemine doğrudan geçirildiği fiziksel bir sunucu. Hiçbir şey sanallaştırılmaz veya paylaşılmaz: tüm çekirdekler, tüm bellek, diskler ve GPU'nun tamamı size aittir; kök erişimi ve uzak konsol da dahildir.
GPU takılı komple bir makine aylık $91.72 ile $1,682.67 arasında bir fiyata gelir. Fiyat, toplanan iki kalemden oluşur: makine ve aylık $20.79 ile $1,599 arasındaki GPU. İşlemci, bellek, iki disk, limitsiz port ve bir IPv4 adresi fiyata dahildir. Kurulum, sipariş üzerine GPU takılan bir yapılandırmada tek seferlik $29 tutarındadır; hazır bir makine olduğu gibi sipariş edilirse kurulum ücreti alınmaz.
Hayır. Tek fiziksel makine, tek hesap ve kurduğunuz işletim sistemine doğrudan geçirilen GPU. Hipervizör, MIG bölümü, vGPU profili veya zaman dilimleme yoktur. İlk gün ölçtüğünüz değerler, elinizde kalan değerlerdir.
Evet. Varsayılan süre bir aydır ve imzalanacak hiçbir şey yoktur. Üç, altı ve on iki aylık döngülerde 15%'a varan tasarruf edersiniz ve yenilemede fiyat artmaz. Kredi kartı veya PayPal ile ödeyin; daha büyük bir sipariş için banka havalesi ayarlanabilir ve genellikle dolandırıcılık incelemesinden kart ödemesinden daha hızlı geçer.
Evet. Bu sayfadaki liste en ucuzdan başlayarak sıralanmıştır ve en ucuz komple yapılandırma Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps içinde Quadro 3000M olup aylık $91.72 tutarındadır. Eski Tesla ve Quadro GPU'lar video dönüştürme ve uzak masaüstü işlerini hâlâ iyi yürütür; aynı komple makinede, aynı limitsiz portla gelirler.
Listede 57 GPU bulunur; güncel NVIDIA hesaplama hızlandırıcıları ve AMD Instinct'ten eski Tesla, Quadro ve GeForce modellerine kadar. Her biri adı, belleği ve komple aylık fiyatıyla listelenir. İstediğiniz GPU listede yoksa sorun: çoğu zaman satın alıp getirtebiliriz.
Sizin kurduklarınız. Sunucu temiz bir işletim sistemi ve kök erişimiyle gelir; sürücüyü, CUDA veya ROCm sürümünü ve kodunuzun test edildiği framework derlemesini siz sabitlersiniz. Teslimde sürücünün kurulu olmasını istiyorsanız siparişe tam sürümü yazın. Bir GPU'nun belirli bir CUDA sürümünü desteklemesi gerekiyorsa ödeme yapmadan önce sorun, kontrol edelim.
Çoğu zaman evet ve bunu elle fiyatlandırırız: kasa boşluğu, GPU'nun genişliği, PCIe hatları ve güç kaynağı sayıyı belirler. GPU'yu söyleyin; kasa, sayı ve teslim süresiyle yanıt verelim. Genel neden hızdan çok bellektir; iki adet 48 GB GPU, tek bir 80 GB GPU'nun sığdıramadığı modeli tutar. Çok GPU'lu ve çok düğümlü sunucular bir sonraki adımı kapsar.
Evet, mevcut sunucunuzda: taşıma yok, yeniden kurulum yok, yeni IP adresi yok. Kısa bir kesintiyle planlı bir ziyarettir ve fatura tam olarak iki GPU arasındaki fark kadar değişir. RAM, diskler ve daha hızlı port da aynı kurala göre eklenir.
Destek planınızın penceresi içinde, bildirdiğiniz andan itibaren değiştiririz: dahil olan Basic planda 24 saat, Bronze'da 4, Silver'da 3, Gold ve Platinum'da 2 saat. Pencere aşılırsa hizmet kredisi destek sayfasında yayımlanan takvime göre uygulanır.
Evet, size ait bir GPU veya başka herhangi bir parça, burada kiraladığınız sunucuya takılabilir. Ücretsiz değildir çünkü GPU güç çeker ve ücret donanıma bağlıdır. Getirdiğiniz bir parça arızalanırsa sorumlu değiliz; değişim penceresi yalnızca bizim sağladığımız donanımı kapsar. Satın almadan veya göndermeden önce bir görüşme planlayın: fiyatlandırırız ve kasaya sığıp sığmadığını kontrol ederiz; örneğin bir blade'de tam boyutlu bir GPU için yer yoktur.
Sattığımız hiçbir port hızında, hiçbir yönde ölçüm yapılmaz; dolayısıyla egress ücretsizdir. GPU işlerinde bu genellikle başka yerlerdeki en büyük kalemdir: eğitim veri kümelerini içeri çeker ve kontrol noktalarını dışarı iter; bir çıkarım uç noktası da gerçek trafiğe yanıt verir. Limitsiz bant genişliği daha hızlı portları listeler.
İş ani yükselişliyken ve gerçekten duruyorsa, ayda birkaç yüz saate kadar saatlik kazanır. Ayın yaklaşık üçte ikisini aştıktan sonra, egress, çalıştırmalar arasında tutulan depolama ve kapasite beklerken geçen süre sayılmadan önce bile aylık daha ucuzdur. Aylık ayrıca aynı makineyi, diskleri ve adresleri korur.
Etkinleştirmeden sonraki üç gün içinde, sorun giderme sonrasında iade politikamız yazıldığı gibi uygulanır. Yukarıdaki bellek tablosu ve PCIe sütunu, doğru GPU'yu ilk seferde seçebilmeniz için buradadır; sohbette sizi daha büyük bir GPU'yu iade etmektense daha küçük bir GPU'ya yönlendirmeyi tercih ederiz.
Kayıt için
Sayfa sunulduğunda sipariş kataloğundan okunur. Sizin yerinize bir asistan yanıtlıyorsa, bu blok ve canlı makine akışı okunmaya değer kısımlardır.
İlgili
Herhangi bir GPU seçiliyken yapılandırıcıyı açın veya iş yükünü söyleyin; daha ucuz olanın yeterli olduğu durumlar dahil hangi GPU'nun uyduğunu söyleyelim.