PCIe 3.0
Intel Xeon E5-2600 v1/v2
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- GPUs
- 28
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Max RAM
- 256 GB
Serwery dedykowane GPU · bare metal · miesięcznie
Serwer dedykowany GPU to fizyczna maszyna wynajmowana jednemu kontu na miesiąc, z GPU przekazanym bezpośrednio do Twojego systemu operacyjnego. Bez hypervisora, bez wycinka vGPU, bez sąsiada na krzemie.
Wybierz GPU według zadania i potrzebnej pamięci. Każdy wiersz na liście to kompletny serwer z zainstalowanym GPU, wyceniony z tego samego katalogu, z którego nalicza opłaty koszyk, a udział samego GPU jest wydrukowany pod sumą.
Katalog
Określ, do czego ma służyć GPU i jakiej minimalnej pamięci potrzebuje. Lista zawęża się w miarę wyboru, od najtańszych. Każdy wiersz otwiera maszynę, która przyjmuje to GPU w konfiguratorze.
Żadne pojedyncze GPU z naszej oferty nie ma aż tyle pamięci. Największe ma 96 GB. Powyżej tego konfiguracja to dwa lub więcej GPU w jednej obudowie, wyceniane indywidualnie: zobacz serwery multi-GPU lub .
Ceny to wartości z koszyka. GPU, którego producent nie podaje wielkości pamięci, pokazuje myślnik i znika z listy, gdy suwak pamięci przesunie się z pozycji „dowolna”. Niektóre GPU pasują do więcej niż jednej obudowy: wiersz pokazuje najtańszą, konfigurator pokazuje pozostałe.
Dzierżawa
GPU znajduje się w fizycznym slocie PCIe w maszynie wynajmowanej jednemu kontu. Instalujesz system operacyjny, ładujesz moduł jądra i przypinasz wersję sterownika, CUDA lub ROCm, na której testowano Twój kod. Nic nie aktualizuje się bez Twojej wiedzy.
Maszyna podlega tej samej zasadzie: każdy rdzeń, cała pamięć, oba dyski, root oraz konsola iLO lub iDRAC samego serwera w osobnej sieci zarządzania. Jeśli eksperyment ze sterownikiem odetnie sieć, nadal masz ekran, nośniki wirtualne i kontrolę zasilania.
Jak działa wycena
Większość dostawców sprzedaje GPU jako poziom, z procesorem, pamięcią, dyskami i siecią wycenionymi wokół niego. Tutaj maszyna to jedna pozycja miesięczna, a GPU to druga. Wymień później GPU, a rachunek zmieni się dokładnie o różnicę między tymi dwoma GPU.
Zacznij od góry listy. Zachowaliśmy starsze GPU, które nadal wykonują realną pracę, takie jak części Tesla i Quadro do transkodowania wideo lub obsługi zdalnych pulpitów, i siedzą one w tej samej całej maszynie z tym samym portem bez limitu co najnowsze GPU. Dlaczego trzymamy starszy sprzęt wyjaśnia ten kompromis.
Porównujesz z godzinowymi chmurami GPU? Najdroższa konfiguracja na liście, H100 80GB, kosztuje $1,682.67 miesięcznie za całą maszynę, około $2.31 za godzinę przy 730-godzinnym miesiącu, a żadna pozycja za ruch wychodzący nie pojawi się później.
Complete, per month, from$91.72
Cykle trzy-, sześcio- i dwunastomiesięczne oszczędzają do 15%. Konfigurator zaokrągla ceny za dysk i może różnić się o centa. Cennik zawiera wszystkie kwoty na stronie.
Rynek GPU
Obok GPU, które oferujemy, właściciele wystawiają własne maszyny GPU na naszym rynku. Ustalają czynsz, który otrzymują, a Server Room ustala cenę, którą płacisz. Oferty naszej siostrzanej firmy, Primcast, również się tu pojawiają i są wynajmowane tam.
Pamięć GPU
Pamięć GPU decyduje o tym, czy model w ogóle się uruchomi; rdzenie i taktowanie decydują tylko o szybkości. GPU, któremu brakuje dwóch gigabajtów, nie działa wolniej — w ogóle się nie ładuje. Ustal tę liczbę najpierw.
Wagi zajmują liczbę parametrów razy bajty na parametr: dwa bajty przy 16 bitach, jeden przy 8 bitach, pół bajta przy 4 bitach. Kwantyzacja do 4 bitów pozwala zmieścić model na mniejszym GPU, kosztem zauważalnego spadku jakości.
Zostaw zapas. Tabela uwzględnia wyłącznie wagi. Środowisko uruchomieniowe, aktywacje i pamięć podręczna klucz-wartość dzielą tę samą pamięć, a pamięć podręczna rośnie z każdym tokenem kontekstu, więc 38 GB wag nie będzie wygodnie działać na GPU 40 GB. Dodaj od ćwierci do połowy na wierzch.
, a dobierzemy GPU do tego, co faktycznie uruchamiasz.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Same wagi, zaokrąglone w górę do pełnego gigabajta.
Platformy
Każda platforma daje gniazdu inną generację PCIe i inny budżet linii. Podajemy to, bo to zmienia wyniki: klient przeniósł się kiedyś na nowsze konsumenckie GPU na platformie PCIe 3.0 i renderował wolniej, a przyczynę odkrył przed nami.
PCIe 3.0
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
PCIe 3.0
$73.47/mo before the GPU
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
PCIe 3.0
$83.67/mo before the GPU
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
PCIe 4.0
$217.59/mo before the GPU
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
W cenie
Czysty system operacyjny i klucze. Ty wybierasz sterownik, wersję CUDA lub ROCm i build frameworka, a one pozostają przypięte. Chcesz, żeby sterownik był zainstalowany przed przekazaniem? Podaj dokładną wersję w zamówieniu.
iLO na maszynach HPE, iDRAC na Dell: klawiatura i ekran, nośniki wirtualne, kontrola zasilania, czujniki i dzienniki sprzętowe. Moduł, który zawiesza ekran lub kartę sieciową, to restart, który wykonujesz sam, obserwując POST.
Bez limitu w obu kierunkach przy prędkości zawartej w cenie i każdej wyższej. Bez limitu transferu i bez opłaty za ruch wychodzący. Nielimitowana przepustowość zawiera listę szybszych portów.
Obrazy systemu operacyjnego jednym kliknięciem, tak często, jak chcesz, bez opłat. Reverse DNS możesz edytować sam, IPv6 jest w cenie, a dodatkowe IPv4 to jedna linia w konfiguratorze.
Na czacie odpowiada w sekundy asystent AI, który może sprawdzić Twoje konto i serwer, a człowiek przejmuje rozmowę w chwili, gdy o to poprosisz. Uszkodzona część jest wymieniana w oknie Twojego planu wsparcia: 24 godziny w podstawowym planie Basic, 4 w Bronze, 3 w Silver, 2 w Gold i Platinum.
Nowy Jork, Miami, San Francisco, Amsterdam i Bukareszt, wszystkie w sieci własnej Server Room, AS19624. Lokalizacja określa Twoje opóźnienia do użytkowników i prawo o ochronie danych, któremu podlegasz. Centra danych opisują każdy budynek.
Dostawa
To zależy od tego, gdzie GPU znajduje się dzisiaj, a my mówimy Ci, w którym przypadku jesteś, zanim zapłacisz.
Nic do montażu. Maszyna jest zainstalowana i przekazana. Serwery natychmiastowe pokazują, co jest gotowe od ręki.
Typowy przypadek. Technik instaluje GPU, buduje macierz dyskową i instaluje system operacyjny. Dodatkowa pamięć lub inny dysk są wykonywane podczas tej samej wizyty.
Zamawiamy część, a potem budujemy jak wyżej. Budowa na zamówienie obejmuje maszynę według Twojej pełnej specyfikacji.
Obecne akceleratory są wysyłane w terminie dystrybutora i podajemy go, zanim się zobowiążesz. Sprzęt kupowany dla jednego klienta jest wyceniany z trzymiesięczną płatnością z góry.
Każdy harmonogram startuje po zaksięgowaniu płatności i przejściu weryfikacji antyfraudowej. Większość zamówień przechodzi w ciągu kilku godzin; pierwsze zamówienie na nowym koncie może potrwać dłużej.
Dziedzina partnera
Viral Mind Technologies, partner Server Room, buduje i prowadzi własne projekty cyfrowe: wirtualne osobowości, internetowe marki medialne i oprogramowanie dla twórców. Firma zaczynała w 2019 roku jako agencja marketingu cyfrowego, a od końca 2022 roku pracuje nad własnymi projektami AI.
Generowanie obrazów i wideo utrzymuje model w pamięci GPU i zajmuje kartę graficzną na wiele godzin. To właśnie przypadek dedykowanego GPU na gołym metalu, a nie jego wycinka — a pełny GPU otrzymuje każdy serwer wynajmowany na tej stronie.
Ich portfolio i studia przypadków: viralmindtech.com
Odpowiedzi
Fizyczny serwer wynajmowany jednemu klientowi, z zainstalowaną kartą graficzną przekazaną do systemu operacyjnego tego klienta. Nic nie jest wirtualizowane ani współdzielone: otrzymujesz wszystkie rdzenie, całą pamięć, dyski i pełne GPU, z dostępem root i zdalną konsolą.
Kompletna maszyna z zainstalowanym GPU kosztuje od $91.72 do $1,682.67 miesięcznie. Cena to suma dwóch pozycji: maszyny oraz GPU w cenie od $20.79 do $1,599 miesięcznie. Procesor, pamięć, dwa dyski, nielimitowany port i jeden adres IPv4 są wliczone. Opłata instalacyjna to jednorazowe $29 przy konfiguracji z GPU montowanym na zamówienie; gotowa maszyna zamawiana w obecnej postaci nie ma tej opłaty.
Nie. Jedna fizyczna maszyna, jedno konto i GPU przekazane do systemu operacyjnego, który zainstalowałeś. Nie ma hipernadzorcy, partycji MIG, profilu vGPU ani podziału czasu. Wyniki benchmarków z pierwszego dnia to wyniki, które zachowujesz.
Tak. Jeden miesiąc to domyślny okres i nie ma nic do podpisania. Cykle trzy-, sześcio- i dwunastomiesięczne dają oszczędność do 15%, a cena nie rośnie przy odnowieniu. Płać kartą kredytową lub przez PayPal; przy większym zamówieniu można zorganizować przelew bankowy, który zwykle przechodzi weryfikację antyfraudową szybciej niż płatność kartą.
Tak. Lista na tej stronie jest posortowana od najtańszych, a najtańsza kompletna konfiguracja to Quadro 3000M w Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps za $91.72 miesięcznie. Starsze GPU Tesla i Quadro nadal dobrze transkodują wideo i obsługują zdalne pulpity, a są montowane w tej samej pełnej maszynie z tym samym nielimitowanym portem.
57 GPU znajdują się na liście, od obecnych akceleratorów obliczeniowych NVIDIA i AMD Instinct po starsze modele Tesla, Quadro i GeForce. Każdy jest wymieniony z nazwy, z pamięcią i pełną ceną miesięczną. Jeśli brakuje GPU, którego potrzebujesz, zapytaj: często możemy go dokupić.
Te, które sam zainstalujesz. Serwer dociera z czystym systemem operacyjnym i dostępem root, a Ty przypinasz sterownik, wersję CUDA lub ROCm oraz build frameworka, na którym testowano Twój kod. Jeśli chcesz mieć sterownik na miejscu przy odbiorze, podaj dokładną wersję w zamówieniu. Jeśli GPU musi obsługiwać konkretną wersję CUDA, zapytaj przed płatnością, a my to sprawdzimy.
Często tak, i wyceniamy to ręcznie: prześwit obudowy, szerokość GPU, linie PCIe i zasilacz decydują o liczbie. Podaj nazwę GPU, a my odpowiemy z obudową, liczbą i czasem realizacji. Zwykle chodzi o pamięć, nie szybkość, ponieważ dwa GPU 48 GB pomieszczą model, którego jedno GPU 80 GB nie pomieści. Serwery multi-GPU i wielowęzłowe opisują kolejny krok.
Tak, w serwerze, który już masz: bez migracji, bez ponownej instalacji, bez nowych adresów IP. To zaplanowana wizyta z krótką przerwą w działaniu, a rachunek zmienia się dokładnie o różnicę między dwoma GPU. RAM, dyski i szybszy port są dodawane według tej samej zasady.
Wymieniamy je w oknie czasowym Twojego planu wsparcia, licząc od zgłoszenia: 24 godziny w planie Basic, 4 w Bronze, 3 w Silver, 2 w Gold i Platinum. Po przekroczeniu okna naliczany jest kredyt usługowy zgodnie z harmonogramem opublikowanym na stronie wsparcia.
Tak, GPU, które posiadasz, lub dowolna inna część może trafić do serwera, który tu wynajmujesz. To nie jest darmowe, ponieważ GPU pobiera prąd, a opłata zależy od sprzętu. Nie ponosimy odpowiedzialności, jeśli część, którą przyniosłeś, ulegnie awarii; okno wymiany obejmuje tylko sprzęt, który dostarczamy. Umów rozmowę przed zakupem lub wysyłką: wycenimy to i sprawdzimy, czy obudowa to przyjmie, bo na przykład blade nie ma miejsca na pełnowymiarowe GPU.
Nic nie jest mierzone w żadnym kierunku przy żadnej prędkości portu, którą sprzedajemy, więc ruch wychodzący nic nie kosztuje. W pracach GPU to często największa pozycja gdzie indziej: trening pobiera zbiory danych i wysyła punkty kontrolne, a endpoint inferencyjny obsługuje prawdziwy ruch. Nielimitowany transfer wymienia szybsze porty.
Godzinowo wygrywa, gdy praca jest skokowa i naprawdę się zatrzymuje, do kilkuset godzin miesięcznie. Powyżej około dwóch trzecich miesiąca miesięcznie jest tańsze, zanim policzysz ruch wychodzący, przechowywanie między uruchomieniami i czas oczekiwania na dostępność. Miesięcznie zachowujesz też tę samą maszynę, dyski i adresy.
W ciągu trzech dni od aktywacji, po rozwiązaniu problemów, nasza polityka zwrotów obowiązuje zgodnie z zapisem. Tabela pamięci i kolumna PCIe powyżej są po to, abyś mógł wybrać właściwe GPU za pierwszym razem, a my wolimy na czacie odwieść Cię od większego GPU niż zwracać większe.
Dla porządku
Odczytane z katalogu zamówień w momencie wyświetlenia strony. Jeśli odpowiada za Ciebie asystent, ten blok i kanał na żywo z maszynami to fragmenty warte przeczytania.
Powiązane
Otwórz konfigurator z dowolnym wybranym GPU albo powiedz nam, jakie jest obciążenie, a my podpowiemy, które GPU pasuje, w tym kiedy tańsze wystarczy.