Serwery dedykowane GPU · NVIDIA Ampere · z miesięczną płatnością
Nasze serwery GPU RTX 3090, 3080, 3070 to maszyny bare-metal wynajmowane na miesiące, z pełnym GPU przekazanym do Twojego własnego systemu operacyjnego. Wybierz jeden z pięciu układów RTX 30 z 8 do 24 GB pamięci, na maszynie Intel Xeon lub AMD EPYC, już od $209.93 miesięcznie za komplet.
Cena przy każdym GPU poniżej dotyczy całego serwera: procesora, pamięci, dysków, portu i jednego adresu IPv4 oraz miesięcznej opłaty za sam GPU. Wybierz GPU według pamięci, jakiej wymaga Twoja praca, a potem zmień wszystko inne w konfiguratorze.
Pięć układów GPU
Wszystkie pięć łączy architektura Ampere, ten sam sterownik i zestaw funkcji: rdzenie Tensor trzeciej generacji, rdzenie RT drugiej generacji, PCIe 4.0. Różni je wielkość pamięci i jej przepustowość. Zacznij od pamięci, której potrzebujesz, i zatrzymaj się na pierwszym GPU, który ją pomieści.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Każda cena to najtańsza maszyna obsługująca dany GPU, tak jak otwiera ją konfigurator. Przycisk otwiera tę maszynę z już wybranym GPU; inne procesory, więcej pamięci, większe dyski i szybszy port są tam wyceniane. Konfiguracje w Bukareszcie są rozliczane w euro, a konfigurator pokazuje tę cenę po wybraniu miasta.
Dobór rozmiaru
W przypadku inferencji pierwszym pytaniem jest pamięć, a nie szybkość. Wagi modelu zajmują liczbę parametrów razy bajty na parametr, a GPU potrzebuje dodatkowo od ćwierci do połowy tej wartości na pamięć podręczną KV i środowisko uruchomieniowe. Tabela stosuje tę zasadę do każdego rozmiaru pamięci na tej stronie.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
To oryginalny RTX 3080 z 8 704 rdzeniami CUDA. NVIDIA sprzedawała później wersję 12 GB z 8 960 rdzeniami pod tą samą nazwą i wiele ofert podaje jej pamięć. Dopasowanie do 10 GB: model 8B w trybie 8-bitowym ładuje się z niewielkim zapasem na kontekst, a model 13B w trybie 8-bitowym nie ładuje się wcale.
RTX 3090 to jedyny GPU RTX 30 z 24 GB. Nasze większe maszyny Xeon mieszczą do 3 takich kart, łącznie 72 GB, które llama.cpp lub vLLM mogą podzielić między modelami. Dwie karty mieszczą model 70B w trybie 4-bitowym, na styk. W przypadku pojedynczego GPU z większą pamięcią zobacz wszystkie GPU, które montujemy; plany dla poszczególnych modeli znajdziesz na stronie serwery LLM.
Platformy
Każdy GPU RTX 30 ma interfejs PCIe 4.0. Na maszynach Intel Xeon działa w trybie PCIe 3.0; maszyna AMD EPYC daje RTX 3080 pełne łącze PCIe 4.0. Gdy model lub scena zostaną załadowane do pamięci GPU, łącze ma niewielkie znaczenie. Ma znaczenie w pętlach treningowych, które w każdym kroku przesyłają partie danych z pamięci systemowej.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Ceny maszyn to najtańsza konfiguracja każdej linii bez GPU. Serwery RTX 30 można zamówić w New York, Miami, San Francisco and Bucharest. Maszyny w Amsterdamie nie są oferowane z tymi GPU. Lokalizacja wpływa na opóźnienia dla Twoich użytkowników i obowiązujące prawo o ochronie danych; centra danych opisują każdy budynek.
Obciążenia
Jeden RTX 3090 obsługuje model 13B w trybie 8-bitowym z miejscem na kontekst lub model 30B w trybie 4-bitowym z krótkim kontekstem, za własnym API z Ollama, llama.cpp lub vLLM. Nic, co wysyłasz, nie opuszcza Twojej maszyny.
Blender Cycles renderuje na CUDA lub OptiX, a rdzenie RT przyspieszają ray tracing. Zainstaluj system operacyjny, którego wymaga Twój renderer, i renderuj przez noc w stałej miesięcznej cenie.
Sterownik GeForce obsługuje DirectX, Vulkan i OpenGL jak zwykły komputer. Uruchom serwer gry, hosta gier w chmurze lub zdalną stację roboczą z dedykowanym GPU.
Każdy GPU ma jeden koder NVENC dla H.264 i HEVC oraz jeden dekoder NVDEC. NVIDIA pozwala na maksymalnie 8 jednoczesnych sesji kodowania na system w przypadku GPU GeForce, ze sterownikiem 550.54.14 lub nowszym.
Dostawa i warunki
Nic do instalowania: serwer jest gotowy i przekazywany. Serwery natychmiastowe pokazują, co jest teraz zamontowane.
Technik instaluje GPU, buduje macierz dyskową i instaluje system operacyjny. Dodatkowa pamięć lub inne dyski trafiają do środka podczas tej samej wizyty.
Każdy harmonogram zaczyna się po zaksięgowaniu płatności i przejściu kontroli antyfraudowej. Większość zamówień przechodzi w ciągu kilku godzin; pierwsze zamówienie na nowym koncie może potrwać dłużej.
Właściciele wystawiają również maszyny RTX 30 na naszym rynku, każdą w miesięcznej cenie ustalonej przez właściciela. Oferty oznaczone jako pochodzące z naszej siostrzanej firmy, Primcast, są wynajmowane na primcast.com.
Specyfikacje
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Dane z porównania serii GeForce RTX 30 firmy NVIDIA oraz jej macierzy obsługi kodowania i dekodowania wideo. Ceny, maszyny, miasta i liczby kart na maszynę pochodzą z naszego katalogu zamówień, z którego rozlicza koszyk.
Odpowiedzi
Kompletny serwer z RTX 3090 zaczyna się od $309.93 miesięcznie. To GPU za $239 plus najtańsza maszyna, która je przyjmie: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Najtańsza konfiguracja z RTX 30 to RTX 3070 za $209.93. GPU montowane na zamówienie wiąże się z jednorazową opłatą instalacyjną w wysokości $29.
Wersja 10 GB, z 8704 rdzeniami CUDA i przepustowością pamięci 760 GB/s. Kompletny serwer z RTX 3080 zaczyna się od $229.93 miesięcznie. Jeśli Twój model potrzebuje 12 GB, wybierz RTX 3080 Ti, który ma 12 GB na magistrali 384-bitowej.
Tak. Nasze większe maszyny Xeon mieszczą do 3 kart RTX 3090, łącznie 72 GB pamięci GPU, a konfigurator pokazuje maksimum dla każdej maszyny. Każde GPU to osobna pozycja miesięczna, więc cena rośnie o kwotę za GPU z każdą dodaną kartą.
Do inferencji i dostrajania QLoRA — tak. Jego 24 GB pomieści model 13B w 8-bitach z miejscem na kontekst albo model 30B w 4-bitach z krótkim kontekstem. Nie ma pamięci ECC, więc do długich treningów bez punktów kontrolnych bezpieczniejszym wyborem będzie GPU obliczeniowe.
Około 30 minut po zatwierdzeniu zamówienia, gdy maszyna z tym GPU jest już w szafie; takie znajdują się na stronie serwerów natychmiastowych. Gdy montujemy GPU do skonfigurowanej przez Ciebie maszyny, licz się z 4 do 24 godzin.
Nie. Maszyna jest wynajmowana na jedno konto, a GPU jest przekazywane bezpośrednio do Twojego systemu operacyjnego. Nie ma hipernadzorcy, profilu vGPU ani dzielenia czasu, a Ty instalujesz sterownik NVIDIA i wersję CUDA, jaką chcesz.
Nie. GPU RTX 30 dekodują AV1, ale kodują tylko H.264 i HEVC, na jednym koderze NVENC na GPU. Sprzętowe kodowanie AV1 zaczyna się od serii RTX 40.
W New York, Miami, San Francisco and Bucharest, w sieci własnej Server Room. Maszyny obsługujące te GPU nie są z nimi oferowane w Amsterdamie.
Wybierz GPU według pamięci, a następnie procesor, pamięć, dyski i miasto. Konfigurator wycenia każdą zmianę na bieżąco.
Każde GPU, które montujemy · Komputer stacjonarny z RTX 3050 · Serwery RTX 40 · Dostępne od ręki