Serwery dedykowane GPU · NVIDIA Ada Lovelace · w rozliczeniu miesięcznym
Nasz serwer dedykowany RTX 4090 działa na karcie GeForce RTX 4090D, a nie na pełnym RTX 4090. Zachowuje 24 GB pamięci GDDR6X z modelu 4090, przepustowość pamięci 1 008 GB/s oraz dwa kodery AV1, a liczba rdzeni CUDA wynosi 14 592, podczas gdy w 4090 jest ich 16 384. Kompletny serwer z jedną taką kartą kosztuje od $372.47 miesięcznie.
W ramach hostingu serwera RTX 4090 wynajmujesz całą maszynę. GPU jest przekazywane bezpośrednio do Twojego systemu operacyjnego, z dostępem root i konsolą out-of-band serwera. Podana cena dotyczy kompletnego serwera: procesora, pamięci, dysków, portu i jednego adresu IPv4 oraz miesięcznej opłaty za samo GPU.
RTX 4090D kontra RTX 4090
NVIDIA wypuściła RTX 4090D 28 grudnia 2023 roku, po tym jak amerykańskie przepisy eksportowe wstrzymały sprzedaż RTX 4090 w Chinach. To ten sam układ AD102 z mniejszą liczbą aktywnych multiprocesorów strumieniowych: 114 zamiast 128. Pamięć, zegar boost i silniki wideo są takie same; limit mocy płyty jest nieco niższy.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Wszystko, co ogranicza rozmiar lub szybkość pamięci. Model, który mieści się w 24 GB na 4090, zmieści się też na 4090D, a generowanie z niego tokenów jest ograniczone tą samą przepustowością 1 008 GB/s. Kodowanie wideo korzysta z tej samej pary silników NVENC. Sterownik, CUDA, PyTorch, Blender i każde inne narzędzie traktują ją jak GPU GeForce Ada Lovelace.
Prace ograniczone przepustowością shaderów: duże partie treningowe, renderowanie Cycles i OptiX, przetwarzanie promptów na długich wejściach. 4090D ma o 11% mniej rdzeni CUDA przy tym samym zegarze boost 2,52 GHz, więc w takich zadaniach może być wolniejszy od 4090 nawet o ten margines. Pobór mocy płyty wynosi 425 W wobec 450 W.
Konfiguracje
To dwa GPU GeForce z serii RTX 40, które nasz katalog zamówień montuje w serwerach rack. RTX 4090D to wariant z 24 GB pamięci, który można zestawiać w jednej maszynie. RTX 4070 ma 12 GB i ten sam koder AV1 ósmej generacji, do zadań, które nie potrzebują więcej pamięci.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Każda cena dotyczy najtańszej maszyny obsługującej dane GPU, tak jak otwiera ją konfigurator, a przycisk otwiera tę maszynę z już wybranym GPU. Inne procesory, więcej pamięci, większe dyski, szybszy port i więcej GPU są wyceniane w konfiguratorze. Konfiguracje w Bukareszcie są rozliczane w euro; konfigurator przełącza walutę po wybraniu miasta.
Dobór rozmiaru
Najpierw oszacuj rozmiar wnioskowania na podstawie pamięci. Wagi zajmują liczbę parametrów razy bajty na parametr, a GPU potrzebują od ćwierci do połowy więcej na pamięć podręczną KV i środowisko uruchomieniowe. Tabela stosuje tę zasadę do RTX 4070, do jednego RTX 4090D oraz do kilku w jednej maszynie, między które llama.cpp i vLLM dzielą model.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
GPU GeForce RTX 40 nie mają złącza NVLink, więc kilka 4090D w jednym serwerze komunikuje się przez PCIe. Dzielenie modelu między nie do wnioskowania działa przez to łącze. Trening wymieniający gradienty w każdym kroku zyskuje mniej z każdego dodatkowego GPU niż na GPU połączonych przez NVLink.
Model, który potrzebuje jednej dużej przestrzeni pamięci lub pamięci ECC, należy umieścić na GPU obliczeniowym lub stacji roboczej z 48 lub 80 GB. Te znajdziesz na każdym GPU, które montujemy. Aby zaplanować model po modelu, zobacz serwery LLM.
Platformy
Oba GPU mają interfejs PCIe 4.0 x16. Maszyny Intel Xeon obsługują go w trybie PCIe 3.0, co zmniejsza o połowę przepustowość do hosta. Maszyna AMD EPYC daje każdemu GPU pełne łącze PCIe 4.0. Gdy wagi lub scena znajdują się w pamięci GPU, łącze ma niewielkie znaczenie; ma je natomiast dla pętli treningowych przesyłających dane z pamięci systemowej oraz przy dzieleniu modelu między GPU.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Ceny maszyn to najtańsza konfiguracja każdej linii bez GPU. Serwery RTX 40 można zamówić w New York, Miami, San Francisco and Bucharest. Maszyny w Amsterdamie nie są oferowane z tymi GPU. Każdy budynek opisano na stronie centra danych.
Obciążenia
Jeden RTX 4090D obsługuje model 13B w 8 bitach z miejscem na kontekst lub model 30B w 4 bitach z krótkim kontekstem. Uruchom Ollama, llama.cpp lub vLLM za własnym API; prompty i wyniki pozostają na Twojej maszynie.
Rdzenie RT trzeciej generacji przyspieszają Blender Cycles przez OptiX, a także Unreal Engine i V-Ray. Serwer GPU do ray tracingu w stałej cenie miesięcznej renderuje przez noc bez licznika godzinowego.
4090D ma dwa silniki NVENC ósmej generacji i jeden NVDEC. Oba GPU kodują AV1 sprzętowo, czego seria RTX 30 nie potrafi, więc potok na żywo może serwować AV1 obok H.264.
Sterownik GeForce obsługuje DirectX, Vulkan i OpenGL jak komputer stacjonarny. Zainstaluj Windows lub Linux i uruchom hosta gier w chmurze, stację roboczą strumieniowaną lub serwer gier z dedykowanym GPU.
Dostawa i warunki
Jest zainstalowana i przekazana. Serwery natychmiastowe pokazują, co jest dziś w szafie.
Technik instaluje GPU w skonfigurowanej przez Ciebie maszynie, buduje macierz dyskową i instaluje system operacyjny. Dodana pamięć lub dyski trafiają do środka podczas tej samej wizyty.
Zamawiamy część, a potem budujemy jak wyżej. Przed płatnością dowiesz się, który przypadek dotyczy Ciebie.
Każdy harmonogram startuje po zaksięgowaniu płatności i zakończeniu weryfikacji antyfraudowej. Większość zamówień przechodzi w ciągu kilku godzin; pierwsze zamówienie na nowym koncie może potrwać dłużej.
Właściciele wystawiają maszyny RTX 40 również na naszym rynku, każdą w cenie miesięcznej ustalonej przez właściciela. Ofertę naszej siostrzanej firmy, Primcast, wynajmuje się na primcast.com.
Specyfikacje
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Dane GPU pochodzą z porównania serii GeForce RTX 40 firmy NVIDIA, jej macierzy obsługi kodowania i dekodowania wideo oraz opublikowanej specyfikacji premierowej RTX 4090D. Ceny, maszyny, miasta i liczby na maszynę są odczytywane z naszego katalogu zamówień, z którego rozlicza koszyk.
Odpowiedzi
Kompletny serwer z jednym RTX 4090D kosztuje od $372.47 miesięcznie. Na tę kwotę składa się GPU za $299 oraz najtańsza maszyna, która je przyjmie: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Każde dodatkowe GPU to osobna pozycja w rozliczeniu miesięcznym, a GPU montowane na zamówienie wiąże się z jednorazową opłatą instalacyjną w wysokości $29.
To RTX 4090D. Ma 24 GB pamięci GDDR6X jak RTX 4090, przepustowość 1 008 GB/s, zegar boost 2,52 GHz i dwa kodery AV1, ale 14 592 rdzenie CUDA zamiast 16 384. Mówimy o tym wprost, żeby nikt nie dowiedział się po zapłaceniu.
Najwyżej o około 11% przy obciążeniach zależnych od przepustowości shaderów, takich jak renderowanie i trenowanie, bo właśnie tylu rdzeni CUDA mu brakuje przy tym samym taktowaniu. Przy obciążeniach ograniczonych pojemnością lub przepustowością pamięci, takich jak generowanie tokenów w LLM, obie karty powinny działać podobnie.
Tak. Jedna maszyna przyjmuje do 4 takich kart, co daje łącznie 96 GB pamięci GPU, a konfigurator pokazuje maksimum dla każdej maszyny. Karty łączą się przez PCIe, ponieważ GeForce RTX 40 nie mają NVLink.
Bare metal. Maszyna jest wynajmowana jednemu kontu, a GPU przechodzi bezpośrednio do Twojego systemu operacyjnego: bez hypervisora, bez wycinka vGPU, bez podziału czasu. Instalujesz sterownik NVIDIA i wybraną wersję CUDA.
Rozliczenie godzinowe dotyczy maszyny już stojącej w szafie i wynajmowanej w obecnej konfiguracji, więc zależy to od tego, co danego dnia widnieje na stronie serwerów natychmiastowych. GPU montowane do skonfigurowanej przez Ciebie maszyny jest rozliczane miesięcznie, bez umowy.
Tak. Rdzenie RT trzeciej generacji przyspieszają ray tracing w Blender Cycles z OptiX, Unreal Engine, V-Ray i innych rendererach, a 24 GB pomieści duże sceny. Przy stałej cenie miesięcznej długie rendery kosztują tyle samo co krótkie.
Około 30 minut po akceptacji, gdy maszyna z GPU już stoi w szafie. Gdy montujemy GPU z magazynu, od 4 do 24 godzin; gdy kartę trzeba dokupić, od 5 do 10 dni roboczych – o czym dowiadujesz się przed zapłatą.
W New York, Miami, San Francisco and Bucharest, w sieci własnej Server Room. Maszyny w Amsterdamie nie są oferowane z tymi kartami.
Serwer z RTX 4070 kosztuje od $262.67 miesięcznie za komplet, z czego GPU to $179. Ma 12 GB GDDR6X i jeden koder AV1, a jedna maszyna przyjmuje do 4.
Wybierz liczbę GPU, a następnie procesor, pamięć, dyski i miasto. Konfigurator przelicza cenę przy każdej zmianie.
Każde GPU, które montujemy · Serwery RTX 30 · Serwery RTX 50 · Dostępne od ręki