96 GB
Pamięć GDDR7 z ECC
Dwa razy więcej niż 48 GB w RTX 6000 Ada i więcej niż 80 GB w montowanych przez nas A100 i H100. ECC koryguje błędy jednobitowe w pamięci GPU, co ma znaczenie przy obliczeniach trwających wiele dni.
Serwery dedykowane GPU · NVIDIA Blackwell · w abonamencie miesięcznym
Serwer dedykowany RTX PRO 600096 GB na jednym GPU. Cała maszyna jest Twoja.
Serwer dedykowany RTX PRO 6000 od nas to maszyna bare-metal z procesorem graficznym NVIDIA RTX PRO 6000 Blackwell przekazanym bezpośrednio do Twojego systemu operacyjnego. Kompletny serwer zaczyna się od $1,382.67 a month. GPU ma 96 GB pamięci GDDR7 z ECC. No GPU in our order catalogue holds more.
- Pełne GPU, bez vGPU
- Port bez limitu transferu
- 4 miast
- Bez umowy
Otrzymujesz root na maszynie, GPU na magistrali PCIe oraz wybraną przez siebie wersję sterownika i CUDA. Cena obejmuje procesor, pamięć, dyski, port i adres IPv4, a GPU jest osobną pozycją miesięczną. Zmień dowolny z tych elementów w konfiguratorze.
GPU
Co RTX PRO 6000 Blackwell daje serwerowi
To profesjonalny procesor graficzny NVIDIA Blackwell, następca RTX 6000 Ada. Cztery jego elementy decydują o tym, do czego serwer nadaje się najlepiej.
752
Rdzenie Tensor piątej generacji
Rdzenie Tensor wykonują obliczenia macierzowe FP4, FP8 i FP16 na potrzeby inferencji i trenowania. NVIDIA określa wydajność tego GPU na 4000 AI TOPS w FP4 z rzadkością.
188
Rdzenie RT czwartej generacji
Rdzenie RT wykonują sprzętowo testy promieni i trójkątów z wydajnością 380 TFLOPS. Korzystają z nich renderery OptiX, takie jak Blender Cycles, V-Ray i Arnold GPU.
4 + 4
Silniki NVENC i NVDEC
Cztery kodery dziewiątej generacji i cztery dekodery szóstej generacji, wszystkie z AV1, obok rdzeni obliczeniowych. A100 i H100 nie mają w ogóle kodera wideo.
Na tle akceleratorów
RTX PRO 6000 kontra H100, A100 i GPU 48 GB
To GPU z 40 GB lub więcej, które montujemy, każde wycenione jako kompletny serwer. RTX PRO 6000 mieści więcej pamięci niż H100 and costs $300 a month less as a complete server.
To, z czego rezygnuje, to NVLink. Dwa egzemplarze w jednej maszynie to dwie osobne pule 96 GB, które wymieniają dane przez PCIe. A100 i H100 mają złącze mostka NVLink, a konfigurację z mostkiem wyceniamy indywidualnie na stronie serwerów A100 lub H100. A100 80 GB czyta też pamięć nieco szybciej — 1935 GB/s wobec 1792 GB/s — co daje się zauważyć, gdy obsługujesz wielu użytkowników przy dużym rozmiarze partii.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Platformy
Do której maszyny trafia GPU i jakie łącze PCIe otrzymuje
RTX PRO 6000 ma interfejs PCIe Gen 5. Nasze maszyny Intel Xeon Silver i Gold obsługują go w trybie PCIe 3.0; maszyna AMD EPYC obsługuje go w trybie PCIe 4.0. Gdy wagi lub scena znajdą się już w pamięci GPU, łącze jest w większości bezczynne. Ma znaczenie przy pętlach treningowych, które na każdym kroku kopiują nową partię z pamięci systemowej, więc do takich zadań wybierz maszynę EPYC.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Każda cena to najtańsza konfiguracja danej maszyny w momencie otwarcia konfiguratora, a przycisk otwiera ją z już wybranym GPU. Więcej procesora, pamięci, dysków i szybszy port wycenisz w tym samym miejscu. Konfiguracje w Bukareszcie są fakturowane w euro. Maszyny w Amsterdamie nie są oferowane z tym GPU. Więcej niż jeden RTX PRO 6000 w jednej maszynie wyceniamy indywidualnie: zapytaj na czacie lub zobacz serwery wielo-GPU.
Dobór rozmiaru
Co mieści się w 96 GB pamięci GPU
Wagi modelu zajmują liczbę parametrów razy bajty na parametr. GPU potrzebuje dodatkowo od ćwierci do połowy tej wartości na pamięć podręczną KV i środowisko uruchomieniowe, a poniższa tabela stosuje tę zasadę. Model 70B w 4-bitach mieści się z zapasem na kontekst; w 8-bitach ładuje się, ale długi kontekst lub drugi użytkownik wyczerpują pamięć.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Tylko wagi, zaokrąglone w górę. Plan dla poszczególnych modeli wraz z potrzebną maszyną znajdziesz na stronie serwerów LLM.
Obciążenia
Co uruchomi serwer RTX PRO 6000 i gdzie się zatrzymuje
Inferencja LLM na jednym GPU
Obsługuj model 70B w 4-bitach lub model 30B w 8-bitach za własnym API z vLLM, llama.cpp lub Ollama. Prompty i wyniki pozostają na Twojej maszynie.
Dostrajanie
QLoRA na modelu 70B lub LoRA na modelu 13B w 16-bitach mieści się w 96 GB. Pamięć ECC chroni kilkudniowe uruchomienie przed cichymi przekłamaniami bitów.
Renderowanie i wizualizacja
Sceny, które nie mieszczą się w 24 lub 48 GB, renderują się na jednym GPU zamiast być dzielone. Rdzenie RT obsługują ray tracing.
Wideo na dużą skalę
Cztery kodery AV1 i cztery dekodery transkodują sprzętowo wiele kanałów na żywo, podczas gdy rdzenie CUDA wykonują coś innego. Maszynę skonfigurowaną z Flussonic lub Wowza znajdziesz na stronie serwerów transkodujących GPU.
- Brak NVLink. GPU w jednej maszynie wymieniają dane wyłącznie przez PCIe. Gdy dwa GPU muszą przesyłać tensory szybciej, konfigurację A100 lub H100 z mostkiem NVLink wyceniamy indywidualnie.
- Gniazdo PCIe 3.0 lub 4.0. Żadna z maszyn, które je przyjmują, nie ma gniazda Gen 5, więc GPU działa na łączu Gen 3 lub Gen 4. Inferencja i renderowanie prawie tego nie odczuwają; intensywny ruch host–GPU już tak.
- Nie do trenowania dużego modelu od zera. To wymaga wielu GPU połączonych szybką siecią. Jeden RTX PRO 6000 służy do inferencji, dostrajania i trenowania na jednym GPU.
Dostawa i warunki
Jak szybko będzie online i co obejmuje cena miesięczna
- Około 30 minut
Już w zamontowanej maszynie
Nic do montażu: serwer jest zainstalowany i przekazany. Serwery natychmiastowe pokazują, co jest teraz w szafach.
- 4 do 24 godzin
GPU, które mamy na stanie
Technik montuje je w skonfigurowanej przez Ciebie maszynie, przygotowuje dyski i instaluje system operacyjny.
- 5 do 10 dni roboczych
GPU, które dokupujemy
Zamawiamy je u dystrybutora, a następnie montujemy.
- 10 do 15 dni roboczych
GPU w reglamentacji
Gdy dystrybutorzy reglamentują GPU, poznasz datę, zanim się zobowiążesz.
- W cenie
- Procesor, pamięć, dyski, IPv4 i IPv6 oraz nielimitowany port. Nic nie nalicza ruchu w żadnym kierunku.
- Dostęp
- Root lub administrator na własnym systemie operacyjnym, ponowna instalacja z panelu sterowania bez opłat oraz konsola out-of-band serwera w osobnej sieci zarządzania.
- Konfiguracja
- $29 jednorazowo za GPU montowane na zamówienie. Zamówiona maszyna w obecnej konfiguracji nie ma opłaty instalacyjnej.
- Okres
- Jeden miesiąc naraz, bez umowy. Cykle 3-, 6- i 12-miesięczne oszczędzają do 15%.
- Wsparcie
- Czat, na którym w kilka sekund odpowiada asystent AI mogący sprawdzić Twoje konto i serwer, a człowiek — w chwili, gdy o niego poprosisz.
Każdy termin biegnie od momentu zaksięgowania płatności i zakończenia weryfikacji antyfraudowej. Przed zapłatą dowiesz się, który z czterech wariantów Cię dotyczy.
Maszyny RTX PRO 6000 na naszym rynku GPU
Właściciele wystawiają również maszyny RTX PRO 6000 na naszym rynku, każdą w cenie ustalonej przez właściciela. Oferty oznaczone jako pochodzące z naszej siostrzanej firmy Primcast są wynajmowane na primcast.com.
Specyfikacje
Specyfikacje RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Odpowiedzi
Pytania o serwer RTX PRO 6000
Ile kosztuje serwer dedykowany z RTX PRO 6000?
Kompletny serwer z RTX PRO 6000 zaczyna się od $1,382.67 miesięcznie. To GPU za $1,299 plus najtańsza maszyna, która je przyjmie, za $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. GPU montowane na zamówienie dolicza jednorazową opłatę instalacyjną $29, a opłacenie 12 miesięcy z góry obniża cenę o 15%.
Ile rdzeni RT i rdzeni Tensor ma RTX PRO 6000?
188 rdzeni RT czwartej generacji i 752 rdzenie Tensor piątej generacji, obok 24 064 rdzeni CUDA. NVIDIA ocenia rdzenie RT na 380 TFLOPS, a rdzenie Tensor na 4 000 AI TOPS w FP4 z rzadkością. Liczby są takie same w wersjach Workstation, Max-Q i Server.
Czy RTX PRO 6000 to to samo GPU co RTX 6000 Ada?
Nie. RTX 6000 Ada to poprzednia generacja, z 48 GB GDDR6. RTX PRO 6000 to Blackwell, z 96 GB GDDR7, rdzeniami Tensor piątej generacji i koderami AV1. Montujemy oba: jeśli 48 GB wystarczy do Twojej pracy, RTX 6000 Ada jest tańszym serwerem, a serwery GPU wyceniają każde GPU, które montujemy.
Czy RTX PRO 6000 obsługuje NVLink?
Nie. RTX PRO 6000 nie ma złącza NVLink, więc dwa w jednym serwerze to dwie pule 96 GB wymieniające dane przez PCIe. A100 i H100 mają złącze mostka NVLink, a konfiguracja z mostkiem jest wyceniana indywidualnie. Podobnie więcej niż jeden RTX PRO 6000 w jednej maszynie.
Czy model 70B może działać na jednym RTX PRO 6000?
Tak. Przy 4-bitach wagi modelu 70B zajmują około 38 GB, co w 96 GB zostawia miejsce na długi kontekst i kilku użytkowników. Przy 8-bitach zajmują około 70 GB: ładuje się, z niewielkim zapasem. Przy 16-bitach potrzebne są dwa lub więcej GPU.
Czy GPU jest współdzielone czy zwirtualizowane?
Nie. Maszyna jest wynajmowana na jedno konto, a pełne GPU jest przekazywane bezpośrednio do Twojego systemu operacyjnego. Nie ma hipernadzorcy ani profilu vGPU, a Ty instalujesz sterownik NVIDIA i wersję CUDA, jaką chcesz.
Jak szybko serwer z RTX PRO 6000 jest online?
Około 30 minut po zatwierdzeniu zamówienia, gdy maszyna z GPU jest już w szafie. Gdy montujemy GPU, które mamy na stanie, 4 do 24 godzin; takie, które kupujemy, zajmuje 5 do 10 dni roboczych. Dowiesz się, która opcja dotyczy Ciebie, zanim zapłacisz.
Gdzie znajdują się Wasze serwery RTX PRO 6000?
W New York, Miami, San Francisco and Bucharest, w naszych własnych szafach na naszej własnej sieci. Konfiguracje w Bukareszcie są rozliczane w euro. GPU nie jest oferowane na maszynach w Amsterdamie.
Skonfiguruj swój serwer RTX PRO 6000
Wybierz maszynę, pamięć, dyski i miasto. Konfigurator wycenia każdą zmianę na bieżąco, z GPU już wybranym.
Każde GPU, które montujemy · Serwery A100 i H100 · Serwery L40S · Serwery RTX 5090 · W szafie od zaraz