Serwer dedykowany GPU · pełna moc obliczeniowa · Bucharest, UE
RTX 3050 bez ograniczeń: nawet 56% więcej mocy AI z tej samej karty
Każdy komputer RTX 3050, który dostarczamy teraz z Ubuntu, ma rdzenie tensorowe pracujące z pełną wydajnością. Na naszej własnej karcie oznaczało to wzrost wydajności macierzowej FP16 z 14.0 do 21.3 TFLOPS, w tym samym limicie mocy 70 W, bez niczego do instalowania z Twojej strony. Maszyna należy w całości do Ciebie: Intel Core i5-9500, 32 GB pamięci, 256 GB NVMe SSD i nielimitowany port 1 Gbps.
- FP16 +52%
- BF16 +54%
- TF32 +56%
- Sprawdzane przy każdym uruchomieniu
Ustawienia fabryczne kontra odblokowane
Zmierzone na naszym własnym RTX 3050, a nie przepisane z karty katalogowej
Jedna karta w jednej z naszych maszyn, uruchamiana na zimno dwukrotnie: najpierw z ustawieniami fabrycznymi, potem po odblokowaniu. Ten sam kernel, ten sam sterownik, ten sam limit mocy 70 W. Test opiera się na zadaniu, na którym frameworki AI polegają najczęściej — dużym mnożeniu macierzy w PyTorch.
Przepustowość mnożenia macierzy w TFLOPS, im wyższa, tym szybciej
Macierze 8192 × 8192, PyTorch, sterownik NVIDIA 595
- Fabryczne
- Odblokowane
- FP16 14.0+52%21.3
- BF16 14.2+54%22.0
- TF32 6.9+56%10.8
- FP32 3.7bez zmian3.7
Szczytowa wydajność tensorowa podwaja się. Licząc instrukcja po instrukcji, FP16 i BF16 z akumulacją FP32 wzrosły z 17.9 do 36.1 bilionów operacji na sekundę. Duże rzeczywiste mnożenia zyskują około połowy, a nie dwukrotnie, ponieważ karta już pracuje na granicy limitu 70 W, a dodatkowa prędkość musi zmieścić się w tym samym poborze mocy.
Pokaż dane w formie tabeli
| Precyzja | Fabryczne | Odblokowane | Zmiana |
|---|---|---|---|
| FP16, TFLOPS | 14.0 | 21.3 | +52% |
| BF16, TFLOPS | 14.2 | 22.0 | +54% |
| TF32, TFLOPS | 6.9 | 10.8 | +56% |
| FP32, TFLOPS | 3.7 | 3.7 | bez zmian |
| Szczytowa wydajność tensorowa, akumulacja FP32, TF/s | 17.9 | 36.1 | 2x |
Każda wartość to średnia z pięciu przebiegów po pięćdziesiąt mnożeń, po rozgrzaniu. Twój rzeczywisty wzrost prędkości zależy od modelu, wielkości partii i oprogramowania.
Gdzie to odczujesz
Szybciej tam, gdzie pracują rdzenie tensorowe, bez zmian wszędzie indziej
Odblokowanie podnosi jedną rzecz: szybkość, z jaką karta mnoży macierze w FP16, BF16 i TF32. Wszystko, co spędza tam swój czas, przyspiesza; wszystko, co nie, działa dokładnie tak jak wcześniej.
Przyspiesza
- Przetwarzanie promptów w inferencji AI. Czytanie długiego promptu lub dokumentu to praca na macierzach, więc oczekiwanie na pierwsze słowo staje się krótsze.
- Dostrajanie małych modeli. LoRA i podobne przebiegi na modelach mieszczących się w 6 GB GDDR6 kończą się szybciej w BF16 lub FP16.
- Generowanie obrazów. Modele dyfuzyjne spędzają większość każdego kroku na obliczeniach macierzowych w połówkowej precyzji.
- Inferencja wsadowa. Zadania osadzania, klasyfikacji i transkrypcji, które przepuszczają wiele danych wejściowych naraz.
Pozostaje bez zmian
- Gry i renderowanie 3D. Praca graficzna nie przechodzi przez tę ścieżkę.
- Kodowanie i dekodowanie wideo. NVENC i NVDEC to osobne silniki na chipie, które zachowują fabryczną prędkość.
- Kod CUDA FP32. Zwykłe obliczenia w pojedynczej precyzji działają z prędkością 3.7 TFLOPS tak czy inaczej.
- Generowanie tekstu token po tokenie. Gdy model pisze już odpowiedź, tempo wyznacza szybkość pamięci, a nie wydajność tensorowa.
Jak trafia na Twój serwer
Zamów na Ubuntu, a karta dotrze odblokowana
Wybierz Ubuntu
W formularzu zamówienia wybierz Ubuntu 22.04, 24.04 lub 26.04. Instalujemy system, sterownik NVIDIA i odblokowanie wydajności razem, dzięki czemu maszyna jest online około 30 minut po zatwierdzeniu zamówienia.
Stosowane przy każdym starcie
Na karcie nic nie jest wgrywane na stałe. Odblokowanie jest ustawiane podczas uruchamiania maszyny, zanim załaduje się sterownik NVIDIA, i jest sprawdzane przy każdym starcie systemu.
Fabryczna prędkość jako zabezpieczenie
Jeśli przy którymś starcie nie uda się go zastosować, karta po prostu uruchomi się z fabryczną wydajnością i nadal będzie działać. Nic innego na maszynie nie zmienia się w żadnym z tych przypadków.
Wolisz Windows lub inny system? Zamów tę samą maszynę z dowolnym systemem operacyjnym z naszej listy, w tym z Windows. Karta będzie wtedy działać z fabryczną prędkością, ponieważ odblokowanie stosujemy tylko na Ubuntu. Cała reszta — od procesora po nielimitowany port — jest identyczna.
Jak to testowaliśmy
Uruchomiliśmy go we własnym racku, zanim zaoferowaliśmy go Tobie
Zanim choć jedna maszyna kliencka otrzymała odblokowanie, poddaliśmy jeden z tych komputerów testowi laboratoryjnemu: wielokrotne zimne starty, ciepły restart, każdy benchmark w obu stanach oraz długotrwała praca pod pełnym obciążeniem, przez cały czas obserwując błędy.
Wytrzymał. Odblokowanie następowało przy każdym starcie, karta nie zarejestrowała żadnych błędów, a każdy wynik pod obciążeniem okazał się identyczny z pierwszym, bit po bicie.
- Maszyna
- Intel Core i5-9500, 32 GB, Bucharest
- Karta
- RTX 3050 6GB, limit 70 W
- System
- Ubuntu 24.04, sterownik NVIDIA 595
- Starty
- Odblokowano w 5 z 5
- Praca pod pełnym obciążeniem
- 45 minut, 0 błędów
- Sprawdzone wyniki
- Identyczne bitowo, 0 niezgodności
- Benchmark
- PyTorch, macierze 8192²
Pytania
Odblokowany RTX 3050: o co pytają przed wynajęciem
Co dokładnie jest odblokowane?
Tempo, w jakim rdzenie tensorowe karty mnożą macierze w FP16, BF16 i TF32. Fabrycznie ta karta wykonuje te obliczenia w połowie szybkości, jaką układ osiąga, gdy sumuje wyniki w FP32. Po odblokowaniu działa z pełną szybkością. Karta, jej 6 GB GDDR6 i limit mocy 70 W pozostają bez zmian.
O ile szybciej będzie działać moje obciążenie?
Na naszej karcie duże mnożenia macierzy działały 52% szybciej w FP16, 54% w BF16 i 56% w TF32. Całe zadanie AI zyskuje mniej, ponieważ część czasu zajmują też rzeczy, których odblokowanie nie dotyczy, takie jak przenoszenie danych czy generowanie tokenów po jednym.
Czy muszę coś instalować?
Nie. Zamów maszynę z Ubuntu, a zostanie dostarczona ze sterownikiem NVIDIA i odblokowaniem obliczeń już na miejscu. Otrzymujesz dostęp root i możesz dodać CUDA, PyTorch lub cokolwiek innego na wierzchu.
Czy mogę zamówić ją z Windows?
Tak, z Windows lub dowolnym innym oferowanym przez nas systemem operacyjnym. Odblokowanie obliczeń jest stosowane tylko na Ubuntu, więc na każdym innym systemie karta działa z fabryczną szybkością, co nadal oznacza pełne RTX 3050 6GB dla Ciebie.
Co się stanie, jeśli pewnego dnia odblokowanie nie zostanie zastosowane?
Karta uruchamia się z fabryczną szybkością i działa normalnie. Jest sprawdzana przy każdym starcie, więc do kolejnej próby wystarczy ponowne uruchomienie.
Czy mogę je wyłączyć?
Tak. To pojedyncza opcja rozruchowa. Usuń ją, wyłącz i włącz maszynę ponownie, a karta wróci do fabrycznej szybkości. Nasz zespół wsparcia może to zrobić za Ciebie.
Czy to kosztuje dodatkowo?
Nie. Odblokowana karta jest wliczona w cenę maszyny wynoszącą €89.00 miesięcznie, z 32 GB pamięci, 256 GB NVMe SSD, jednym adresem IPv4 i nielimitowanym portem 1 Gbps.
Większa przepustowość AI z tej samej karty, w tej samej cenie €89.00 miesięcznie
Cała maszyna RTX 3050 w Bucharest z rdzeniami tensorowymi pracującymi z pełną szybkością, dostęp root i nielimitowany port 1 Gbps, online około 30 minut po zatwierdzeniu.
NVIDIA, GeForce i RTX są znakami towarowymi firmy NVIDIA Corporation. Odblokowanie mocy obliczeniowej to nasza własna konfiguracja karty i nie jest dostarczane przez firmę NVIDIA.