Server dedicat GPU · calcul deblocat · Bucharest, UE
RTX 3050, deblocat: cu până la 56% mai mult calcul AI de pe aceeași placă
Fiecare desktop RTX 3050 pe care îl livrăm acum pe Ubuntu sau Debian are nucleele tensor care rulează la capacitate maximă. Pe propria noastră placă, asta a dus calculul matriceal FP16 de la 14.0 la 21.3 TFLOPS, în același plafon de putere de 70 W, fără să instalezi nimic. Mașina este în întregime a ta: un Intel Core i5-9500, 32 GB de memorie, un 256 GB NVMe SSD și un port 1 Gbps nemăsurat.
- FP16 +52%
- BF16 +54%
- TF32 +56%
- Verificat la fiecare pornire
Setare din fabrică vs deblocat
Măsurat pe propriul nostru RTX 3050, nu copiat dintr-o fișă de specificații
O placă într-unul dintre sistemele noastre, pornită de la rece de două ori: întâi la setarea din fabrică, apoi deblocată. Același kernel, același driver, aceeași limită de putere 70 W. Testul este cel pe care se bazează cel mai mult framework-urile AI de lucru, o înmulțire mare de matrice în PyTorch.
Debit de înmulțire de matrice în TFLOPS, mai mare înseamnă mai rapid
Matrici 8192 × 8192, PyTorch, driver NVIDIA 595
- Din fabrică
- Deblocat
- FP16 14.0+52%21.3
- BF16 14.2+54%22.0
- TF32 6.9+56%10.8
- FP32 3.7la fel3.7
Rata tensorială de vârf se dublează. Numărată instrucțiune cu instrucțiune, FP16 și BF16 cu acumulare FP32 au crescut de la 17.9 la 36.1 trilioane de operații pe secundă. Înmulțirile mari din lumea reală câștigă aproximativ jumătate, nu dublu, pentru că placa lucrează deja la limita sa de 70 W, iar viteza suplimentară trebuie să încapă în aceeași putere.
Afișează cifrele sub formă de tabel
| Precizie | Din fabrică | Deblocat | Schimbare |
|---|---|---|---|
| FP16, TFLOPS | 14.0 | 21.3 | +52% |
| BF16, TFLOPS | 14.2 | 22.0 | +54% |
| TF32, TFLOPS | 6.9 | 10.8 | +56% |
| FP32, TFLOPS | 3.7 | 3.7 | la fel |
| Rată tensorială de vârf, acumulare FP32, TF/s | 17.9 | 36.1 | 2x |
Fiecare cifră este media a cinci rulări a câte cincizeci de înmulțiri, după o încălzire. Accelerarea ta depinde de modelul tău, de dimensiunea lotului și de software.
Unde vei simți diferența
Mai rapid acolo unde nucleele tensor lucrează, neschimbat în rest
Deblocarea ridică un singur lucru: cât de repede înmulțește placa matrice în FP16, BF16 și TF32. Orice își petrece timpul acolo devine mai rapid; orice nu, rulează exact ca înainte.
Devine mai rapid
- Procesarea prompturilor în inferența AI. Citirea unui prompt sau document lung este muncă cu matrice, așa că așteptarea până la primul cuvânt devine mai scurtă.
- Ajustarea fină a modelelor mici. LoRA și altele asemenea rulează pe modele care încap în 6 GB GDDR6 și se termină mai repede în BF16 sau FP16.
- Generarea de imagini. Modelele de difuzie petrec cea mai mare parte a fiecărui pas în matematică matriceală pe jumătate de precizie.
- Inferență în lot. Lucrări de embeddings, clasificare și transcriere care procesează multe intrări deodată.
Rămâne cum era
- Jocuri și randare 3D. Lucrul grafic nu trece prin această cale.
- Codare și decodare video. NVENC și NVDEC sunt motoare separate pe cip și își păstrează viteza din fabrică.
- Cod CUDA FP32. Matematica obișnuită pe simplă precizie rulează la 3.7 TFLOPS oricum.
- Generare de text cuvânt cu cuvânt. Odată ce un model își scrie răspunsul, viteza memoriei dictează ritmul, nu rata tensorilor.
Cum ajunge la serverul tău
Comandă-l pe Linux și cardul sosește deblocat
Alege Ubuntu sau Debian
Alege oricare dintre ele în formularul de comandă. Instalăm sistemul, driverul NVIDIA și deblocarea pentru calcul împreună, astfel încât mașina este online la aproximativ 30 minute după aprobarea comenzii tale.
Aplicat la fiecare pornire
Nimic nu este scris pe card. Deblocarea este setată în timp ce mașina pornește, înainte ca driverul NVIDIA să se încarce, și este verificată de fiecare dată când sistemul pornește.
Viteza din fabrică ca plasă de siguranță
Dacă o pornire nu poate să o aplice vreodată, cardul pornește pur și simplu la rata din fabrică și continuă să funcționeze. Nimic altceva de pe mașină nu se schimbă în niciun caz.
Rulezi Windows? Aceeași mașină este disponibilă cu Windows, iar acolo cardul rulează la viteza din fabrică: deblocarea pentru calcul este o funcție Linux. Tot restul, de la procesor la portul nemăsurat, este identic.
Cum am testat-o
Am rulat-o în propriul nostru rack înainte de a ți-o oferi
Înainte ca vreo mașină a unui client să primească deblocarea, am supus unul dintre aceste desktopuri unui test de laborator: porniri la rece repetate, o repornire la cald, fiecare benchmark în ambele stări și o rulare îndelungată la sarcină maximă, urmărind erorile pe tot parcursul.
A rezistat. Deblocarea s-a aplicat la fiecare pornire, placa nu a înregistrat erori, iar fiecare rezultat sub sarcină a ieșit identic cu primul, bit cu bit.
- Mașină
- Intel Core i5-9500, 32 GB, Bucharest
- Placă
- RTX 3050 6GB, limită 70 W
- Sistem
- Ubuntu 24.04, driver NVIDIA 595
- Porniri
- Deblocată la 5 din 5
- Rulare la sarcină maximă
- 45 minute, 0 erori
- Rezultate verificate
- Identice bit cu bit, 0 nepotriviri
- Benchmark
- PyTorch, matrice 8192²
Întrebări
RTX 3050 deblocat: ce întreabă oamenii înainte să închirieze unul
Ce anume este deblocat?
Rata la care nucleele tensor ale plăcii înmulțesc matrice în FP16, BF16 și TF32. Din fabrică, această placă rulează acel calcul la jumătate din rata pe care cipul o poate atinge când adună rezultatele în FP32. Deblocat, rulează la rata completă. Placa, 6 GB GDDR6 și limita sa de putere 70 W rămân la fel.
Cât de mult mai rapidă va fi sarcina mea de lucru?
Pe placa noastră, înmulțirile mari de matrice au rulat cu 52% mai rapid în FP16, cu 54% în BF16 și cu 56% în TF32. O sarcină AI completă câștigă mai puțin de atât, pentru că petrece timp și pe lucruri pe care deblocarea nu le atinge, cum ar fi mutarea datelor sau generarea tokenurilor unul câte unul.
Trebuie să instalez ceva?
Nu. Comanzi mașina cu Ubuntu sau Debian și este livrată cu driverul NVIDIA și deblocarea de calcul deja aplicate. Primești acces root și poți adăuga CUDA, PyTorch sau orice altceva peste.
Funcționează pe Windows?
Nu. Deblocarea de calcul se aplică doar pe Linux. Aceeași mașină cu Windows rulează placa la viteza din fabrică, care este tot un RTX 3050 6GB complet al tău.
Ce se întâmplă dacă deblocarea nu se aplică într-o zi?
Placa pornește la viteza din fabrică și funcționează normal. Este verificată la fiecare pornire, așa că o repornire este tot ce trebuie pentru următoarea încercare.
O pot opri?
Da. Este o singură opțiune de boot. O elimini, oprești și pornești din nou mașina, iar placa revine la rata din fabrică. Echipa noastră de suport o poate face pentru tine.
Costă suplimentar?
Nu. Placa deblocată este inclusă în prețul mașinii de €89.00 pe lună, cu 32 GB de memorie, 256 GB NVMe SSD, o adresă IPv4 și un port 1 Gbps nemăsurat.
Mai mult randament AI de pe aceeași placă, la același €89.00 pe lună
O întreagă mașină RTX 3050 în Bucharest cu nucleele sale tensor la capacitate maximă, acces root și un port 1 Gbps nemăsurat, online la aproximativ 30 minute după aprobare.
NVIDIA, GeForce și RTX sunt mărci comerciale ale NVIDIA Corporation. Deblocarea pentru calcul este configurația noastră proprie a plăcii și nu este furnizată de NVIDIA.