GPU dedicated server · işlem gücü serbest · Bucharest, EU
RTX 3050 kilidi açıldı: aynı karttan 56% kata kadar daha fazla yapay zekâ matematiği
Artık Ubuntu veya Debian üzerinde teslim ettiğimiz her RTX 3050 masaüstünde tensör çekirdekleri tam hızında çalışıyor. Kendi kartımızda bu, FP16 matris işlemlerini aynı 70 W güç sınırı içinde 14.0 değerinden 21.3 TFLOPS değerine çıkardı ve kurmanız gereken hiçbir şey yok. Makine tamamen sizin: bir Intel Core i5-9500, 32 GB bellek, bir 256 GB NVMe SSD ve limitsiz 1 Gbps portu.
- FP16 +52%
- BF16 +54%
- TF32 +56%
- Her açılışta kontrol edilir
Fabrika ayarı ve kilit açık hali
Kendi RTX 3050 üzerinde ölçüldü, bir özellik tablosundan kopyalanmadı
Makinelerimizden birindeki tek bir kart, soğuk başlangıçtan iki kez açıldı: önce fabrika ayarında, sonra kilit açık halde. Aynı çekirdek, aynı sürücü, aynı 70 W güç sınırı. Test, yapay zeka çerçevelerinin en çok dayandığı iş: PyTorch'ta büyük bir matris çarpımı.
TFLOPS cinsinden matris çarpımı verimi, yüksek değer daha hızlıdır
8192 × 8192 matrisler, PyTorch, NVIDIA sürücüsü 595
- Fabrika
- Kilit açık
- FP16 14.0+52%21.3
- BF16 14.2+54%22.0
- TF32 6.9+56%10.8
- FP32 3.7aynı3.7
Tepe tensör hızı iki katına çıkar. Komut komut sayıldığında, FP32 biriktirmeli FP16 ve BF16 saniyede 17.9 trilyon işlemden 36.1 trilyon işleme yükseldi. Gerçek dünyadaki büyük çarpımlar iki kat yerine yaklaşık yarı yarıya kazanç sağlar; çünkü kart zaten 70 W sınırında çalışır ve ek hız aynı gücün içine sığmak zorundadır.
Rakamları tablo olarak göster
| Hassasiyet | Fabrika | Kilit açık | Değişim |
|---|---|---|---|
| FP16, TFLOPS | 14.0 | 21.3 | +52% |
| BF16, TFLOPS | 14.2 | 22.0 | +54% |
| TF32, TFLOPS | 6.9 | 10.8 | +56% |
| FP32, TFLOPS | 3.7 | 3.7 | aynı |
| Tepe tensör hızı, FP32 biriktirme, TF/s | 17.9 | 36.1 | 2x |
Her rakam, bir ısınmanın ardından elli çarpımlık beş çalıştırmanın ortalamasıdır. Kendi hız kazancınız modelinize, yığın boyutunuza ve yazılımınıza bağlıdır.
Nerede hissedeceksiniz
Tensör çekirdeklerinin çalıştığı yerde daha hızlı, diğer her yerde aynı
Bu açılım tek bir şeyi yükseltir: kartın FP16, BF16 ve TF32'de matrisleri ne kadar hızlı çarptığını. Zamanını orada geçiren her şey hızlanır; geçirmeyen her şey tam olarak eskisi gibi çalışır.
Hızlanır
- Yapay zeka çıkarımında istem işleme. Uzun bir istemi veya belgeyi okumak matris işidir, bu yüzden ilk kelimeden önceki bekleme kısalır.
- Küçük modellerde ince ayar. LoRA ve benzerleri, 6 GB GDDR6 sığan modellerde BF16 veya FP16'da daha erken biter.
- Görüntü üretimi. Difüzyon modelleri her adımın çoğunu yarı hassasiyetli matris matematiğinde geçirir.
- Toplu çıkarım. Birçok girdiyi aynı anda işleyen gömme, sınıflandırma ve transkripsiyon işleri.
Eskisi gibi kalır
- Oyunlar ve 3B görüntüleme. Grafik işleri bu yoldan geçmez.
- Video kodlama ve kod çözme. NVENC ve NVDEC çip üzerinde ayrı motorlardır ve fabrika hızlarını korur.
- FP32 CUDA kodu. Sıradan tek hassasiyetli matematik her iki durumda da 3.7 TFLOPS hızında çalışır.
- Kelime kelime metin üretimi. Bir model yanıtını yazmaya başladığında hızı belirleyen tensör oranı değil, bellek hızıdır.
Sunucunuza nasıl ulaşır
Linux'ta sipariş edin, kart kilitli olmadan gelsin
Ubuntu veya Debian seçin
Sipariş formunda ikisinden birini seçin. Sistemi, NVIDIA sürücüsünü ve hesaplama kilidi açma özelliğini birlikte kuruyoruz; böylece makine, siparişiniz onaylandıktan yaklaşık 30 dakika sonra çevrimiçi olur.
Her başlangıçta uygulanır
Karta hiçbir şey yazılmaz. Kilit açma işlemi, makine açılırken NVIDIA sürücüsü yüklenmeden önce ayarlanır ve sistem her başlatıldığında kontrol edilir.
Fabrika hızı güvenlik ağı olarak
Bir açılışta bu işlem uygulanamazsa, kart fabrika hızında çalışmaya devam eder. Makinedeki başka hiçbir şey her iki durumda da değişmez.
Windows mu kullanıyorsunuz? Aynı makine Windows ile de sunulur ve orada kart fabrika hızında çalışır: hesaplama kilidi açma özelliği bir Linux özelliğidir. İşlemciden limitsiz porta kadar diğer her şey aynıdır.
Nasıl test ettik
Size sunmadan önce kendi rafımızda çalıştırdık
Tek bir müşteri makinesi kilidi açmadan önce, bu masaüstü bilgisayarlardan birini laboratuvar testinden geçirdik: tekrarlanan soğuk başlatmalar, sıcak yeniden başlatma, her iki durumda tüm kıyaslamalar ve tam yük altında uzun bir çalışma; tüm süre boyunca hataları izledik.
Dayandı. Kilit her başlatmada açıldı, kart hiç hata kaydetmedi ve yük altındaki her sonuç ilkiyle birebir aynı çıktı, bit bit.
- Makine
- Intel Core i5-9500, 32 GB, Bucharest
- Kart
- RTX 3050 6GB, 70 W limit
- Sistem
- Ubuntu 24.04, NVIDIA sürücüsü 595
- Başlatmalar
- 5 / 5 başlatmada kilit açıldı
- Tam yük çalışması
- 45 dakika, 0 hata
- Kontrol edilen sonuçlar
- Bit bazında aynı, 0 uyuşmazlık
- Kıyaslama
- PyTorch, 8192² matrisler
Sorular
Kilidi Açılmış RTX 3050: kiralamadan önce sorulanlar
Tam olarak kilidi açılan nedir?
Kartın tensör çekirdeklerinin FP16, BF16 ve TF32'de matrisleri çarpma hızı. Fabrika çıkışında bu kart, sonuçları FP32'de toplarken çipin yapabildiği hızın yarısında çalışır. Kilidi açıldığında tam hızda çalışır. Kart, 6 GB GDDR6 ve 70 W güç limiti aynı kalır.
İş yüküm ne kadar hızlanır?
Kartımızda büyük matris çarpımları FP16'da 52%, BF16'da 54% ve TF32'de 56% daha hızlı çalıştı. Bütün bir yapay zeka işi bundan daha az kazanır, çünkü veri taşıma veya token'ları tek tek üretme gibi kilidin dokunmadığı işlere de zaman harcar.
Bir şey kurmam gerekiyor mu?
Hayır. Makineyi Ubuntu veya Debian ile sipariş edin; NVIDIA sürücüsü ve hesaplama kilidi açılmış olarak teslim edilir. Root erişimine sahip olursunuz ve üzerine CUDA, PyTorch veya başka her şeyi ekleyebilirsiniz.
Windows'ta çalışır mı?
Hayır. Hesaplama kilidi yalnızca Linux'ta uygulanır. Aynı makine Windows ile kartı fabrika hızında çalıştırır; bu da yine size ait tam bir RTX 3050 6GB demektir.
Kilit bir gün uygulanmazsa ne olur?
Kart fabrika hızında başlar ve normal çalışır. Her başlangıçta kontrol edilir, bu yüzden bir sonraki deneme için yeniden başlatmak yeterlidir.
Kapatabilir miyim?
Evet. Tek bir önyükleme seçeneğidir. Kaldırın, makineyi kapatıp yeniden açın; kart fabrika hızına döner. Destek ekibimiz bunu sizin için yapabilir.
Ekstra ücreti var mı?
Hayır. Kilidi açılmış kart, aylık €89.00 makine fiyatına dahildir; 32 GB bellek, 256 GB NVMe SSD, bir IPv4 adresi ve limitsiz 1 Gbps portu ile birlikte.
Aynı karttan daha fazla yapay zeka işlem gücü, ayda aynı €89.00
Bucharest içinde, tensör çekirdekleri tam hızda çalışan komple bir RTX 3050 makinesi; kök erişimi ve limitsiz 1 Gbps bağlantı noktasıyla onaydan yaklaşık 30 dakika sonra çevrimiçi.
NVIDIA, GeForce ve RTX, NVIDIA Corporation'ın ticari markalarıdır. Hesaplama kilidi açma özelliği kartın bize ait yapılandırmasıdır ve NVIDIA tarafından sağlanmaz.