Server dedicato GPU · potenza di calcolo sbloccata · Bucharest, UE

Noleggia un server GPU RTX 3050 per l'IA, tensor core sbloccati

Un intero desktop RTX 3050 6GB per l'inferenza e il fine-tuning dell'IA, noleggiato mensilmente in Bucharest. Ogni macchina che consegniamo con Ubuntu ha i tensor core alla massima velocità: sulla nostra scheda il calcolo matriciale FP16 è passato da 14.0 a 21.3 TFLOPS, entro lo stesso limite di potenza di 70 W, senza nulla da installare. La macchina è tutta tua: un Intel Core i5-9500, 32 GB di memoria, un 256 GB NVMe SSD, accesso root e una porta 1 Gbps senza limiti di traffico.

  • FP16 +52%
  • BF16 +54%
  • TF32 +56%
  • Verificato a ogni avvio

Di fabbrica vs sbloccata

Misurata sul nostro RTX 3050, non copiata da una scheda tecnica

Una scheda in una delle nostre macchine, avviata a freddo due volte: prima con l'impostazione di fabbrica, poi sbloccata. Stesso kernel, stesso driver, stesso limite di potenza 70 W. Il test è quello su cui si basano maggiormente i framework di intelligenza artificiale, una grande moltiplicazione di matrici in PyTorch.

Throughput di moltiplicazione di matrici in TFLOPS, più alto è più veloce

Matrici 8192 × 8192, PyTorch, driver NVIDIA 595

  • Di fabbrica
  • Sbloccata
  • FP16 +52%
  • BF16 +54%
  • TF32 +56%
  • FP32 uguale
2x

Il tasso tensoriale di picco raddoppia. Contato istruzione per istruzione, FP16 e BF16 con accumulo FP32 sono passati da 17.9 a 36.1 trilioni di operazioni al secondo. Le grandi moltiplicazioni reali guadagnano circa la metà invece del doppio, perché la scheda lavora già al suo limite di 70 W e la velocità extra deve rientrare nella stessa potenza.

Mostra i dati come tabella
PrecisioneDi fabbricaSbloccataVariazione
FP16, TFLOPS14.021.3+52%
BF16, TFLOPS14.222.0+54%
TF32, TFLOPS6.910.8+56%
FP32, TFLOPS3.73.7uguale
Tasso tensoriale di picco, accumulo FP32, TF/s17.936.12x

Ogni dato è la media di cinque esecuzioni di cinquanta moltiplicazioni, dopo un riscaldamento. Il tuo incremento di velocità dipende dal modello, dalla dimensione del batch e dal software.

Dove lo sentirai

Più veloce dove lavorano i tensor core, invariato ovunque altrove

Lo sblocco aumenta una sola cosa: la velocità con cui la scheda moltiplica matrici in FP16, BF16 e TF32. Tutto ciò che trascorre il proprio tempo lì accelera; tutto ciò che non lo fa, funziona esattamente come prima.

Diventa più veloce

  • Elaborazione dei prompt nell'inferenza AI. Leggere un prompt o un documento lungo è lavoro matriciale, quindi l'attesa prima della prima parola si accorcia.
  • Fine-tuning di modelli piccoli. LoRA e simili su modelli che stanno in 6 GB GDDR6 terminano prima in BF16 o FP16.
  • Generazione di immagini. I modelli di diffusione trascorrono gran parte di ogni passaggio in matematica matriciale a mezza precisione.
  • Inferenza batch. Lavori di embedding, classificazione e trascrizione che elaborano molti input contemporaneamente.

Resta com'era

  • Giochi e rendering 3D. Il lavoro grafico non passa da questo percorso.
  • Codifica e decodifica video. NVENC e NVDEC sono motori separati sul chip e mantengono la loro velocità di fabbrica.
  • Codice CUDA FP32. La normale matematica a precisione singola gira a 3.7 TFLOPS in entrambi i casi.
  • Generazione di testo token per token. Una volta che un modello scrive la sua risposta, è la velocità della memoria a dettare il ritmo, non il tasso dei tensor.

Come raggiunge il tuo server

Ordinalo su Ubuntu e la scheda arriva sbloccata

  1. Scegli Ubuntu

    Scegli Ubuntu 22.04, 24.04 o 26.04 nel modulo d'ordine. Installiamo il sistema, il driver NVIDIA e lo sblocco compute insieme, così la macchina è online circa 30 minuti dopo l'approvazione dell'ordine.

  2. Applicato a ogni avvio

    Nulla viene scritto sulla scheda. Lo sblocco viene impostato durante l'avvio della macchina, prima che il driver NVIDIA venga caricato, e viene verificato a ogni avvio del sistema.

  3. Velocità di fabbrica come rete di sicurezza

    Se un avvio non riesce ad applicarlo, la scheda si avvia semplicemente alla velocità di fabbrica e continua a funzionare. Nient'altro sulla macchina cambia in entrambi i casi.

Preferisci Windows o un altro sistema? Ordina la stessa macchina con qualsiasi sistema operativo presente nel nostro elenco, Windows incluso. La scheda funzionerà quindi alla velocità di fabbrica, perché applichiamo lo sblocco solo su Ubuntu. Tutto il resto, dal processore alla porta senza limiti di traffico, è identico.

Come l'abbiamo testato

L'abbiamo provato nel nostro rack prima di offrirtelo

Prima che una sola macchina dei clienti ricevesse lo sblocco, abbiamo sottoposto uno di questi desktop a un test di laboratorio: avvii a freddo ripetuti, un riavvio a caldo, ogni benchmark in entrambi gli stati e una lunga esecuzione a pieno carico, monitorando costantemente la presenza di errori.

Ha retto. Lo sblocco è avvenuto a ogni avvio, la scheda non ha registrato errori e ogni risultato sotto carico è risultato identico al primo, bit per bit.

Macchina
Intel Core i5-9500, 32 GB, Bucharest
Scheda
RTX 3050 6GB, limite 70 W
Sistema
Ubuntu 24.04, driver NVIDIA 595
Avvii
Sbloccato su 5 di 5
Esecuzione a pieno carico
45 minuti, 0 errori
Risultati verificati
Identici bit per bit, 0 discrepanze
Benchmark
PyTorch, matrici 8192²

Domande

RTX 3050 sbloccata: cosa chiedono prima di noleggiarne una

Cosa viene sbloccato esattamente?

La velocità con cui i tensor core della scheda moltiplicano le matrici in FP16, BF16 e TF32. Di fabbrica, questa scheda esegue questi calcoli a metà della velocità che il chip può raggiungere quando somma i risultati in FP32. Sbloccata, funziona a piena velocità. La scheda, il suo 6 GB GDDR6 e il suo limite di potenza 70 W restano invariati.

Quanto sarà più veloce il mio carico di lavoro?

Sulla nostra scheda, le grandi moltiplicazioni di matrici sono risultate più veloci del 52% in FP16, del 54% in BF16 e del 56% in TF32. Un intero lavoro di IA guadagna meno di così, perché impiega tempo anche in operazioni che lo sblocco non tocca, come lo spostamento dei dati o la generazione dei token uno alla volta.

Quali modelli di IA entrano in 6 GB GDDR6?

È la memoria, non la velocità dei tensor, a decidere cosa puoi eseguire. Whisper large-v3 occupa circa 3,1 GB a 16 bit e Stable Diffusion 1.5 circa 2 GB, quindi entrambi lasciano spazio a sufficienza. Un modello linguistico da 8 miliardi di parametri quantizzato a 4 bit pesa 4,92 GB di pesi, che ci stanno con contesto ancora disponibile. SDXL a 16 bit (6,9 GB) e un modello da 13B a 4 bit (7,87 GB) non ci stanno; per 24 GB di memoria video, consulta i nostri server della serie RTX 30.

Devo installare qualcosa?

No. Ordina la macchina con Ubuntu e ti verrà consegnata con il driver NVIDIA e lo sblocco di calcolo già attivi. Ottieni l'accesso root e puoi aggiungere CUDA, PyTorch o qualsiasi altra cosa sopra.

Posso ordinarla con Windows?

Sì, con Windows o qualsiasi altro sistema operativo che offriamo. Lo sblocco di calcolo viene applicato solo su Ubuntu, quindi su qualsiasi altro sistema la scheda funziona alla velocità di fabbrica, che è comunque un intero RTX 3050 6GB tutto tuo.

Cosa succede se un giorno lo sblocco non viene applicato?

La scheda parte alla velocità di fabbrica e funziona normalmente. Viene controllata a ogni avvio, quindi basta un riavvio per il tentativo successivo.

Posso disattivarlo?

Sì. È una singola opzione di avvio. Rimuovila, spegni e riaccendi la macchina e la scheda torna alla velocità di fabbrica. Il nostro team di supporto può farlo per te.

Costa qualcosa in più?

No. La scheda sbloccata è inclusa nel prezzo della macchina di €89.00 al mese, con 32 GB di memoria, il 256 GB NVMe SSD, un indirizzo IPv4 e una porta 1 Gbps senza limiti di traffico.

Più throughput AI dalla stessa scheda, allo stesso €89.00 al mese

Un'intera macchina RTX 3050 in Bucharest con i suoi tensor core a piena velocità, accesso root e una porta 1 Gbps senza limiti, online circa 30 minuti dopo l'approvazione.

NVIDIA, GeForce e RTX sono marchi di NVIDIA Corporation. Lo sblocco del calcolo è una nostra configurazione della scheda e non è fornito da NVIDIA.