96 GB
GDDR7-Speicher mit ECC
Doppelt so viel wie die 48 GB der RTX 6000 Ada und mehr als die 80 GB von A100 und H100, die wir verbauen. ECC korrigiert Einzelbitfehler im GPU-Speicher, was bei tagelangen Läufen entscheidend ist.
GPU-Dedicated-Server · NVIDIA Blackwell · monatlich
RTX PRO 6000 Dedicated-Server96 GB auf einer GPU. Die ganze Maschine gehört Ihnen.
Ein RTX PRO 6000 Dedicated-Server von uns ist eine Bare-Metal-Maschine mit einer NVIDIA RTX PRO 6000 Blackwell, die direkt an Ihr eigenes Betriebssystem durchgereicht wird. Der komplette Server beginnt bei $1,382.67 a month. Die GPU trägt 96 GB GDDR7 mit ECC. No GPU in our order catalogue holds more.
- Volle GPU, keine vGPU
- Unlimitierter Port
- 4 Städte
- Kein Vertrag
Sie erhalten Root auf der Maschine, die GPU am PCIe-Bus sowie die Treiber- und CUDA-Version Ihrer Wahl. Der Preis umfasst Prozessor, Arbeitsspeicher, Festplatten, den Port und eine IPv4-Adresse, plus die GPU als eigene monatliche Position. Ändern Sie jede Komponente im Konfigurator.
Die GPU
Was die RTX PRO 6000 Blackwell einem Server bringt
Sie ist NVIDIAs professionelle Blackwell-GPU, die Nachfolgerin der RTX 6000 Ada. Vier ihrer Komponenten bestimmen, wofür der Server geeignet ist.
752
Tensor-Kerne der 5. Generation
Die Tensor-Kerne führen FP4-, FP8- und FP16-Matrixberechnungen für Inferenz und Training aus. NVIDIA bewertet die GPU mit 4.000 AI TOPS in FP4 mit Sparsity.
188
RT-Kerne der 4. Generation
Die RT-Kerne übernehmen die Strahl- und Dreieckstests in Hardware, bewertet mit 380 TFLOPS. OptiX-Renderer wie Blender Cycles, V-Ray und Arnold GPU nutzen sie.
4 + 4
NVENC- und NVDEC-Engines
Vier Encoder der 9. Generation und vier Decoder der 6. Generation, alle mit AV1, neben den Rechenkernen. Die A100 und H100 haben überhaupt keinen Video-Encoder.
Gegen die Beschleuniger
RTX PRO 6000 im Vergleich zu H100, A100 und den 48-GB-GPUs
Das sind die GPUs mit 40 GB oder mehr, die wir einbauen, jeweils als kompletter Server kalkuliert. Die RTX PRO 6000 hat mehr Speicher als die H100 and costs $300 a month less as a complete server.
Was sie dafür aufgibt, ist NVLink. Zwei davon in einer Maschine sind zwei getrennte 96-GB-Pools, die Daten über PCIe austauschen. Die A100 und die H100 haben einen NVLink-Bridge-Anschluss, und ein Build mit Bridge wird auf A100- oder H100-Servern individuell kalkuliert. Die A100 80 GB liest ihren Speicher außerdem etwas schneller, 1.935 GB/s gegenüber 1.792 GB/s, was sich bemerkbar macht, wenn Sie viele Nutzer bei großer Batch-Größe bedienen.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Plattformen
In welche Maschine die GPU kommt und welche PCIe-Anbindung sie erhält
Die RTX PRO 6000 hat eine PCIe-Gen-5-Schnittstelle. Unsere Intel-Xeon-Silver- und Gold-Maschinen betreiben sie mit PCIe 3.0; die AMD-EPYC-Maschine mit PCIe 4.0. Sobald die Gewichte oder die Szene im GPU-Speicher liegen, ist die Verbindung meist ungenutzt. Sie zählt bei Trainingsschleifen, die bei jedem Schritt einen neuen Batch aus dem Systemspeicher kopieren – dafür nehmen Sie die EPYC-Maschine.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Jeder Preis ist der günstigste Build dieser Maschine, wie ihn der Konfigurator öffnet, und der Button öffnet ihn mit bereits ausgewählter GPU. Mehr Prozessor, Speicher, Festplatten und ein schnellerer Port werden dort kalkuliert. Bukarest-Builds werden in Euro abgerechnet. Amsterdam-Maschinen werden mit dieser GPU nicht angeboten. Mehr als eine RTX PRO 6000 in einer Maschine wird individuell kalkuliert: Fragen Sie im Chat oder sehen Sie Multi-GPU-Server.
Dimensionierung
Was in 96 GB GPU-Speicher passt
Die Gewichte eines Modells belegen seine Parameteranzahl mal Bytes pro Parameter. Die GPU braucht darüber hinaus ein Viertel bis die Hälfte mehr für den KV-Cache und die Laufzeit, und die Tabelle unten wendet diese Regel an. Ein 70B-Modell mit 4 Bit passt mit Raum für Kontext; mit 8 Bit lädt es, aber ein langer Kontext oder ein zweiter Nutzer bringt es an die Grenze.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Nur Gewichte, aufgerundet. Für eine Planung Modell für Modell, mit der benötigten Maschine, siehe LLM-Server.
Workloads
Was ein RTX-PRO-6000-Server ausführt und wo er an Grenzen stößt
LLM-Inferenz auf einer GPU
Bedienen Sie ein 70B-Modell mit 4 Bit oder ein 30B-Modell mit 8 Bit hinter Ihrer eigenen API mit vLLM, llama.cpp oder Ollama. Prompts und Ausgaben bleiben auf Ihrer Maschine.
Feinabstimmung
QLoRA auf einem 70B-Modell oder LoRA auf einem 13B-Modell mit 16 Bit passt in 96 GB. ECC-Speicher schützt einen mehrtägigen Lauf vor stillen Bit-Fehlern.
Rendering und Visualisierung
Szenen, die nicht in 24 oder 48 GB passen, werden auf einer GPU gerendert statt aufgeteilt zu werden. Die RT-Kerne übernehmen das Raytracing.
Video in großem Umfang
Vier AV1-Encoder und vier Decoder transkodieren viele Live-Kanäle in Hardware, während die CUDA-Kerne etwas anderes ausführen. Für eine Maschine mit Flussonic oder Wowza siehe GPU-Transcoding-Server.
- Kein NVLink. GPUs in einer Maschine teilen Daten nur über PCIe. Wenn zwei GPUs Tensoren schneller austauschen müssen, wird ein A100- oder H100-Build mit NVLink-Bridge individuell kalkuliert.
- Ein PCIe-3.0- oder 4.0-Steckplatz. Keine der Maschinen, die sie aufnehmen, hat einen Gen-5-Steckplatz, daher läuft die GPU über eine Gen-3- oder Gen-4-Verbindung. Inferenz und Rendering merken das kaum; starker Host-zu-GPU-Verkehr schon.
- Nicht zum Training eines großen Modells von Grund auf. Dafür braucht es viele GPUs, verbunden durch ein schnelles Fabric. Eine RTX PRO 6000 ist für Inferenz, Feinabstimmung und Single-GPU-Training gedacht.
Lieferung und Konditionen
Wie schnell sie online ist und was der Monatspreis abdeckt
- Etwa 30 Minuten
Bereits in einer gerackten Maschine
Nichts einzubauen: Der Server ist installiert und übergeben. Sofort-Server listet, was gerade gerackt ist.
- 4 bis 24 Stunden
Eine GPU, die wir vorrätig haben
Ein Techniker baut sie in die von Ihnen konfigurierte Maschine ein, richtet die Festplatten ein und installiert das Betriebssystem.
- 5 bis 10 Werktage
Eine GPU, die wir beschaffen
Wir bestellen sie bei einem Distributor und bauen sie dann ein.
- 10 bis 15 Werktage
Eine GPU auf Zuteilung
Wenn Distributoren eine GPU rationieren, erfahren Sie das Datum, bevor Sie sich binden.
- Enthalten
- Prozessor, Speicher, Festplatten, IPv4 und IPv6 sowie ein unlimitierter Port. Nichts zählt Traffic in irgendeine Richtung.
- Zugang
- Root oder Administrator auf Ihrem eigenen Betriebssystem, kostenlos über das Control Panel neu installierbar, und die Out-of-Band-Konsole des Servers in einem separaten Management-Netz.
- Einrichtung
- $29 einmalig für eine auf Bestellung eingebaute GPU. Eine gerackte Maschine, die so bestellt wird, wie sie steht, hat keine Einrichtungsgebühr.
- Laufzeit
- Ein Monat nach dem anderen, kein Vertrag. 3-, 6- und 12-Monatszyklen sparen bis zu 15%.
- Support
- Chat, beantwortet in Sekunden von einem KI-Assistenten, der Ihr Konto und Ihren Server prüfen kann, und ein Mensch, sobald Sie einen verlangen.
Jede Frist beginnt, sobald Zahlung und Betrugsprüfung abgeschlossen sind. Sie erfahren vor der Zahlung, welche der vier Optionen zutrifft.
RTX-PRO-6000-Maschinen auf unserem GPU-Marktplatz
Besitzer listen RTX-PRO-6000-Maschinen auch auf unserem Marktplatz, jeweils zu einem vom Besitzer festgelegten Preis. Angebote, die als über unsere Schwesterfirma Primcast kommend gekennzeichnet sind, werden auf primcast.com vermietet.
Technische Daten
RTX PRO 6000 Blackwell – Technische Daten
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Antworten
Fragen zu RTX PRO 6000 Servern
Was kostet ein dedizierter Server mit RTX PRO 6000?
Ein kompletter RTX PRO 6000 Server beginnt bei $1,382.67 pro Monat. Das ist die GPU für $1,299 plus die günstigste Maschine, die sie aufnimmt, für $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Eine auf Bestellung eingebaute GPU kostet einmalig $29 Einrichtung, und bei 12 Monaten Vorauszahlung sparen Sie 15 %.
Wie viele RT- und Tensor-Kerne hat die RTX PRO 6000?
188 RT-Kerne der vierten Generation und 752 Tensor-Kerne der fünften Generation, neben 24.064 CUDA-Kernen. NVIDIA bewertet die RT-Kerne mit 380 TFLOPS und die Tensor-Kerne mit 4.000 AI TOPS in FP4 mit Sparsity. Die Anzahl ist bei Workstation-, Max-Q- und Server-Edition identisch.
Ist die RTX PRO 6000 dieselbe GPU wie die RTX 6000 Ada?
Nein. Die RTX 6000 Ada ist die vorherige Generation mit 48 GB GDDR6. Die RTX PRO 6000 ist Blackwell, mit 96 GB GDDR7, Tensor-Kernen der fünften Generation und AV1-Encodern. Wir verbauen beide: Wenn 48 GB für Ihre Arbeit ausreichen, ist die RTX 6000 Ada der günstigere Server, und GPU-Server listet die Preise jeder GPU, die wir einbauen.
Unterstützt die RTX PRO 6000 NVLink?
Nein. Die RTX PRO 6000 hat keinen NVLink-Anschluss, daher sind zwei in einem Server zwei 96-GB-Pools, die Daten über PCIe austauschen. Die A100 und H100 besitzen einen NVLink-Bridge-Anschluss, und ein Build mit Bridge wird individuell kalkuliert. Ebenso mehr als eine RTX PRO 6000 in einer Maschine.
Kann ein 70B-Modell auf einer einzelnen RTX PRO 6000 laufen?
Ja. Mit 4 Bit beanspruchen die Gewichte eines 70B-Modells etwa 38 GB, sodass in 96 GB noch Platz für einen langen Kontext und mehrere Nutzer bleibt. Mit 8 Bit benötigen sie etwa 70 GB: Es lädt, mit wenig Spielraum. Mit 16 Bit braucht es zwei oder mehr GPUs.
Wird die GPU geteilt oder virtualisiert?
Nein. Die Maschine wird an ein einziges Konto vermietet, und die volle GPU wird direkt an Ihr Betriebssystem durchgereicht. Es gibt keinen Hypervisor und kein vGPU-Profil, und Sie installieren den NVIDIA-Treiber und die CUDA-Version Ihrer Wahl.
Wie schnell ist ein RTX PRO 6000 Server online?
Etwa 30 Minuten nach Freigabe Ihrer Bestellung, wenn eine Maschine mit der GPU bereits im Rack steht. Wenn wir eine vorrätige GPU einbauen, 4 bis 24 Stunden; eine von uns beschaffte dauert 5 bis 10 Werktage. Sie erfahren vor der Zahlung, welcher Fall zutrifft.
Wo stehen Ihre RTX PRO 6000 Server?
In New York, Miami, San Francisco and Bucharest, in unseren eigenen Racks in unserem eigenen Netzwerk. Bukarester Builds werden in Euro abgerechnet. Die GPU wird auf Maschinen in Amsterdam nicht angeboten.
Konfigurieren Sie Ihren RTX PRO 6000 Server
Wählen Sie Maschine, Arbeitsspeicher, Festplatten und Standort. Der Konfigurator berechnet jede Änderung live, mit bereits ausgewählter GPU.
Jede GPU, die wir einbauen · A100- und H100-Server · L40S-Server · RTX 5090 Server · Jetzt im Rack