GPU-Dedicated-Server · NVIDIA Ada Lovelace · monatlich
Unser RTX 4090 Dedicated-Server läuft mit der GeForce RTX 4090D, nicht mit der vollen RTX 4090. Er behält die 24 GB GDDR6X der 4090, ihre 1.008 GB/s Speicherbandbreite und ihre zwei AV1-Encoder und hat 14.592 CUDA-Kerne, wo die 4090 16.384 hat. Ein kompletter Server mit einer davon startet bei $372.47 im Monat.
Bei unserem RTX 4090 Server-Hosting mieten Sie die ganze Maschine. Die GPU wird direkt an Ihr eigenes Betriebssystem durchgereicht, mit Root-Zugriff und der Out-of-Band-Konsole des Servers. Der angezeigte Preis ist der komplette Server: Prozessor, Arbeitsspeicher, Festplatten, der Port und eine IPv4-Adresse, plus die monatliche Leitung der GPU selbst.
RTX 4090D vs. RTX 4090
NVIDIA hat die RTX 4090D am 28. Dezember 2023 veröffentlicht, nachdem eine US-Exportregel den Verkauf der RTX 4090 in China gestoppt hatte. Es ist derselbe AD102-Chip mit weniger aktivierten Streaming-Multiprozessoren: 114 statt 128. Der Speicher, der Boost-Takt und die Video-Engines sind gleich; die Leistungsgrenze der Platine ist etwas niedriger.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Alles, was durch Speichergröße oder Speichergeschwindigkeit begrenzt ist. Ein Modell, das auf einer 4090 in 24 GB passt, passt auf eine 4090D, und die Token-Erzeugung daraus ist an dieselben 1.008 GB/s gebunden. Die Videokodierung nutzt dasselbe Paar NVENC-Engines. Der Treiber, CUDA, PyTorch, Blender und jedes andere Tool behandeln sie als Ada-Lovelace-GeForce-GPU.
Arbeit, die durch den Shader-Durchsatz begrenzt ist: große Trainings-Batches, Cycles- und OptiX-Rendering, Prompt-Verarbeitung bei langen Eingaben. Die 4090D hat 11 % weniger CUDA-Kerne bei demselben Boost-Takt von 2,52 GHz, erwarten Sie also, dass sie bei diesen Aufgaben um bis zu diesen Abstand hinter einer 4090 zurückbleibt. Die Leistungsaufnahme der Platine beträgt 425 W gegenüber 450 W.
Die Builds
Dies sind die beiden RTX-40-GeForce-GPUs, die unser Bestellkatalog in Rack-Server einbaut. Die RTX 4090D ist die Wahl mit 24 GB und lässt sich in einer Maschine stapeln. Die RTX 4070 hat 12 GB und denselben AV1-Encoder der 8. Generation, für Aufgaben, die nicht mehr Speicher benötigen.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Jeder Preis ist die günstigste Maschine, die diese GPU aufnimmt, so wie der Konfigurator sie öffnet, und der Button öffnet diese Maschine mit bereits ausgewählter GPU. Andere Prozessoren, mehr Arbeitsspeicher, größere Festplatten, ein schnellerer Port und mehr GPUs werden dort bepreist. Bukarest-Builds werden in Euro abgerechnet; der Konfigurator wechselt die Währung, wenn Sie die Stadt wählen.
Dimensionierung
Dimensionieren Sie die Inferenz zuerst über den Speicher. Die Gewichte ergeben sich aus Parametern mal Bytes pro Parameter, und die GPUs benötigen ein Viertel bis die Hälfte mehr für den KV-Cache und die Laufzeit. Die Tabelle wendet diese Regel auf die RTX 4070, auf eine RTX 4090D und auf mehrere in einer Maschine an, auf die llama.cpp und vLLM ein Modell verteilen.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
GeForce-RTX-40-GPUs haben keinen NVLink-Anschluss, daher kommunizieren mehrere 4090D in einem Server über PCIe. Das Verteilen eines Modells auf sie für die Inferenz funktioniert über diese Verbindung. Training, das bei jedem Schritt Gradienten austauscht, profitiert von jeder zusätzlichen GPU weniger als bei GPUs, die über NVLink verbunden sind.
Ein Modell, das einen großen zusammenhängenden Speicherbereich oder ECC-Speicher benötigt, gehört auf eine Compute- oder Workstation-GPU mit 48 oder 80 GB. Diese finden Sie auf jeder GPU, die wir einbauen. Für eine Planung Modell für Modell siehe LLM-Server.
Plattformen
Beide GPUs haben eine PCIe-4.0-x16-Schnittstelle. Die Intel-Xeon-Maschinen betreiben sie mit PCIe 3.0, was die Bandbreite zum Host halbiert. Die AMD-EPYC-Maschine gibt jeder GPU eine volle PCIe-4.0-Verbindung. Sobald Gewichte oder eine Szene im GPU-Speicher liegen, spielt die Verbindung kaum noch eine Rolle; sie ist jedoch wichtig für Trainingsschleifen, die Daten aus dem Systemspeicher streamen, und für das Verteilen eines Modells auf mehrere GPUs.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Die Maschinenpreise sind der günstigste Build jeder Linie ohne GPU. RTX-40-Server können in New York, Miami, San Francisco and Bucharest bestellt werden. Maschinen in Amsterdam werden mit diesen GPUs nicht angeboten. Jedes Gebäude ist unter Rechenzentren beschrieben.
Workloads
Eine RTX 4090D bedient ein 13B-Modell mit 8 Bit und Platz für Kontext oder ein 30B-Modell mit 4 Bit und kurzem Kontext. Betreiben Sie Ollama, llama.cpp oder vLLM hinter Ihrer eigenen API; Prompts und Ausgaben bleiben auf Ihrer Maschine.
RT-Kerne der 3. Generation beschleunigen Blender Cycles über OptiX sowie Unreal Engine und V-Ray. Ein Raytracing-GPU-Server zu einem festen Monatspreis rendert über Nacht, ohne dass ein Stundenzähler läuft.
Die 4090D trägt zwei NVENC-Engines der 8. Generation und eine NVDEC. Beide GPUs encodieren AV1 in Hardware, was die RTX-30-Serie nicht kann, sodass eine Live-Pipeline AV1 neben H.264 ausliefern kann.
Der GeForce-Treiber führt DirectX, Vulkan und OpenGL wie ein Desktop aus. Installieren Sie Windows oder Linux und betreiben Sie einen Cloud-Gaming-Host, einen gestreamten Arbeitsplatz oder einen Gameserver mit dedizierter GPU.
Lieferung und Konditionen
Sie ist installiert und wird übergeben. Sofort-Server zeigt, was heute eingebaut ist.
Ein Techniker installiert die GPU in der von Ihnen konfigurierten Maschine, baut das Festplatten-Array auf und installiert das Betriebssystem. Zusätzlicher Speicher oder Laufwerke kommen beim selben Besuch hinein.
Wir bestellen das Teil und bauen dann wie oben. Sie erfahren vor der Bezahlung, welcher Fall zutrifft.
Jede Frist beginnt, sobald Zahlung und Betrugsprüfung abgeschlossen sind. Die meisten Bestellungen sind innerhalb weniger Stunden abgeschlossen; eine erste Bestellung auf einem neuen Konto kann länger dauern.
Besitzer listen RTX-40-Maschinen auch auf unserem Marktplatz, jeweils zu einem monatlichen Preis, den der Besitzer festlegt. Ein Angebot unserer Schwesterfirma Primcast wird auf primcast.com gemietet.
Technische Daten
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
GPU-Angaben aus dem Vergleich der GeForce-RTX-40-Serie von NVIDIA, deren Support-Matrix für Video-Encode und -Decode sowie der veröffentlichten Startspezifikation der RTX 4090D. Preise, Maschinen, Städte und Stückzahlen pro Maschine stammen aus unserem Bestellkatalog, dem, aus dem der Checkout abrechnet.
Antworten
Ein kompletter Server mit einer RTX 4090D beginnt bei $372.47 im Monat. Das setzt sich zusammen aus der GPU für $299 plus der günstigsten Maschine, die sie aufnimmt: Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Jede weitere GPU kommt als eigene monatliche Position hinzu, und eine auf Bestellung eingebaute GPU kostet einmalig $29 Einrichtung.
Es ist die RTX 4090D. Sie hat die 24 GB GDDR6X der RTX 4090, 1.008 GB/s Bandbreite, 2,52 GHz Boost-Takt und zwei AV1-Encoder, mit 14.592 CUDA-Kernen statt 16.384. Wir sagen das hier klar, damit niemand es erst nach dem Bezahlen erfährt.
Höchstens etwa 11 % bei Aufgaben, die vom Shader-Durchsatz abhängen, wie Rendering und Training, denn das ist der Anteil an CUDA-Kernen, der ihr bei gleichem Takt fehlt. Bei Aufgaben, die von Speichergröße oder Bandbreite abhängen, wie der LLM-Token-Erzeugung, sollten beide gleich schnell sein.
Ja. Eine Maschine nimmt bis zu 4 davon auf, insgesamt 96 GB GPU-Speicher, und der Konfigurator zeigt das Maximum pro Maschine an. Die GPUs sind über PCIe verbunden, da GeForce-RTX-40-GPUs kein NVLink haben.
Bare-Metal. Die Maschine wird an ein einziges Konto vermietet und die GPU wird direkt an Ihr Betriebssystem durchgereicht: kein Hypervisor, kein vGPU-Anteil, kein Time-Sharing. Sie installieren den NVIDIA-Treiber und die CUDA-Version Ihrer Wahl.
Die stündliche Abrechnung gilt für eine Maschine, die bereits im Rack steht und so vermietet wird, wie sie ist – es hängt also davon ab, was die Seite mit den Sofort-Servern an dem Tag listet. Eine GPU, die in eine von Ihnen konfigurierte Maschine eingebaut wird, wird monatlich abgerechnet, ohne Vertragsbindung.
Ja. Die RT-Kerne der 3. Generation beschleunigen Raytracing in Blender Cycles mit OptiX, Unreal Engine, V-Ray und anderen Renderern, und 24 GB fassen große Szenen. Bei einem festen Monatspreis kosten lange Renderings genauso viel wie kurze.
Etwa 30 Minuten nach der Freigabe, wenn eine Maschine mit der GPU bereits im Rack steht. Wenn wir eine GPU aus dem Lager einbauen, 4 bis 24 Stunden; wenn die GPU erst beschafft werden muss, 5 bis 10 Werktage – und Sie erfahren vor dem Bezahlen, welcher Fall zutrifft.
In New York, Miami, San Francisco and Bucharest, im eigenen Netz von Server Room. Maschinen in Amsterdam werden mit diesen GPUs nicht angeboten.
Der Server mit RTX 4070 beginnt bei $262.67 im Monat komplett, davon die GPU $179. Er hat 12 GB GDDR6X und einen AV1-Encoder, und eine Maschine nimmt bis zu 4 auf.
Wählen Sie die Anzahl der GPUs, dann Prozessor, Arbeitsspeicher, Festplatten und Standort. Der Konfigurator aktualisiert den Preis bei jeder Änderung.
Alle GPUs, die wir einbauen · RTX-30-Server · RTX-50-Server · Jetzt im Rack