GPU-Dedicated-Server · NVIDIA Ampere · monatlich mietbar
Unsere RTX 3090, 3080, 3070 GPU-Server sind Bare-Metal-Maschinen, die Sie monatlich mieten, wobei die volle GPU an Ihr eigenes Betriebssystem durchgereicht wird. Wählen Sie eine von fünf RTX 30 GPUs mit 8 bis 24 GB Speicher, auf einer Intel-Xeon- oder AMD-EPYC-Maschine, ab $209.93 pro Monat komplett.
Der Preis jeder unten aufgeführten GPU gilt für den kompletten Server: Prozessor, Arbeitsspeicher, Festplatten, den Port und eine IPv4-Adresse, zuzüglich der monatlichen GPU-Position. Wählen Sie die GPU nach dem Speicherbedarf Ihrer Arbeit und passen Sie dann im Konfigurator alles Weitere an.
Die fünf GPUs
Alle fünf teilen sich die Ampere-Architektur, den Treiber und den Funktionsumfang: Tensor-Cores der 3. Generation, RT-Cores der 2. Generation, PCIe 4.0. Was sie unterscheidet, sind Speichergröße und Speicherbandbreite. Gehen Sie vom benötigten Speicher aus und wählen Sie die erste GPU, die ihn bietet.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Jeder Preis gilt für die günstigste Maschine, die diese GPU aufnimmt, so wie der Konfigurator sie öffnet. Der Button öffnet diese Maschine mit bereits ausgewählter GPU; andere Prozessoren, mehr Arbeitsspeicher, größere Festplatten und ein schnellerer Port werden dort bepreist. Builds in Bukarest werden in Euro abgerechnet, und der Konfigurator zeigt diesen Preis an, wenn Sie die Stadt wählen.
Dimensionierung
Bei Inferenz geht es zuerst um Speicher, nicht um Geschwindigkeit. Die Gewichte eines Modells belegen Parameter mal Bytes pro Parameter, und die GPU benötigt obendrauf ein Viertel bis die Hälfte mehr für den KV-Cache und die Laufzeitumgebung. Die Tabelle wendet diese Regel auf jede Speichergröße auf dieser Seite an.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
Es ist die ursprüngliche RTX 3080 mit 8.704 CUDA-Kernen. NVIDIA verkaufte später eine 12-GB-Version mit 8.960 Kernen unter demselben Namen, und viele Angebote nennen deren Speicher. Gemessen an 10 GB: Ein 8B-Modell mit 8-Bit lädt mit wenig verbleibendem Raum für Kontext, und ein 13B-Modell mit 8-Bit lädt überhaupt nicht.
Die RTX 3090 ist die einzige RTX-30-GPU mit 24 GB. Unsere größeren Xeon-Maschinen nehmen bis zu 3 davon auf, 72 GB insgesamt, worauf llama.cpp oder vLLM ein Modell verteilen kann. Zwei halten ein 70B-Modell mit 4-Bit, knapp. Für eine einzelne GPU mit mehr Speicher siehe jede GPU, die wir einbauen; für modellweise Pläne LLM-Server.
Plattformen
Jede RTX-30-GPU hat eine PCIe-4.0-Schnittstelle. Auf den Intel-Xeon-Maschinen läuft sie mit PCIe 3.0; die AMD-EPYC-Maschine gibt der RTX 3080 eine volle PCIe-4.0-Anbindung. Sobald ein Modell oder eine Szene in den GPU-Speicher geladen ist, spielt die Anbindung kaum noch eine Rolle. Sie zählt für Trainingsschleifen, die bei jedem Schritt Batches aus dem Systemspeicher streamen.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Maschinenpreise sind die günstigste Ausstattung jeder Linie ohne GPU. RTX-30-Server können in New York, Miami, San Francisco and Bucharest bestellt werden. Amsterdam-Maschinen werden mit diesen GPUs nicht angeboten. Der Standort bestimmt die Latenz zu Ihren Nutzern und das anzuwendende Datenschutzrecht; Rechenzentren beschreibt jedes Gebäude.
Arbeitslasten
Eine RTX 3090 bedient ein 13B-Modell mit 8-Bit samt Raum für Kontext oder ein 30B-Modell mit 4-Bit und kurzem Kontext, hinter Ihrer eigenen API mit Ollama, llama.cpp oder vLLM. Nichts, was Sie senden, verlässt Ihre Maschine.
Blender Cycles rendert auf CUDA oder OptiX, und die RT-Kerne beschleunigen Raytracing. Installieren Sie das Betriebssystem, das Ihr Renderer benötigt, und rendern Sie über Nacht zu einem festen Monatspreis.
Der GeForce-Treiber führt DirectX, Vulkan und OpenGL wie ein Desktop aus. Betreiben Sie einen Spieleserver, einen Cloud-Gaming-Host oder einen Remote-Arbeitsplatz mit dedizierter GPU dahinter.
Jede GPU hat einen NVENC-Encoder für H.264 und HEVC sowie einen NVDEC-Decoder. NVIDIA erlaubt bis zu 8 gleichzeitige Encodings pro System auf GeForce-GPUs, mit Treiber 550.54.14 oder neuer.
Lieferung und Konditionen
Nichts einzubauen: Der Server ist installiert und wird übergeben. Sofort-Server listet, was gerade gerackt ist.
Ein Techniker installiert die GPU, baut das Festplatten-Array auf und installiert das Betriebssystem. Zusätzlicher Speicher oder weitere Laufwerke kommen beim selben Besuch hinein.
Jede Frist beginnt, sobald Zahlung und Betrugsprüfung abgeschlossen sind. Die meisten Bestellungen sind innerhalb weniger Stunden frei; eine erste Bestellung auf einem neuen Konto kann länger dauern.
Besitzer listen RTX-30-Maschinen auch auf unserem Marktplatz, jeweils zu einem vom Besitzer festgelegten Monatspreis. Angebote, die als über unsere Schwesterfirma Primcast kommend markiert sind, werden auf primcast.com vermietet.
Technische Daten
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Zahlen aus NVIDIAs Vergleich der GeForce-RTX-30-Serie und seiner Unterstützungsmatrix für Videokodierung und -dekodierung. Preise, Maschinen, Städte und Stückzahlen pro Maschine stammen aus unserem Bestellkatalog, dem, aus dem der Checkout abrechnet.
Antworten
Ein kompletter RTX-3090-Server beginnt bei $309.93 pro Monat. Das setzt sich zusammen aus der GPU für $239 plus der günstigsten Maschine, die sie aufnimmt: Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Der günstigste RTX-30-Build ist der RTX 3070 für $209.93. Eine auf Bestellung eingebaute GPU kostet einmalig $29 Einrichtung.
Die 10-GB-Version mit 8.704 CUDA-Kernen und 760 GB/s Speicherbandbreite. Ein kompletter RTX-3080-Server beginnt bei $229.93 pro Monat. Wenn Ihr Modell 12 GB benötigt, nehmen Sie die RTX 3080 Ti – sie hat 12 GB auf einem 384-Bit-Bus.
Ja. Unsere größeren Xeon-Maschinen nehmen bis zu 3 RTX 3090 auf, insgesamt 72 GB GPU-Speicher, und der Konfigurator zeigt, wie viele jede Maschine maximal aufnimmt. Jede GPU ist eine eigene monatliche Position, der Preis steigt also pro hinzugefügter GPU um deren Betrag.
Für Inferenz und QLoRA-Feintuning ja. Seine 24 GB fassen ein 13B-Modell in 8-Bit mit Platz für Kontext oder ein 30B-Modell in 4-Bit mit kurzem Kontext. Er hat keinen ECC-Speicher, daher ist für lange Trainingsläufe ohne Checkpoints eine Compute-GPU die sicherere Wahl.
Etwa 30 Minuten nach Freigabe Ihrer Bestellung, wenn eine Maschine mit dieser GPU bereits im Rack steht; diese finden Sie auf der Seite für Sofort-Server. Wenn wir die GPU in die von Ihnen konfigurierte Maschine einbauen, rechnen Sie mit 4 bis 24 Stunden.
Nein. Die Maschine wird an ein einziges Konto vermietet, und die GPU wird direkt an Ihr Betriebssystem durchgereicht. Es gibt keinen Hypervisor, kein vGPU-Profil und kein Time-Slicing, und Sie installieren den NVIDIA-Treiber und die CUDA-Version, die Sie möchten.
Nein. RTX-30-GPUs dekodieren AV1, kodieren aber nur H.264 und HEVC, mit einem NVENC-Encoder pro GPU. Hardware-AV1-Kodierung beginnt mit der RTX-40-Serie.
In New York, Miami, San Francisco and Bucharest, im eigenen Netz von Server Room. Die Maschinen, die diese GPUs aufnehmen, werden dort in Amsterdam nicht mit ihnen angeboten.
Wählen Sie die GPU nach Speicher, dann Prozessor, Arbeitsspeicher, Festplatten und Standort. Der Konfigurator bepreist jede Änderung, sobald Sie sie vornehmen.
Jede GPU, die wir einbauen · Der RTX-3050-Desktop · RTX-40-Server · Jetzt im Rack