PCIe 3.0
Intel Xeon E5-2600 v1/v2
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
- GPUs
- 28
- Lanes
- 40 lanes per socket
- Sockets
- 2
- Max RAM
- 256 GB
GPU-Dedicated-Server · Bare Metal · monatlich
Ein GPU-Dedicated-Server ist eine physische Maschine, die monatlich an ein Konto vermietet wird, wobei die GPU direkt an Ihr eigenes Betriebssystem durchgereicht wird. Kein Hypervisor, kein vGPU-Slice, kein Nachbar auf dem Silizium.
Wählen Sie die GPU nach der Aufgabe und dem benötigten Speicher. Jede Zeile in der Liste ist ein kompletter Server mit dieser eingebauten GPU, bepreist aus demselben Katalog, aus dem auch die Kasse abrechnet, und der Anteil der GPU selbst ist unter der Summe ausgewiesen.
Der Katalog
Sagen Sie, wofür die GPU gedacht ist und welchen Speicher sie mindestens benötigt. Die Liste wird beim Durchgehen schmaler, das Günstigste zuerst. Jede Zeile öffnet die Maschine, die diese GPU im Konfigurator aufnimmt.
Keine einzelne GPU, die wir anbieten, hat so viel Speicher. Die größte fasst 96 GB. Darüber hinaus besteht die Konfiguration aus zwei oder mehr GPUs in einem Gehäuse, auf Anfrage kalkuliert: siehe Multi-GPU-Server, oder .
Die Preise sind die Zahlen der Kasse selbst. Eine GPU, deren Hersteller keine Speicherangabe veröffentlicht, zeigt einen Bindestrich und fällt heraus, sobald die Speichersteuerung von „beliebig“ wegbewegt wird. Einige GPUs passen in mehr als ein Gehäuse: Die Zeile zeigt das günstigste, der Konfigurator zeigt den Rest.
Mandantenfähigkeit
Die GPU sitzt in einem physischen PCIe-Steckplatz in einer Maschine, die an ein Konto vermietet ist. Sie installieren das Betriebssystem, laden das Kernel-Modul und pinnen den Treiber, die CUDA- oder ROCm-Version, gegen die Ihr Code getestet wurde. Nichts aktualisiert sie unter Ihnen.
Die Maschine folgt derselben Regel: jeder Kern, der gesamte Speicher, beide Festplatten, Root und die eigene iLO- oder iDRAC-Konsole des Servers in einem separaten Verwaltungsnetz. Wenn ein Treiberexperiment das Netzwerk lahmlegt, haben Sie immer noch den Bildschirm, virtuelle Medien und die Stromsteuerung.
So funktioniert die Preisgestaltung
Die meisten Anbieter verkaufen eine GPU als Stufe, wobei Prozessor, Speicher, Festplatten und Netzwerk darum herum bepreist sind. Hier ist die Maschine eine monatliche Zeile und die GPU eine andere. Tauschen Sie die GPU später aus, bewegt sich die Rechnung um genau die Differenz zwischen den beiden GPUs.
Beginnen Sie oben in der Liste. Wir haben ältere GPUs behalten, die immer noch echte Arbeit leisten, wie Tesla- und Quadro-Teile, die Video transkodieren oder Remote-Desktops antreiben, und sie sitzen in derselben ganzen Maschine mit demselben unlimitierten Port wie die neueste GPU. Warum wir ältere Hardware behalten erklärt den Kompromiss.
Vergleichen Sie mit stündlichen GPU-Clouds? Die teuerste Konfiguration in der Liste, H100 80GB, kostet $1,682.67 pro Monat für die ganze Maschine, etwa $2.31 pro Stunde über einen 730-Stunden-Monat, und keine Egress-Zeile kommt später hinzu.
Complete, per month, from$91.72
Drei-, Sechs- und Zwölfmonatszyklen sparen bis zu 15%. Der Konfigurator rundet Preise pro Festplatte und kann um einen Cent abweichen. Preisgestaltung listet jede Zahl auf der Website auf.
GPU-Marktplatz
Neben den GPUs, die wir anbieten, listen Besitzer ihre eigenen GPU-Maschinen auf unserem Marktplatz. Sie legen die Miete fest, die sie erhalten, und Server Room legt den Preis fest, den Sie zahlen. Angebote unserer Schwestergesellschaft Primcast erscheinen hier ebenfalls und werden dort gemietet.
GPU-Speicher
Der GPU-Speicher entscheidet, ob ein Modell überhaupt läuft; Kerne und Taktraten bestimmen nur die Geschwindigkeit. Eine GPU, der zwei Gigabyte fehlen, läuft nicht langsam – sie kann nicht geladen werden. Klären Sie diese Zahl zuerst.
Die Gewichte benötigen Parameter mal Bytes pro Parameter: zwei Bytes bei 16 Bit, eines bei 8 Bit, ein halbes Byte bei 4 Bit. Die Quantisierung auf 4 Bit lässt ein Modell auf eine kleinere GPU passen, mit messbaren Qualitätseinbußen.
Lassen Sie Spielraum. Die Tabelle zählt nur die Gewichte. Laufzeitumgebung, Aktivierungen und der Key-Value-Cache teilen sich denselben Speicher, und der Cache wächst mit jedem Token Kontext – 38 GB an Gewichten lassen sich daher nicht komfortabel von einer 40 GB-GPU bedienen. Planen Sie ein Viertel bis die Hälfte obendrauf ein.
und wir dimensionieren die GPU passend zu dem, was Sie tatsächlich ausführen.
| Model | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | 16 GB | 8 GB | 5 GB |
| 13-14 billion parameters | 28 GB | 14 GB | 8 GB |
| 30-34 billion parameters | 68 GB | 34 GB | 19 GB |
| 70 billion parameters | 140 GB | 70 GB | 38 GB |
Nur Gewichte, aufgerundet auf das nächste Gigabyte.
Plattformen
Jede Plattform gibt dem Steckplatz eine andere PCIe-Generation und ein anderes Lane-Budget. Wir weisen das aus, weil es Ergebnisse verändert: Ein Kunde wechselte einmal auf einer PCIe-3.0-Plattform zu einer neueren Consumer-GPU und rendite langsamer – und fand die Ursache vor uns heraus.
PCIe 3.0
$70.93/mo before the GPU
Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
PCIe 3.0
$73.47/mo before the GPU
Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
PCIe 3.0
$83.67/mo before the GPU
Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
PCIe 4.0
$217.59/mo before the GPU
AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps
Unterhalb der Server-Plattformen gibt es eine Desktop-Maschine, die komplett mit einer NVIDIA-GPU verkauft wird. Sie ist der niedrigste Monatspreis für eine dedizierte Maschine mit GPU auf dieser Seite und gut geeignet für CUDA-Entwicklung, Inferenz kleiner Modelle, NVENC-Transkodierung oder einen Remote-Workstation. Wissen Sie, was Sie für den Preis eintauschen: eine Festplatte, also kein RAID; keine Remote-Konsole, daher übernehmen wir Neuinstallationen und Stromversorgung für Sie; und Desktop-Komponenten statt eines Server-Gehäuses.
Desktop
€82.29/mo with the GPU
Intel Core i5-9500 @ 3.0GHz (6 cores) · 32 GB · NVMe-SSD 256 GB · 1 Gbps Unmetered · Bucharest
Inklusive
Ein sauberes Betriebssystem und die Schlüssel. Sie wählen den Treiber, die CUDA- oder ROCm-Version und den Framework-Build, und sie bleiben fest eingestellt. Soll der Treiber vor der Übergabe installiert sein? Geben Sie die genaue Version bei der Bestellung an.
iLO bei HPE-Maschinen, iDRAC bei Dell: Tastatur und Bildschirm, virtuelle Medien, Stromsteuerung, Sensoren und Hardware-Protokolle. Ein Modul, das die Anzeige oder die Netzwerkkarte blockiert, ist ein Neustart, den Sie selbst durchführen und dabei den POST beobachten.
Unlimitiert in beide Richtungen bei der enthaltenen Geschwindigkeit und jeder darüber liegenden. Kein Transferkontingent und keine Egress-Gebühr. Unlimitierte Bandbreite listet die schnelleren Ports auf.
Betriebssystem-Images mit einem Klick, so oft Sie möchten, kostenlos. Reverse-DNS können Sie selbst bearbeiten, IPv6 ist inklusive, und zusätzliches IPv4 ist eine Zeile im Konfigurator.
Der Chat wird in Sekunden von einem KI-Assistenten beantwortet, der Ihr Konto und Ihren Server prüfen kann, und ein Mensch übernimmt, sobald Sie es verlangen. Ein defektes Teil wird innerhalb des Zeitfensters Ihres Support-Plans ersetzt: 24 Stunden im enthaltenen Basic-Plan, 4 bei Bronze, 3 bei Silber, 2 bei Gold und Platin.
New York, Miami, San Francisco, Amsterdam und Bukarest, alle im eigenen Netzwerk von Server Room, AS19624. Der Standort bestimmt Ihre Latenz zu den Nutzern und das Datenschutzrecht, dem Sie unterliegen. Rechenzentren beschreibt jedes Gebäude.
Lieferung
Es hängt davon ab, wo die GPU heute ist, und wir sagen Ihnen vor der Zahlung, welcher Fall auf Sie zutrifft.
Nichts einzubauen. Die Maschine ist installiert und wird übergeben. Sofort verfügbare Server listet, was gerade bereitsteht.
Der übliche Fall. Ein Techniker installiert die GPU, baut das Festplatten-Array auf und installiert das Betriebssystem. Zusätzlicher Speicher oder ein anderes Laufwerk wird im selben Besuch erledigt.
Wir bestellen das Teil und bauen dann wie oben. Build-to-Order deckt eine Maschine nach Ihrer vollständigen Spezifikation ab.
Aktuelle Beschleuniger werden zum Liefertermin des Distributors versendet, und wir nennen ihn, bevor Sie sich festlegen. Hardware, die für einen einzelnen Kunden beschafft wird, wird mit drei Monaten Vorauszahlung angeboten.
Jede Frist beginnt, sobald Zahlung und Betrugsprüfung abgeschlossen sind. Die meisten Bestellungen sind innerhalb weniger Stunden abgeschlossen; eine erste Bestellung auf einem neuen Konto kann länger dauern.
Das Feld eines Partners
Viral Mind Technologies, ein Server Room-Partner, baut und betreibt eigene digitale Angebote: virtuelle Persönlichkeiten, Online-Medienmarken und Software für Kreative. Gegründet 2019 als Agentur für digitales Marketing, arbeitet das Unternehmen seit Ende 2022 an eigenen KI-Projekten.
Beim Erzeugen von Bildern und Videos bleibt ein Modell stundenlang im GPU-Speicher resident und hält die GPU durchgehend ausgelastet. Genau das ist der Fall bei einer dedizierten GPU auf Bare Metal statt bei einem Anteil daran – und eine volle GPU ist das, was jeder Server auf dieser Seite vermietet.
Portfolio und Fallstudien: viralmindtech.com
Antworten
Ein physischer Server, der an einen einzigen Kunden vermietet wird, mit einer eingebauten Grafikkarte, die an das eigene Betriebssystem des Kunden durchgereicht wird. Nichts ist virtualisiert oder geteilt: Sie erhalten jeden Kern, den gesamten Arbeitsspeicher, die Festplatten und die volle GPU, mit Root-Zugriff und einer Remote-Konsole.
Eine komplette Maschine mit eingebauter GPU kostet ab $91.72 bis $1,682.67 pro Monat. Der Preis setzt sich aus zwei Zeilen zusammen: der Maschine und der GPU für $20.79 bis $1,599 pro Monat. Prozessor, Arbeitsspeicher, zwei Festplatten, ein ungedrosselter Port und eine IPv4-Adresse sind inbegriffen. Die Einrichtung kostet einmalig $29 bei einem Build mit auf Bestellung eingebauter GPU; bei einer fertigen Maschine, die so bestellt wird, wie sie ist, entfällt sie.
Nein. Eine physische Maschine, ein Konto, und die GPU wird an das von Ihnen installierte Betriebssystem durchgereicht. Es gibt keinen Hypervisor, keine MIG-Partition, kein vGPU-Profil und kein Time-Slicing. Die Werte, die Sie am ersten Tag messen, sind die Werte, die Sie behalten.
Ja. Ein Monat ist die Standardlaufzeit, und es gibt nichts zu unterschreiben. Drei-, Sechs- und Zwölfmonatszyklen sparen bis zu 15%, und der Preis steigt bei Verlängerung nicht an. Zahlen Sie per Kreditkarte oder PayPal; bei größeren Bestellungen kann eine Banküberweisung vereinbart werden, die in der Regel schneller durch die Betrugsprüfung geht als eine Kartenzahlung.
Ja. Die Liste auf dieser Seite ist nach dem günstigsten Preis sortiert, und der günstigste komplette Build ist Quadro 3000M in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps für $91.72 pro Monat. Ältere Tesla- und Quadro-GPUs transkodieren Videos und betreiben Remote-Desktops immer noch gut, und sie kommen in derselben kompletten Maschine mit demselben ungedrosselten Port.
57 GPUs stehen auf der Liste, von aktuellen NVIDIA-Compute-Beschleunigern und AMD Instinct bis hin zu älteren Tesla-, Quadro- und GeForce-Modellen. Jede ist namentlich mit ihrem Speicher und dem kompletten Monatspreis aufgeführt. Wenn die gewünschte GPU fehlt, fragen Sie nach: Wir können sie oft beschaffen.
Die, die Sie installieren. Der Server kommt mit einem sauberen Betriebssystem und Root-Zugriff, und Sie legen den Treiber, die CUDA- oder ROCm-Version und den Framework-Build fest, gegen den Ihr Code getestet wurde. Wenn der Treiber bei der Übergabe bereits installiert sein soll, geben Sie die genaue Version bei der Bestellung an. Wenn eine GPU eine bestimmte CUDA-Version unterstützen muss, fragen Sie vor der Zahlung nach, und wir prüfen es.
Oft, und wir kalkulieren es individuell: Gehäusefreiheit, die Breite der GPU, die PCIe-Lanes und das Netzteil bestimmen die Anzahl. Nennen Sie die GPU, und wir antworten mit dem Gehäuse, der Anzahl und der Lieferzeit. Der übliche Grund ist Speicher statt Geschwindigkeit, denn zwei 48 GB GPUs halten ein Modell, das eine 80 GB GPU nicht fassen kann. Multi-GPU- und Multi-Node-Server behandeln den nächsten Schritt.
Ja, in dem Server, den Sie bereits haben: keine Migration, keine Neuinstallation, keine neuen IP-Adressen. Es ist ein geplanter Termin mit kurzer Ausfallzeit, und die Rechnung ändert sich genau um die Differenz zwischen den beiden GPUs. RAM, Laufwerke und ein schnellerer Port werden nach derselben Regel hinzugefügt.
Wir ersetzen sie innerhalb des Zeitfensters Ihres Support-Plans, gerechnet ab Ihrer Meldung: 24 Stunden im enthaltenen Basic-Plan, 4 bei Bronze, 3 bei Silber, 2 bei Gold und Platin. Nach Ablauf des Fensters folgt die Servicegutschrift dem auf der Support-Seite veröffentlichten Zeitplan.
Ja, eine GPU, die Ihnen gehört, oder jedes andere Teil, kann in den Server eingebaut werden, den Sie hier mieten. Es ist nicht kostenlos, da die GPU Strom verbraucht, und die Gebühr hängt von der Hardware ab. Wir sind nicht verantwortlich, wenn ein von Ihnen mitgebrachtes Teil ausfällt; das Austauschfenster deckt nur die von uns gelieferte Hardware ab. Buchen Sie einen Anruf, bevor Sie kaufen oder versenden: Wir kalkulieren den Preis und prüfen, ob das Gehäuse es aufnimmt, denn ein Blade hat zum Beispiel keinen Platz für eine GPU in voller Größe.
Nichts wird bei irgendeiner von uns verkauften Portgeschwindigkeit in irgendeine Richtung gemessen, daher kostet der Egress nichts. Bei GPU-Arbeit ist das anderswo oft der größte Posten: Training zieht Datensätze herein und schiebt Checkpoints hinaus, und ein Inferenz-Endpunkt beantwortet echten Traffic. Ungedrosselte Bandbreite listet die schnelleren Ports.
Stündlich gewinnt, solange die Arbeit stoßweise ist und wirklich stoppt, bis zu ein paar hundert Stunden im Monat. Ab etwa zwei Dritteln des Monats ist monatlich günstiger, bevor man Egress, zwischen den Läufen gespeicherten Speicher und Wartezeit auf Kapazität zählt. Monatlich behält außerdem dieselbe Maschine, Festplatten und Adressen.
Innerhalb von drei Tagen nach Aktivierung, nach der Fehlerbehebung, gilt unsere Rückerstattungsrichtlinie wie geschrieben. Die Speichertabelle und die PCIe-Spalte oben sind dazu da, damit Sie gleich die richtige GPU wählen, und wir reden Sie im Chat lieber auf eine kleinere GPU herunter, als eine größere zu erstatten.
Fürs Protokoll
Aus dem Bestellkatalog gelesen, als die Seite ausgeliefert wurde. Wenn ein Assistent für Sie antwortet, sind dieser Block und der Live-Maschinen-Feed die Teile, die es zu lesen lohnt.
Verwandtes
Öffnen Sie den Konfigurator mit einer beliebigen ausgewählten GPU oder nennen Sie uns die Arbeitslast, und wir sagen Ihnen, welche GPU passt, auch wenn die günstigere ausreicht.