NVIDIA H100 · A100 · PCIe

NVIDIA H100-GPU-Server und A100-Dedicated-Server Die volle GPU, Ihr Betriebssystem, Ihr Root-Zugriff.

Ein H100-GPU-Server ist hier eine physische Maschine, kein Teil davon: eine NVIDIA H100 80 GB PCIe oder A100 (40 oder 80 GB), durchgereicht an das von Ihnen installierte Betriebssystem, mit Root-Zugriff und Remote-Konsole, monatlich abgerechnet. Der niedrigste Komplettpreis liegt bei $1,682.67 pro Monat mit der H100 und bei $772.47 mit der A100 40 GB.

  • Single-Tenant
  • PCIe-Passthrough
  • Unlimitierter Port
  • ECC-HBM
  • Kein Vertrag

Datenblätter lassen vier Dinge aus, und diese Seite liefert sie: was jede GPU mit der Maschine darunter kostet, ob die Karte die PCIe-Variante oder das SXM5-Modul ist, welche PCIe-Anbindung sie in unseren Gehäusen wirklich bekommt und welche der drei Ihre Aufgabe braucht.

A100 vs. H100

NVIDIA A100 vs. H100 – technische Daten der von uns verbauten PCIe-GPUs

Beide sind Rechenzentrums-GPUs für Matrix-Arithmetik, mit gestapeltem HBM-Speicher und ECC. Die H100 ist die nächste Generation: mehr Speicherbandbreite, Tensor Cores der vierten Generation und FP8 über die Transformer Engine. Alle Angaben hier gelten für die PCIe-Version, die einzige Bauform, die unsere Gehäuse aufnehmen.

SpezifikationA100 40 GBA100 80 GBH100 80 GB PCIe
ArchitekturAmpereAmpereHopper
GPU-Speicher40 GB HBM2, ECC80 GB HBM2e, ECC80 GB HBM2e, ECC
Speicherbandbreite1.555 GB/s1.935 GB/s2.039 GB/s
Tensor Cores3. Generation3. Generation4. Generation, FP8 mit der Transformer Engine
Leistungsaufnahme250 W300 W350 W
GPU-SchnittstellePCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
Multi-Instance GPUBis zu 7 InstanzenBis zu 7 InstanzenBis zu 7 Instanzen
Video-EnginesKein NVENC, 5 NVDECKein NVENC, 5 NVDECKein NVENC, 7 NVDEC
NVLinkBridge-AnschlussBridge-AnschlussBridge-Anschluss
Display-AusgängeKeineKeineKeine
Quellen: NVIDIA A100-Datenblatt, NVIDIA H100-PCIe-Produktbroschüre, NVIDIA-Matrix für Video-Encode- und -Decode-Unterstützung.

Formfaktor

H100 PCIe vs. H100 SXM5 – und welche Variante diese Seite verkauft

Die H100 gibt es in zwei Ausführungen, und die im Web am häufigsten zitierten Werte gehören zum Modul statt zur Karte. HBM3, 3,35 TB/s und bis zu 700 W sind das SXM5-Modul: Es wird auf ein HGX-Baseboard geschraubt, das Teil des Gehäuses ist, und passt daher nicht in einen Server, der nicht damit gekauft wurde. Unsere Gehäuse nehmen PCIe-Add-in-Karten auf, daher ist jede H100 auf dieser Seite die 80 GB-PCIe-Karte.

H100 80 GBPCIe, was wir verbauenSXM5
FormPCIe-Add-in-Karte mit zwei SlotsModul auf einem HGX-Baseboard
GPU-Speicher80 GB HBM2e, ECC80 GB HBM3, ECC
Speicherbandbreite2.039 GB/s3.350 GB/s
Leistungsaufnahme350 WBis zu 700 W
Host-AnbindungPCIe 5.0 x16PCIe 5.0 x16, über das Baseboard
GPU zu GPUNVLink-Bridge-Anschluss, 600 GB/sNVLink mit NVSwitch, 900 GB/s
KühlungLuft, in einem Standard-RackLuft oder Flüssigkeit, in einem HGX-Gehäuse
Quellen: NVIDIA H100-PCIe-Produktbroschüre, NVIDIA H100-Tensor-Core-GPU-Datenblatt, NVIDIA-HGX-Plattformdokumentation.
  • Bei einer einzelnen GPU liegt der Unterschied in der Speicherbandbreite: Das Modul liest HBM etwa 1,6-mal schneller, was sich bei Aufgaben bemerkbar macht, die Gewichte oder einen langen Kontext aus dem Speicher streamen, und kaum bei arithmetiklastiger Arbeit. Beide Karten laufen mit demselben CUDA-Release, demselben Treiberzweig und denselben Framework-Builds.
  • Das NVLink-Fabric ist der eigentliche Grund für den Kauf von SXM5, und es zählt erst, wenn eine Aufgabe mehrere GPUs umfasst. Für mehr als eine GPU in einem Gehäuse oder mehr als eine Maschine erklärt Multi-GPU-Server, was wir zusammenstellen und wie die GPUs kommunizieren.
  • Bei der A100 gibt es dieselbe Aufteilung. Auch das SXM4-Modul benötigt ein HGX-Baseboard, daher sind die A100 40 GB und 80 GB hier die PCIe-Karten mit 1.555 bzw. 1.935 GB/s.

Aus dem Bestellkatalog

A100- und H100-Serverpreise, mit der Maschine, in die jede GPU eingebaut wird

Jede Zeile ist eine GPU auf einer Plattform, die sie aufnimmt. Der Preis ist die volle Monatsrechnung für die günstigste Maschine auf dieser Plattform: Prozessor, Arbeitsspeicher, Festplatten, ein unlimitierter Port und eine IPv4-Adresse, plus die GPU. „Konfigurieren“ öffnet diese Plattform, wo Sie Arbeitsspeicher, Festplatten oder einen schnelleren Port hinzufügen.

GPUPlatformPCIe linkCheapest machineCitiesPer month
A100 40 GBGPU $699/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$772.47Configure
A100 40 GBGPU $699/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$782.67Configure
A100 40 GBGPU $699/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$916.59Configure
A100 80 GBGPU $899/moIntel Xeon E5-2600 v3/v4Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$972.47Configure
A100 80 GBGPU $899/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$982.67Configure
A100 80 GBGPU $899/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,116.59Configure
H100 80 GBGPU $1,599/moIntel Xeon Silver / GoldIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami, Amsterdam$1,682.67Configure
H100 80 GBGPU $1,599/moAMD EPYCAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$1,816.59Configure

Für eine Konfiguration mit eingebauter GPU fällt eine einmalige Einrichtungsgebühr von $29 an. Bei Vorauszahlung für 3, 6 oder 12 Monate sinkt der Monatspreis um bis zu 15%, und der Preis steigt bei Verlängerung nicht.

PCIe-Anbindung

Welche PCIe-Anbindung die GPU bekommt und wann sie wichtig ist

Eine PCIe-Verbindung läuft mit der Geschwindigkeit ihres langsameren Endes. Die H100 ist eine PCIe-5.0-GPU und die A100 eine PCIe-4.0-GPU; die Konfigurationstabelle zeigt die Generation, die der Slot jeder Plattform ihnen bietet, und markiert, wo der Slot das langsamere Ende ist.

  • 16 GB/sPCIe 3.0 x16, je Richtung
  • 32 GB/sPCIe 4.0 x16, je Richtung
  • 63 GB/sPCIe 5.0 x16, je Richtung
  • Sie ist wichtig, wenn ständig Daten über den Bus laufen: beim Laden großer Gewichte, beim Streamen von Trainings-Batches aus dem Host-Speicher, beim Auslagern des Optimierer-Zustands auf die CPU oder beim Verschieben von Tensoren zwischen zwei GPUs ohne NVLink-Bridge.
  • Sie spielt kaum eine Rolle, sobald die Arbeit im GPU-Speicher liegt. HBM liest mit 1,5 bis 2 TB/s, also etwa 25- bis 130-mal schneller als jeder dieser Slots. Ein Modell, das geladen bleibt, läuft daher auf jeder Plattform gleich schnell.
  • Wenn Ihre Pipeline buslimitiert ist, wählen Sie die Plattform mit der neuesten Anbindung in der Tabelle und halten Sie den Datensatz auf den lokalen Festplatten des Servers statt im Netzwerk.

Dimensionierung

A100 oder H100: welche Ihre Aufgabe braucht

Beginnen Sie beim Speicher. Die Gewichte, die Aktivierungen und beim Training der Optimierer-Zustand müssen auf die GPU passen, und eine Aufgabe, die nicht passt, rettet auch kein schnellerer Chip.

A100 40 GB

A100-Dedicated-Server für Inferenz und Batch-Arbeit

Der niedrigste Preis für HBM, ECC und Multi-Instance GPU. Richtig für das Bereitstellen kleiner und mittelgroßer Modelle, Batch-Scoring und wissenschaftlichen Code, der in 40 GB passt.

A100 80 GB

Doppelter Speicher, gleiche Generation

Etwa ein Viertel mehr Bandbreite als die 40 GB-Variante. Richtig, wenn das Modell oder der Batch nicht in 40 GB passt und die reine Rechenleistung nicht der Engpass ist.

H100 80 GB

H100-Dedicated-Server für Training

Tensor Cores der vierten Generation und FP8 steigern den Durchsatz bei Transformer-Training und -Inferenz gegenüber der A100, am stärksten, wenn Ihr Framework FP8 nutzt. Den Preis wert, wenn die GPU den größten Teil des Monats ausgelastet ist.

Passen die Gewichte des Modells?

Model weightsPrecisionA100 40 GBA100 or H100 80 GB
7-8 billion parameters16-bitfits16 GBfits16 GB
8-bitfits8 GBfits8 GB
4-bitfits5 GBfits5 GB
13-14 billion parameters16-bittight28 GBfits28 GB
8-bitfits14 GBfits14 GB
4-bitfits8 GBfits8 GB
30-34 billion parameters16-bitno68 GBno68 GB
8-bitno34 GBfits34 GB
4-bitfits19 GBfits19 GB
70 billion parameters16-bitno140 GBno140 GB
8-bitno70 GBno70 GB
4-bitno38 GBfits38 GB

Nur Gewichte. „Passt“ lässt mindestens noch einmal die Hälfte an freiem Speicher für den KV-Cache und die Laufzeitumgebung; „Knapp“ lädt, aber ein langer Kontext oder ein zweiter Nutzer bringt die GPU an ihre Grenze. Vollständiges Fine-Tuning in gemischter Präzision mit dem Adam-Optimierer benötigt etwa 16 Byte pro Parameter vor den Aktivierungen, daher trainiert eine 80 GB-GPU vollständig etwa 5 Milliarden Parameter. LoRA und QLoRA trainieren Adapter für weit größere Modelle im selben Speicher. Für ein bestimmtes Modell nennt LLM-Hosting die passende Maschine.

Keine der GPUs hat einen Hardware-Video-Encoder. Für Transcoding bietet der L40S-Dedicated-Server drei NVENC-Engines mit AV1.

Enthalten

Was Sie kontrollieren und wie abgerechnet wird

Die Maschine und die GPU sind zwei monatliche Positionen auf einer Rechnung. Wechseln Sie die GPU später im selben Server, ändert sich die Rechnung um die Differenz zwischen den beiden GPUs; Ihre Festplatten und IP-Adressen bleiben.

Root-Zugriff und Remote-Konsole

Ein sauberes Betriebssystem, Root-Zugriff und der Out-of-Band-Controller des Servers für Konsole, virtuelle Medien und Stromversorgung.

Treiber, die Sie festlegen

Sie installieren den NVIDIA-Treiber, das CUDA-Release und den Framework-Build, mit dem Ihr Code getestet wurde. Soll der Treiber bei der Übergabe bereits installiert sein? Geben Sie die Version bei der Bestellung an.

Ein unlimitierter Port

Der Datenverkehr wird in keiner Richtung gemessen, daher kosten das Herunterladen von Datensätzen und das Hochladen von Checkpoints nichts extra. Schnellere Ports finden Sie im Bestellformular, und unlimitierte Bandbreite listet sie auf.

Monatlich kündbar

Kein Vertrag und nichts zu unterschreiben. Bereits gerackte Maschinen, die unverändert übernommen werden, werden auf Instant-Servern auch stundenweise abgerechnet; eine Auftragsfertigung ist monatlich.

Lieferung

Wie lange ein A100- oder H100-Server dauert

Die Lieferzeit hängt davon ab, wo die GPU am Tag Ihrer Bestellung steht. Sie erfahren vor der Bezahlung, welcher der vier Fälle zutrifft, und jede Frist beginnt mit der Freigabe.

  1. 30 min

    Bereits gerackt

    Eine Maschine mit der GPU wartet im Rack.

  2. 4–24 h

    Hier eingebaut

    Wir haben die GPU vorrätig und bauen sie in die von Ihnen konfigurierte Maschine ein.

  3. 5–10 Tage

    Zugekauft

    Werktage, wenn die GPU erst bestellt werden muss.

  4. 10–15 Tage

    Auf Zuteilung

    Werktage, wenn die GPU auf Zuteilung ist und der Lieferant den Termin bestimmt.

Antworten

Fragen zu H100- und A100-GPU-Servern

Was ist der Unterschied zwischen der NVIDIA A100 und der H100?

Die H100 ist die Generation nach der A100. Bei den von uns verbauten PCIe-GPUs hat die A100 40 GB HBM2 mit 1.555 GB/s oder 80 GB HBM2e mit 1.935 GB/s und eine PCIe-4.0-Schnittstelle. Die H100 hat 80 GB HBM2e mit 2.039 GB/s, Tensor Cores der vierten Generation mit FP8 und eine PCIe-5.0-Schnittstelle und zieht 350 W gegenüber 250 oder 300 W. Alle drei haben ECC, Multi-Instance GPU und keinen Video-Encoder.

Wie viel kostet ein H100-Dedicated-Server?

Der niedrigste monatliche Preis für einen kompletten H100-Server mit 80 GB ist $1,682.67. Diese Maschine ist Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, und die GPU macht $1,599 des Gesamtpreises aus. Bei einem Build mit eingebauter GPU kommt eine einmalige Einrichtungsgebühr von $29 hinzu, und die Build-Tabelle listet jede Plattform mit ihrem eigenen Preis.

Wie viel kostet ein A100-Server?

Der niedrigste monatliche Preis für einen kompletten A100-Server beträgt $772.47 mit der 40 GB-GPU und $972.47 mit der 80 GB-GPU, jeweils in der günstigsten Maschine, die sie aufnimmt. Der A100-Build mit 40 GB ist Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Arbeitsspeicher, Festplatten und ein schnellerer Port werden im Bestellformular bepreist.

Ist die H100 hier PCIe oder SXM5, und hat sie HBM3?

PCIe, und nein. Unsere Gehäuse nehmen PCIe-Add-in-GPUs auf, daher ist die von uns verbaute H100 die 80 GB-PCIe-Karte: HBM2e mit 2.039 GB/s, 350 W, eine PCIe-5.0-x16-Verbindung. HBM3 mit 3.350 GB/s und bis zu 700 W ist das SXM5-Modul, das auf ein HGX-Baseboard geschraubt wird, das keiner unserer Server hat. Bei einer einzelnen GPU ist das etwa die 1,6-fache Speicherbandbreite, und das NVLink-Fabric, das das Modul hinzufügt, zählt erst ab mehr als einer GPU.

Ist ein H100-Server gut für das Training von KI-Modellen?

Ja, für Modelle, die mit der von Ihnen verwendeten Trainingsmethode in 80 GB passen. Vollständiges Fine-Tuning in gemischter Präzision mit Adam benötigt vor den Aktivierungen etwa 16 Byte pro Parameter, daher trainiert eine H100 vollständig etwa 5 Milliarden Parameter, und LoRA- oder QLoRA-Adapter dehnen das auf deutlich größere Modelle aus. Darüber hinaus benötigt der Job mehrere GPUs, was Multi-GPU-Server abdeckt.

Kann ich zwei oder mehr A100- oder H100-GPUs in einen Server einbauen?

Oft, und das wird von Hand angeboten statt an der Kasse angeklickt: Gehäusefreiheit, PCIe-Lanes und das Netzteil bestimmen die Anzahl. Beide GPUs haben einen NVLink-Bridge-Anschluss, aber im Bestellformular ist keine Bridge enthalten, daher kommunizieren GPUs in einem Server über PCIe, sofern keine Bridge angeboten wird. Fragen Sie vor der Bestellung im Chat, wenn der Job eine benötigt.

Kann ich einen A100- oder H100-Server stundenweise mieten?

Nur eine bereits gerackte Maschine, bestellt wie sie ist, von Instant-Servern. Sie kostet ihren monatlichen Preis geteilt durch 730 Stunden, mal 1,3, sekundengenau abgerechnet, bis Sie sie freigeben. Ein Build nach Bestellung, wie die Zeilen auf dieser Seite, wird monatlich abgerechnet.

Wie lange dauert die Lieferung eines A100- oder H100-Servers?

Etwa 30 Minuten nach Freigabe, wenn eine Maschine mit der GPU bereits gerackt ist, 4 bis 24 Stunden, wenn wir eine vorrätige GPU einbauen, 5 bis 10 Werktage, wenn die GPU beschafft wird, und 10 bis 15, wenn sie auf Zuteilung ist. Wir sagen Ihnen, welcher Fall zutrifft, bevor eine Zahlung erfolgt.

Kann eine A100 oder H100 Video transkodieren?

Nicht in Hardware. Keine von beiden hat einen NVENC-Encoder, daher würde die Kodierung in Software auf der GPU oder dem Prozessor laufen. Sie dekodieren jedoch, mit 5 NVDEC-Engines auf der A100 und 7 auf der H100. Für Live-Transkodierung wählen Sie eine GPU mit NVENC, wie die L40S.

Teile ich die GPU mit jemandem?

Nein. Die GPU wird an Ihr eigenes Betriebssystem durchgereicht, ohne Hypervisor dazwischen, und die Maschine hat einen einzigen Mieter. Sie können sie trotzdem selbst mit Multi-Instance GPU in bis zu sieben Instanzen für Ihre eigenen Jobs aufteilen.

Wer antwortet, wenn ich Hilfe brauche?

Die KI in unserem Chat antwortet innerhalb von Sekunden und kann während des Gesprächs Ihr Konto und Ihren Server nachschlagen. Sagen Sie, dass Sie eine Person möchten, und einer von uns übernimmt dieselbe Unterhaltung.

In Klartext

Jede Zahl auf dieser Seite

GPUs
NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from
$772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from
$972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from
$1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms
Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami, Amsterdam
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included
NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

Wählen Sie die GPU, dann die Maschine darunter

Konfigurieren Sie jetzt einen A100- oder H100-Server oder nennen Sie uns das Modell und die Batch-Größe im Chat. Unsere KI antwortet in Sekunden, und eine Person kommt hinzu, wenn Sie danach fragen.