A100 H100 Dedicated Server Die volle GPU, Ihr Betriebssystem, Ihr Root-Zugang.

Der H100 ist die Generation nach dem A100. Bei den von uns verbauten PCIe-GPUs hat der A100 40 GB HBM2 mit 1.555 GB/s oder 80 GB HBM2e mit 1.935 GB/s und eine PCIe-4.0-Schnittstelle. Der H100 hat 80 GB HBM2e mit 2.039 GB/s, Tensor Cores der vierten Generation mit FP8 und eine PCIe-5.0-Schnittstelle und zieht 350 W gegenüber 250 oder 300 W. Alle drei haben ECC, Multi-Instance GPU und keinen Video-Encoder.

Der niedrigste Monatspreis für einen kompletten H100-Server mit 80 GB ist $1,682.67. Diese Maschine ist Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, und die GPU macht $1,599 des Gesamtpreises aus. Bei einem Build mit eingebauter GPU kommt eine einmalige Einrichtungsgebühr von $29 hinzu, und die Build-Tabelle listet jede Plattform mit ihrem eigenen Preis.

Der niedrigste Monatspreis für einen kompletten A100-Server beträgt $772.47 mit der 40 GB-GPU und $972.47 mit der 80 GB-GPU, jeweils in der günstigsten Maschine, die sie aufnimmt. Der A100-Build mit 40 GB ist Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Arbeitsspeicher, Festplatten und ein schnellerer Port werden im Bestellformular bepreist.

PCIe. Unsere Gehäuse nehmen PCIe-Add-in-GPUs auf, daher ist der von uns verbaute H100 die 80 GB-PCIe-Version mit HBM2e. Das SXM5-Modul mit HBM3 und bis zu 700 W benötigt ein HGX-Baseboard, das keiner unserer Server hat.

Ja, für Modelle, die mit der von Ihnen verwendeten Trainingsmethode in 80 GB passen. Vollständiges Fine-Tuning in gemischter Präzision mit Adam benötigt vor den Aktivierungen etwa 16 Byte pro Parameter, daher trainiert ein H100 vollständig etwa 5 Milliarden Parameter, und LoRA- oder QLoRA-Adapter dehnen das auf deutlich größere Modelle aus. Darüber hinaus benötigt die Aufgabe mehrere GPUs, was Multi-GPU-Server abdeckt.

Oft ja, und das wird individuell angeboten statt an der Kasse angeklickt: Gehäusefreiraum, PCIe-Lanes und das Netzteil bestimmen die Anzahl. Beide GPUs tragen einen NVLink-Bridge-Anschluss, aber im Bestellformular ist keine Bridge enthalten, daher kommunizieren GPUs in einem Server über PCIe, sofern keine Bridge angeboten wird. Fragen Sie vor der Bestellung im Chat nach, wenn die Aufgabe eine benötigt.

Nur eine bereits gerackte Maschine, bestellt wie sie ist, von Instant-Servern. Sie kostet ihren Monatspreis geteilt durch 730 Stunden, mal 1,3, sekundengenau abgerechnet, bis Sie sie freigeben. Ein Build nach Bestellung, wie die Zeilen auf dieser Seite, wird monatlich abgerechnet.

Etwa 30 Minuten nach Freigabe, wenn eine Maschine mit der GPU bereits gerackt ist, 4 bis 24 Stunden, wenn wir eine vorrätige GPU einbauen, 5 bis 10 Werktage, wenn die GPU beschafft wird, und 10 bis 15, wenn sie auf Zuteilung ist. Wir sagen Ihnen vor jeder Zahlung, welcher Fall zutrifft.

Nicht in Hardware. Keiner von beiden hat einen NVENC-Encoder, daher würde die Kodierung in Software auf der GPU oder dem Prozessor laufen. Dekodieren können sie, mit 5 NVDEC-Engines beim A100 und 7 beim H100. Für Live-Transkodierung wählen Sie eine GPU mit NVENC, wie die L40S.

Nein. Die GPU wird an Ihr eigenes Betriebssystem durchgereicht, ohne Hypervisor dazwischen, und die Maschine hat einen einzigen Mieter. Sie können sie trotzdem selbst mit Multi-Instance GPU in bis zu sieben Instanzen für Ihre eigenen Jobs aufteilen.

Die KI in unserem Chat antwortet innerhalb von Sekunden und kann während des Gesprächs Ihr Konto und Ihren Server nachschlagen. Sagen Sie, dass Sie eine Person möchten, und einer von uns übernimmt dasselbe Gespräch.