Bild-für-Bild-Objekterkennung, Bildklassifizierung und Posenschätzung sind hier die natürliche Arbeitslast. Netze der SSD-MobileNet- und YOLO-Familie, bereits auf int8 quantisiert und für die Hardware gebaut, liefern Ergebnisse in Millisekunden, ohne dass die Daten jemals Ihre Maschine verlassen.
Jedes Modul zieht nur wenige Watt, sodass ein Kamera- oder Sensorstrom rund um die Uhr ausgewertet werden kann, während der Xeon dahinter Ihre eigentliche Anwendung ausführt. Genau darin liegt der Sinn dieser Komponente: Die Rechenarbeit wandert ab, der Host bleibt frei.
Keines der beiden Module kann ein Modell mit Milliarden von Parametern aufnehmen, quantisiert oder nicht, und nichts auf dieser Seite gibt vor, dass es anders wäre. Welche Anforderungen ein bestimmtes Modell hat, ist eine Frage für das LLM-Hosting; die diskreten Karten, die diese Anforderungen erfüllen, finden Sie unter GPU-Dedicated-Server.
Google bewertet die Edge TPU des Coral mit 4 TOPS bei 8-Bit-Ganzzahlen und einer Leistungsaufnahme von etwa zwei Watt. Diese Angabe stammt von Google selbst und wird hier wie veröffentlicht wiedergegeben — wir haben die Komponente nicht selbst getestet.
Was sie in der Praxis bringt: TensorFlow-Lite-Modelle, auf int8 quantisiert und vorab durch den Edge-TPU-Compiler geschickt, laufen auf dem Modul statt auf dem Prozessor. Ein Netz lässt sich entweder dafür kompilieren oder nicht — die etablierten Vision-Modelle tun es, und dieser Kompilierungsschritt ist der eigentliche Preis für den Einstieg.
Hailos eigene Angabe für den Hailo-8 liegt bei bis zu 26 TOPS bei 8-Bit-Ganzzahlen; wir geben die Zahl so wieder, wie der Hersteller sie veröffentlicht, ohne eigene Benchmarks. Es ist die stärkere der beiden Optionen und die richtige Wahl, wenn ein Netz der Coral-Klasse nicht mehr ausreicht.
Ein Netz kommt aus TensorFlow oder ONNX über den Hailo Dataflow Compiler, und das kompilierte Ergebnis wird von HailoRT auf dem von Ihnen gewählten Betriebssystem bereitgestellt. Wie der Coral beschleunigt er neuronale Netze und sonst nichts — er ist keine freie Allzweck-Rechenleistung.
Keiner der beiden Beschleuniger ist ein eigenständiges Produkt. Jeder ist eine Optionszeile im Konfigurator einer Cartridge und wird dort neben der Maschine bepreist, die ihn trägt — auf dieser Seite steht keine Zahl, denn das Bestellformular enthält die aktuelle.
Der Steckplatz läuft auf HPE-Moonshot-Hardware: die m710x mit einem Quad-Core-Xeon E3-1585L v5 oder die m510 mit Xeon D — acht Kerne als D-1548, sechzehn als D-1587. Wählen Sie zuerst den Host und fügen Sie ihm dann das Modul hinzu.
Single-Tenant-Bare-Metal mit Root-Zugriff. Der Anbieter-Stack — die Edge-TPU-Runtime für den Coral, HailoRT für den Hailo-8 — wird von Ihnen installiert, auf Ihrem Betriebssystem, in den von Ihnen festgelegten Versionen. Nichts aktualisiert die Maschine hinter Ihrem Rücken.
Der Schritt über ein M.2-Modul hinaus ist eine diskrete Karte, nicht zwei Module. Jede Karte, die wir einbauen, ist mit ihrer Maschine unter GPU-Dedicated-Server aufgeführt; mehr als eine Karte — oder mehr als eine Maschine — ist HPC-Territorium.
