Il rilevamento di oggetti fotogramma per fotogramma, la classificazione delle immagini e la stima della posa sono il carico di lavoro nativo qui. Le reti della famiglia SSD-MobileNet e YOLO, già quantizzate in int8 e costruite per il silicio, rispondono in millisecondi senza che i dati lascino mai la tua macchina.
Ogni modulo assorbe una manciata di watt, quindi un flusso di telecamera o sensori può essere valutato 24 ore su 24 mentre lo Xeon alle spalle esegue la tua applicazione reale. Questo scarico è l'intero scopo del componente: l'aritmetica si sposta, l'host resta libero.
Nessuno dei due moduli può contenere un modello misurato in miliardi di parametri, quantizzato o meno, e nulla in questa pagina finge il contrario. Capire cosa serve a un determinato modello è una questione per l'hosting LLM; le schede discrete che rispondono a questa esigenza sono prezzate su server dedicati GPU.
Google valuta l'Edge TPU del Coral a 4 TOPS su interi a 8 bit, con un consumo di circa due watt. Questa valutazione è di Google, riportata qui come pubblicata — non abbiamo eseguito benchmark del componente in prima persona.
Cosa offre in pratica: i modelli TensorFlow Lite, quantizzati in int8 e passati in anticipo attraverso il compilatore Edge TPU, girano sul modulo invece che sul processore. Una rete o compila per esso o non lo fa — i modelli di visione consolidati lo fanno, e quel passaggio di compilazione è il vero prezzo d'ingresso.
La valutazione di Hailo per l'Hailo-8 arriva fino a 26 TOPS su interi a 8 bit; riportiamo il numero come lo pubblica il produttore, senza un benchmark nostro. È la più potente delle due opzioni, e quella da spuntare quando una rete di classe Coral smette di bastare.
Una rete arriva da TensorFlow o ONNX tramite il Dataflow Compiler di Hailo, e il risultato compilato viene servito da HailoRT sul sistema operativo che hai scelto. Come il Coral, accelera reti neurali e nient'altro — non è potenza di calcolo generica di riserva.
Nessuno dei due acceleratori è un prodotto a sé stante. Ognuno è una riga di opzione nel configuratore di una cartuccia, prezzata lì accanto alla macchina che lo ospita — nessuna cifra è riportata in questa pagina, perché il modulo d'ordine contiene quella attuale.
Lo slot viaggia su hardware HPE Moonshot: la m710x su Xeon E3-1585L v5 quad-core, o la m510 su Xeon D — otto core come il D-1548, sedici come il D-1587. Scegli prima l'host, poi aggiungi il modulo.
Bare metal single-tenant con root. Lo stack del fornitore — il runtime Edge TPU per il Coral, HailoRT per l'Hailo-8 — viene installato da te, sul tuo sistema operativo, alle versioni che blocchi. Nulla aggiorna la macchina alle tue spalle.
Il passo oltre un modulo M.2 è una scheda discreta, non due moduli. Ogni scheda che montiamo è elencata con la sua macchina su server dedicati GPU; più di una scheda — o più di una macchina — è territorio HPC.
