Η ανίχνευση αντικειμένων καρέ-καρέ, η ταξινόμηση εικόνων και η εκτίμηση στάσης είναι ο φυσικός φόρτος εργασίας εδώ. Δίκτυα της οικογένειας SSD-MobileNet και YOLO, ήδη κβαντισμένα σε int8 και κατασκευασμένα για το πυρίτιο, επιστρέφουν σε χιλιοστά του δευτερολέπτου χωρίς τα δεδομένα να εγκαταλείψουν ποτέ το μηχάνημά σας.
Κάθε μονάδα καταναλώνει λίγα watt, επομένως μια ροή κάμερας ή αισθητήρα μπορεί να βαθμολογείται όλο το εικοσιτετράωρο ενώ ο Xeon πίσω της εκτελεί την πραγματική σας εφαρμογή. Αυτή η εκφόρτωση είναι όλο το νόημα του εξαρτήματος: η αριθμητική μετακινείται, ο κεντρικός υπολογιστής παραμένει ελεύθερος.
Καμία από τις δύο μονάδες δεν μπορεί να χωρέσει ένα μοντέλο με δισεκατομμύρια παραμέτρους, κβαντισμένο ή όχι, και τίποτα σε αυτή τη σελίδα δεν προσποιείται το αντίθετο. Το να υπολογίσετε τι χρειάζεται ένα δεδομένο μοντέλο είναι ερώτημα για τη φιλοξενία LLM· οι διακριτές κάρτες που το απαντούν κοστολογούνται στους dedicated servers με GPU.
Η Google βαθμολογεί το Edge TPU του Coral στα 4 TOPS σε ακέραιους 8-bit, με κατανάλωση περίπου δύο watt. Αυτή η βαθμολογία είναι της ίδιας της Google, επαναλαμβάνεται εδώ όπως δημοσιεύτηκε — δεν έχουμε κάνει δικό μας benchmark στο εξάρτημα.
Τι προσφέρει στην πράξη: μοντέλα TensorFlow Lite, κβαντισμένα σε int8 και περασμένα από τον μεταγλωττιστή Edge TPU εκ των προτέρων, εκτελούνται στη μονάδα αντί για τον επεξεργαστή. Ένα δίκτυο είτε μεταγλωττίζεται για αυτό είτε όχι — τα καθιερωμένα μοντέλα όρασης μεταγλωττίζονται, και αυτό το βήμα μεταγλώττισης είναι το πραγματικό κόστος εισόδου.
Η βαθμολογία της ίδιας της Hailo για το Hailo-8 είναι έως 26 TOPS σε ακέραιους 8-bit· επαναλαμβάνουμε τον αριθμό όπως τον δημοσιεύει ο κατασκευαστής, χωρίς δικό μας benchmark. Είναι η ισχυρότερη από τις δύο επιλογές, και αυτή που τσεκάρετε όταν ένα δίκτυο κλάσης Coral παύει να αρκεί.
Ένα δίκτυο φτάνει από το TensorFlow ή το ONNX μέσω του Dataflow Compiler της Hailo, και το μεταγλωττισμένο αποτέλεσμα εξυπηρετείται από το HailoRT στο λειτουργικό σύστημα που επιλέξατε. Όπως το Coral, επιταχύνει νευρωνικά δίκτυα και τίποτε άλλο — δεν είναι εφεδρική υπολογιστική ισχύς γενικής χρήσης.
Κανένας από τους δύο επιταχυντές δεν είναι προϊόν από μόνος του. Ο καθένας είναι μία γραμμή επιλογής στον διαμορφωτή μιας κασέτας, κοστολογημένος εκεί δίπλα στο μηχάνημα που τον φέρει — κανένα ποσό δεν αναγράφεται σε αυτή τη σελίδα, επειδή η φόρμα παραγγελίας κρατά το τρέχον.
Η υποδοχή βασίζεται σε υλικό HPE Moonshot: το m710x σε τετραπύρηνο Xeon E3-1585L v5, ή το m510 σε Xeon D — οκτώ πυρήνες ως D-1548, δεκαέξι ως D-1587. Επιλέξτε πρώτα τον κεντρικό υπολογιστή και μετά προσθέστε τη μονάδα σε αυτόν.
Αποκλειστικό bare metal με root. Η στοίβα του κατασκευαστή — το Edge TPU runtime για το Coral, το HailoRT για το Hailo-8 — εγκαθίσταται από εσάς, στο δικό σας λειτουργικό σύστημα, σε εκδόσεις που καθορίζετε εσείς. Τίποτα δεν ενημερώνει το μηχάνημα πίσω από την πλάτη σας.
Το βήμα πέρα από μια μονάδα M.2 είναι μια διακριτή κάρτα, όχι δύο μονάδες. Κάθε κάρτα που τοποθετούμε σε rack αναγράφεται με το μηχάνημά της στους dedicated servers με GPU· περισσότερες από μία κάρτες — ή περισσότερα από ένα μηχανήματα — είναι υπόθεση HPC.
