GPU και AI · Edge inference

TPU server σε bare metal.Ένα Coral Edge TPU ή ένα Hailo-8, σε ένα μηχάνημα Xeon που είναι αποκλειστικά δικό σας.

Ένας TPU server στη Server Room είναι ένα cartridge HPE Moonshot με ένα Google Coral Edge TPU ή ένα module Hailo-8 στην υποδοχή M.2, με μηνιαία μίσθωση και πρόσβαση root. Εκτελεί μοντέλα όρασης int8 δίπλα στα δεδομένα σας. Δεν είναι ένα Google Cloud TPU, το οποίο νοικιάζει μόνο η Google, και δεν εκπαιδεύει ούτε εξυπηρετεί μεγάλα γλωσσικά μοντέλα.

Ένας ενοικιαστής ανά μηχάνημα
Επιλογή M.2 σε m710x και m510
Root και απομακρυσμένη κονσόλα
Δικό σας δίκτυο, AS19624

Επιλέξτε το cartridge υποδοχής, τσεκάρετε το module στον configurator και στη συνέχεια εγκαταστήστε το runtime του κατασκευαστή στο σύστημα που διαλέξατε. Η Hailo βαθμολογεί το Hailo-8 έως και 26 TOPS και διατηρεί την αλυσίδα εργαλείων της ενημερωμένη. Η Google βαθμολογεί το Coral στα 4 TOPS, και ταιριάζει σε pipelines που έχουν ήδη χτιστεί για το Edge TPU.

Συγκρίνετε τα δύο modules

Ορισμός

Τι είναι ένας TPU server και τι δεν είναι

TPU σημαίνει tensor processing unit, το όνομα που έδωσε η Google στους δικούς της επιταχυντές πινάκων. Δύο πολύ διαφορετικά εξαρτήματα φέρουν αυτό το όνομα. Τα Cloud TPU είναι μεγάλα τσιπ για εκπαίδευση και εξυπηρέτηση μοντέλων, και η Google τα νοικιάζει μόνο μέσα στο Google Cloud. Το Edge TPU είναι το μικρό: περίπου δύο watt, μόνο ακέραιοι αριθμοί, φτιαγμένο για να εκτελεί ένα μεταγλωττισμένο μοντέλο όρασης δίπλα σε μια κάμερα ή μια ροή αισθητήρων.

Εμείς νοικιάζουμε το μικρό είδος και τον πλησιέστερο ανταγωνιστή του, το Hailo-8, ως module M.2 μέσα σε έναν dedicated server. Και τα δύο είναι επιταχυντές edge AI: εκτελούν ένα νευρωνικό δίκτυο που έχει ήδη εκπαιδευτεί και κβαντιστεί σε int8, και δεν κάνουν τίποτε άλλο.

Κατάλληλο για

Ανίχνευση αντικειμένων σε καρέ βίντεο, ταξινόμηση εικόνων, κατάτμηση και εκτίμηση στάσης. Δίκτυα από τις οικογένειες MobileNet, EfficientDet-Lite και YOLO, κβαντισμένα σε int8 και μεταγλωττισμένα για το module, βαθμολογούν ένα καρέ χωρίς τα δεδομένα να φύγουν από το μηχάνημά σας.

Ακατάλληλο για

Εκπαίδευση οποιουδήποτε είδους. Γλωσσικά μοντέλα, σε οποιαδήποτε κβάντωση: κανένα από τα δύο modules δεν μπορεί να χωρέσει δισεκατομμύρια παραμέτρους. Μοντέλα Float32 που δεν κβαντίζονται, και επίπεδα που δεν υποστηρίζει ο compiler του κατασκευαστή, τα οποία επιστρέφουν στον επεξεργαστή ή αποτυγχάνουν να μεταγλωττιστούν.

Πού πηγαίνουν αυτά αντίστοιχα

Η διαστασιολόγηση ενός γλωσσικού μοντέλου είναι δουλειά του LLM hosting. Η εκπαίδευση και η μεγάλη εξαγωγή συμπερασμάτων εκτελούνται σε GPU dedicated servers, με μια αποκλειστική GPU ανά μηχάνημα. Ένα NPU και μια μεγάλη δεξαμενή μνήμης σε ένα κουτί είναι οι Ryzen AI servers.

Τα δύο modules M.2

Hailo-8 ή Coral Edge TPU

Και τα δύο modules δέχονται ένα δίκτυο int8 μεταγλωττισμένο εκ των προτέρων από τον compiler του ίδιου του κατασκευαστή. Διαφέρουν στην ονομαστική απόδοση, στα frameworks που δέχονται και, αφού η Google αρχειοθέτησε το λογισμικό Coral, στο ποιος εξακολουθεί να συντηρεί τη στοίβα.

Hailo-8 M.2 AI acceleration module, κάτοψη

Συντηρούμενη αλυσίδα εργαλείων

Hailo-8 M.2 module

Βαθμολογία (της Hailo): έως 26 TOPS, int8
Form factor: M.2 Key M, 22 × 42 mm, επεκτείνεται σε 2280
Διεπαφή: PCIe Gen 3
Πηγές μοντέλων: TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Αλυσίδα εργαλείων: Dataflow Compiler, HailoRT, Model Zoo
Runtime για Hailo-8: HailoRT 4.x, κλάδος hailo8 (4.24.0, Ιούνιος 2026)
Τιμή επιλογής: από $13.99/μήνα

Ο Dataflow Compiler κβαντίζει το δίκτυό σας και το μεταγλωττίζει σε αρχείο HEF, και το HailoRT εκτελεί αυτό το αρχείο από C++ ή Python. Χρησιμοποιήστε τον κλάδο hailo8: το HailoRT 5.x και ο κύριος κλάδος υποστηρίζουν μόνο τα Hailo-10 και Hailo-15.

Αρχειοθετήθηκε από την Google

Google Coral M.2 Accelerator

Βαθμολογία (της Google): 4 TOPS, int8, στα 2 TOPS ανά watt
Επεξεργαστής: Google Edge TPU
Πηγές μοντέλων: TensorFlow Lite, int8, μέσω του Edge TPU Compiler
Runtime: libedgetpu και PyCoral, τελευταία έκδοση PyCoral 2.0.0 (Ιούλιος 2021)
Συντήρηση: Τα αποθετήρια της Google αρχειοθετήθηκε· τα community forks το χτίζουν σήμερα
Τιμή επιλογής: από $13.99/μήνα

Ένα μοντέλο είτε μεταγλωττίζεται για το Edge TPU είτε όχι, και τα καθιερωμένα μοντέλα όρασης μεταγλωττίζονται. Η Google έχει αρχειοθετήσει τα libedgetpu, PyCoral και τα αποθετήρια Edge TPU, οπότε οι τρέχοντες πυρήνες και οι εκδόσεις Python βασίζονται σε community forks του runtime και του οδηγού PCIe. Επιλέξτε το όταν τα μοντέλα σας εκτελούνται ήδη σε ένα Edge TPU. Για ένα νέο έργο, ξεκινήστε με το Hailo-8.

Τα νούμερα απόδοσης είναι η βαθμολογία του κάθε κατασκευαστή. Δεν δημοσιεύουμε δικό μας benchmark: τα καρέ ανά δευτερόλεπτο εξαρτώνται από το μοντέλο σας, το μέγεθος εισόδου του και το batch.

Διαδρομή δεδομένων

Πώς λειτουργεί η εκφόρτωση μέσα σε ένα μηχάνημα

Ο Xeon εξακολουθεί να αποκωδικοποιεί το βίντεο, να αλλάζει το μέγεθος κάθε καρέ και να εκτελεί την εφαρμογή σας. Η μονάδα αναλαμβάνει το νευρωνικό δίκτυο και τίποτε άλλο, οπότε οι πυρήνες μένουν ελεύθεροι για την υπόλοιπη εργασία. Στο m710x, τα ενσωματωμένα γραφικά Iris Pro P580 του επεξεργαστή μπορούν να αποκωδικοποιούν βίντεο σε επίπεδο υλικού με το Quick Sync, αφήνοντας τους τέσσερις πυρήνες του για τα υπόλοιπα.

Ζωντανά από τον κατάλογο παραγγελιών

Δύο κασέτες υποδοχής, με τιμές όπως τις υπολογίζει το ταμείο

Η μονάδα είναι μια γραμμή επιλογής σε δύο κασέτες HPE Moonshot: την m710x με τετραπύρηνο Xeon E3 και την m510 με Xeon D 8 ή 16 πυρήνων. Κάθε τιμή παρακάτω είναι η βασική σύνθεση αυτής της γραμμής, με τη μονάδα ως μία επιπλέον γραμμή.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Μηχάνημα, βασική σύνθεση: $62.58/μήνα
+ Google Coral Edge TPU: $13.99/μήνα
+ Hailo-8: $13.99/μήνα
Εγκατάσταση, εφάπαξ: $29
Πόλεις: New York, Bucharest, San Francisco, Amsterdam, Miami

Χρεώνεται σε ευρώ σε Bucharest, Amsterdam, με τα ίδια ποσά.

Διαμορφώστε το m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Μηχάνημα, βασική σύνθεση: $62.58/μήνα
+ Google Coral Edge TPU: $13.99/μήνα
+ Hailo-8: $13.99/μήνα
Εγκατάσταση, εφάπαξ: $29
Πόλεις: New York, Miami, Bucharest, Amsterdam, San Francisco

Χρεώνεται σε ευρώ σε Bucharest, Amsterdam, με τα ίδια ποσά.

Διαμορφώστε το m510

Μια μονάδα αλλάζει το μηχάνημα, οπότε η παραγγελία είναι προσαρμοσμένη σύνθεση και περιλαμβάνει το εφάπαξ τέλος εγκατάστασης που εμφανίζεται. Μνήμη, δίσκοι, ταχύτητα θύρας και περίοδος χρέωσης ορίζονται όλα στον ίδιο διαμορφωτή, ο οποίος δείχνει το τελικό μηνιαίο σύνολο πριν πληρώσετε.

Ρύθμιση

Από την παραγγελία στην πρώτη εξαγωγή συμπεράσματος

Εγκαθιστούμε το λειτουργικό σύστημα και σας παραδίδουμε πρόσβαση root. Το runtime του κατασκευαστή δεν είναι προεγκατεστημένο, οπότε η έκδοσή του είναι δική σας επιλογή και δέσμευση.

Διαμορφώστε τον κεντρικό υπολογιστή. Ανοίξτε τον διαμορφωτή m710x ή m510, επιλέξτε το Hailo-8 ή το Coral και διαλέξτε το λειτουργικό σύστημα.
Ελέγξτε ότι η μονάδα βρίσκεται στον δίαυλο. Εκτελέστε lspci -nn | grep -Ei '1e60|1ac1'. Το Hailo-8 εμφανίζεται ως 1e60:2864 και το Coral ως 1ac1:089a.
Hailo-8: εγκαταστήστε τον οδηγό PCIe και το HailoRT από τη γραμμή 4.x (τον κλάδο hailo8 του hailo-ai/hailort ή τα πακέτα της Developer Zone της Hailo) και μετά εκτελέστε hailortcli fw-control identify για να διαβάσετε το firmware και τον σειριακό αριθμό της μονάδας.
Coral: χτίστε τον οδηγό PCIe gasket και apex και το libedgetpu από ένα συντηρούμενο fork, φορτώστε τον οδηγό και ελέγξτε ότι υπάρχει το /dev/apex_0 πριν εκτελέσετε το πρώτο σας μοντέλο.
Δεσμεύστε τις εκδόσεις. Κρατήστε τον πυρήνα, τον οδηγό και το runtime σε εκδόσεις που συνεργάζονται. Τίποτα από την πλευρά μας δεν ενημερώνει το μηχάνημα πίσω από την πλάτη σας.

Απαντήσεις

Ερωτήσεις για διακομιστές TPU

Τι είναι ένας διακομιστής TPU;

Ένας διακομιστής με μια μονάδα επεξεργασίας τανυστών συνδεδεμένη πάνω του. Στη Server Room είναι μια αποκλειστική κασέτα HPE Moonshot με Google Coral Edge TPU ή Hailo-8 στην υποδοχή M.2, για εξαγωγή συμπεράσματος int8 σε μοντέλα όρασης. Τα Cloud TPU της Google είναι ένα διαφορετικό και πολύ μεγαλύτερο τσιπ, που νοικιάζεται μόνο μέσα στο Google Cloud.

Μπορώ να νοικιάσω ένα Google Cloud TPU από εσάς;

Όχι. Τα Cloud TPU διατίθενται μόνο στο Google Cloud και καμία εταιρεία φιλοξενίας δεν μπορεί να εγκαταστήσει ένα. Για εκπαίδευση ή εξυπηρέτηση μεγάλων μοντέλων σε υλικό που ελέγχετε, δείτε τους αποκλειστικούς διακομιστές GPU μας, όπου κάθε μηχάνημα έχει μια αποκλειστική GPU.

Πόσο κοστίζει ένας διακομιστής TPU;

Ένα πλήρες μηχάνημα με Hailo-8 ή Coral ξεκινά από $76.57 τον μήνα. Η μονάδα είναι μία γραμμή επιπλέον του μηχανήματος, από $13.99 τον μήνα για το Hailo-8 και από $13.99 για το Coral, και η παραγγελία περιλαμβάνει εφάπαξ τέλος εγκατάστασης από $29. Οι κάρτες υποδοχής παραπάνω δείχνουν σε ποιο μηχάνημα ανήκει κάθε τιμή.

Hailo-8 ή Coral Edge TPU: ποιο να επιλέξω;

Η Hailo βαθμολογεί το Hailo-8 έως 26 TOPS και η Google βαθμολογεί το Coral στα 4 TOPS, και τα δύο σε int8. Το Hailo-8 έχει επίσης συντηρούμενο λογισμικό: το HailoRT 4.24.0 για αυτό κυκλοφόρησε τον Ιούνιο του 2026, ενώ η Google έχει αρχειοθετήσει τα αποθετήρια του Coral. Επιλέξτε το Coral όταν τα μοντέλα σας εκτελούνται ήδη σε Edge TPU.

Μπορεί ένας διακομιστής TPU να εκτελέσει ένα LLM;

Όχι. Καμία από τις δύο μονάδες δεν μπορεί να χωρέσει μοντέλο με δισεκατομμύρια παραμέτρους, σε καμία κβαντοποίηση. Υπολογίστε το μέγεθος του μοντέλου στη σελίδα φιλοξενίας LLM και μετά εκτελέστε το σε αποκλειστικό διακομιστή GPU ή σε ένα από τα μηχανήματα Ryzen AI μας.

Ποια λειτουργικά συστήματα και οδηγοί λειτουργούν;

Οποιοδήποτε σύστημα προσφέρει ο διαμορφωτής για την κασέτα μπορεί να εγκατασταθεί. Το HailoRT έχει κατασκευαστεί για Linux και Windows· το runtime του Coral και τα forks της κοινότητάς του στοχεύουν σε Linux. Εμείς εγκαθιστούμε το σύστημα και εσείς εγκαθιστάτε το runtime στην έκδοση που επιλέγετε.

Πού βρίσκονται οι διακομιστές TPU σας;

Οι διακομιστές TPU πωλούνται σε αυτές τις πόλεις: New York, Bucharest, San Francisco, Amsterdam, Miami. Λειτουργούν στο δικό μας δίκτυο, AS19624. Οι παραγγελίες σε αυτές τις πόλεις χρεώνονται σε ευρώ, με τα ίδια ποσά: Bucharest, Amsterdam.

Μοιράζεται το TPU με άλλους πελάτες;

Όχι. Η μονάδα βρίσκεται μέσα στην κασέτα σας και το μηχάνημα έχει έναν μισθωτή. Παίρνετε root και την απομακρυσμένη κονσόλα, και κανένας φόρτος εργασίας άλλου πελάτη δεν εκτελείται σε αυτό.

Σχετικά

Όταν η απάντηση είναι άλλο μηχάνημα

Διαλέξτε μια κασέτα, επιλέξτε τη μονάδα

Ερωτήσεις πριν την παραγγελία; Η τεχνητή νοημοσύνη συνομιλίας μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον λογαριασμό και τους διακομιστές σας, ενώ ένας άνθρωπος αναλαμβάνει όποτε το ζητήσετε.

Διαμορφώστε ένα m710x