GPU și AI · Inferență la margine

Server TPU pe bare metal.Un Coral Edge TPU sau un Hailo-8, într-o mașină Xeon care este doar a ta.

Un server TPU la Server Room este un cartuș HPE Moonshot cu un Google Coral Edge TPU sau un modul Hailo-8 pe slotul său M.2, închiriat lunar cu acces root. Rulează modele de vedere int8 lângă datele tale. Nu este un Google Cloud TPU, pe care doar Google îl închiriază, și nu antrenează și nu servește modele de limbaj mari.

  • Un singur chiriaș pe mașină
  • Opțiune M.2 pe m710x și m510
  • Root și consolă la distanță
  • Rețea proprie, AS19624

Alege cartușul gazdă, bifează modulul în configurator, apoi instalează runtime-ul furnizorului pe sistemul ales. Hailo evaluează Hailo-8 la până la 26 TOPS și își menține lanțul de instrumente actual. Google evaluează Coral la 4 TOPS, iar acesta se potrivește pipeline-urilor deja construite pentru Edge TPU.

Compară cele două module

Definiție

Ce este un server TPU și ce nu este

TPU înseamnă unitate de procesare tensorială, numele pe care Google l-a dat propriilor acceleratoare matriceale. Două componente foarte diferite poartă acest nume. TPU-urile Cloud sunt cipuri mari pentru antrenarea și servirea modelelor, iar Google le închiriază doar în Google Cloud. Edge TPU este cel mic: aproximativ doi wați, doar numere întregi, construit pentru a rula un model de vedere compilat lângă o cameră sau un flux de senzori.

Închiriem tipul mic și cel mai apropiat rival al său, Hailo-8, ca modul M.2 într-un server dedicat. Ambele sunt acceleratoare AI de margine: rulează o rețea neuronală care a fost deja antrenată și cuantizată la int8, și nu fac nimic altceva.

Dimensional pentru

Detectarea obiectelor pe cadre video, clasificarea imaginilor, segmentarea și estimarea poziției. Rețelele din familiile MobileNet, EfficientDet-Lite și YOLO, cuantizate la int8 și compilate pentru modul, evaluează un cadru fără ca datele să părăsească mașina ta.

Nu este dimensional pentru

Antrenarea de orice fel. Modele de limbaj, la orice cuantizare: niciun modul nu poate stoca miliarde de parametri. Modele Float32 care nu se cuantizează și straturi pe care compilatorul furnizorului nu le acceptă, care revin la procesor sau nu reușesc să se compileze.

Unde merg acestea în schimb

Dimensionalizarea unui model de limbaj este treaba găzduirii LLM. Antrenarea și inferența mare rulează pe servere dedicate GPU, cu un GPU dedicat pe mașină. Un NPU și un bazin mare de memorie într-o singură cutie sunt servere Ryzen AI.

Cele două module M.2

Hailo-8 sau Coral Edge TPU

Ambele module preiau o rețea int8 compilată în prealabil de compilatorul propriu al furnizorului. Ele diferă în debitul evaluat, în framework-urile pe care le acceptă și, deoarece Google a arhivat software-ul Coral, în cine mai menține stiva.

Modul de accelerare AI Hailo-8 M.2, vedere de sus
Lanț de instrumente menținut

Modul Hailo-8 M.2

Evaluare (Hailo)
până la 26 TOPS, int8
Factor de formă
M.2 Key M, 22 × 42 mm, se extinde la 2280
Interfață
PCIe Gen 3
Surse de modele
TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Lanț de instrumente
Dataflow Compiler, HailoRT, Model Zoo
Runtime pentru Hailo-8
HailoRT 4.x, ramura hailo8 (4.24.0, iunie 2026)
Preț opțiune
de la $13.99/lună

Dataflow Compiler cuantizează rețeaua ta și o compilează într-un fișier HEF, iar HailoRT rulează acel fișier din C++ sau Python. Folosește ramura hailo8: HailoRT 5.x și ramura master acceptă doar Hailo-10 și Hailo-15.

Accelerator Google Coral M.2 cu Edge TPU
Arhivat de Google

Accelerator Google Coral M.2

Evaluare (Google)
4 TOPS, int8, la 2 TOPS pe watt
Procesor
Google Edge TPU
Surse de modele
TensorFlow Lite, int8, prin Edge TPU Compiler
Runtime
libedgetpu și PyCoral, ultima versiune PyCoral 2.0.0 (iulie 2021)
Întreținere
Depozitele Google arhivate; fork-urile comunității le construiesc astăzi
Preț opțiune
de la $13.99/lună

Un model fie se compilează pentru Edge TPU, fie nu, iar modelele de vedere consacrate se compilează. Google a arhivat libedgetpu, PyCoral și depozitele Edge TPU, astfel încât kernel-urile actuale și versiunile Python se bazează pe fork-uri comunitare ale runtime-ului și ale driverului PCIe. Alege-l când modelele tale rulează deja pe un Edge TPU. Pentru un proiect nou, începe pe Hailo-8.

Cifrele de debit sunt evaluarea fiecărui producător. Nu publicăm niciun benchmark propriu: cadrele pe secundă depind de modelul tău, de dimensiunea intrării sale și de lot.

Traseul datelor

Cum funcționează descărcarea în interiorul unei singure mașini

Xeon-ul decodează în continuare video-ul, redimensionează fiecare cadru și rulează aplicația ta. Modulul preia doar rețeaua neuronală, astfel încât nucleele rămân libere pentru munca din jurul ei. Pe m710x, grafica Iris Pro P580 a procesorului poate decoda video în hardware cu Quick Sync, ceea ce lasă cele patru nuclee pentru restul.

Direct din catalogul de comenzi

Două cartușe gazdă, la prețurile afișate la finalizarea comenzii

Modulul este o linie opțională pe două cartușe HPE Moonshot: m710x cu un Xeon E3 quad-core și m510 cu un Xeon D de 8 sau 16 nuclee. Fiecare preț de mai jos este configurația de bază a acelei linii, cu modulul ca o linie suplimentară.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Mașină, configurație de bază
$62.58/lună
+ Google Coral Edge TPU
$13.99/lună
+ Hailo-8
$13.99/lună
Configurare, o singură dată
$29
Orașe
New York, Bucharest, San Francisco, Amsterdam, Miami

Facturat în euro în Bucharest, Amsterdam, la aceleași valori.

Configurează m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Mașină, configurație de bază
$62.58/lună
+ Google Coral Edge TPU
$13.99/lună
+ Hailo-8
$13.99/lună
Configurare, o singură dată
$29
Orașe
New York, Miami, Bucharest, Amsterdam, San Francisco

Facturat în euro în Bucharest, Amsterdam, la aceleași valori.

Configurează m510

Un modul schimbă mașina, așa că comanda este o configurație personalizată și include taxa unică de configurare afișată. Memoria, discurile, viteza portului și perioada de facturare se stabilesc toate în același configurator, care arată totalul lunar final înainte să plătești.

Configurarea

De la comandă la prima inferență

Instalăm sistemul de operare și îți oferim acces root. Runtime-ul furnizorului nu este preinstalat, astfel încât versiunea lui este alegerea ta, pe care o poți fixa.

  1. Configurează gazda. Deschide configuratorul m710x sau m510, bifează Hailo-8 sau Coral și alege sistemul de operare.
  2. Verifică dacă modulul este pe magistrală. Rulează lspci -nn | grep -Ei '1e60|1ac1'. Hailo-8 apare ca 1e60:2864, iar Coral ca 1ac1:089a.
  3. Hailo-8: instalează driverul PCIe și HailoRT din linia 4.x (ramura hailo8 a hailo-ai/hailort sau pachetele din Developer Zone ale Hailo), apoi rulează hailortcli fw-control identify pentru a citi firmware-ul și seria modulului.
  4. Coral: compilează driverul PCIe gasket și apex și libedgetpu dintr-un fork întreținut, încarcă driverul și verifică dacă /dev/apex_0 există înainte să rulezi primul model.
  5. Fixează versiunile. Menține kernel-ul, driverul și runtime-ul la versiuni care funcționează împreună. Nimic din partea noastră nu actualizează mașina pe la spatele tău.

Răspunsuri

Întrebări despre serverele TPU

Ce este un server TPU?

Un server cu o unitate de procesare tensorială atașată. La Server Room, acesta este un cartuș HPE Moonshot dedicat cu un Google Coral Edge TPU sau un Hailo-8 pe slotul M.2, pentru inferență int8 pe modele de viziune. Cloud TPU-urile Google sunt un cip diferit și mult mai mare, închiriat doar în Google Cloud.

Pot închiria un Google Cloud TPU de la voi?

Nu. Cloud TPU-urile sunt disponibile doar în Google Cloud și nicio companie de hosting nu poate monta unul. Pentru antrenarea sau servirea modelelor mari pe hardware pe care îl controlezi, vezi serverele noastre dedicate cu GPU, unde fiecare mașină are un GPU dedicat.

Cât costă un server TPU?

O mașină completă cu un Hailo-8 sau un Coral pornește de la $76.57 pe lună. Modulul este o linie suplimentară peste mașină, de la $13.99 pe lună pentru Hailo-8 și de la $13.99 pentru Coral, iar comanda include o taxă unică de configurare de la $29. Cartușele gazdă de mai sus arată cărei mașini îi aparține fiecare preț.

Hailo-8 sau Coral Edge TPU: pe care ar trebui să-l aleg?

Hailo evaluează Hailo-8 la până la 26 TOPS, iar Google evaluează Coral la 4 TOPS, ambele pe int8. Hailo-8 are și software întreținut: HailoRT 4.24.0 pentru el a apărut în iunie 2026, în timp ce Google a arhivat depozitele Coral. Alege Coral atunci când modelele tale rulează deja pe un Edge TPU.

Poate un server TPU să ruleze un LLM?

Nu. Niciunul dintre module nu poate stoca un model cu miliarde de parametri, la nicio cuantizare. Dimensionează modelul pe pagina noastră de găzduire LLM, apoi rulează-l pe un server dedicat cu GPU sau pe una dintre mașinile noastre Ryzen AI.

Ce sisteme de operare și drivere funcționează?

Orice sistem oferit de configurator pentru cartuș poate fi instalat. HailoRT este construit pentru Linux și Windows; runtime-ul Coral și fork-urile sale comunitare vizează Linux. Noi instalăm sistemul, iar tu instalezi runtime-ul la versiunea pe care o alegi.

Unde sunt localizate serverele voastre TPU?

Serverele TPU sunt vândute în aceste orașe: New York, Bucharest, San Francisco, Amsterdam, Miami. Rulează pe rețeaua noastră proprie, AS19624. Comenzile din aceste orașe sunt facturate în euro, la aceleași valori: Bucharest, Amsterdam.

Este TPU-ul partajat cu alți clienți?

Nu. Modulul se află în interiorul cartușului tău, iar mașina are un singur chiriaș. Primești acces root și consola remote, iar nicio sarcină de lucru a altui client nu rulează pe ea.

Conexe

Când răspunsul este o altă mașină

Alege un cartuș, bifează modulul

Ai întrebări înainte să comanzi? AI-ul nostru de chat răspunde în câteva secunde și îți poate verifica contul și serverele, iar o persoană preia oricând ceri.

Configurează un m710x