GPU e IA · Inferencia en el borde

Servidor TPU en bare metal.Un Coral Edge TPU o un Hailo-8, en una máquina Xeon que es solo tuya.

Un servidor TPU en Server Room es un cartucho HPE Moonshot con un Google Coral Edge TPU o un módulo Hailo-8 en su ranura M.2, alquilado por mes con acceso root. Ejecuta modelos de visión int8 junto a tus datos. No es una Cloud TPU de Google, que solo Google alquila, y no entrena ni sirve modelos de lenguaje grandes.

Un solo inquilino por máquina
Opción M.2 en m710x y m510
Root y consola remota
Red propia, AS19624

Elige el cartucho anfitrión, marca el módulo en el configurador y luego instala el runtime del fabricante en el sistema que hayas elegido. Hailo califica el Hailo-8 con hasta 26 TOPS y mantiene su cadena de herramientas al día. Google califica el Coral con 4 TOPS, y encaja en pipelines ya construidos para el Edge TPU.

Compara los dos módulos

Definición

Qué es un servidor TPU, y qué no es

TPU significa unidad de procesamiento tensorial, el nombre que Google dio a sus propios aceleradores matriciales. Dos piezas muy distintas llevan ese nombre. Las Cloud TPU son chips grandes para entrenar y servir modelos, y Google las alquila solo dentro de Google Cloud. El Edge TPU es el pequeño: unos dos vatios, solo enteros, construido para ejecutar un modelo de visión compilado junto a una cámara o un flujo de sensores.

Nosotros alquilamos el pequeño y su rival más cercano, el Hailo-8, como módulo M.2 dentro de un servidor dedicado. Ambos son aceleradores de IA en el borde: ejecutan una red neuronal que ya ha sido entrenada y cuantizada a int8, y no hacen nada más.

Dimensionado para

Detección de objetos en fotogramas de vídeo, clasificación de imágenes, segmentación y estimación de pose. Redes de las familias MobileNet, EfficientDet-Lite y YOLO, cuantizadas a int8 y compiladas para el módulo, puntúan un fotograma sin que los datos salgan de tu máquina.

No dimensionado para

Entrenamiento de cualquier tipo. Modelos de lenguaje, a cualquier cuantización: ninguno de los dos módulos puede contener miles de millones de parámetros. Modelos Float32 que no se cuantizan, y capas que el compilador del fabricante no soporta, que recaen en el procesador o no compilan.

Adónde van esos en su lugar

Dimensionar un modelo de lenguaje es trabajo del hosting de LLM. El entrenamiento y la inferencia grande se ejecutan en servidores dedicados con GPU, con una GPU dedicada por máquina. Una NPU y un gran conjunto de memoria en una caja son los servidores Ryzen AI.

Los dos módulos M.2

Hailo-8 o Coral Edge TPU

Ambos módulos toman una red int8 compilada de antemano por el compilador del propio fabricante. Se diferencian en el rendimiento nominal, en los frameworks que aceptan y, desde que Google archivó el software de Coral, en quién mantiene todavía la pila.

Módulo de aceleración de IA Hailo-8 M.2, vista superior

Cadena de herramientas mantenida

Módulo Hailo-8 M.2

Calificación (de Hailo): hasta 26 TOPS, int8
Factor de forma: M.2 Key M, 22 × 42 mm, se extiende a 2280
Interfaz: PCIe Gen 3
Orígenes de modelos: TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Cadena de herramientas: Dataflow Compiler, HailoRT, Model Zoo
Runtime para Hailo-8: HailoRT 4.x, rama hailo8 (4.24.0, junio de 2026)
Precio de la opción: desde $13.99/mes

El Dataflow Compiler cuantiza tu red y la compila a un archivo HEF, y HailoRT ejecuta ese archivo desde C++ o Python. Usa la rama hailo8: HailoRT 5.x y la rama master solo soportan el Hailo-10 y el Hailo-15.

Archivado por Google

Acelerador Google Coral M.2

Calificación (de Google): 4 TOPS, int8, a 2 TOPS por vatio
Procesador: Google Edge TPU
Orígenes de modelos: TensorFlow Lite, int8, mediante el Edge TPU Compiler
Runtime: libedgetpu y PyCoral, última versión de PyCoral 2.0.0 (julio de 2021)
Mantenimiento: Repositorios de Google archivados; los forks de la comunidad lo compilan hoy
Precio de la opción: desde $13.99/mes

Un modelo o compila para el Edge TPU o no lo hace, y los modelos de visión establecidos sí lo hacen. Google ha archivado libedgetpu, PyCoral y los repositorios del Edge TPU, así que los kernels actuales y las versiones de Python dependen de forks comunitarios del runtime y del controlador PCIe. Elígelo cuando tus modelos ya se ejecuten en un Edge TPU. Para un proyecto nuevo, empieza por el Hailo-8.

Las cifras de rendimiento son la calificación de cada fabricante. No publicamos ningún benchmark propio: los fotogramas por segundo dependen de tu modelo, de su tamaño de entrada y del lote.

Ruta de datos

Cómo funciona la descarga dentro de una máquina

El Xeon sigue decodificando el vídeo, redimensionando cada fotograma y ejecutando tu aplicación. El módulo se encarga de la red neuronal y de nada más, así que los núcleos quedan libres para el trabajo que la rodea. En el m710x, los gráficos Iris Pro P580 del procesador pueden decodificar vídeo por hardware con Quick Sync, lo que deja sus cuatro núcleos para el resto.

En vivo desde el catálogo de pedidos

Dos cartuchos host, con el precio que muestra el checkout

El módulo es una línea opcional en dos cartuchos HPE Moonshot: el m710x con un Xeon E3 de cuatro núcleos, y el m510 con un Xeon D de 8 o 16 núcleos. Cada precio de abajo es la configuración de entrada de esa línea, con el módulo como una línea adicional encima.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Máquina, configuración de entrada: $62.58/mes
+ Google Coral Edge TPU: $13.99/mes
+ Hailo-8: $13.99/mes
Configuración, pago único: $29
Ciudades: New York, Bucharest, San Francisco, Amsterdam, Miami

Se factura en euros en Bucharest, Amsterdam, con las mismas cifras.

Configurar el m710x

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Máquina, configuración de entrada: $62.58/mes
+ Google Coral Edge TPU: $13.99/mes
+ Hailo-8: $13.99/mes
Configuración, pago único: $29
Ciudades: New York, Miami, Bucharest, Amsterdam, San Francisco

Se factura en euros en Bucharest, Amsterdam, con las mismas cifras.

Configurar el m510

Un módulo cambia la máquina, así que el pedido es una configuración personalizada e incluye la tarifa de configuración única que se muestra. La memoria, los discos, la velocidad del puerto y el plazo de facturación se definen en el mismo configurador, que muestra el total mensual final antes de pagar.

Puesta en marcha

Del pedido a la primera inferencia

Instalamos el sistema operativo y te entregamos acceso root. El runtime del fabricante no viene preinstalado, así que la versión la eliges y la fijas tú.

Configura el host. Abre el configurador del m710x o del m510, marca el Hailo-8 o el Coral y elige el sistema operativo.
Comprueba que el módulo está en el bus. Ejecuta lspci -nn | grep -Ei '1e60|1ac1'. El Hailo-8 aparece como 1e60:2864 y el Coral como 1ac1:089a.
Hailo-8: instala el driver PCIe y HailoRT de la línea 4.x (la rama hailo8 de hailo-ai/hailort, o los paquetes de la Developer Zone de Hailo) y luego ejecuta hailortcli fw-control identify para leer el firmware y el número de serie del módulo.
Coral: compila el driver PCIe gasket y apex y libedgetpu desde un fork mantenido, carga el driver y comprueba que /dev/apex_0 existe antes de ejecutar tu primer modelo.
Fija las versiones. Mantén el kernel, el driver y el runtime en versiones que funcionen bien juntas. Nada de nuestro lado actualiza la máquina a tus espaldas.

Respuestas

Preguntas sobre servidores TPU

¿Qué es un servidor TPU?

Un servidor con una unidad de procesamiento tensorial conectada. En Server Room es un cartucho dedicado HPE Moonshot con un Google Coral Edge TPU o un Hailo-8 en su ranura M.2, para inferencia int8 en modelos de visión. Las Cloud TPU de Google son un chip distinto y mucho más grande, que solo se alquila dentro de Google Cloud.

¿Puedo alquilar una Cloud TPU de Google con vosotros?

No. Las Cloud TPU solo están disponibles en Google Cloud, y ninguna empresa de hosting puede montar una en su rack. Para entrenar o servir modelos grandes en hardware que controlas, mira nuestros servidores dedicados con GPU, donde cada máquina tiene una GPU dedicada.

¿Cuánto cuesta un servidor TPU?

Una máquina completa con un Hailo-8 o un Coral empieza en $76.57 al mes. El módulo es una línea adicional sobre la máquina, desde $13.99 al mes por el Hailo-8 y desde $13.99 por el Coral, y el pedido incluye una tarifa de configuración única desde $29. Las tarjetas de host de arriba muestran a qué máquina pertenece cada precio.

Hailo-8 o Coral Edge TPU: ¿cuál debería elegir?

Hailo califica el Hailo-8 con hasta 26 TOPS y Google califica el Coral con 4 TOPS, ambos en int8. El Hailo-8 también tiene software mantenido: HailoRT 4.24.0 para él salió en junio de 2026, mientras que Google ha archivado los repositorios del Coral. Elige el Coral cuando tus modelos ya funcionen en un Edge TPU.

¿Puede un servidor TPU ejecutar un LLM?

No. Ninguno de los dos módulos puede alojar un modelo con miles de millones de parámetros, en ninguna cuantización. Dimensiona el modelo en nuestra página de hosting de LLM y luego ejecútalo en un servidor dedicado con GPU o en una de nuestras máquinas Ryzen AI.

¿Qué sistemas operativos y drivers funcionan?

Se puede instalar cualquier sistema que el configurador ofrezca para el cartucho. HailoRT está compilado para Linux y Windows; el runtime del Coral y sus forks comunitarios apuntan a Linux. Nosotros instalamos el sistema y tú instalas el runtime en la versión que elijas.

¿Dónde están ubicados vuestros servidores TPU?

Los servidores TPU se venden en estas ciudades: New York, Bucharest, San Francisco, Amsterdam, Miami. Funcionan en nuestra propia red, AS19624. Los pedidos en estas ciudades se facturan en euros, con las mismas cifras: Bucharest, Amsterdam.

¿La TPU se comparte con otros clientes?

No. El módulo está dentro de tu cartucho y la máquina tiene un solo inquilino. Tienes root y la consola remota, y ninguna carga de trabajo de otro cliente se ejecuta en ella.

Relacionado

Cuando la respuesta es otra máquina

Elige un cartucho, marca el módulo

¿Tienes preguntas antes de pedir? Nuestro chat con IA responde en segundos y puede revisar tu cuenta y tus servidores, y una persona toma el control cuando lo pidas.

Configurar un m710x