GPU ve Yapay Zeka · Uçta çıkarım

Çıplak donanım üzerinde TPU sunucusu.Bir Coral Edge TPU veya bir Hailo-8, yalnızca size ait bir Xeon makinede.

Server Room'te bir TPU sunucusu, M.2 yuvasında Google Coral Edge TPU veya Hailo-8 modülü bulunan bir HPE Moonshot kartuşudur; root erişimiyle aylık kiralanır. Verilerinizin yanında int8 görüntü modellerini çalıştırır. Yalnızca Google'ın kiraladığı bir Google Cloud TPU değildir ve büyük dil modellerini eğitmez ya da sunmaz.

Makine başına tek kiracı
m710x ve m510 üzerinde M.2 seçeneği
Root ve uzak konsol
Kendi ağınız, AS19624

Ana kartuşu seçin, yapılandırıcıda modülü işaretleyin, ardından seçtiğiniz sisteme üretici çalışma zamanını kurun. Hailo, Hailo-8'i 26 TOPS'a kadar derecelendirir ve araç zincirini güncel tutar. Google, Coral'ı 4 TOPS olarak derecelendirir ve Coral, halihazırda Edge TPU için kurulmuş iş hatlarına uygundur.

İki modülü karşılaştırın

Tanım

TPU sunucusu nedir ve ne değildir

TPU, tensör işlem birimi anlamına gelir; Google'ın kendi matris hızlandırıcılarına verdiği addır. Bu adı taşıyan çok farklı iki parça vardır. Cloud TPU'lar, modelleri eğitmek ve sunmak için kullanılan büyük çiplerdir ve Google bunları yalnızca Google Cloud içinde kiralar. Edge TPU ise küçük olanıdır: yaklaşık iki watt, yalnızca tamsayılar, bir kamera veya sensör akışının yanında derlenmiş bir görüntü modelini çalıştırmak üzere tasarlanmıştır.

Biz küçük olanı ve en yakın rakibi Hailo-8'i, özel bir sunucunun içinde M.2 modülü olarak kiralıyoruz. Her ikisi de uç yapay zeka hızlandırıcısıdır: önceden eğitilmiş ve int8'e nicemlenmiş bir sinir ağını çalıştırırlar, başka bir şey yapmazlar.

Şunlar için uygundur

Video karelerinde nesne algılama, görüntü sınıflandırma, bölütleme ve poz tahmini. MobileNet, EfficientDet-Lite ve YOLO ailelerinden, int8'e nicemlenmiş ve modül için derlenmiş ağlar, veriler makinenizden çıkmadan bir kareyi puanlar.

Şunlar için uygun değildir

Her türlü eğitim. Herhangi bir nicemlemede dil modelleri: iki modül de milyarlarca parametreyi tutamaz. Nicemlenmeyen Float32 modelleri ve üretici derleyicisinin desteklemediği katmanlar; bunlar işlemciye düşer veya derlenemez.

Bunların yerine gidecekleri yerler

Bir dil modelini boyutlandırmak LLM barındırmanın işidir. Eğitim ve büyük çıkarım, makine başına özel bir GPU bulunan GPU özel sunucularında çalışır. Tek kutuda bir NPU ve büyük bir bellek havuzu ise Ryzen AI sunucularıdır.

İki M.2 modülü

Hailo-8 veya Coral Edge TPU

Her iki modül de üreticinin kendi derleyicisi tarafından önceden derlenmiş bir int8 ağını alır. Derecelendirilmiş verimde, kabul ettikleri çerçevelerde ve Google Coral yazılımını arşivlediğinden beri yığını hâlâ kimin sürdürdüğü konusunda farklılık gösterirler.

Hailo-8 M.2 yapay zeka hızlandırma modülü, üstten görünüm

Sürdürülen araç zinciri

Hailo-8 M.2 modülü

Derece (Hailo'nun): 26 TOPS'a kadar, int8
Form faktörü: M.2 Key M, 22 × 42 mm, 2280'e kadar uzanır
Arayüz: PCIe Gen 3
Model kaynakları: TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Araç zinciri: Dataflow Compiler, HailoRT, Model Zoo
Hailo-8 için çalışma zamanı: HailoRT 4.x, hailo8 dalı (4.24.0, Haziran 2026)
Opsiyon fiyatı: $13.99/ay itibarıyla

Dataflow Compiler ağınızı nicemler ve bir HEF dosyasına derler; HailoRT ise bu dosyayı C++ veya Python'dan çalıştırır. hailo8 dalını kullanın: HailoRT 5.x ve master dalı yalnızca Hailo-10 ile Hailo-15'i destekler.

Google tarafından arşivlendi

Google Coral M.2 Hızlandırıcı

Derece (Google'ın): 4 TOPS, int8, watt başına 2 TOPS
İşlemci: Google Edge TPU
Model kaynakları: TensorFlow Lite, int8, Edge TPU Compiler aracılığıyla
Çalışma zamanı: libedgetpu ve PyCoral, son PyCoral sürümü 2.0.0 (Temmuz 2021)
Bakım: Google depoları arşivlendi; bugün topluluk çatalları derliyor
Opsiyon fiyatı: $13.99/ay itibarıyla

Bir model ya Edge TPU için derlenir ya da derlenmez ve yerleşik görüntü modelleri derlenir. Google; libedgetpu, PyCoral ve Edge TPU depolarını arşivledi, bu nedenle güncel çekirdekler ve Python sürümleri çalışma zamanının ve PCIe sürücüsünün topluluk çatallarına dayanır. Modelleriniz zaten bir Edge TPU'da çalışıyorsa bunu seçin. Yeni bir proje için Hailo-8 ile başlayın.

Verim rakamları her üreticinin kendi derecesidir. Kendi kıyaslamamızı yayınlamıyoruz: saniyedeki kare sayısı modelinize, girdi boyutuna ve yığına bağlıdır.

Veri yolu

Tek bir makinede yük boşaltma nasıl çalışır?

Xeon yine videoyu çözer, her kareyi yeniden boyutlandırır ve uygulamanızı çalıştırır. Modül yalnızca sinir ağını üstlenir, böylece çekirdekler çevresindeki işler için serbest kalır. m710x üzerinde işlemcinin Iris Pro P580 grafik birimi Quick Sync ile videoyu donanımda çözebilir; bu da dört çekirdeğini geri kalan işlere bırakır.

Sipariş kataloğundan canlı

İki ana kartuş, ödeme sayfasındaki fiyatlarıyla

Modül, iki HPE Moonshot kartuşunda bir seçenek satırıdır: dört çekirdekli Xeon E3'lü m710x ve 8 veya 16 çekirdekli Xeon D'li m510. Aşağıdaki her fiyat, o serinin giriş yapılandırmasıdır ve modül üstüne eklenen bir satırdır.

HPE ProLiant m710x

Intel Xeon E3-1585L v5

Intel Xeon E3-1585L v5 Quad Core 3.00 Ghz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Makine, giriş yapılandırması: $62.58/ay
+ Google Coral Edge TPU: $13.99/ay
+ Hailo-8: $13.99/ay
Kurulum, tek seferlik: $29
Şehirler: New York, Bucharest, San Francisco, Amsterdam, Miami

Bucharest, Amsterdam içinde euro üzerinden faturalandırılır, aynı rakamlarla.

m710x'i yapılandır

HPE ProLiant m510

Intel Xeon D-1548 / Intel Xeon D-1587

Intel Xeon D-1548 Octa Core 2.00 GHz · 32 GB DDR4 · 1 × NVMe-SSD 240 GB · 1 Gbps

Makine, giriş yapılandırması: $62.58/ay
+ Google Coral Edge TPU: $13.99/ay
+ Hailo-8: $13.99/ay
Kurulum, tek seferlik: $29
Şehirler: New York, Miami, Bucharest, Amsterdam, San Francisco

Bucharest, Amsterdam içinde euro üzerinden faturalandırılır, aynı rakamlarla.

m510'u yapılandır

Modül makineyi değiştirir; bu nedenle sipariş özel bir yapılandırmadır ve gösterilen tek seferlik kurulum ücretini içerir. Bellek, diskler, bağlantı noktası hızı ve faturalandırma dönemi aynı yapılandırıcıda belirlenir; ödeme yapmadan önce nihai aylık toplamı gösterir.

Kurulum

Siparişten ilk çıkarıma

İşletim sistemini kurar ve size root yetkisini veririz. Satıcı çalışma zamanı önceden kurulu değildir; sürümünü seçmek ve sabitlemek size kalır.

Ana makineyi yapılandırın. m710x veya m510 yapılandırıcısını açın, Hailo-8 veya Coral'ı işaretleyin ve işletim sistemini seçin.
Modülün veri yolunda olduğunu doğrulayın. lspci -nn | grep -Ei '1e60|1ac1' komutunu çalıştırın. Hailo-8 1e60:2864, Coral ise 1ac1:089a olarak görünür.
Hailo-8: PCIe sürücüsünü ve HailoRT'yi 4.x serisinden kurun (hailo-ai/hailort deposunun hailo8 dalı veya Hailo'nun Developer Zone paketleri), ardından modülün ürün yazılımını ve seri numarasını okumak için hailortcli fw-control identify komutunu çalıştırın.
Coral: gasket ve apex PCIe sürücüsünü ve libedgetpu'yu bakımı yapılan bir çataldan derleyin, sürücüyü yükleyin ve ilk modelinizi çalıştırmadan önce /dev/apex_0 dosyasının var olduğunu kontrol edin.
Sürümleri sabitleyin. Çekirdeği, sürücüyü ve çalışma zamanını birlikte çalışan sürümlerde tutun. Bizim tarafımızda hiçbir şey makineyi sizin haberiniz olmadan güncellemez.

Yanıtlar

TPU sunucu soruları

TPU sunucusu nedir?

Kendisine bağlı bir tensör işlem birimi bulunan sunucudur. Server Room'te bu, M.2 yuvasında Google Coral Edge TPU veya Hailo-8 bulunan, görüntü modellerinde int8 çıkarım için ayrılmış bir HPE Moonshot kartuşudur. Google'ın Cloud TPU'ları farklı ve çok daha büyük bir çiptir; yalnızca Google Cloud içinde kiralanır.

Sizden Google Cloud TPU kiralayabilir miyim?

Hayır. Cloud TPU'lar yalnızca Google Cloud'da bulunur ve hiçbir barındırma şirketi bunları rafa koyamaz. Kontrol ettiğiniz donanımda büyük modelleri eğitmek veya sunmak için, her makinede ayrılmış bir GPU bulunan GPU özel sunucularımıza bakın.

TPU sunucusunun maliyeti ne kadar?

Hailo-8 veya Coral içeren eksiksiz bir makine aylık $76.57 fiyatından başlar. Modül, makinenin üzerine eklenen bir satırdır; Hailo-8 için aylık $13.99, Coral için $13.99 fiyatından başlar ve siparişte $29 tutarından başlayan tek seferlik kurulum ücreti bulunur. Yukarıdaki ana kartlar, her fiyatın hangi makineye ait olduğunu gösterir.

Hailo-8 mi Coral Edge TPU mu: hangisini seçmeliyim?

Hailo, Hailo-8'i 26 TOPS'a kadar, Google ise Coral'ı 4 TOPS olarak derecelendirir; her ikisi de int8 üzerinde. Hailo-8'in ayrıca bakımı yapılan yazılımı vardır: HailoRT 4.24.0 sürümü Haziran 2026'da çıktı; Google ise Coral depolarını arşivledi. Modelleriniz zaten bir Edge TPU üzerinde çalışıyorsa Coral'ı seçin.

TPU sunucusu bir LLM çalıştırabilir mi?

Hayır. Hiçbir modül, hiçbir nicemlemede milyarlarca parametreli bir modeli tutamaz. Modeli LLM barındırma sayfamızda boyutlandırın, ardından bir GPU özel sunucusunda veya Ryzen AI makinelerimizden birinde çalıştırın.

Hangi işletim sistemleri ve sürücüler çalışır?

Yapılandırıcının kartuş için sunduğu her sistem kurulabilir. HailoRT Linux ve Windows için geliştirilmiştir; Coral çalışma zamanı ve topluluk çatalları Linux'u hedefler. Sistemi biz kurarız, çalışma zamanını seçtiğiniz sürümde siz kurarsınız.

TPU sunucularınız nerede bulunuyor?

TPU sunucuları şu şehirlerde satılır: New York, Bucharest, San Francisco, Amsterdam, Miami. Kendi ağımız AS19624 üzerinde çalışırlar. Bu şehirlerdeki siparişler euro üzerinden, aynı rakamlarla faturalandırılır: Bucharest, Amsterdam.

TPU diğer müşterilerle paylaşılıyor mu?

Hayır. Modül kartuşunuzun içinde bulunur ve makinenin tek kiracısı vardır. Root yetkisi ve uzak konsol size verilir; başka hiçbir müşterinin iş yükü üzerinde çalışmaz.

İlgili

Yanıt başka bir makine olduğunda

Bir kartuş seçin, modülü işaretleyin

Sipariş vermeden önce sorularınız mı var? Sohbet yapay zekâmız saniyeler içinde yanıtlar, hesabınızı ve sunucularınızı kontrol edebilir; siz istediğinizde bir kişi devralır.

Bir m710x yapılandır