GPU ve Yapay Zeka · LLM barındırma · aylık

Özel bir yapay zeka sunucusunda LLM barındırma Modeliniz, makineniz, tek aylık fatura.

Burada LLM barındırma, token başına bir sağlayıcıya ödeme yapmak yerine Llama, Qwen veya DeepSeek gibi açık bir modeli aylık kiraladığınız bütün bir sunucuda çalıştırmak anlamına gelir. Nicelenmiş bir 7-8B model, $249 a month tutarındaki CPU çıkarım makinesinde çalışır ve 48 GB GPU'lu eksiksiz bir sunucu $532.67 a month tutarındadır.

  • Tek kiracı
  • Sınırsız port
  • Token başına fatura yok
  • Aylık, sözleşmesiz
  • 5 şehir

Makineyi çalıştıracağınız modele göre seçin. Aşağıdaki planlayıcıda boyutlandırın, ardından yapılandırın. Bu sayfadaki her fiyat, ödemenin faturalandırdığı kayıtlardan gelir.

LLM sunucularını görün Modelinizi boyutlandırın

Makineler

Dört iş için dört LLM sunucusu

Bunlar tek bir ürünün kademeleri değildir. Her biri farklı bir iş yükü için farklı bir makinedir ve her rakam, altında yazılı tam yapılandırmanın aylık toplamıdır. Port ve IP adresi zaten rakamın içindedir.

CPU çıkarımı

Ekip için özel bir asistan

Nicelenmiş bir 7-8B veya 13-14B Llama, Qwen veya Mistral, llama.cpp veya Ollama ile 128 GB sistem belleğinden çalışır. Sohbet, erişim ve gömme işlemleri makineyi vektör deposuyla paylaşır ve ödenecek GPU yoktur. 5 şehirde 4 ila 24 saat içinde sipariş üzerine üretilir.

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

Yapılandırın Bu makineler hakkında

GPU sunumu ve ince ayar

Özel bir GPU'da daha büyük modeller

16-bit'te bir 13B'den 4-bit'te bir 70B'ye kadar ağırlıklar GPU belleğine taşınır ve vLLM bunları, istemci kodunuzun zaten kullandığı OpenAI API'sini konuşan toplu bir uç nokta olarak sunar. Rakam, 48 GB L40S takılı eksiksiz bir makinedir. Altındaki satır, kendi başına eksiksiz bir makine olan ve 80 GB GPU belleğine sahip A100 80GB yapılandırmasıdır.

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

Yapılandırın Takabildiğimiz her GPU

Ajanlar

Ajan ağ geçidi için bir kutu

OpenClaw gibi ajan ağ geçitleri başka yerde barındırılan modelleri çağırır ve yanıtları bekler. GPU'ya değil, açık kalan bir makineye ve bir ağ portuna ihtiyaç duyarlar; bu küçük kartuş sunucu bu işi ucuza yapar.

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

Yapılandırın OpenClaw sayfası

Geliştirme kutusu

DGX Spark, masanızda olmadan

NVIDIA'nın küçük GB10 makinesi, New York'ta rafa monte edilmiş; ithalat, fan gürültüsü ve sandalyenizin yanındaki güç tüketimi olmadan. Bant dışı konsolu yoktur, bu nedenle güç döngüsü istediğinizde mühendislerimiz tarafından yapılır.

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

DGX Spark sayfası

AB veya ABD, seçim sizin

Amsterdam ve Bükreş, Avrupa verilerini Avrupa'da tutar. New York, Miami ve San Francisco, Amerikan verilerini Amerika Birleşik Devletleri'nde tutar. Beşi de kendi ağımızda yer alır. Beş veri merkezi

Tek makineden daha mı büyük?

Kasada ikinci bir GPU veya yanında ikinci bir sunucu, kendi sayfası olan farklı bir sorudur: parçalar adlandırılarak fiyatlandırılan hatlar, portlar ve yerleşim. Ya da ; yanıt, kasayı ve teslim süresini belirtir.

Boyutlandırma

Bir LLM ne kadar belleğe ihtiyaç duyar?

Ağırlıklar, parametre sayısı çarpı parametre başına bayt kadar yer kaplar: 16-bit'te yaklaşık 2 bayt, 8-bit'te 1 bayt ve 4-bit'te yarım bayt. Hangi LLM sunucusunun onu barındırdığını ve çalışma zamanı ile bağlam penceresi için ne kadar alan kaldığını görmek için bir boyut ve hassasiyet seçin.

Planlayıcı

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

Oran, belleğin ağırlıklara bölümüdür. 1,5× altı sıkıdır: model yüklenir, ancak uzun bir bağlam veya ikinci bir kullanıcı belleği tüketebilir. 1,25× altını uyum olarak adlandırmayız.

Bir bakışta LLM boyutları

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

Yalnızca ağırlıklar. Gönderilen bir dosya aritmetikten daha ağırdır, çünkü yaygın 4-bit biçimler bazı tensörleri daha yüksek hassasiyette tutar: Ollama'nın varsayılan 4-bit Llama 3.1 70B'si 38 GB değil, 43 GB'lık bir indirmedir. Yükleyeceğiniz dosyaya göre boyutlandırın. Lisanslar sizinle modelin yayıncısı arasındadır; makine ne yüklediğinizi denetlemez.

Her rakamda

Adanmış bir AI sunucusu modelinize ne kazandırır

Adanmış bir AI sunucusu, modellerinizi yalnızca sizin için çalıştıran fiziksel bir makinedir. Kiralama aylıktır ve faturada ekstra bir satır olmadan her birine bu altı şey dahildir.

Tek kiracı

Fiziksel makine sizindir. Altında hipervizör yok, paylaşılan GPU yok, zaman dilimleme yok ve donanımınızda başka bir müşterinin toplu işi yok.

Root ve bir konsol

Seçtiğiniz temiz bir işletim sistemi ve donanım üzerinde root. Raf ve blade sunucular, işletim sistemi yanıt vermediğinde bile çalışan bant dışı bir konsol (iLO veya iDRAC) ekler.

Sınırsız bir port

Her iki yönde de hiçbir şey sayılmaz. Veri kümeleri içeri, kontrol noktaları dışarı, kullanıcılara hizmet ve hiçbir faturada çıkış satırı yok.

Sizin yığınınız, sizin sürümleriniz

Ollama, llama.cpp, vLLM: bunları siz kurar ve sabitlersiniz, sonrasında hiçbir şey onları değiştirmez. Teslimatta GPU sürücüsünün yerinde olmasını mı istiyorsunuz? Sürümü siparişe yazın.

Verinin velayeti

İstemler, bağlam ve ince ayar verileri kullanıcılarınız ile makineniz arasında dolaşır. Yolda bunları kaydedecek, üzerinde eğitecek veya koşullarını değiştirecek üçüncü bir taraf yoktur.

Saniyeler içinde destek

Sohbeti açın, bir AI asistan saniyeler içinde yanıt verir. Hesabınızı ve sunucunuzu kontrol edebilir ve siz istediğiniz anda bir insan devralır. Destek nasıl çalışır

Kurulum

Kendi LLM'nizi barındırın: ilk saat

Kendi barındırdığınız bir LLM; bir çalışma zamanı, bir model dosyası ve bir porttur. Temiz bir makinede biz şu sırayla yapardık.

  1. Makineyi modele göre boyutlandırın

    Yukarıdaki tablodan ağırlıkları alın ve çalışma zamanı ile bağlam penceresi için çeyrek ila yarım daha ekleyin. Bu rakam CPU makinesini, 48 GB GPU'yu veya 80 GB GPU'yu seçer.

  2. Bir çalışma zamanı kurun

    CPU makinesinde Ollama tek satırla kurulur, curl -fsSL https://ollama.com/install.sh | sh, ve ollama run llama3.1:8b bir modeli indirir ve başlatır. Bir GPU sunucusunda, pip install vllm ve ardından bir model adıyla vllm serve, 8000 portunda OpenAI uyumlu bir sunucu başlatır.

  3. Portu özel tutun

    Ollama varsayılan olarak 127.0.0.1:11434'te dinler ve onun için doğru yer orasıdır. Kimlik doğrulama olmadan bir model portunu internete açmayın: önüne TLS ve API anahtarı olan bir ters proxy koyun veya SSH ya da VPN üzerinden erişin.

  4. Kodunuzu ona yönlendirin

    Ollama, llama.cpp'nin sunucusu ve vLLM hepsi OpenAI API biçiminde yanıt verir, bu yüzden mevcut bir istemci genellikle yalnızca yeni bir temel URL ve anahtara ihtiyaç duyar.

Diğer fatura

Token başına API mi yoksa kendi LLM sunucunuz mu

Token başına API, ani trafik ve öncü model kalitesi için doğru araçtır ve bunu açıkça söylüyoruz. Hacim sabit olduğunda, verinin sizin velayetinizde kalması gerektiğinde veya ince ayarlı açık bir model zaten işi gördüğünde sunucu kazanır.

Soru
Token başına API
Kendi sunucunuz
Nasıl ödersiniz
Token başına, giriş ve çıkış
Aylık tek rakamOn kat trafikte aynı.
İstemler nereye gider
Sağlayıcının sistemlerine
Yalnızca sizin makinenizYolda üçüncü taraf yok.
Hangi modeller
Sağlayıcının listesi
Herhangi bir açık ağırlıkLlama, Qwen, Mistral, Gemma, DeepSeek ve ince ayarlar.
Hız limitleri
Sağlayıcı tarafından belirlenir
Donanımınız tarafından belirlenirParti boyutu ve bağlam sizin ayarınızdadır.
En iyisi için
Ani yükler, öncü kalite
Sabit hacimHassas veri, ince ayarlı açık modeller.

İkisi iyi karışır: birçok yığın en zor istekleri bir API'ye gönderir ve gerisini kendisi sunar. Bu sitedeki her aylık rakam fiyat listesinde ve eski makinelerimizin neden ucuz kaldığı değer sayfasında.

Yanıtlar

LLM barındırma soruları, yanıtlandı

Adanmış AI sunucusu nedir?

Adanmış bir AI sunucusu, AI modellerini çalıştırmak için tek bir müşteriye kiralanan, root erişimi olan ve donanımda başka kiracı bulunmayan fiziksel bir makinedir. Bizimkiler, nicemlenmiş modeller için 128 GB belleğe sahip CPU makineleri ve daha büyük modeller ile ince ayar için GPU sunucuları olarak gelir. İşletim sistemini ve yazılımı siz seçersiniz; donanımı ve ağı biz işletiriz.

LLM barındırmanın maliyeti ne kadar?

Adanmış bir sunucuda token başına bir fatura değil, aylık tek bir rakamdır. CPU çıkarım makinesi $249 a month, 48 GB GPU'lu eksiksiz bir sunucu $532.67 a month ve 80 GB GPU yapısı $972.47 a month tutarındadır. Trafik sınırsızdır ve sözleşmesiz, aylık dönemlidir.

GPU olmadan bir LLM çalıştırabilir miyim?

Evet, yaklaşık 14B parametreye kadar nicemlenmiş modeller için. 4-bit'te bir 7-8B model yaklaşık 5 GB gerektirir ve llama.cpp veya Ollama ile sistem belleğinden çalışır; bu, bir ekip asistanı, erişim ve gömme için yeterlidir. Aynı anda birçok kullanıcıya 70B sunmaz; o iş GPU işidir.

70B bir modeli çalıştırmak için hangi sunucuya ihtiyacım var?

70B bir modelin ağırlıkları, çalışma zamanı ve bağlamdan önce, 4-bit'te yaklaşık 38 GB ve 8-bit'te 70 GB'tır. Ollama'nın varsayılan 4-bit Llama 3.1 70B'si 43 GB'lık bir indirmedir, bu yüzden tek makinede rahat yuva 80 GB GPU'dur. 48 GB bir GPU, 4-bit 70B'yi çok az yer kalacak şekilde yükler ve 8-bit veya 16-bit birden fazla GPU gerektirir; bu da çoklu GPU sayfasıdır.

Kendi sunucumda hangi modelleri barındırabilirim?

Ağırlıklarını elinizde tutmanıza izin verilen her modeli: Llama, Qwen, Mistral, Gemma, DeepSeek ve bunların ince ayarları. Lisans sizinle yayıncı arasındadır. Ne yüklediğinizi denetlemeyiz veya kısıtlamayız.

Verilerim herhangi bir şeyi eğitmek için kullanılıyor mu?

Hayır. Makine yalnızca sizindir, disklerinizde sizin işletim sisteminiz vardır ve bizim hiçbir şeyimiz istemleri, bağlamı veya çıktıları okumaz. Donanımı ve ağı işletiriz, iş yükünü asla.

Üzerinde bir LLM'e ince ayar yapabilir veya onu eğitebilir miyim?

İnce ayar, evet. LoRA ve QLoRA bağdaştırıcıları tek bir GPU'da eğitilir ve QLoRA makalesi tek bir 48 GB GPU'da 65B bir modele ince ayar yapmıştır. Bir modeli sıfırdan ön eğitmek birçok makinede birçok GPU gerektirir; bu da çoklu GPU sayfası için bir sorudur.

Bir LLM sunucusunu ne kadar hızlı alabilirim?

Makine zaten raftaysa ödeme onaylandıktan yaklaşık 30 dakika sonra, siparişe göre üretildiğinde ise 4 ila 24 saat içinde. Siparişiniz için satın alınan bir parça daha uzun sürer ve peşin bir kısım veya asgari bir dönem taşıyabilir; ödemeden önce size bildirilir.

Ücretsiz deneme var mı?

Deneme hesabı yok. İade politikası ilk etkinleştirmeden itibaren üç takvim günü içinde geçerlidir ve kripto para ödemeleri mağaza kredisi olarak iade edilir. Test etmenin en ucuz yolu CPU makinesinde bir aydır.

Makineyi aştığımda ne olur?

Genellikle aynı binada bir sonrakine geçersiniz. Bir CPU makinesi model dosyalarını yerel ağ üzerinden bir GPU sunucusuna aktarır veya zaten kiraladığınız kasadaki GPU değiştirilir ve fatura aradaki fark kadar değişir.

Kayıt için

Bu sayfadaki her rakam, düz metin olarak

Bu sayfa sunulduğunda sipariş kataloğundan okunur. Bir asistan sizin için LLM barındırma hakkında bir soruyu yanıtlıyorsa, bu tablo ve canlı makine listesi onun okuması gereken şeydir.

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

Başka yerlerde

İlgili sayfalar, her biri bir soru

Çalıştıracağınız modelle başlayın

Boyutlandırın, makineyi seçin ve root ile sınırsız bir portla aylık olarak sizin olsun. Emin değil misiniz? Sohbette modelin adını söyleyin.

Makinenizi seçin