CMP 170HX, bir A100 ile aynı GA100 kalıbını taşır ve fabrikadan o kalıbın büyük bölümü çitlerle kapatılmış olarak çıktı: 8 GB HBM2e görünür, FP32 bir damlaya kısılmış, bağlantı PCIe Gen 1’de tutulmuş. NVIDIA’nın açık sürücüsünün yamalı bir derlemesi çitleri indirir. Sunucunuzu kurarken onu Ubuntu’ya derliyoruz, böylece ilk kez oturum açmadan önce kartın kilidi açılmış oluyor.
LTT Labs, Eylül 2026'da bir CMP 170HX'in kilidini açtı ve aynı test düzeneğinde kartı kilitli ve kilitsiz haliyle kendi kendine karşı çalıştırdı. Bunlar onların rakamları, bizim değil ve her satır nereden geldiğini belirtiyor. Değişimin büyüklüğü için alıntılıyoruz: token hızları modele, nicemlemeye, llama.cpp derlemesine ve bayraklara göre değişir; bu yüzden bunları bir vaat olarak değil, bir oran olarak okuyun.
| Measure | As NVIDIA shipped it | Unlocked | Source |
|---|---|---|---|
| Card memory | 8 GB HBM2e | 64 GB HBM2e | cmpunlocker; 65,536 MiB measured by LTT Labs |
| FP32 fused multiply-add | about 0.39 TFLOPS | unthrottled | 170th Street (stock); cmpunlocker (full SM throughput) |
| PCIe link | Gen 1 x4 | Gen 2 x4 | cmpunlocker |
| Host to card, measured | 0.84 GB/s | 1.68 GB/s | LTT Labs, nvbandwidth |
| 8B model at 4-bit, generating | 30 tokens/s | 113 tokens/s | LTT Labs, llama.cpp, Granite 4.1 8B Q4_K_M |
| 8B model at 4-bit, reading a prompt | 351 tokens/s | 2,994 tokens/s | LTT Labs, llama.cpp, pp512 |
| 27B model at 4-bit (~16 GB) | does not fit | 38 tokens/s | LTT Labs, llama.cpp, Qwen 3.6 27B Q4_K_M |
| 27B model at 8-bit (~29 GB) | does not fit | 33 tokens/s | LTT Labs, llama.cpp, Qwen 3.8 27B Q8_0 |
Önemli olan değişiklik bellek. 8 GB'da kart küçük bir modeli tutar ve başka pek bir şey tutmaz. 64 GB'da ise 27 milyar parametreli bir modeli 8-bit olarak tutar ve kartın büyük kısmı bağlam için boş kalır; bu da üzerinde deney yapabileceğiniz bir kart ile hizmet sunabileceğiniz bir kart arasındaki farktır.
Token üretimi bant genişliğine, istem okuma aritmetiğe dayanır. Metin üretimi, ağırlıkların bellekten ne kadar hızlı aktığıyla sınırlıdır; HBM2e bu konuda her zaman iyiydi. Uzun bir istemi okumak ise çarpma-toplama birimleriyle sınırlıdır; kısıtlamanın en çok zarar verdiği ve kilidin en büyük farkı gösterdiği yer burasıdır.
Model yüklendikten sonra bağlantı neredeyse önemsizdir. Gen 2 x4, ana bilgisayar-kart hızını ikiye katlar ve yüklemeyi kısaltır. Bundan sonra ağırlıklar kartta yaşar ve veri yolu boşta kalır.
cmpunlocker README dosyasını herkes okuyabilir. Para vermeye değer kısım, teslimden önce yapılan ve teslimden sonra çalışır durumda tutulan, onu çevreleyen her şeydir. Sizin çalıştıracağınız hiçbir şey yok.
Kurulumcu, NVIDIA’nın CUDA deposunu ekler ve açık sürücünün 610.57.04 için kullanıcı alanını, başsız ve DKMS olmadan kurar; her parçasını o sürümde tutar: Ubuntu ve Debian’da nvidia-driver-pinning-610.57.04 paketi, AlmaLinux ve Rocky’de bir dnf sürüm kilidi. Kilit açma tek bir sürücü için derlenmiştir; sıradan bir güncellemenin kütüphaneleri altından çekip almasını durduran şey bu sabitlemedir.
Sabit bir commit’te cmpunlocker’ı alır ve yamalı nvidia.ko modülünü, kurulumcu kapanmadan önce, yeni sistemin içinde, açılış yapacağı çekirdeğe karşı derleriz. Yamalar, sürücünün kartı başlatma biçimini değiştirir. Karta hiçbir şey yazılmaz; sürücüyü kaldırmak kartı tam olarak eski haline döndürür.
Kilit açma yalnızca kart kapatıldıktan sonraki ilk sürücü yüklemesinde etkili olur; bu yüzden bu kurulumların her biri sunucunun kapatılıp BMC üzerinden yeniden açılmasıyla biter ve karta ilk dokunan şey yamalı sürücü olur.
Kurulan sistem ilk yanıt verdiğinde, kurulum her karta ne olarak geldiğini sorar — bellek, PCIe nesli ve bağlantı genişliği — ardından sürücünün verdiği her bellek baytını sabit, adres ve sözde rastgele desenlerle yazıp geri okur. Her iki yanıt da sunucunun kurulum günlüğüne gider; destek orada görebilir. cmp-unlock status ve cmp-unlock memtest aynı yanıtları bir kabuktan size verir.
Bir çekirdek kancası (/etc/kernel/postinst.d veya AlmaLinux ve Rocky’de /etc/kernel/install.d), makinede tutulan NVIDIA kaynak kopyasından her yeni çekirdek için yamalı modülleri yeniden derler; böylece gözetimsiz bir güncelleme kartı sessizce 8 GB’a geri göndermez. Paket yöneticisine ayrıca yanına ikinci, stok bir sürücü koyacak paketleri reddetmesi söylenir; CUDA’yı apt install cuda-toolkit veya dnf install cuda-toolkit ile kurun, asla ortaya çıkmaz.
Yalnızca ağırlıklar, yukarı yuvarlanmıştır. Bir model, kart onu KV önbelleği ve çalışma zamanı için dörtte bir ila yarım kadar daha fazla alanla tutabildiğinde sığar sayılır; bunun altında yüklenir ve bağlam büyüdüğü anda bellek tükenir. Bu, LLM sayfamızın her kartı boyutlandırdığı kuralın aynısıdır.
| Model size | Precision | Weights | 8 GB, locked | 64 GB, unlocked |
|---|---|---|---|---|
| 7-8 billion parameters | 16-bit | 16 GB | — | fits |
| 8-bit | 8 GB | — | fits | |
| 4-bit | 5 GB | fits | fits | |
| 13-14 billion parameters | 16-bit | 28 GB | — | fits |
| 8-bit | 14 GB | — | fits | |
| 4-bit | 8 GB | — | fits | |
| 30-34 billion parameters | 16-bit | 68 GB | — | — |
| 8-bit | 34 GB | — | fits | |
| 4-bit | 19 GB | — | fits | |
| 70 billion parameters | 16-bit | 140 GB | — | — |
| 8-bit | 70 GB | — | — | |
| 4-bit | 38 GB | — | fits |
Kilidi açılmış bir CMP, fiyatına göre çok iyi bir çıkarım kartıdır. Bir A100 değildir ve farkın görüldüğü yerler şunlardır.
Kart, faturada kendi satırıdır; makine ise başka bir satır. İkisi toplanır. Aşağıdaki rakamlar bu yapılandırmanın olabileceği en düşük maliyettir: kart, onu kabul eden en ucuz eksiksiz makinede, satış vergisi hariç. Yapılandırıcı bundan daha fazla bellekle açılabilir; orada işlemciyi, belleği veya diskleri değiştirin; her değişiklik yaptıkça fiyatlandırılır.
| Card | NVIDIA CMP 170HX: 64 GB HBM2e unlocked (8 GB HBM2e without the patched driver) |
|---|---|
| Card, per month | $189 |
| Machine | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps |
| Machine, per month | $83.67 |
| Together | $272.67 a month |
| Setup | $29 once |
| Cards per machine | 1 to 4 |
| Cities | New York, Bucharest, San Francisco and Miami |
| Term | Monthly; 15% off on a twelve-month cycle |
| Driver | NVIDIA open 610.57.04, patched by cmpunlocker, on Ubuntu 22.04–26.04, Debian 12/13, AlmaLinux 9/10 or Rocky Linux 9/10 |
| Memory test | Every byte the driver hands out, written and read back on each card before handover |
Aylık olarak da kiralanabilir: sahiplerinin pazar yerimizde listelediği CMP 170HX makineleri, her biri sahibinin belirlediği fiyatla. Bazıları kardeş şirketimiz Primcast üzerinden listelenir ve bunlar primcast.com üzerinden kiralanır.
