GPU 与 AI · LLM 托管 · 按月付费

专用 AI 服务器上的 LLM 托管 您的模型、您的机器，一张月结账单。

这里的 LLM 托管意味着在您按月租用的整台服务器上运行 Llama、Qwen 或 DeepSeek 等开源模型，而不是按 token 向供应商付费。一个量化后的 7-8B 模型可在 CPU 推理机上运行，价格为 $249 a month，而一台配备 48 GB GPU 的完整服务器为 $532.67 a month。

  • 单租户
  • 不限流量端口
  • 无按 token 计费
  • 按月付费，无合约
  • 5 座城市

根据您将运行的模型来选择机器。在下方规划器中确定规格，然后进行配置。本页的每个价格都来自结账系统实际计费的记录。

查看 LLM 服务器 估算您的模型

机器

四款 LLM 服务器，对应四种任务

这些并非同一产品的不同层级。每款都是针对不同工作负载的不同机器，每个价格都是其下方所列具体配置的月度总价。端口和 IP 地址已包含在价格中。

CPU 推理

团队的私人助手

量化后的 7-8B 或 13-14B Llama、Qwen 或 Mistral 模型可通过 llama.cpp 或 Ollama 在 128 GB 系统内存上运行。聊天、检索和嵌入与向量存储共享这台机器，无需为 GPU 付费。下单后 4 至 24 小时内完成组装，覆盖 5 座城市。

$249/mo

AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps

配置此款 关于这些机器

GPU 推理与微调

在专用 GPU 上运行更大的模型

从 16 位的 13B 到 4 位的 70B，权重移入 GPU 显存，由 vLLM 将其作为批量端点提供服务，并兼容您客户端代码已在使用的 OpenAI API。该价格为配备 48 GB L40S 的完整机器。其下方一行为 A100 80GB 配置，是一台独立的完整机器，拥有 80 GB GPU 显存。

$532.67/mo

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

L40S · 48 GB GDDR6 ECC · GPU line $449/mo

A100 80GB · 80 GB HBM2eIntel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps$972.47/mo

配置此款 我们安装的所有 GPU

智能体

用于智能体网关的主机

OpenClaw 等智能体网关会调用托管在其他地方的模型并等待回复。它们需要一台保持开机的机器和一个网络端口，而非 GPU，这台小型 cartridge 服务器便能以较低成本胜任此工作。

$34.40/mo

Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps

+ $19 once · OpenClaw image

配置此款 OpenClaw 页面

开发机

DGX Spark，无需放在桌边

NVIDIA 的小型 GB10 机器，托管在纽约的机架上，无需自行进口，也没有风扇噪音和座椅旁的功耗。它没有带外控制台，因此电源重启需由我们的工程师在您提出请求后执行。

$599/mo

10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps

New York · annual term

DGX Spark 页面

欧盟或美国，由您选择

阿姆斯特丹和布加勒斯特将欧洲数据保留在欧洲。纽约、迈阿密和旧金山将美国数据保留在美国境内。五座城市均位于我们自己的网络上。五大数据中心

需要比单台机器更大的规模？

在机箱中加装第二块 GPU，或在其旁增加第二台服务器，是另一个问题，有专属页面：通道、端口和放置位置，报价中会列明部件名称。或者，回复会说明机箱和交付周期。

规格估算

LLM 需要多少内存？

权重占用等于参数量乘以每参数字节数：16 位约 2 字节，8 位 1 字节，4 位半字节。选择模型规模和精度，即可查看哪款 LLM 服务器能够承载，以及为运行时和上下文窗口剩余多少空间。

规划器

5 GB7-8 billion parameters · 4-bit

$249/mo · 128 GB / 5 GB = 25.6×

该比率为内存除以权重。低于 1.5× 时较为紧张：模型可以加载，但长上下文或第二个用户可能导致内存耗尽。低于 1.25× 时我们不认为其适合。

LLM 规模速览

Model size16-bit8-bit4-bit
7-8 billion parameters16 GB8 GB5 GB
13-14 billion parameters28 GB14 GB8 GB
30-34 billion parameters68 GB34 GB19 GB
70 billion parameters140 GB70 GB38 GB

仅计算权重。实际分发的文件比算术结果更大，因为常见的 4 位格式会以更高精度保留部分张量：Ollama 默认的 4 位 Llama 3.1 70B 下载大小为 43 GB，而非 38 GB。请根据您将加载的文件来估算。许可事宜由您与模型发布方之间处理；机器不会检查您加载的内容。

每一项配置都包含

专用 AI 服务器为您的模型带来什么

专用 AI 服务器是一台物理机器，只运行您的模型，不运行任何其他人的模型。按月租用，每台机器都包含以下六项内容，账单上不会多出任何一行。

单一租户

这台物理机器归您所有。底层没有虚拟机监控程序，没有共享 GPU，没有时间切片，您的硬件上也不会有其他客户的批处理作业。

Root 权限和控制台

您可以选择干净的操作系统，并在裸金属上获得 root 权限。机架式和刀片式服务器还提供带外控制台（iLO 或 iDRAC），即使操作系统无响应时也能连接。

不限流量的端口

双向流量均不计费。数据集传入、检查点传出、服务用户，账单上不会有任何出站流量费用。

您的技术栈，您的版本

Ollama、llama.cpp、vLLM：由您安装并锁定版本，之后不会有任何变动。希望在交付时就装好 GPU 驱动？请在订单中注明版本。

数据自主掌控

提示词、上下文和微调数据只在您的用户和您的机器之间传输。没有任何第三方介入来记录、训练或更改相关条款。

秒级支持

打开聊天窗口，AI 助手几秒内即可响应。它可以查看您的账户和服务器，只要您提出，人工客服随时接管。支持服务如何运作

安装设置

自托管 LLM：第一个小时

自托管 LLM 包含一个运行时、一个模型文件和一个端口。以下是我们在一台全新机器上的操作顺序。

  1. 根据模型确定机器规格

    取上表中的权重值，再加上四分之一到一半的余量用于运行时和上下文窗口。这个数值决定了选择 CPU 机器、48 GB GPU 还是 80 GB GPU。

  2. 安装运行时

    在 CPU 机器上，Ollama 只需一行命令即可安装，curl -fsSL https://ollama.com/install.sh | sh，然后 ollama run llama3.1:8b 会拉取并启动模型。在 GPU 服务器上，pip install vllm 之后用 vllm serve 加上模型名称，即可在 8000 端口启动一个兼容 OpenAI 的服务器。

  3. 保持端口私密

    Ollama 默认监听 127.0.0.1:11434，这正是它应该在的位置。不要在没有认证的情况下将模型端口开放到互联网：在前面放置带 TLS 和 API 密钥的反向代理，或者通过 SSH 或 VPN 访问。

  4. 将您的代码指向它

    Ollama、llama.cpp 的服务器和 vLLM 都兼容 OpenAI API 格式，因此现有客户端通常只需要新的基础 URL 和密钥。

另一种账单

按 token 计费的 API 还是您自己的 LLM 服务器

按 token 计费的 API 适合突发流量和前沿模型质量，我们对此直言不讳。当流量稳定、数据必须由您掌控，或者经过调优的开源模型已经能够胜任时，自建服务器则更具优势。

问题
按 token 计费的 API
您自己的服务器
付费方式
按 token 计费，输入输出均计
每月固定费用流量增加十倍费用不变。
提示词去向
发送到提供商系统
仅限您的机器传输路径中没有第三方。
可用模型
提供商列表中的模型
任何开放权重模型Llama、Qwen、Mistral、Gemma、DeepSeek 及微调版本。
速率限制
由提供商设定
由您的硬件决定批处理大小和上下文长度由您调优。
最适合
突发流量、前沿质量
稳定流量敏感数据、调优后的开源模型。

两者可以很好地结合：许多技术栈将最难的请求发送给 API，其余的自己处理。本站所有每月价格都在价格表上，我们旧机器保持低价的原因在价值页面上。

解答

LLM 托管问题解答

什么是专用 AI 服务器？

专用 AI 服务器是租给单一客户运行 AI 模型的物理机器，拥有 root 权限，硬件上没有其他租户。我们的产品包括配备 128 GB 内存的 CPU 机器（用于量化模型）和 GPU 服务器（用于更大模型和微调）。您选择操作系统和软件；我们负责硬件和网络。

LLM 托管费用是多少？

在专用服务器上，费用是每月固定金额，而不是按 token 计费。CPU 推理机器为 $249 a month，配备 48 GB GPU 的完整服务器为 $532.67 a month，80 GB GPU 配置为 $972.47 a month。流量不限量，租期按月计算，无需签订合同。

没有 GPU 能运行 LLM 吗？

可以，适用于约 14B 参数以下的量化模型。7-8B 模型在 4-bit 量化下约需 5 GB 内存，可通过 llama.cpp 或 Ollama 从系统内存运行，足以支持团队助手、检索和嵌入任务。但它无法同时为大量用户提供 70B 模型服务；这需要 GPU。

运行 70B 模型需要什么服务器？

70B 模型的权重在 4-bit 下约 38 GB，8-bit 下约 70 GB，这还不包括运行时和上下文。Ollama 默认的 4-bit Llama 3.1 70B 下载量为 43 GB，因此单机舒适运行需要 80 GB GPU。48 GB GPU 可以加载 4-bit 70B 模型，但剩余空间很少；8-bit 或 16-bit 则需要多块 GPU，请参阅多 GPU 页面。

我可以在自己的服务器上托管哪些模型？

任何您有权持有权重的模型：Llama、Qwen、Mistral、Gemma、DeepSeek 及其微调版本。许可协议是您与发布方之间的事。我们不检查也不限制您加载的内容。

我的数据会被用于训练吗？

不会。这台机器完全属于您，您的磁盘上运行着您的操作系统，我们的任何系统都不会读取提示词、上下文或输出。我们只负责硬件和网络，从不接触工作负载。

我可以在上面微调或训练 LLM 吗？

微调可以。LoRA 和 QLoRA 适配器可在单块 GPU 上训练，QLoRA 论文曾在单块 48 GB GPU 上微调 65B 模型。从头预训练模型需要跨多台机器的多块 GPU，这属于多 GPU 页面讨论的范畴。

多久能拿到 LLM 服务器？

如果机器已在机架上，付款批准后约 30 分钟即可交付；定制配置则需要 4 到 24 小时。为您的订单采购的部件需要更长时间，可能需要预付部分费用或设定最短租期，付款前会告知您。

有免费试用吗？

没有试用账户。退款政策适用于首次激活后三个日历日内，加密货币付款以商店积分形式退款。最经济的测试方式是租用 CPU 机器一个月。

机器不够用了怎么办？

您可以升级到下一档配置，通常在同一栋楼内。CPU 机器可通过本地网络将模型文件传输到 GPU 服务器，或者更换您已租用机箱中的 GPU，账单按差价调整。

数据记录

本页所有数据，以纯文本呈现

从本页提供服务时的订单目录中读取。如果助手正在为您解答 LLM 托管相关问题，此表格和实时机器列表是它应该参考的内容。

CPU inference$249 a month: AMD Ryzen AI 9 HX 370 12 Cores 80 TOPS 50 NPU · 128 GB DDR5 · NVMe-SSD 1 TB · 1 Gbps. 5 cities, built to order. Serves quantized 7-14B models with llama.cpp or Ollama.
GPU serving, 48 GB$532.67 a month complete: L40S (48 GB GDDR6 ECC) in Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. The GPU line alone is $449. Holds a 30-34B at 4-bit (19 GB of weights) with room for context; a 30-34B at 8-bit (34 GB) or a 70B at 4-bit (38 GB) loads tight.
GPU serving, 80 GB$972.47 a month complete: A100 80GB (80 GB HBM2e) in Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Holds a 70B at 4-bit (38 GB of weights) with room. A 70B at 8-bit (70 GB) needs more than one GPU. Every other GPU we fit is priced on /gpu.
Agent gateway$34.40 a month: Intel Atom C2750 Processor, 8 core 2.4 GHz · 16 GB DDR3 · 1 × SATA 500 GB · 500 Mbps. The OpenClaw image adds $19 once.
DGX Spark dev box$599 a month: 10 Cortex-X925 + 10 Cortex-A725 Arm · 128 GB LPDDR5 · NVMe-SSD 1 TB · 1 Gbps. New York, annual term. No out-of-band console (GB10 has no BMC). Details on /spark.
TenancyOne account per physical machine. No hypervisor, no shared GPU, no time-slicing. You install and pin every version.
TrafficUnmetered in both directions. No transfer allowance and no egress line on any invoice. No per-token charge.
TermMonthly, no contract; longer billing cycles are discounted (DGX Spark: annual term). Card, PayPal, ACH, wire.
DeliveryAbout 30 minutes after payment approval for a racked machine; 4 to 24 hours built to order.
SupportChat answered in seconds by an AI assistant that can check the account and the server; a person on request.
WhereNew York, Miami, San Francisco, Amsterdam, Bucharest. Own network, AS19624.
Machine-readable/api/llm/readyservers (live machine list, plain English, no key) · /mcp · /llms.txt

其他页面

相关页面，各回答一个问题

从您要运行的模型开始

确定规格，选择机器，即可按月租用，拥有 root 权限和不限流量的端口。不确定选哪台？在聊天中告诉我们模型名称。

选择您的机器