GPU 独立服务器 · NVIDIA Ampere · 按月租用
我们的 RTX 3090、3080、3070 GPU 服务器为按月租用的裸金属机器，完整 GPU 直通至您自己的操作系统。可从五款 RTX 30 GPU 中选择，显存 8 至 24 GB，搭载 Intel Xeon 或 AMD EPYC 处理器，完整服务器每月 $209.93 起。
下方每款 GPU 的价格均为完整服务器：处理器、内存、硬盘、端口和一个 IPv4 地址，另加 GPU 本身的月租。请按工作所需显存选择 GPU，其余配置可在配置器中任意调整。
五款 GPU
五款均采用 Ampere 架构，共享同一驱动与功能集：第三代 Tensor 核心、第二代 RT 核心、PCIe 4.0。区别在于显存容量与显存带宽。请从所需显存出发，选择第一款能够容纳它的 GPU。
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
每个价格均为可搭载该 GPU 的最低配机器，按配置器打开时的默认配置计。点击按钮即打开已选好该 GPU 的机器；其他处理器、更多内存、更大硬盘和更快端口均可在配置器中计价。布加勒斯特的机器以欧元计费，选择该城市后配置器会显示相应价格。
规格适配
推理时首要问题是显存，而不是速度。模型权重占用的空间等于参数量乘以每参数的字节数，GPU 还需要额外四分之一到一半的显存用于 KV 缓存和运行时。下表将该规则应用于本页的每种显存规格。
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
它是原版 RTX 3080，拥有 8,704 个 CUDA 核心。NVIDIA 后来以相同名称推出了 12 GB 版本，拥有 8,960 个核心，许多商家标注的是它的显存。以 10 GB 为标准：8B 模型在 8-bit 下加载后几乎没有剩余空间处理上下文，而 13B 模型在 8-bit 下根本无法加载。
RTX 3090 是唯一拥有 24 GB 显存的 RTX 30 GPU。我们的大型 Xeon 机器最多可搭载 3 块，总计 72 GB，llama.cpp 或 vLLM 可以将模型拆分到多块 GPU 上。两块可以紧凑地容纳 4-bit 的 70B 模型。如需单块更大显存的 GPU，请查看我们适配的所有 GPU；如需逐模型的方案，请查看LLM 服务器。
平台
每块 RTX 30 GPU 都具备 PCIe 4.0 接口。在 Intel Xeon 机器上它以 PCIe 3.0 运行；AMD EPYC 机器为 RTX 3080 提供完整的 PCIe 4.0 链路。一旦模型或场景加载到 GPU 显存中，链路的影响就微乎其微。它主要影响训练循环，因为每一步都要从系统内存流式传输批次数据。
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
机器价格是每条产品线不含 GPU 的最低配置价格。RTX 30 服务器可在 New York, Miami, San Francisco and Bucharest 订购。阿姆斯特丹的机器不提供这些 GPU。机房位置决定了到你用户的延迟以及适用的数据保护法律；数据中心介绍了每栋建筑。
工作负载
一块 RTX 3090 可以在 8-bit 下运行 13B 模型并留出上下文空间，或在 4-bit 下运行 30B 模型但上下文较短，通过 Ollama、llama.cpp 或 vLLM 在你自己的 API 后提供服务。你发送的任何内容都不会离开你的机器。
Blender Cycles 可在 CUDA 或 OptiX 上渲染，RT 核心加速光线追踪。安装渲染器所需的操作系统，按月付费即可通宵渲染。
GeForce 驱动像桌面一样运行 DirectX、Vulkan 和 OpenGL。运行游戏服务器、云游戏主机或配备专用 GPU 的远程工作站。
每块 GPU 都有一个用于 H.264 和 HEVC 的 NVENC 编码器以及一个 NVDEC 解码器。NVIDIA 允许 GeForce GPU 每系统同时进行最多 8 个编码会话，需使用 550.54.14 或更高版本的驱动。
交付与条款
无需安装：服务器已就绪并直接交付。即时服务器列出了当前已上架的产品。
技术人员安装 GPU、构建磁盘阵列并安装操作系统。额外的内存或其他硬盘会在同一次上门服务中完成安装。
所有时间线从付款和欺诈审核通过后开始计算。大多数订单在几小时内完成审核；新账户的首笔订单可能需要更长时间。
机主也会在我们的市场上挂牌 RTX 30 机器，每台按月收费，价格由机主设定。标注为来自我们姊妹公司 Primcast 的机器在 primcast.com 上出租。
规格参数
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
数据来自 NVIDIA 的 GeForce RTX 30 系列对比及其视频编码与解码支持矩阵。价格、机器、城市和每台机器的数量均读取自我们的订单目录，即结账计费所使用的目录。
常见问题解答
一台完整的 RTX 3090 服务器每月起价 $309.93。这是 GPU 的价格 $239 加上能搭载它的最低配机器：Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps。最便宜的 RTX 30 配置是 RTX 3070，价格为 $209.93。按需加装 GPU 需一次性支付 $29 的安装费。
是 10 GB 版本，拥有 8,704 个 CUDA 核心和 760 GB/s 的显存带宽。一台完整的 RTX 3080 服务器每月起价 $229.93。如果您的模型需要 12 GB，可以选择 RTX 3080 Ti，它配备 12 GB 显存和 384 位总线。
可以。我们较大型的 Xeon 机器最多可搭载 3 块 RTX 3090，GPU 显存总计 72 GB，配置器会显示每台机器可容纳的最大数量。每块 GPU 都是独立的月度计费项目，因此每增加一块，价格就按该 GPU 的单价相应增加。
对于推理和 QLoRA 微调来说，是的。它的 24 GB 显存可以容纳 8 位量化的 13B 模型并留出上下文空间，或者 4 位量化的 30B 模型配合较短的上下文。它没有 ECC 内存，因此对于长时间无检查点的训练任务，计算型 GPU 是更稳妥的选择。
如果搭载该 GPU 的机器已经上架，订单获批后大约 30 分钟即可上线；这些机器列在即时服务器页面上。如果我们需将 GPU 安装到您配置的机器中，则需要 4 到 24 小时。
都不是。整台机器租给一个账户使用，GPU 直接直通到您的操作系统。没有虚拟机监控程序、没有 vGPU 配置文件、也没有时间切片，您可以自行安装所需的 NVIDIA 驱动和 CUDA 版本。
不能。RTX 30 GPU 可以解码 AV1，但只能编码 H.264 和 HEVC，每块 GPU 配备一个 NVENC 编码器。硬件 AV1 编码从 RTX 40 系列开始支持。
位于 New York, Miami, San Francisco and Bucharest，使用 Server Room 自有网络。在阿姆斯特丹，可搭载这些 GPU 的机器不提供此配置。
先按显存选择 GPU，再选择处理器、内存、硬盘和城市。配置器会实时显示每一项更改的价格。