GPU 独立服务器 · NVIDIA Ada Lovelace · 按月付费
我们的 RTX 4090 独立服务器搭载的是 GeForce RTX 4090D，而非完整版 RTX 4090。它保留了 4090 的 24 GB GDDR6X 显存、1,008 GB/s 显存带宽和两个 AV1 编码器，CUDA 核心数为 14,592 个，而 4090 为 16,384 个。配备一块该 GPU 的整机月费低至 $372.47。
选择我们的 RTX 4090 服务器托管，您将租用整台机器。GPU 直接直通至您自己的操作系统，拥有 root 权限和服务器的带外控制台。所示价格即为整台服务器：处理器、内存、硬盘、端口和一个 IPv4 地址，外加 GPU 本身的月租费用。
RTX 4090D 对比 RTX 4090
NVIDIA 于 2023 年 12 月 28 日发布 RTX 4090D，此前美国出口管制规定已停止 RTX 4090 在中国销售。它采用同一颗 AD102 芯片，但启用的流式多处理器更少：114 个而非 128 个。显存、加速频率和视频引擎均相同；板卡功耗上限略低。
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
任何受限于显存容量或显存速度的任务。能在 4090 的 24 GB 显存中容纳的模型，同样适用于 4090D，且生成 token 的速度同样受限于 1,008 GB/s 的带宽。视频编码使用同一对 NVENC 引擎。驱动、CUDA、PyTorch、Blender 及其他所有工具均将其视为 Ada Lovelace GeForce GPU。
受限于着色器吞吐量的工作负载：大规模训练批次、Cycles 和 OptiX 渲染、长输入上的提示词处理。4090D 在相同的 2.52 GHz 加速频率下 CUDA 核心数少 11%，因此在这些任务上预计会比 4090 落后至多这一幅度。板卡功耗为 425 W，而 4090 为 450 W。
配置方案
以下是我们订单目录中可搭载于机架式服务器的两款 RTX 40 GeForce GPU。RTX 4090D 为 24 GB 显存版本，可在单机中叠加。RTX 4070 拥有 12 GB 显存和相同的第八代 AV1 编码器，适合不需要更大显存的任务。
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
每个价格均为可搭载该 GPU 的最低配机器，即配置器打开时的默认状态，按钮会打开已预选该 GPU 的机器。其他处理器、更多内存、更大硬盘、更快端口及更多 GPU 均可在配置器中定价。布加勒斯特的配置以欧元计费；选择城市后配置器会自动切换货币。
规格选择
先按显存来估算推理规模。权重占用参数量乘以每参数的字节数，而 GPU 还需要多出四分之一到一半的显存用于 KV 缓存和运行时。下表将这一规则应用于 RTX 4070、单块 RTX 4090D，以及一台机器中的多块 4090D——llama.cpp 和 vLLM 会将模型拆分到多块 GPU 上。
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
GeForce RTX 40 系列 GPU 没有 NVLink 接口，因此一台服务器中的多块 4090D 通过 PCIe 通信。将模型拆分到多块 GPU 上进行推理，可以走这条链路。而每一步都要交换梯度的训练，每增加一块 GPU 带来的收益，不如通过 NVLink 互联的 GPU 那么明显。
需要单一大型内存空间或 ECC 内存的模型，应使用配备 48 或 80 GB 显存的计算卡或工作站 GPU。这些都在我们提供的每一款 GPU中。如需按模型逐一规划，请参阅LLM 服务器。
平台
两款 GPU 都采用 PCIe 4.0 x16 接口。Intel Xeon 机器以 PCIe 3.0 运行，到主机的带宽减半。AMD EPYC 机器为每块 GPU 提供完整的 PCIe 4.0 链路。一旦权重或场景载入 GPU 显存，链路的影响就微乎其微；但对于从系统内存持续传输数据的训练循环，以及跨 GPU 拆分模型，链路就很重要。
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
机器价格为每条产品线不含 GPU 的最低配置。RTX 40 服务器可在 New York, Miami, San Francisco and Bucharest 订购。阿姆斯特丹的机器不提供这些 GPU。每座数据中心的情况见数据中心。
工作负载
一块 RTX 4090D 可以 8-bit 运行 13B 模型并留出上下文空间，或以 4-bit 运行 30B 模型但上下文较短。在您自己的 API 后端运行 Ollama、llama.cpp 或 vLLM；提示词和输出都留在您的机器上。
第三代 RT 核心通过 OptiX 加速 Blender Cycles，也加速 Unreal Engine 和 V-Ray。按月固定价格租用光线追踪 GPU 服务器，通宵渲染而无需按小时计费。
4090D 配备两个第八代 NVENC 引擎和一个 NVDEC。两款 GPU 都支持 AV1 硬件编码，这是 RTX 30 系列做不到的，因此直播管线可以在 H.264 之外同时输出 AV1。
GeForce 驱动像桌面一样运行 DirectX、Vulkan 和 OpenGL。安装 Windows 或 Linux，即可运行云游戏主机、流式工作站或配备独立 GPU 的游戏服务器。
交付与条款
已安装并交付。即时服务器展示今天已上架的机器。
技术人员将 GPU 安装到您配置的机器中，组建磁盘阵列并安装操作系统。加装的内存或硬盘会在同一次上门时完成。
我们先订购部件，然后按上述流程组装。付款前会告知您适用哪种情况。
每条时间线从付款和风控审核通过后开始计算。大多数订单在几小时内通过；新账户的首笔订单可能需要更长时间。
机主也会在我们的市场上挂牌 RTX 40 机器，每台按月租价格由机主设定。来自我们姊妹公司 Primcast 的挂牌在 primcast.com 上租用。
规格参数
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
GPU 数据来自 NVIDIA 的 GeForce RTX 40 系列对比、视频编码与解码支持矩阵，以及已发布的 RTX 4090D 发布规格。价格、机器、城市和每台机器的 GPU 数量均读取自我们的订单目录，即结账计费所用的目录。
常见问题解答
一台配有一块 RTX 4090D 的完整服务器每月 $372.47 起。其中 GPU 为 $299，加上可搭载它的最低配机器：Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps。每增加一块 GPU 都会单独按月计费，而定制的 GPU 加装需一次性支付 $29 的安装费。
是 RTX 4090D。它拥有 RTX 4090 的 24 GB GDDR6X 显存、1,008 GB/s 带宽、2.52 GHz 加速频率和两个 AV1 编码器，但 CUDA 核心为 14,592 个，而非 16,384 个。我们在此如实说明，以免有人付款后才发现差异。
在受着色器吞吐量限制的工作负载（如渲染和训练）上，最多慢约 11%，因为它在相同频率下缺少相应比例的 CUDA 核心。在受显存容量或带宽限制的工作负载（如 LLM 令牌生成）上，两者表现应当相当。
可以。一台机器最多可装 4 块，GPU 显存总计 96 GB，配置器会显示每台机器的最大可装数量。GPU 通过 PCIe 连接，因为 GeForce RTX 40 系列 GPU 没有 NVLink。
裸金属。整台机器租给一个账户，GPU 直接直通到您的操作系统：没有虚拟机监控程序、没有 vGPU 切片、没有分时共享。您自行安装所选的 NVIDIA 驱动和 CUDA 版本。
按小时计费适用于已上架并按其现有配置出租的机器，因此取决于当天即时服务器页面列出的内容。加装到您所配置机器上的 GPU 则按月计费，无需签订合同。
适合。其第三代 RT 核心可在 Blender Cycles with OptiX、Unreal Engine、V-Ray 及其他渲染器中加速光线追踪，24 GB 显存可容纳大型场景。按月固定价格，长时间渲染与短时间渲染成本相同。
若已上架带该 GPU 的机器，审批通过后约 30 分钟即可上线。若需从库存加装 GPU，需 4 至 24 小时；若需采购 GPU，则需 5 至 10 个工作日，付款前会告知您具体时间。
位于 New York, Miami, San Francisco and Bucharest，使用 Server Room 自有网络。阿姆斯特丹的机器不提供这些 GPU。
RTX 4070 服务器完整配置每月 $262.67 起，其中 GPU 为 $179。它配备 12 GB GDDR6X 显存和一个 AV1 编码器，一台机器最多可装 4 块。
选择 GPU 数量，然后选择处理器、内存、磁盘和城市。配置器会在您每次更改时重新计价。
我们搭载的所有 GPU · RTX 30 服务器 · RTX 50 服务器 · 立即上架