GPU 独立服务器 · NVIDIA Blackwell · 按月租用

RTX 5090 独立服务器裸金属上的 32 GB GDDR7,按月租用。

RTX 5090 独立服务器是按月租用的裸金属机器,整块 GPU 通过 PCIe 直通交给您的操作系统。较大的机器最多可搭载 4 块 RTX 5090,整台服务器每月 $472.47 起。

  • PCIe 直通
  • 不限流量端口
  • 4 个城市
  • 无合约

RTX 5080 是同一架构下的 16 GB 选项,每月 $312.67 起。两种价格均涵盖处理器、内存、硬盘、端口和一个 IPv4 地址,GPU 则作为单独的月度项目计费。先按显存选择 GPU,再在配置器中调整其余部分。

两款 GPU

RTX 5090 与 RTX 5080 服务器,均按整机定价

两者均为搭载 GDDR7 的 GeForce Blackwell GPU,配备可运行 FP4 的第五代 Tensor 核心、第四代 RT 核心和 AV1 硬件编码。RTX 5090 的 CUDA 核心数是 5080 的两倍,显存翻倍,并拥有 512 位总线,带宽达 1,792 GB/s。如果您的模型或场景能装入 16 GB,5080 能以更低的月费运行,只是速度稍慢。

32 GB GDDR7 · PCIe 5.0 x16 GPU

GeForce RTX 5090

$472.47/mo, complete server

GPU $399/mo, plus the machine:

Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

CUDA cores
21,760
Memory bus, bandwidth
512-bit, 1,792 GB/s
Boost clock
2.41 GHz
Board power
575 W
Video engines
3 NVENC, 2 NVDEC
Most per server
4
Machine lines
5
Configure an RTX 5090 server

16 GB GDDR7 · PCIe 5.0 x16 GPU

GeForce RTX 5080

$312.67/mo, complete server

GPU $229/mo, plus the machine:

Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

CUDA cores
10,752
Memory bus, bandwidth
256-bit, 960 GB/s
Boost clock
2.62 GHz
Board power
360 W
Video engines
2 NVENC, 2 NVDEC
Most per server
4
Machine lines
1
Configure an RTX 5080 server

每个价格均为配置器打开时可搭载该 GPU 的最低配机器。按钮会打开已选好该 GPU 的机器;更快的处理器、更多内存、更大硬盘和更快的端口均可在其中定价。布加勒斯特的机器以欧元计费,选择该城市后配置器会显示相应价格。

主机链路

每台 RTX 5090 服务器为 GPU 提供的 PCIe 链路

RTX 5090 和 RTX 5080 专为 PCIe 5.0 x16 打造。下方定价的机器系列以 PCIe 3.0 或 PCIe 4.0 运行 GPU 插槽,其中最快的是 PCIe 4.0。对于某些工作负载,这决定了该买哪台机器,因此这里列出每台机器为 GPU 提供的链路。

PCIe 5.0 x16what the GPU is built for63 GB/s
PCIe 3.0 x16Intel Xeon E5-2600 v3/v4 and Intel Xeon Silver / Gold15.8 GB/s
PCIe 4.0 x16AMD EPYC31.5 GB/s

链路影响甚微的情况

权重已载入 GPU 显存的推理、视频编码,以及场景加载完成后的渲染。数据在加载时穿过总线,之后便留在 GPU 上,因此 PCIe 3.0 链路只在启动时多花几秒,之后毫无影响。

链路影响显著的情况

每一步都从系统内存复制批次的训练循环、传输超出 GPU 显存大小的纹理的渲染,以及多块 GPU 拆分一个模型。GeForce RTX 50 GPU 没有 NVLink,因此多 GPU 流量也要经过 PCIe。对于这些场景,请在下表中挑选链路更快的机器。

MachinePCIe link to the GPURTX 5080RTX 5090
Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPUPCIe 3.0not offeredup to 4
Intel Xeon Silver / Goldfrom $83.67/mo without a GPUPCIe 3.0up to 4up to 4
AMD EPYCfrom $217.59/mo without a GPUPCIe 4.0not offeredup to 1
Intel Xeon Gold 3rd gen, DDR4built to order in New York, priced in the configuratorask us in chatnot offeredup to 2
Intel Xeon Gold 4th gen, DDR5built to order in New York, priced in the configuratorask us in chatnot offeredup to 2

机器价格为每条产品线不含 GPU 的最低配置。较新的按订单生产的产品线在配置器中定价;下单前请在聊天中向我们咨询其 GPU 插槽运行的 PCIe 代次。RTX 50 服务器可在 New York, Miami, San Francisco and Bucharest 订购;阿姆斯特丹的机器不提供这些 GPU。数据中心介绍了每栋建筑。

为 AI 量身定制

一台 RTX 5090 AI 服务器能容纳哪个模型

对于推理任务,显存是首要决定因素。权重占用参数量乘以每参数字节数,GPU 还需要额外四分之一到一半的显存用于 KV 缓存和运行时。下表将该规则应用于一块 RTX 5080、一块 RTX 5090 以及一台装有多块 5090 的机器。

Model size (weights)RTX 508016 GBRTX 509032 GB2 x RTX 509064 GB4 x RTX 5090128 GB
7-8 billion parameters4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits
13-14 billion parameters4-bit: Fits8-bit: No4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits
30-34 billion parameters4-bit: No8-bit: No4-bit: Fits8-bit: No4-bit: Fits8-bit: Fits4-bit: Fits8-bit: Fits
70 billion parameters4-bit: No8-bit: No4-bit: No8-bit: No4-bit: Fits8-bit: No4-bit: Fits8-bit: Fits

一块 RTX 5090:32 GB

30B 模型以 4-bit 或 13B 模型以 8-bit 加载时仍有充裕的上下文空间,可在 Ollama、llama.cpp 或 vLLM 上通过您自己的 API 提供服务。Blackwell Tensor 核心还原生支持 FP4,为其构建的运行时(如 TensorRT-LLM)可利用它更快地服务 4-bit 模型。

一台机器中的多块 RTX 5090

我们的大型机器最多可容纳 4 块,总计 128 GB 的 GPU 显存,vLLM 或 llama.cpp 可将模型拆分到这些 GPU 上。两块即可容纳 70B 模型以 4-bit 运行,且仍有富余空间。如需单块显存更大的 GPU,请查看我们适配的所有 GPU;如需逐模型的方案,请查看LLM 服务器。

工作负载

RTX 50 系列服务器能运行什么,及其局限

私有 LLM 推理

模型运行在您自己的机器上,通过您自己的端点提供服务。提示词和输出都保存在租给单一账户的硬件上,无论 GPU 整月繁忙还是闲置,账单都相同。

渲染

Blender Cycles 可在 CUDA 或 OptiX 上渲染,RT 核心能加速它及其他 GPU 渲染器中的光线追踪。安装渲染器所需的操作系统,然后整夜排队渲染帧。

视频编码

RTX 5090 配备三个 NVENC 编码器,RTX 5080 配备两个,每个都能在硬件中处理 H.264、HEVC 和 AV1。每块卡上的两个 NVDEC 解码器可分担处理器的输入侧工作。

游戏服务器与远程桌面

GeForce 驱动程序像桌面一样运行 DirectX、Vulkan 和 OpenGL。可托管游戏服务器、云游戏主机或配备专用 GPU 的远程工作站。

  • 无 ECC 模式。这些是 GeForce GPU。对于需要连续运行数周且无检查点的任务,或仅在专业 GPU 上获得认证的软件,请在GPU 服务器上选择工作站或数据中心 GPU。
  • 无 NVLink。一台机器中的多块 GPU 通过 PCIe 通信。将模型拆分到多块 GPU 上提供服务效果良好;但每一步都交换梯度的训练,每增加一块 GPU 的扩展收益会递减。
  • 大型模型的完整微调不适用。QLoRA 对 7B 到 13B 模型的微调可容纳在 32 GB 中。同一模型的完整微调则需要数倍于此的显存。

交付与条款

何时上线,以及月费包含什么

  1. 约 30 分钟

    配备该 GPU 的机器已上架

    它已安装完毕并交付,无需再装配任何部件。即时服务器列出了当前已上架的机器,这些机器也可按小时租用。

  2. 4 到 24 小时

    我们从库存中安装 GPU

    技术人员将 GPU 安装到您配置的机器中,构建磁盘阵列并安装操作系统。额外的内存或硬盘会在同一次上门服务中一并安装。

  3. 5 到 10 个工作日

    GPU 需要采购

    我们订购该部件,然后按上述流程组装。在您付款前,我们会告知您适用以上哪种情况。

包含内容
处理器、内存、磁盘、一个 IPv4 地址和不限流量的端口。双向流量均不计费。
访问权限
您自己操作系统上的 root 或管理员权限,以及独立管理网络中服务器的 iLO 或 iDRAC 控制台。
安装费
按订单安装 GPU 收取 $29 一次性费用。按原样订购已上架机器则无定制安装费。
期限
默认按月计费,无合同。3、6 和 12 个月周期可节省高达 15%。
支持
AI 助手会在几秒内回复聊天,为您查询账户和服务器信息。如需人工服务,可随时要求转接。

每个时间线均在付款和欺诈审核通过后开始。大多数订单在几小时内通过;新账户的首笔订单可能需要更长时间。

规格参数

RTX 5090 与 RTX 5080 规格参数

GPUMemoryBusBandwidthCUDA coresBoostPowerVideo
RTX 509032 GB GDDR7512-bit1,792 GB/s21,7602.41 GHz575 W3 NVENC, 2 NVDEC
RTX 508016 GB GDDR7256-bit960 GB/s10,7522.62 GHz360 W2 NVENC, 2 NVDEC

GPU 数据以 NVIDIA 公布的 GeForce RTX 50 系列为准。价格、机器、城市及每台机器的数量均读取自我们的订单目录,即结账时计费所用的目录。

常见问题解答

RTX 5090 服务器常见问题

一台 RTX 5090 独立服务器多少钱?

一台完整的 RTX 5090 服务器每月起价 $472.47:GPU 为 $399,加上支持它的最低配机器 Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps。按需加装 GPU 需一次性支付 $29 的安装费,且无合约限制。

可以按小时租用 RTX 5090 服务器吗?

只有已装好 GPU 且按现状租用的机器才支持按小时计费,最低一小时起,即时服务器页面会列出当前已上架的机型。您在此配置的机器将为您定制组装,按月计费,无合约限制。

RTX 5090 有服务器版本吗?

没有。NVIDIA 仅将 RTX 5090 作为 GeForce GPU 销售。如果您需要 NVIDIA 同时提供服务器版本的 Blackwell GPU,可以看看 RTX PRO 6000 Blackwell,它配备 96 GB GDDR7 和 ECC。我们也提供这款 96 GB GPU 的安装服务,价格见 RTX PRO 6000 服务器页面;RTX 5090 则安装在机架式服务器中,GPU 完整直通。

一台服务器可以装多块 RTX 5090 吗?

可以。我们的大型机器最多支持 4 块 RTX 5090,GPU 显存总计 128 GB,配置器会显示每台机器可支持的最大数量。每块 GPU 单独按月计费,GPU 之间通过 PCIe 互联。

RTX 5090 服务器适合跑 AI 吗?

适合推理和 QLoRA 微调。它的 32 GB 显存可容纳 4-bit 量化的 30B 模型或 8-bit 量化的 13B 模型且仍有富余,两块则可容纳 4-bit 量化的 70B 模型。它没有 ECC 模式,因此对于无检查点的长时间训练任务,数据中心级 GPU 是更稳妥的选择。

RTX 5090 还是 RTX 5080:我该选哪款服务器?

按显存来选。RTX 5080 拥有 16 GB 显存和 960 GB/s 带宽,整机每月起价 $312.67;它可容纳 8-bit 量化的 8B 模型或 4-bit 量化的 13B 模型。RTX 5090 拥有 32 GB 显存和 1,792 GB/s 带宽,适合更大的模型、更复杂的场景以及同时处理更多编码任务。

RTX 5090 能获得完整的 PCIe 5.0 链路吗?

在我们已公布链路规格的机器上不能。该 GPU 支持 PCIe 5.0 x16,但本页所列机型以 PCIe 3.0 或 PCIe 4.0 运行插槽,最快为 PCIe 4.0。对于按需定制的新机型,请在在线聊天中咨询我们插槽运行的代际。推理、编码和大多数渲染几乎不受影响;但每一步都从系统内存流式传输数据的训练任务会受到影响。

GPU 是共享或虚拟化的吗?

不是。机器仅租给一个账户,GPU 直接直通到您的操作系统。没有虚拟机监控程序、没有 vGPU 配置文件、没有时间切片,您可以自行安装所选的 NVIDIA 驱动和 CUDA 版本。

RTX 5090 服务器多久能上线?

如果已装好 GPU 的机器已上架,订单获批后约 30 分钟即可上线。若需从库存中加装 GPU,请预留 4 至 24 小时;若需采购,则需 5 至 10 个工作日。

你们的 RTX 5090 服务器位于哪里?

位于 New York, Miami, San Francisco and Bucharest,接入 Server Room 自有网络。支持 RTX 50 GPU 的机型不在阿姆斯特丹提供。

配置您的 RTX 5090 服务器

选择 GPU 及数量,然后选择处理器、内存、硬盘和城市。配置器会实时显示每一项更改的价格。

我们支持的所有 GPU · RTX 4090 服务器 · LLM 服务器 · 当前已上架