96 GB
带 ECC 的 GDDR7 显存
是 RTX 6000 Ada 48 GB 的两倍，也超过我们搭载的 80 GB A100 和 H100。ECC 可纠正 GPU 显存中的单比特错误，对于持续数天的运行任务至关重要。
GPU 独立服务器 · NVIDIA Blackwell · 按月付费
RTX PRO 6000 独立服务器单卡 96 GB，整机归你独享。
我们提供的 RTX PRO 6000 独立服务器是一台裸金属机器，NVIDIA RTX PRO 6000 Blackwell 直通到你自己的操作系统。整机起售价 $1,382.67 a month。GPU 搭载 96 GB GDDR7 显存，支持 ECC。No GPU in our order catalogue holds more.
- 完整 GPU，非 vGPU
- 不限流量端口
- 4 个城市
- 无合约绑定
你拥有机器的 root 权限，GPU 直连 PCIe 总线，驱动和 CUDA 版本由你选择。价格包含处理器、内存、硬盘、端口和一个 IPv4 地址，GPU 作为单独的月度项目计费。所有配置均可在配置器中调整。
GPU
RTX PRO 6000 Blackwell 为服务器带来什么
它是 NVIDIA 专业级 Blackwell GPU，是 RTX 6000 Ada 的继任者。它的四个核心部分决定了这台服务器擅长什么。
752
第五代 Tensor 核心
Tensor 核心执行 FP4、FP8 和 FP16 矩阵运算，用于推理和训练。NVIDIA 标称该 GPU 在 FP4 稀疏模式下可达 4,000 AI TOPS。
188
第四代 RT 核心
RT 核心在硬件中执行光线和三角形测试，标称 380 TFLOPS。Blender Cycles、V-Ray 和 Arnold GPU 等 OptiX 渲染器均使用它们。
4 + 4
NVENC 与 NVDEC 引擎
四个第九代编码器和四个第六代解码器，全部支持 AV1，与计算核心并列。A100 和 H100 则完全没有视频编码器。
对比加速卡
RTX PRO 6000 对比 H100、A100 及 48 GB GPU
这些是我们装配的 40 GB 及以上显存的 GPU，每款均按整台服务器计价。RTX PRO 6000 的显存比 H100 多 and costs $300 a month less as a complete server。
它舍弃的是 NVLink。一台机器里装两块，就是两个独立的 96 GB 显存池，通过 PCIe 交换数据。A100 和 H100 带有 NVLink 桥接接口，带桥接的配置需人工报价，详见 A100 或 H100 服务器。A100 80 GB 的显存读取速度也略快，1,935 GB/s 对 1,792 GB/s，在大批量服务多用户时会体现出来。
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
平台
GPU 装进哪台机器，以及它获得的 PCIe 链路
RTX PRO 6000 采用 PCIe Gen 5 接口。我们的 Intel Xeon Silver 和 Gold 机器以 PCIe 3.0 运行它；AMD EPYC 机器以 PCIe 4.0 运行它。权重或场景一旦载入 GPU 显存，链路基本闲置。它对于每一步都从系统内存复制新批次的训练循环很重要，因此这类任务请选择 EPYC 机器。
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
每个价格都是配置器打开时该机器的最简配置，按钮打开时已选好 GPU。更多处理器、内存、磁盘和更快的端口在那里计价。布加勒斯特的机器以欧元计费。阿姆斯特丹的机器不提供此 GPU。一台机器内装多块 RTX PRO 6000 需人工报价：请通过聊天咨询或查看 多 GPU 服务器。
容量规划
96 GB GPU 显存能装下什么
模型的权重占用等于参数量乘以每参数字节数。GPU 还需要额外四分之一到一半的空间用于 KV 缓存和运行时，下表即按此规则计算。70B 模型在 4-bit 下可装入并有上下文余量；在 8-bit 下能加载，但长上下文或第二个用户就会耗尽显存。
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
仅计权重，向上取整。如需逐模型规划及所需机器，请见 LLM 服务器。
工作负载
RTX PRO 6000 服务器能运行什么，以及它的边界
单 GPU 上的 LLM 推理
用 vLLM、llama.cpp 或 Ollama 在你自己的 API 后提供 4-bit 的 70B 模型或 8-bit 的 30B 模型。提示词和输出都留在你的机器上。
微调
70B 模型上的 QLoRA，或 16-bit 下 13B 模型上的 LoRA，都能装进 96 GB。ECC 显存可防止数天运行中的静默位翻转。
渲染与可视化
24 或 48 GB 装不下的场景可在单块 GPU 上渲染，无需拆分。RT 核心负责光线追踪。
大规模视频处理
四个 AV1 编码器和四个解码器可在硬件中并行转码大量直播频道，同时 CUDA 核心运行其他任务。如需配置 Flussonic 或 Wowza 的机器，请见 GPU 转码服务器。
- 无 NVLink。 一台机器内的 GPU 仅通过 PCIe 共享数据。当两块 GPU 需要以更高速度交换张量时，带 NVLink 桥接的 A100 或 H100 配置需人工报价。
- PCIe 3.0 或 4.0 插槽。 搭载它的机器都没有 Gen 5 插槽，因此 GPU 以 Gen 3 或 Gen 4 链路运行。推理和渲染几乎无感；主机到 GPU 的大量流量则会有影响。
- 不适合从零训练大型模型。 那需要多块 GPU 通过高速互联结构连接。单块 RTX PRO 6000 用于推理、微调和单 GPU 训练。
交付与条款
多久上线，月费包含什么
- 约 30 分钟
已在机架中的机器
无需装配：服务器已安装并交付。即时服务器列出当前已上架的机器。
- 4 到 24 小时
我们库存中的 GPU
技术人员将其装入你配置的机器，构建磁盘并安装操作系统。
- 5 到 10 个工作日
我们采购的 GPU
我们向分销商下单，然后进行安装。
- 10 到 15 个工作日
配额分配的 GPU
当分销商限量供应 GPU 时，你会在下单前得知日期。
- 包含
- 处理器、内存、磁盘、IPv4 和 IPv6，以及不限流量的端口。双向流量均不计费。
- 访问
- 在你自己的操作系统上拥有 root 或管理员权限，可从控制面板免费重装，服务器的带外控制台位于独立的管理网络上。
- 安装
- 按订单装配 GPU 一次性收取 $29。按现状订购的已上架机器无安装费。
- 期限
- 逐月使用，无合同。3、6 和 12 个月周期可节省高达 15%。
- 支持
- AI 助手秒回聊天，可查看你的账户和服务器；需要人工时随时转接。
所有时间线均在付款和风控审核通过后开始计算。付款前会告知你适用四种中的哪一种。
我们 GPU 市场上的 RTX PRO 6000 机器
机主也会在我们的市场上挂出 RTX PRO 6000 机器，每台价格由机主设定。标注为通过我们姊妹公司 Primcast 提供的机器在 primcast.com 上出租。
规格参数
RTX PRO 6000 Blackwell 规格
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
常见问题解答
RTX PRO 6000 服务器常见问题
一台 RTX PRO 6000 独立服务器多少钱？
一台完整的 RTX PRO 6000 服务器每月起价 $1,382.67。这是 GPU 的价格 $1,299 加上支持它的最低配机器 $83.67：Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps。按订单加装 GPU 需一次性支付 $29 的安装费，预付 12 个月可享 15% 折扣。
RTX PRO 6000 有多少个 RT 核心和 Tensor 核心？
188 个第四代 RT 核心和 752 个第五代 Tensor 核心，另有 24,064 个 CUDA 核心。NVIDIA 标称 RT 核心性能为 380 TFLOPS，Tensor 核心在 FP4 稀疏模式下为 4,000 AI TOPS。Workstation、Max-Q 和 Server 版本的核心数量相同。
RTX PRO 6000 和 RTX 6000 Ada 是同一款 GPU 吗？
不是。RTX 6000 Ada 是上一代产品，配备 48 GB GDDR6。RTX PRO 6000 采用 Blackwell 架构，配备 96 GB GDDR7、第五代 Tensor 核心和 AV1 编码器。我们两款都有：如果 48 GB 够用，RTX 6000 Ada 是更便宜的服务器选择，GPU 服务器页面列出了我们提供的所有 GPU 价格。
RTX PRO 6000 支持 NVLink 吗？
不支持。RTX PRO 6000 没有 NVLink 接口，因此一台服务器中的两块 GPU 是两个 96 GB 显存池，通过 PCIe 交换数据。A100 和 H100 带有 NVLink 桥接接口，带桥接的配置需人工报价。一台机器中安装多块 RTX PRO 6000 也需人工报价。
一块 RTX PRO 6000 能运行 70B 模型吗？
可以。4-bit 量化下，70B 模型的权重约占 38 GB，96 GB 显存还能留出空间支持长上下文和多个用户。8-bit 量化下约占 70 GB：可以加载，但余量很小。16-bit 则需要两块或更多 GPU。
GPU 是共享的还是虚拟化的？
都不是。机器租给单一账户，整块 GPU 直通到您的操作系统。没有虚拟机监控程序，也没有 vGPU 配置文件，您可以自行安装所需的 NVIDIA 驱动和 CUDA 版本。
RTX PRO 6000 服务器多久能上线？
如果已有机架上的 GPU 机器，订单获批后约 30 分钟即可上线。如果我们有库存 GPU 需要安装，需 4 到 24 小时；需要采购的 GPU 则需 5 到 10 个工作日。付款前我们会告知具体时间。
你们的 RTX PRO 6000 服务器位于哪里？
位于 New York, Miami, San Francisco and Bucharest，部署在我们自己的机架和网络上。布加勒斯特的配置以欧元计费。该 GPU 不提供阿姆斯特丹机房。
配置您的 RTX PRO 6000 服务器
选择机器、内存、硬盘和城市。配置器会实时显示每项更改的价格，GPU 已预先选定。
我们提供的所有 GPU · A100 和 H100 服务器 · L40S 服务器 · RTX 5090 服务器 · 立即上架