What is a dedicated AI server, exactly?

A physical server rented to one customer, with one or more GPUs passed through to the operating system that customer installs. No hypervisor sits between your code and the GPU, and nothing on the machine is shared: the cores, memory, disks, the full GPU and the network port are yours, with root access.

What does a dedicated AI server cost per month?

The lowest complete price with a training-class GPU is $169.93 a month: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Larger GPUs cost more, and every one is listed with its complete monthly price on GPU dedicated servers. A build with a GPU fitted to order adds a one-time setup of $29. In a cluster, each node also pays for its own port above the included speed.

Which GPU is best for a deep learning server?

Start from GPU memory, not speed. The weights, activations and optimizer state have to fit, and a job that does not fit is not fixed by a faster GPU. We list 15 training-class GPU models, with up to 80 GB of memory on one GPU. For training that streams batches from the host, also check the PCIe column; for serving a model that stays loaded, it matters much less.

Can I put several GPUs in one dedicated AI server?

Often, and it is quoted rather than ticked at checkout. Slot clearance, the width of the GPU, the PCIe lanes per socket and the power supply set the count for a given chassis. Tell us the GPU in chat and the quote comes back with the chassis, the count and a date. Two GPUs do not pool their memory unless your framework splits the model across them.

Do you offer GPU clusters with InfiniBand?

Not as a catalog item. Nodes connect over Ethernet, one port per node, from 1 Gbps included up to 100 Gbps. InfiniBand, or a GPU-to-GPU bridge between machines, is a quote, and the answer can be no. Ask before you plan a job around it.

How fast can two of my servers talk to each other?

As fast as the slower of their two ports. The top port is 100 Gbps, available on Intel Xeon Silver / Gold. Keep the nodes in one city: between cities, distance adds latency that a faster port does not remove.

Is traffic between my nodes metered?

No. Every port is unmetered in both directions, with no transfer allowance and no egress charge. Copying datasets, syncing gradients and writing checkpoints between your nodes costs the port price and nothing more.

Do I share the GPU with other customers?

No. One machine, one account. The GPU is on PCIe passthrough, with no MIG partition, no vGPU profile and no time-slicing, so the benchmark you run on day one still holds on day ninety.

Which driver and CUDA version comes installed?

The ones you install. The server is handed over with a clean operating system and root access, and you choose the driver, the CUDA or ROCm release and the framework versions. If you want a driver in place at handover, name the exact version on the order.

How fast is a dedicated AI server delivered?

About 30 minutes after payment approval for a machine that is already racked and taken as it is. 4 to 24 hours when we build it from our stock, 5 to 10 working days when a part is bought in, and 10 to 15 working days for GPUs on distributor allocation. A quote for several nodes names the slowest part before you pay.

Where are your AI servers located?

New York, Miami, San Francisco, Amsterdam and Bucharest. Not every city holds every GPU platform: New York and Bucharest hold all 4. Machines in Amsterdam and Bucharest are billed in euros.

Can I rent an AI server monthly, without a contract?

Yes. Each machine runs month to month with nothing to sign. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for a single order is paid three months up front.

用于训练和推理的 GPU 服务器

专用 AI 服务器完整 GPU。您的操作系统。每个节点一个端口。

专用 AI 服务器是一整台物理机器，其 GPU 直通到您自己的操作系统，按月租用。我们的起步价为每月 $169.93，配备 Instinct MI50（16 GB HBM2），并有两种扩展方式：在一个机箱中增加更多 GPU，或在一台交换机上增加更多节点。

单租户
PCIe 直通
无出口流量费
5 个城市
无合约

本页面适用于拥有第一块 GPU 之后的阶段。它从 PCIe 通道、端口速度和城市三个方面比较我们安装 GPU 的每一个平台，按节点为集群网络定价，并在您下单前给出交付日期。

比较平台为集群定价

4platforms that take a GPU
100 Gbpstop port, per node
2sockets, one chassis
1 TBRAM, one chassis
5cities

每个节点均包含

每台专用 AI 服务器包含的内容

无论是用于深度学习的一台 GPU 服务器，还是二十台组成的集群，都包含相同的四项内容。

完整 GPU

PCIe 直通到您的操作系统。在您的代码与 GPU 之间，没有虚拟机管理程序、MIG 分区、vGPU 配置文件或时间切片。

您自己的技术栈

干净的操作系统，拥有 root 权限。您自行固定驱动程序、CUDA 或 ROCm 版本，以及代码测试所用的框架构建。

不计量的端口

双向均不计量。数据集传入、检查点传出以及节点之间的复制，永远不会出现在出口流量费用中。

秒级响应

我们的 AI 聊天在几秒内回复，并可在工作过程中查看您的账户和服务器。要求人工服务时，会有人接手。

超越单块 GPU 的扩展

深度学习服务器：增加一块 GPU 或增加一台机器

它们解决不同的瓶颈，成本不同，到货日期也不同。在比较价格之前，先找到瓶颈所在。

多 GPU 服务器

在一个机箱中增加更多 GPU

当 GPU 成为瓶颈时选择此方案：模型不再能装入 GPU 内存，或工作队列在 GPU 上排队而机器其余部分闲置。每个机箱中多于一块 GPU 需要报价而非勾选，因为插槽空间、PCIe 通道和电源决定了每种 GPU 型号的数量。

决定因素: 机箱。指定 GPU 型号后，报价会给出机箱、数量和日期。
须知: 两块 GPU 保持两个内存池。一个大型作业必须通过张量并行或流水线并行进行拆分，并承担 GPU 之间的通信开销。独立作业则可同时运行两倍数量。

GPU 集群

在一台交换机上增加更多机器

当机器成为瓶颈时选择此方案。此处最大的 GPU 平台止步于 2 sockets 和 1 TB 内存。超过此限制后，下一个容量单位就是另一台服务器。

决定因素: 城市和端口。协同工作的节点应放在同一栋建筑内，且每个节点需为自己的端口付费。
须知: 这里的集群是一组独立的服务器，每台单独订购、计费、升级和更换。没有集群 SKU，因此没有集群溢价，也没有最低节点数要求。

不确定自己属于哪一边？请在中发送模型大小、数据集和截止日期。如果一台机器就能满足需求，我们会如实告知。

目录实时数据

机器学习服务器平台，并排比较

我们安装 GPU 的每一个平台，按决定集群规模的关键指标排列。PCIe 代数与 GPU 页面一致。其他所有数据在每次页面加载时均来自订单目录。

From the order catalog, read when this page loaded.
Platform	PCIe to the GPU	Port ceiling	Sockets	RAM ceiling	Cities
Intel Xeon Silver / Gold	48 lanes per socketPCIe 3.0	100 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v3/v4	40 lanes per socketPCIe 3.0	40 Gbps1 Gbps included	2	1 TB	5
Intel Xeon E5-2600 v1/v2	40 lanes per socketPCIe 3.0	20 Gbps1 Gbps included	2	256 GB	3
AMD EPYC	128 lanes per socketPCIe 4.0	20 Gbps1 Gbps included	2	1 TB	2

GPU 的 PCIe 限制主机到 GPU 的传输：流式训练批次、加载场景，以及任何溢出 GPU 内存的内容。一直驻留的模型几乎用不到它。
端口上限 限制节点到节点的传输。单台机器永远不会察觉。拆分到两台机器的作业则依赖它。
城市对集群而言是首要考虑因素。您所在城市没有的平台不是一个选项。
权衡：最宽的总线，AMD EPYC 上的 PCIe 4.0，最高支持 20 Gbps。100 Gbps 端口位于 Intel Xeon Silver / Gold 上，使用较旧的总线。没有任何平台同时具备两者，因此请确定您的作业需要哪一个。

每个平台可安装的 GPU 型号，及其所属机器的月费，请见 GPU 专用服务器。

集群网络

GPU 集群端口，按节点计价

端口按机器购买，因此集群下的网络就是每个节点每月相同的线路。表格已为您完成乘法计算。

Monthly, on top of each machine. Billed in euros in Amsterdam and Bucharest.
Port	1 node	2 nodes	4 nodes	8 nodes	Platforms
1 Gbps	included	included	included	included	all 4
2 Gbps	$189	$378	$756	$1,512	all 4
3 Gbps	$299	$598	$1,196	$2,392	all 4
5 Gbps	$459	$918	$1,836	$3,672	all 4
10 Gbps	$529	$1,058	$2,116	$4,232	all 4
20 Gbps	$1,629	$3,258	$6,516	$13,032	all 4
40 Gbps	$2,799	$5,598	$11,196	$22,392	2 of 4
100 Gbps	$3,999	$7,998	$15,996	$31,992	1 of 4

阶梯并非线性。在多个节点上，低一档的更多节点比高一档的更少节点成本更低。如果作业可以良好分区，这就能多买一台服务器。
最高档位更窄。最快的端口存在于更少的平台上，而且不在总线最宽的那个平台上。
以太网，如实说明。我们两台机器之间的链路是以太网端口。任何订单表中都没有 InfiniBand 线路，也没有机器之间的 GPU 到 GPU 桥接。如果您的作业需要，请在下单前询问：这需要报价，答案可能是否定的。

每种速度均双向不计量，无传输配额。单台机器上的单个端口，请见不计量带宽。

部署位置

先选城市，再选平台

共享同一作业的节点应放在同一栋建筑内，而我们的五个城市并非都拥有相同的平台。New York and Bucharest 拥有全部平台。请先查看城市，再进行配置。

New York4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Bucharest4 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2 · AMD EPYC
Miami3 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4 · Intel Xeon E5-2600 v1/v2
San Francisco2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4
Amsterdam2 / 4Intel Xeon Silver / Gold · Intel Xeon E5-2600 v3/v4

每栋建筑的电力、运营商和访问方式，请见数据中心。如果我们两个城市之间的延迟对您的设计很重要，请让支持人员测量这些机房之间的延迟。

从下单到上架

交付日期随报价提供

多节点构建可能涉及多台机器和一份零件采购订单。报价会在您付款前指明最慢的部件，使用与按需定制相同的交付周期。

约 30 分钟
已上架，按现状交付
机器已存在并直接交付。即时服务器列出了当前已上架的机器，是寻找集群普通节点的首选。
4–24 小时
由我们的库存组装
安装 GPU、配置磁盘、安装操作系统。多个节点并行组装。
5–10 天
采购零件
我们货架上没有的零件需先订购。对于多 GPU 机箱，这通常是常态，而机箱通常是最慢的部件。
10–15 天
GPU 按配额供应
当前加速器按分销商的发货时间发货。为单个订单采购的硬件需预付三个月费用。

最后两行均为工作日。所有计时在付款和欺诈审核通过后开始。对于大额首单，银行电汇通常比银行卡付款更快通过审核。

常见问题解答

专用 AI 服务器常见问题

专用 AI 服务器到底是什么？

租给单一客户的物理服务器，配有一块或多块 GPU，直通到客户自行安装的操作系统。代码与 GPU 之间没有虚拟机监控程序，机器上没有任何共享资源：核心、内存、磁盘、整块 GPU 和网络端口都归您所有，并拥有 root 权限。

专用 AI 服务器每月费用是多少？

配备训练级 GPU 的最低完整价格为每月 $169.93：Instinct MI50（16 GB HBM2），位于 Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps。更高规格的 GPU 价格更高，每一款都在 GPU 专用服务器页面列出了完整的每月价格。按订单加装 GPU 的配置需一次性支付 $29 的安装费。在集群中，每个节点超出包含速度的端口还需另行付费。

深度学习服务器用哪款 GPU 最好？

先从 GPU 显存入手，而不是速度。权重、激活值和优化器状态都必须装得下，装不下的任务靠更快的 GPU 也解决不了。我们列出了 15 款训练级 GPU 型号，单块 GPU 显存最高可达 80 GB。对于从主机流式传输批次的训练，还要查看 PCIe 列；对于保持模型常驻内存的推理服务，这一点就不太重要了。

能在一台专用 AI 服务器中安装多块 GPU 吗？

通常可以，但需要在结算时单独报价，而不是直接勾选。插槽空间、GPU 宽度、每个插座的 PCIe 通道数和电源决定了特定机箱能容纳的数量。在聊天中告诉我们 GPU 型号，报价单会包含机箱、数量和交付日期。两块 GPU 不会合并显存，除非您的框架将模型拆分到多块 GPU 上。

你们提供带 InfiniBand 的 GPU 集群吗？

不作为目录商品提供。节点通过以太网连接，每个节点一个端口，从包含的 1 Gbps 到最高 100 Gbps。InfiniBand 或机器间的 GPU 直连桥接需要单独报价，而且答案可能是不行。请在规划依赖它的任务之前先咨询。

我的两台服务器之间通信速度有多快？

取决于两者中较慢的那个端口。最高端口速度为 100 Gbps，适用于 Intel Xeon Silver / Gold。请将节点放在同一城市：跨城市时，距离带来的延迟是更快的端口也无法消除的。

节点之间的流量会计量收费吗？

不会。每个端口双向都不限流量，没有传输配额，也没有出站费用。在节点之间复制数据集、同步梯度和写入检查点，只需支付端口价格，没有其他费用。

GPU 会与其他客户共享吗？

不会。一台机器，一个账户。GPU 通过 PCIe 直通，没有 MIG 分区、没有 vGPU 配置文件、没有时间切片，因此您第一天运行的基准测试到第九十天依然有效。

预装哪个驱动和 CUDA 版本？

由您自行安装。服务器交付时带有干净的操作系统和 root 权限，驱动、CUDA 或 ROCm 版本以及框架版本都由您选择。如果您希望在交付时就装好驱动，请在订单中注明确切版本。

专用 AI 服务器交付速度有多快？

对于已上架且按现状交付的机器，付款批准后约 30 分钟即可交付。从库存组装需要 4 到 24 小时，需要采购部件时需 5 到 10 个工作日，处于分销商配额中的 GPU 需 10 到 15 个工作日。多节点报价会在您付款前注明最慢的部件。

你们的 AI 服务器位于哪里？

纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特。并非每个城市都有所有 GPU 平台：New York and Bucharest 拥有全部 4。阿姆斯特丹和布加勒斯特的机器以欧元计费。

可以按月租用 AI 服务器，不签合同吗？

可以。每台机器按月运行，无需签署任何文件。3、6 和 12 个月周期最多可节省 15%。为单个订单采购的硬件需预付三个月费用。

数据一览

本页数据

从本页提供时的订单目录中读取，与结算时使用的数据行一致。

Lowest price: $169.93 a month, complete: Instinct MI50 (16 GB HBM2) in Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. Every other GPU and its monthly price: GPU dedicated servers.
Training-class GPUs: 15 models classed ML / HPC in the catalog, up to 80 GB of GPU memory each.
GPUs per chassis: One is a checkbox. More than one is quoted with the GPU named, because slot clearance, lanes and the power supply decide the count.
Nodes per cluster: Any number. Each node is its own server, invoice and term; no cluster SKU, no cluster premium, no minimum.
GPU platforms: 4. Widest bus: AMD EPYC (PCIe 4.0, 128 lanes per socket), port ceiling 20 Gbps, 2 of 5 cities. Fastest port: 100 Gbps on Intel Xeon Silver / Gold.
Link between nodes: Ethernet, one port per node: 1 Gbps included on each, priced steps up to 100 Gbps. No InfiniBand or GPU bridge in the catalog; ask for a quote.
One machine tops out at: 2 sockets and 1 TB of RAM.
Cities: 5: New York, Miami, San Francisco, Amsterdam, Bucharest. All GPU platforms in New York and Bucharest.
Traffic: Unmetered in both directions at every port speed. No egress charge.
Tenancy: One account per physical machine. GPUs on PCIe passthrough: no hypervisor, MIG, vGPU or time-slicing.
Software: Clean operating system with root. You install the driver, CUDA or ROCm release.
Delivery: About 30 minutes for a racked machine taken as it is; 4 to 24 hours built from stock; 5 to 10 working days for bought-in parts; 10 to 15 for allocation parts.
Term: Monthly, no contract. 3, 6 and 12-month cycles save up to 15%. Hardware bought in for one order is paid three months up front.
Support: AI chat that answers in seconds and can check your account and servers; a person on request.

下一个问题的答案在这里

GPU 专用服务器我们安装的每一款 GPU，都与其机器价格并列展示。 LLM 托管在您掌控的一台机器上运行语言模型。 NVIDIA DGX Spark一台 GB10 机器，最多可将四台联网协同工作。 不限流量带宽一台机器上的一个端口，包含速度之上的每一档速度。 按订单定制完整规格，付款前定价并注明日期。 即时服务器当前已上架并通电的机器。 数据中心集群可部署的五座建筑。定价网站上所有月度价格，汇总在一张表中。 旧硬件，更低价格这些平台中更便宜的一端，以及它们为何仍在服役。支持各方案的更换时限，以及背后的补偿额度。

告诉我们模型、数据和截止日期

立即配置最低价格的方案，或在聊天中描述任务，获取 GPU、节点和交付日期的报价。

配置服务器