Do I share the GPU with anyone?

No. One physical machine, one account, and the card passed through to the operating system you installed -- no hypervisor, no MIG partition, no vGPU profile, no time-slicing scheduler, no neighbour's batch job on your silicon. The numbers you benchmark on day one are the numbers you keep.

Will two cards fit in one machine?

Often, and it is quoted rather than ticked: chassis clearance, the card's physical width, the lane budget and the power supply set the count, so an honest answer needs the specific part. Ask, and the reply names the chassis, the count and the lead time. The usual motive is memory rather than speed -- two 48 GB cards hold a model one 80 GB card cannot.

Which driver and CUDA release ships on a Server Room GPU server?

The ones you install. The machine arrives with a clean operating system and root; you pin the driver, the CUDA or ROCm release and the framework build to what your code was validated against, and nothing moves them afterward. If you want the driver in place before handover, put the exact version on the order.

What if the card I want is not on a shelf today?

Then it is fitted from stock or bought in, and you are told which before you pay: stocked parts seat within four to twenty-four hours, bought-in parts run five to ten working days, and allocation-bound accelerators ten to fifteen. When the requirement is a machine today, https://serverroom.net/instant lists what is racked and powered right now.

Can the card change after deployment?

Yes, in the machine you already hold: no migration, no reinstall, no new addresses. It is a scheduled rack visit with a short outage, and the invoice moves by exactly the difference between the two cards. Memory, disks and port speed upgrade under the same rule.

What happens when a graphics card dies?

It is swapped, on a clock the agreement puts in writing: four hours from the moment it is reported by telephone or live chat. Miss the window and service credit follows a published schedule rather than a goodwill request.

Is the bandwidth really unmetered? What does egress cost?

Really: nothing is metered in either direction, at any port speed we sell, and egress costs zero because no meter exists to charge it from. On GPU work this is routinely the biggest line elsewhere -- a training run pulls datasets in and pushes checkpoints out, an inference endpoint answers real traffic, and per-gigabyte egress bills every one of those bytes.

Monthly here versus a GPU by the hour -- where is the crossover?

Arithmetic settles it. Hourly wins while the work is bursty and genuinely stops -- up to a few hundred hours a month. Past roughly two thirds of the month it stops being close, before counting egress, persistent storage between runs, and queue time waiting on capacity. Monthly also means the same machine, disks and addresses next month.

How is it paid, and what does the contract look like?

Card, PayPal, ACH or bank wire -- and there is no contract to sign: one month is the default term, three, six and twelve-month cycles take a discount, and renewal does not step the price up. On a larger first order a wire usually clears fraud review faster than a card.

What if the card turns out to be the wrong one?

Within three calendar days of first activation, after troubleshooting is exhausted, the refund policy applies as written: https://serverroom.net/refund-policy-us. The sizing and bus-generation sections of the page exist precisely to make that clause unnecessary -- it is cheaper for both sides when the right card is bought first.

Do you carry the newest graphics card?

Sometimes -- and it is usually the wrong specification. The newest part is scarce, on allocation, priced as if every transistor were needed, and seated on platforms that cannot feed it the bus generation it was designed for. Most GPU work is serving a model that already fits, encoding video, rendering frames or driving desktops, and for those the right card is often two generations old at a quarter of the money. Name the job; if the answer genuinely is the newest part, we say so, with the cost and the date it can exist.

裸金属上的附加显卡 · Server Room · 始于 2004 年

显卡是发票上的一行。机器是另一行。

这个行业的每一份目录都把显卡和服务器拼成一个别人定好的数字。这里把它们分开：机器有自己的月费，显卡有自己的月费，总计就是两者之和。调整下面两个控件——上面跑什么，以及任务需要多少显存——剩下的每一台都是完整的服务器，按结账时实际计费的那份目录定价。

筛选货架卡归谁用？

一台物理机对应一个账户。显卡通过 PCIe 直通交给你的操作系统——你的内核模块、你的驱动版本，路径中没有虚拟机监控程序。

工作台

两个控件。剩下的只是算术。

这里不会预留库存，也不会开通账户。每一行的数字都是插着那张显卡的整台服务器——处理器、内存、镜像磁盘、不限流量端口、一个 IPv4——而显卡自己的份额印在下面，让钱的两半都看得清清楚楚。

What runs on it?

How much card memory?

anygigabytes or more

5 GB7-8 billion parameters, 4-bit
8 GB13-14 billion parameters, 4-bit
19 GB30-34 billion parameters, 4-bit
38 GB70 billion parameters, 4-bit

估算来自订单目录，不是费率卡，而且就是结账系统自己的数字。制造商没有公布显存规格的显卡在这里不会显示数字——而且一旦显存控件离开“任意”选项，它就会从列表中消失，因为我们不会展示一个我们无法核验其是否达标的部件；问一声，我们会直接从卡上读出那个数字。有些部件可以装进不止一种机箱，价格也不止一种：这一行显示最便宜的安装方式，配置器会列出其余选项。

按页面生成时实时统计

57Cards on the shelves
$20.79Cheapest card line, per month
$91.72Cheapest complete build with a card
5Cities
0Bytes metered

渲染时从订单目录读取，从不手填。明天从商店下架一张卡，这条数据明天就会变短。今天早上哪些机器已上架并通电，是另一个问题，有它自己的页面：即时服务器。

租用权，先于一切

一个租户。整张卡。你上面没有任何调度。

直通，而不是切分。

显卡插在一台只租给一个账户的机器的物理 PCIe 插槽里，拥有它的操作系统就是你安装的那个。你加载内核模块，你锁定驱动，CUDA 或 ROCm 就保持在你代码测试过的版本。没有虚拟机监控层，没有 MIG 分区，没有 vGPU 配置文件，也没有时间片调度器——你第一个下午测到的延迟，就是你一直拥有的延迟，下午四点如此，凌晨四点也如此。

机箱遵循同样的规则：每一个核心、每一条内存、两块磁盘、root 权限，以及机器自带的 iLO 或 iDRAC，走单独的管理网络提供控制台、虚拟介质和电源管理。一个把网络搞挂的驱动实验，仍然给你留着屏幕。

不切片没有 MIG 分区，没有 vGPU 配置文件，没有按比例分配。一张卡，一个操作系统。
不排队没有调度器共享芯片。你的进程空闲时，显卡就空闲——而且仍然是你的。
不隔层裸金属。你的内核、你的模块、你的驱动版本，一直锁定，直到你自己去动它们。
不计流量数据集进来，检查点和渲染结果出去。端口上没有任何东西在统计字节数。

定价模型

两行相加。不是层级套餐。

GPU“实例”是别人替显卡买家做的决定：该为显卡周围的处理器、内存、磁盘和网络付多少钱。在这里，那些是一行，显卡是另一行，两者相加——这就是为什么上面货架的任何一端都能装进同一个机箱，也是为什么换一张卡，发票的变化正好等于两张卡之间的差价。

The machineIntel Xeon E5-2600 v1/v2Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps$70.93
The cardAny part on the shelves above$20.79 to $1,599, cheapest shelf to dearest$20.79
The portUnmetered, both directionsNo allowance, no egress line, at any speedincluded
SetupNothingNo contract; the default term is one month—

Complete machine, card fitted, per month, from$91.72

The same arithmetic at the other end of the list: H100 80GB in a complete machine is $1,682.67 a month — $2.31 an hour if the comparison is against hourly billing, and the traffic adds nothing.

配置器会对每块磁盘的价格取整，可能和这些数字差一两分钱。更长的计费周期折扣更多——定价页面把所有数字集中在一处，而更老的硬件，更低的价格是货架底端为什么存在的长期理由。

显卡内存

适配是二进制的。其他一切都只是速度。

核心与时钟频率决定模型运行多快。显卡内存决定它能否运行：权重要么驻留，要么不驻留，一张少了两 GB 的显卡不会运行得慢 — 它会退出。先定下这个数字，再考虑其他，因为这是几乎没有人印在价格旁边的规格。

算法是参数量乘以每参数字节数：16 位时每参数两字节，8 位时一字节，4 位时半字节。量化到 4 位是把模型安放到更小架子上的杠杆，它用可测量的质量换取这个位置。

预留余量。表格里只是权重，别无其他。运行时、激活值和键值缓存都住在同一块内存里，而缓存随上下文的每个 token 增长 — 38 GB 的权重无法在一张 40 GB 的显卡上从容运行。再多留四分之一到一半，或者告诉我们你实际运行的模型和上下文长度，我们会据此为你测算。

Weights alone. Leave head-room for the runtime and the context window before settling on a card.
Model	16-bit	8-bit	4-bit
7-8 billion parameters	16 GB	8 GB	5 GB
13-14 billion parameters	28 GB	14 GB	8 GB
30-34 billion parameters	68 GB	34 GB	19 GB
70 billion parameters	140 GB	70 GB	38 GB

底下的机箱

四个平台可插显卡，总线才是它们的分水岭。

每个平台给插槽不同的链路代际和通道预算，这一栏印出来是因为它改变结果，而且没有别人公布它：曾有客户在 Gen 3 平台上把一代消费级产品换成下一代，结果反而更慢，而且在我们之前就自己弄清了原因。这个数字就该印在页面上。

Intel Xeon E5-2600 v1/v2

$70.93per month, before the card

Intel Xeon E5-2630L Hex Core 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps

Cards accepted: 28
Bus to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 256 GB

Open it in the configurator →

Intel Xeon E5-2600 v3/v4

$73.47per month, before the card

Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps

Cards accepted: 44
Bus to the card: PCIe 3.0
Lanes: 40 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

Intel Xeon Silver / Gold

$83.67per month, before the card

Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps

Cards accepted: 48
Bus to the card: PCIe 3.0
Lanes: 48 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

AMD EPYC

$217.59per month, before the card

AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps

Cards accepted: 10
Bus to the card: PCIe 4.0
Lanes: 128 lanes per socket
Sockets: 2
Memory ceiling: 1 TB

Open it in the configurator →

链路代际何时重要，按工作负载衡量

为较新总线设计的显卡在较旧总线上也能正确运行；它只是无法以设计速率在链路上移动数据。这是否让你付出代价，完全取决于数据在哪里。

会让你付出代价，当流量持续穿越总线时 — 训练循环从磁盘或系统内存流式读取批次，渲染器每帧送入场景数据，任何溢出显卡内存的工作集。
不会让你付出任何代价，一旦权重驻留并保持驻留 — 对放得下的模型做推理、视频转码、大多数模拟。此时链路只承载请求和结果，而那些都很小。
不确定就说工作负载。我们会直说平台是否会成为瓶颈 — 包括当诚实的规格是更快的链路上更便宜的显卡，而不是更慢的链路上更贵的显卡时。

已包含在价格里

每台机器在你添加任何东西之前就随附的。

Root 权限，以及属于你的驱动栈

干净的操作系统和密钥。你选择驱动版本、CUDA 或 ROCm 版本和框架构建，并锁定它们 — 没有任何东西会在截止日期前悄悄升级。想在交付前装好驱动？在订单上写明版本，就会装好。
独立网络上的带外控制台

HPE 机箱上是 iLO，Dell 上是 iDRAC：键盘加屏幕控制台、虚拟介质、电源控制、传感器和硬件日志。一个卡住显示或网卡的模块，是你自己执行的重启，看着 POST — 而不是一张工单。
一个不计流量的端口

双向不限量，按所含速度及更高速度。没有传输配额，任何发票上都没有出站流量一行 — 数据集进，检查点出，一个模型服务真实流量，全部按端口价格。不限量带宽是向上的阶梯，也是本页从超大规模云账单上删掉的最大一行。
重装无需工单

一键操作系统镜像，想装多少次就装多少次，不收费 — 一次出错的驱动实验只花二十分钟。反向 DNS 由你编辑，IPv6 已包含，额外 IPv4 是目录里的一行，而不是一场谈判。
工程师轮班，全天候

每台机器都有电话、在线聊天和工单，故障组件在通过电话或聊天报告后四小时内更换。支持以书面形式公布响应时间和赔付时间表。
两大洲的五个机房

纽约、迈阿密、旧金山、阿姆斯特丹和布加勒斯特。机器所在的位置决定了你到调用它的任何东西的延迟，以及它所遵循的数据保护制度；数据中心描述了每栋建筑。

交付时间

半小时到三周，取决于显卡今天站在哪里。

一个数字在哪个方向上都是谎言，因为它从来不是一个数字：一张已经插在机架机器里的显卡是交付，一张必须采购的显卡是采购订单。我们承诺的是在你付款之前告诉你，你在哪一级台阶上。

约 30 分钟
显卡已经插在机架机器里
什么都不用装，什么都不用搬。机器装好镜像并交付。即时服务器列出此刻就立在那里的机器。
4–24 小时
从我们自己的库存安装显卡
本页的常见情况。部件在库房里；技术员插上它、组建阵列并安装操作系统。一台接近但不完全符合的机架机器 — 加内存、换硬盘、按你的布局重建阵列 — 是同一次上门，原地完成。
5–10 个工作日
显卡需要采购
我们不持有的部件先下单，然后按上述流程组装。按单定制是整份规格都由你定时的页面。
10–15 个工作日
显卡在配额分配中
当前一代加速器按分销商的日期发货，不是我们的，而且我们会在你承诺之前而不是之后点明这个最长环节。为单个客户采购的硬件报价时需预付三个月，因为如果账户第二周就关闭，这是一台我们无法再出租的机器。

每一级都从付款和反欺诈审核通过时开始 — 这是我们唯一不做承诺的步骤：大多数订单几小时内通过，新账户的首笔订单可能更久。接受银行卡、PayPal、ACH 和电汇，较大额的首笔订单用电汇通常比银行卡更快通过审核。

问过的问题，答案都在这里

这个页面要解决的十一个问题。

从聊天和工单中收集而来，大致按照买家提问的顺序排列。第一个问题曾导致真实订单流失，所以排在列表开头。

我会和别人共享 GPU 吗？: 不会。一台物理机、一个账户，显卡直通到你安装的操作系统 — 没有虚拟机监控程序，没有 MIG 分区，没有 vGPU 配置文件，没有时间片调度器，你的芯片上也没有邻居的批处理作业。你第一天基准测试得到的数字，就是你一直拥有的数字。
一台机器能装两张卡吗？: 通常可以，而且这是按报价而非勾选来确定的：机箱空间、显卡的物理宽度、通道预算和电源决定了数量，所以诚实的回答需要具体的型号。说出显卡型号，回复会带上机箱、数量和交付周期。通常的动机是显存而非速度 — 两张 48 GB 的卡能装下一个 80 GB 单卡装不下的模型 — 而当第二张卡开始看起来像第二台机器时，多 GPU 和多节点就是相邻的页面。
上面预装哪个驱动和 CUDA 版本？: 你装哪个就是哪个。机器交付时是干净的操作系统和 root 权限；你把驱动、CUDA 或 ROCm 版本以及框架构建固定到你的代码验证过的版本上，之后什么都不会动它们。如果你希望在交付前就装好驱动，把确切版本写进订单。如果某张卡必须支持某个特定的 CUDA 版本，付款前先问，我们会核实而不是猜测。
我想要的卡今天没有现货 — 那怎么办？: 那就从库存中安装或采购进来，而且付款前会告诉你属于哪种：库存件在四到二十四小时内上架，采购件需要五到十个工作日，配额受限的加速器需要十到十五个工作日。这个页面故意不打印库存数量 — 显卡是我们安装的部件，不是来来去去的商品 — 但当你需要一台今天就能用的机器时，即时服务器列出了现在已上架并通电的机器。
部署后可以换卡吗？: 可以，就在你已有的这台机器上：不用迁移，不用重装，不用换新地址。这是一次有计划的机架访问，会有短暂停机，账单按两张卡之间的差价精确调整。内存、磁盘和端口速度也按同样的规则升级。
卡坏了怎么办？: 会更换，按协议中白纸黑字写明的时限：从你通过电话或在线聊天报告的那一刻起四小时内。错过时限，服务补偿按公布的日程执行，而不是靠善意申请。支持页面有日程和电话号码。
带宽真的不限量吗？出站流量要多少钱？: 真的：我们销售的任何端口速度下，两个方向都不计量，出站流量费用为零，因为根本没有计量器可以收费。在 GPU 工作上，这在别处通常是最大的一笔开销 — 一次训练运行要拉入数据集并推送检查点，一个推理端点要应答真实流量，而按 GB 计费的出站流量会对每一个字节收费。不限量带宽是包含速度之上的更高阶梯。
这里按月租和按小时租 GPU — 分界点在哪里？: 算一算就清楚了。当工作负载是突发性的、而且真的会停下来时，按小时更划算 — 每月最多几百小时。超过大约一个月三分之二的时间后，差距就不再接近了，这还没算出站流量、运行之间的持久存储，以及等待容量的排队时间。按月租还意味着下个月还是同一台机器、同样的磁盘和地址，这对生产工作负载来说比基准测试更重要。
怎么付款，合同是什么样的？: 银行卡、PayPal、ACH 或银行电汇 — 而且没有需要签署的合同：默认期限是一个月，三个月、六个月和十二个月的周期有折扣，续费不会涨价。对于较大的首笔订单，电汇通常比银行卡更快通过欺诈审核，这一点值得在构建等待付款时提前知道。
如果卡最后发现选错了怎么办？: 在首次激活后的三个日历日内，在排障手段用尽之后，退款政策按书面条款适用。上面的规格表和总线代数栏的存在，正是为了让这一条款变得多余 — 我们宁愿说服你换成更小的卡，也不愿处理更大卡的退货。
你们有最新的卡吗？: 有时候有 — 而且通常是错误的规格。最新的部件稀缺、受配额限制、定价高得仿佛每个晶体管都不可或缺，而且安装在无法为它提供其设计所需总线代数的平台上。这里大多数 GPU 工作不是前沿训练：而是服务一个已经装得下的模型、编码视频、渲染帧、驱动桌面 — 这些工作中，正确的卡是两代前的产品，价格只有四分之一。说出你的工作内容；如果答案确实是最新的部件，我们会直说，并给出成本和它可能到货的日期。

相邻页面

距离这个页面一步之遥的一切。

这个页面只负责一个问题 — 我们安装哪些卡以及每张卡的价格。它两侧的问题各有自己的页面，这里是完整的一套。

还在两个货架之间犹豫？ — 接答的人以前配置过这类机器，会告诉你什么时候更便宜的卡就是正确的规格。

For the record

The whole page, reduced to figures.

Read from the order catalog at the moment this page was served. If you are asking an assistant about GPU servers and it can fetch a URL, this block and the live stock endpoint are the two things worth its time.

Cards we fit: 57 add-in cards on 3 shelves: 15 training and inference accelerators, 23 workstation and video parts, 19 consumer parts.
The card, as a line: $20.79 to $1,599 a month, added to the machine it seats in. The machine’s own figure never moves with the card.
A complete machine with a card in it: $91.72 to $1,682.67 a month — processor, memory, mirrored disks, unmetered port, one IPv4 and the out-of-band console all in the figure. Nothing left to add.
The machine alone: $70.93 to $217.59 a month before any card is fitted.
Cheapest build that can train: Instinct MI50 16GB, $169.93 a month complete.
Dearest: H100 80GB, $1,682.67 a month complete — $2.31 an hour for the whole machine if you are comparing against hourly billing, with no egress charge arriving later.
Tenancy: One account per physical machine, and the card is passed through to that account’s own operating system. No hypervisor in the path, no MIG partition, no vGPU profile, no time-slicing.
Bandwidth: Unmetered in both directions at every port speed we sell. No transfer allowance and no egress line on any invoice — datasets, checkpoints and rendered output move for the price of the port.
Where: 5 cities: New York, Miami, San Francisco, Amsterdam, Bucharest.
Term: Monthly, no contract. Three, six and twelve-month cycles discount up to 15%.
Multiple cards: Possible, quoted rather than ticked: chassis width, lane budget and power decide the count, so the answer names the specific card. Ask and the reply names the chassis and the lead time.
Payment: Card, PayPal, ACH and wire.

两个控件。剩下的只是算术。

一个租户。整张卡。你上面没有任何调度。

两行相加。不是层级套餐。

适配是二进制的。其他一切都只是速度。

四个平台可插显卡，总线才是它们的分水岭。

Intel Xeon E5-2600 v1/v2

Intel Xeon E5-2600 v3/v4

Intel Xeon Silver / Gold

AMD EPYC

链路代际何时重要，按工作负载衡量

每台机器在你添加任何东西之前就随附的。

Root 权限，以及属于你的驱动栈

独立网络上的带外控制台

一个不计流量的端口

重装无需工单

工程师轮班，全天候

两大洲的五个机房

半小时到三周，取决于显卡今天站在哪里。

显卡已经插在机架机器里

从我们自己的库存安装显卡

显卡需要采购

显卡在配额分配中

这个页面要解决的十一个问题。

距离这个页面一步之遥的一切。

The whole page, reduced to figures.