What is the difference between the NVIDIA A100 and H100?

The H100 is the generation after the A100. As the PCIe GPUs we fit, the A100 has 40 GB of HBM2 at 1,555 GB/s or 80 GB of HBM2e at 1,935 GB/s and a PCIe 4.0 interface. The H100 has 80 GB of HBM2e at 2,039 GB/s, fourth-generation Tensor Cores with FP8, and a PCIe 5.0 interface, and it draws 350 W against 250 or 300 W. All three have ECC, Multi-Instance GPU and no video encoder.

How much does an H100 dedicated server cost?

The lowest monthly price for a complete H100 80 GB server is $1,682.67. That machine is Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, and the GPU is $1,599 of the total. A build with the GPU fitted adds a one-time setup of $29, and the builds table lists every platform with its own price.

How much does an A100 server cost?

The lowest monthly price for a complete A100 server is $772.47 with the 40 GB GPU and $972.47 with the 80 GB GPU, each in the cheapest machine that takes it. The A100 40 GB build is Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Memory, disks and a faster port are priced on the order form.

Is the H100 here PCIe or SXM?

PCIe. Our chassis take PCIe add-in GPUs, so the H100 we fit is the 80 GB PCIe version with HBM2e. The SXM5 module, with HBM3 and up to 700 W, needs an HGX baseboard that none of our servers have.

Is an H100 server good for training AI models?

Yes, for models that fit in 80 GB with the training method you use. Full fine-tuning in mixed precision with Adam needs about 16 bytes per parameter before activations, so one H100 fully trains about 5 billion parameters, and LoRA or QLoRA adapters stretch it to much larger models. Past that the job needs several GPUs, which multi-GPU servers covers.

Can I put two or more A100 or H100 GPUs in one server?

Often, and it is quoted by hand rather than ticked at checkout: chassis clearance, PCIe lanes and the power supply set the count. Both GPUs carry an NVLink bridge connector, but no bridge is on the order form, so GPUs in one server talk over PCIe unless a bridge is quoted. Ask in chat before you order if the job needs one.

Can I rent an A100 or H100 server by the hour?

Only a machine already racked, ordered as it stands, from instant servers. It costs its monthly price divided by 730 hours, times 1.3, metered by the second until you release it. A build to order, like the rows on this page, is billed by the month.

How long does an A100 or H100 server take to deliver?

About 30 minutes after approval when a machine with the GPU is already racked, 4 to 24 hours when we fit a GPU we hold, 5 to 10 working days when the GPU is bought in, and 10 to 15 when it is on allocation. We say which one applies before any payment is taken.

Can an A100 or H100 transcode video?

Not in hardware. Neither has an NVENC encoder, so encoding would run in software on the GPU or the processor. They do decode, with 5 NVDEC engines on the A100 and 7 on the H100. For live transcoding pick a GPU with NVENC, such as the L40S.

Do I share the GPU with anyone?

No. The GPU is passed through to your own operating system with no hypervisor in between, and the machine has one tenant. You can still split it yourself with Multi-Instance GPU into up to seven instances for your own jobs.

Who answers when I need help?

The AI on our chat replies within seconds and can look up your account and your server while you talk. Say you want a person and one of us takes over the same conversation.

NVIDIA A100 · H100 · PCIe

A100 H100 独立服务器完整 GPU，你的操作系统，你的 root 权限。

A100 H100 独立服务器是一台物理机，搭载 NVIDIA A100（40 或 80 GB）或 H100 80 GB PCIe GPU，直通给你安装的操作系统，按月计费。最低完整价格为每月 $772.47（A100 40 GB 配置），H100 配置为 $1,682.67。

单租户
PCIe 直通
不限流量端口
ECC HBM
无合约

规格表遗漏了三件事，本页会给出答案：每块 GPU 搭配其所在机器的成本、在我们的机箱中实际获得的 PCIe 链路，以及你的任务需要哪一种。

对比配置 A100 对比 H100

A100 对比 H100

NVIDIA A100 与 H100 规格对比，针对我们安装的 PCIe GPU

两者都是为矩阵运算打造的数据中心 GPU，配备堆叠式 HBM 显存和 ECC。H100 是下一代产品：显存带宽更高，第四代 Tensor Core，并通过 Transformer Engine 支持 FP8。此处所有数据均为 PCIe 版本，这是我们机箱唯一支持的形态。

来源：NVIDIA A100 数据表、NVIDIA H100 PCIe 产品简介、NVIDIA 视频编码与解码支持矩阵。
规格	A100 40 GB	A100 80 GB	H100 80 GB PCIe
架构	Ampere	Ampere	Hopper
GPU 显存	40 GB HBM2，ECC	80 GB HBM2e，ECC	80 GB HBM2e，ECC
显存带宽	1,555 GB/s	1,935 GB/s	2,039 GB/s
Tensor Core	第三代	第三代	第四代，通过 Transformer Engine 支持 FP8
板卡功耗	250 W	300 W	350 W
GPU 接口	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 5.0 x16
多实例 GPU	最多 7 个实例	最多 7 个实例	最多 7 个实例
视频引擎	无 NVENC，5 个 NVDEC	无 NVENC，5 个 NVDEC	无 NVENC，7 个 NVDEC
NVLink	桥接连接器	桥接连接器	桥接连接器
显示输出	无	无	无

其他地方引用的 H100 数据若为 HBM3、3.35 TB/s 和最高 700 W，属于 SXM5 模块，该模块安装在 HGX 基板上。我们的服务器均不使用该模块，因此这些数字在此不适用。

来自订单目录

A100 和 H100 服务器价格，以及每块 GPU 所在的机器

每一行代表一块 GPU 及其搭载平台。价格是该平台上最便宜机器的完整月费：处理器、内存、磁盘、不限流量端口和一个 IPv4 地址，外加 GPU。点击“配置”打开该平台，可添加内存、磁盘或更快的端口。

GPU	Platform	PCIe link	Cheapest machine	Cities	Per month
A100 40 GBGPU $699/mo	Intel Xeon E5-2600 v3/v4	PCIe 3.0 x16GPU is 4.0	Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami, Amsterdam	$772.47Configure
A100 40 GBGPU $699/mo	Intel Xeon Silver / Gold	PCIe 3.0 x16GPU is 4.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami, Amsterdam	$782.67Configure
A100 40 GBGPU $699/mo	AMD EPYC	PCIe 4.0 x16full speed	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$916.59Configure
A100 80 GBGPU $899/mo	Intel Xeon E5-2600 v3/v4	PCIe 3.0 x16GPU is 4.0	Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami, Amsterdam	$972.47Configure
A100 80 GBGPU $899/mo	Intel Xeon Silver / Gold	PCIe 3.0 x16GPU is 4.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami, Amsterdam	$982.67Configure
A100 80 GBGPU $899/mo	AMD EPYC	PCIe 4.0 x16full speed	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$1,116.59Configure
H100 80 GBGPU $1,599/mo	Intel Xeon Silver / Gold	PCIe 3.0 x16GPU is 5.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami, Amsterdam	$1,682.67Configure
H100 80 GBGPU $1,599/mo	AMD EPYC	PCIe 4.0 x16GPU is 5.0	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$1,816.59Configure

配备 GPU 的配置需支付一次性设置费 $29。预付 3、6 或 12 个月可降低月费，最高优惠 15%，续费时价格不上涨。

PCIe 链路

GPU 获得的 PCIe 链路，以及何时重要

PCIe 链路以较慢一端的速度运行。H100 是 PCIe 5.0 GPU，A100 是 PCIe 4.0 GPU；配置表显示了各平台插槽提供的代数，并标出插槽为较慢一端的位置。

16 GB/sPCIe 3.0 x16，每方向
32 GB/sPCIe 4.0 x16，每方向
63 GB/sPCIe 5.0 x16，每方向

当数据持续跨总线传输时很重要：加载大型权重、从主机内存流式传输训练批次、将优化器状态卸载到 CPU，或在没有 NVLink 桥接的两块 GPU 之间移动张量。
当工作负载已驻留 GPU 显存时影响很小。HBM 读取速度为 1.5 至 2 TB/s，大约比上述任何插槽快 25 到 130 倍，因此保持加载的模型在每个平台上运行速度相同。
如果你的流水线受总线限制，请选择表中链路最新的平台，并将数据集保存在服务器本地磁盘上，而非通过网络访问。

选型

A100 还是 H100：你的任务需要哪一块

从显存入手。权重、激活值，以及训练时的优化器状态都必须装入 GPU，装不下的任务不会因为更快的芯片而获救。

A100 40 GB

用于推理和批处理作业的 A100 独立服务器

HBM、ECC 和多实例 GPU 的最低价格。适合部署中小型模型、批量评分，以及可装入 40 GB 的科学计算代码。

A100 80 GB

显存翻倍，同代架构

带宽比 40 GB 版本高出约四分之一。当模型或批次无法装入 40 GB，且原始算力并非瓶颈时适用。

H100 80 GB

用于训练的 H100 独立服务器

第四代 Tensor Core 和 FP8 提升了 Transformer 训练和推理的吞吐量，相比 A100，在框架使用 FP8 时提升最明显。当 GPU 每月大部分时间处于忙碌状态时，其价格物有所值。

模型的权重装得下吗？

Model weights	Precision	A100 40 GB	A100 or H100 80 GB
7-8 billion parameters	16-bit	fits16 GB	fits16 GB
	8-bit	fits8 GB	fits8 GB
	4-bit	fits5 GB	fits5 GB
13-14 billion parameters	16-bit	tight28 GB	fits28 GB
	8-bit	fits14 GB	fits14 GB
	4-bit	fits8 GB	fits8 GB
30-34 billion parameters	16-bit	no68 GB	no68 GB
	8-bit	no34 GB	fits34 GB
	4-bit	fits19 GB	fits19 GB
70 billion parameters	16-bit	no140 GB	no140 GB
	8-bit	no70 GB	no70 GB
	4-bit	no38 GB	fits38 GB

仅计算权重。“装得下”表示至少留出一半以上的空闲空间给 KV 缓存和运行时；“勉强”可以加载，但长上下文或第二个用户会耗尽 GPU 显存。使用 Adam 优化器进行混合精度全量微调时，每个参数在激活值之前大约需要 16 字节，因此一块 80 GB GPU 可完整训练约 50 亿参数。LoRA 和 QLoRA 可在相同显存中为更大的模型训练适配器。对于特定模型，LLM 托管会指明合适的机器。

两款 GPU 均无硬件视频编码器。如需转码，L40S 独立服务器配备三个支持 AV1 的 NVENC 引擎。

包含内容

你掌控什么，以及如何计费

机器和 GPU 是同一张发票上的两行月费。之后在同一台服务器中更换 GPU，账单按两块 GPU 的差价调整；你的磁盘和 IP 地址保持不变。

Root 权限和远程控制台

干净的操作系统、root 访问权限，以及服务器的带外控制器，用于控制台、虚拟介质和电源管理。

由你指定的驱动

你安装 NVIDIA 驱动、CUDA 版本以及代码测试所用的框架构建。希望交付时驱动已就位？请在订单中注明版本。

不限流量端口

双向流量均不计费，因此拉取数据集和推送检查点不会增加账单。更快的端口可在订单表单中选择，不限流量带宽页面列出了所有选项。

按月计费

无合约，无需签署任何文件。已上架且未改动的机器也可在即时服务器上按小时计费；按订单定制的配置则按月计费。

交付

A100 或 H100 服务器需要多久

交付时间取决于下单当天 GPU 的库存状态。付款前你会知道属于以下四种情况中的哪一种，每种情况的计时均从批准后开始。

30 分钟
已上架
搭载该 GPU 的机器已在机架中等待。
4–24 小时
现场安装
我们持有 GPU，并将其安装到你配置的机器中。
5–10 个工作日
采购中
当 GPU 需要先订购时，为工作日。
10–15 个工作日
配额分配
当 GPU 处于配额分配状态且由供应商确定日期时，为工作日。

解答

关于 A100 和 H100 服务器的常见问题

NVIDIA A100 和 H100 有什么区别？

H100 是 A100 之后的一代。就我们安装的 PCIe GPU 而言，A100 配备 40 GB HBM2（1,555 GB/s）或 80 GB HBM2e（1,935 GB/s），接口为 PCIe 4.0。H100 配备 80 GB HBM2e（2,039 GB/s）、支持 FP8 的第四代 Tensor Core，接口为 PCIe 5.0，功耗为 350 W，而 A100 为 250 或 300 W。三者均具备 ECC、多实例 GPU 功能，且都没有视频编码器。

一台 H100 独立服务器多少钱？

一台完整 H100 80 GB 服务器的最低月费为 $1,682.67。该机型为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps，其中 GPU 占总价的 $1,599。加装 GPU 的配置需一次性支付 $29 的安装费，配置表中列出了每个平台及其各自价格。

一台 A100 服务器多少钱？

一台完整 A100 服务器的最低月费为：40 GB GPU 版本 $772.47，80 GB GPU 版本 $972.47，均为可搭载该 GPU 的最便宜机型。A100 40 GB 配置为 Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps。内存、硬盘和更高端口速度的价格见订单页面。

这里的 H100 是 PCIe 版还是 SXM 版？

是 PCIe 版。我们的机箱适配 PCIe 扩展卡式 GPU，因此我们安装的 H100 是配备 HBM2e 的 80 GB PCIe 版本。SXM5 模块采用 HBM3，功耗最高可达 700 W，需要 HGX 基板，而我们的服务器均不具备。

H100 服务器适合训练 AI 模型吗？

适合，前提是模型在你所用的训练方法下能装入 80 GB 显存。使用 Adam 进行混合精度全量微调时，在计算激活值之前每个参数约需 16 字节，因此一块 H100 可完整训练约 50 亿参数的模型，而 LoRA 或 QLoRA 适配器可将其扩展到更大的模型。超过这一规模的任务需要多块 GPU，详见多 GPU 服务器。

可以在一台服务器中安装两块或更多 A100 或 H100 GPU 吗？

通常可以，但需人工报价，而非在结账时直接勾选：机箱空间、PCIe 通道和电源决定了可安装的数量。这两款 GPU 都带有 NVLink 桥接接口，但订单页中没有桥接器选项，因此同一服务器中的 GPU 之间通过 PCIe 通信，除非报价中包含桥接器。如果您的任务需要桥接器，请在下单前通过在线聊天咨询。

可以按小时租用 A100 或 H100 服务器吗？

仅限已上架、按现有配置订购的机器，见即时服务器。费用为月费除以 730 小时再乘以 1.3，按秒计费，直到您释放机器为止。按需定制的机器（如本页所列）则按月计费。

A100 或 H100 服务器多久可以交付？

如果已上架搭载该 GPU 的机器，审批通过后约 30 分钟即可交付；如果我们有现货 GPU 需要安装，需 4 到 24 小时；如果需要采购 GPU，需 5 到 10 个工作日；如果 GPU 处于配额分配状态，则需 10 到 15 个工作日。在收取任何费用之前，我们会告知您适用哪种情况。

A100 或 H100 可以转码视频吗？

不能通过硬件实现。两者都没有 NVENC 编码器，因此编码需在 GPU 或处理器上以软件方式运行。它们支持解码，A100 有 5 个 NVDEC 引擎，H100 有 7 个。如需实时转码，请选择带 NVENC 的 GPU，例如 L40S。

我会与其他人共享 GPU 吗？

不会。GPU 直通到您自己的操作系统，中间没有虚拟机监控程序，机器为单租户。您仍可使用多实例 GPU 功能自行将其划分为最多七个实例，用于您自己的工作负载。

我需要帮助时谁来响应？

我们在线聊天中的 AI 会在几秒内回复，并可在对话过程中查询您的账户和服务器信息。您只需说明需要人工客服，我们中的一位就会接管同一对话。

以纯文本呈现

本页所有数据

GPUs: NVIDIA A100 40 GB (HBM2, 1,555 GB/s, 250 W, PCIe 4.0), A100 80 GB (HBM2e, 1,935 GB/s, 300 W, PCIe 4.0), H100 80 GB PCIe (HBM2e, 2,039 GB/s, 350 W, PCIe 5.0)
A100 40 GB server from: $772.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
A100 80 GB server from: $972.47 a month, complete: Intel Xeon E5-2620 v4 Octo Core 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps with the GPU
H100 80 GB server from: $1,682.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
Platforms: Intel Xeon E5-2600 v3/v4 (PCIe 3.0); Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities: New York, Bucharest, San Francisco, Miami, Amsterdam
Setup: $29 once for a build with a GPU fitted
Term: Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic: Unmetered port, no egress charge
GPU access: PCIe passthrough to your own OS, root, no hypervisor
Delivery: About 30 minutes racked; 4 to 24 hours when we hold the GPU; 5 to 10 working days bought in; 10 to 15 on allocation
Not included: NVENC video encoding (neither GPU has one), NVLink bridge (quoted), SXM5 modules

其他内容

其他 GPU 相关问题

先选 GPU，再选其下的机器

立即配置 A100 或 H100 服务器，或在在线聊天中告知我们模型和批次大小。我们的 AI 会在几秒内回复，您需要时人工客服会加入。

配置 H100 服务器

A100 H100 独立服务器 完整 GPU，你的操作系统，你的 root 权限。