What is an L40S dedicated server?

A physical server with one NVIDIA L40S 48 GB GPU passed through to the operating system you install, with root access, an unmetered port and nobody else on the machine. It is billed by the month, with the machine and the GPU as two lines on one invoice.

How much does an L40S server cost?

The lowest monthly price for a complete L40S server is $532.67. That machine is Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps, and the GPU is $449 of the total. A build with the GPU fitted adds a one-time setup of $29, and the builds table lists every platform with its own price.

How many CUDA cores does the NVIDIA L40S have?

18,176 CUDA cores, with 568 fourth-generation Tensor Cores and 142 third-generation RT Cores, on the Ada Lovelace architecture. It carries 48 GB of GDDR6 with ECC at 864 GB/s, connects over PCIe 4.0 x16 and draws up to 350 W.

Is the L40S better than the A100 for AI?

For inference on a model that fits in 48 GB, often yes: it has FP8 Tensor Cores, which the A100 lacks, and it costs less per month. For training large models the A100 80 GB usually wins, with 80 GB of HBM2e at 1,935 GB/s against 48 GB at 864 GB/s, and an NVLink connector. The H100 is ahead of both on training.

Can an L40S run a 70B model?

At 4-bit, yes, with little room: the weights take about 38 GB of the 48, which leaves space for a short context and one user. At 8-bit, 70 billion parameters need about 70 GB, which takes two GPUs or an 80 GB one.

Does the L40S support NVLink or MIG?

Neither. The L40S has no NVLink connector and no Multi-Instance GPU, so two L40S GPUs in one server talk over PCIe, and one L40S runs as one GPU. If the job needs either feature, look at the A100 or H100.

Is the L40S good for video encoding?

Yes. It has three NVENC and three NVDEC engines with AV1 encode and decode, so FFmpeg, OBS or a transcoder encodes in hardware. The A100 and H100 have no NVENC at all.

Can I rent an L40S on demand, by the hour?

Yes, but only for an L40S machine already racked and ordered unchanged from instant servers. It costs its monthly price divided by 730 hours, times 1.3, metered by the second until you release it, with one hour as the minimum. Every build in the table above is monthly.

Is this an L40S cloud instance or bare metal?

Bare metal. There is no hypervisor between your operating system and the GPU, and the machine has one tenant. You see the full L40S with its 48 GB, not a slice of it.

Can I put two or more L40S GPUs in one server?

Yes, as a build quoted by hand rather than ticked at checkout: the chassis, its PCIe lanes and its power supply set how many fit. The GPUs talk over PCIe, since the L40S has no NVLink. Ask in chat before you order, or see multi-GPU servers.

How long does an L40S server take to deliver?

About 30 minutes after approval when a machine with an L40S is already racked, 4 to 24 hours when we fit a GPU we hold, 5 to 10 working days when the GPU is bought in, and 10 to 15 when it is on allocation. We tell you which of the four applies before you pay.

Who answers when I need help?

Start a chat: our AI replies in seconds and can look up your account and your L40S server as you talk. Say you want a person and one of us takes over the same conversation.

NVIDIA L40S · Ada Lovelace

L40S 独立服务器 48 GB ECC 显存，三个 AV1 编码器，root 权限装你自己的系统。

L40S 独立服务器是一台物理机，NVIDIA L40S GPU 直通给你安装的操作系统，按月计费。最低完整价格为每月 $532.67，配置为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps 并加装该 GPU。

单租户
PCIe 直通
不限流量端口
AV1 NVENC
无合约

L40S 是我们为混合工作负载配备的 GPU：LLM 推理与微调、光线追踪渲染和硬件视频编码，一块 GPU 全包。本页给出它的数据表参数、每款可搭载平台的报价、各平台上的 PCIe 链路，以及 A100 或 H100 更适合哪些任务。

对比各款配置 L40S 规格

数据表

NVIDIA L40S 规格参数

L40S 是一款被动散热、双槽位 PCIe 数据中心 GPU，基于 Ada Lovelace 架构，与 RTX 6000 Ada 同属 AD102 芯片家族，带 ECC 显存，板卡功耗上限 350 W。NVIDIA 对 Tensor 性能给出两组数据，一组为稠密算力，一组为结构化稀疏算力；下表两者都列，并注明区别。

规格	NVIDIA L40S
架构	Ada Lovelace
GPU 显存	48 GB GDDR6，带 ECC
显存带宽	864 GB/s
CUDA 核心	18,176
Tensor Core	568，第四代
RT Core	142，第三代
接口	PCIe 4.0 x16
板卡功耗	350 W

来源：NVIDIA L40S 产品页与数据表。
计算	稠密，以及稀疏
FP32	91.6 TFLOPS
TF32 Tensor	183 TFLOPS 稀疏下 366
FP16 / BF16 Tensor	362 TFLOPS 稀疏下 733
FP8 Tensor	733 TFLOPS 稀疏下 1,466
INT8 Tensor	733 TOPS 稀疏下 1,466
RT Core	212 TFLOPS
视频引擎	3 NVENC，3 NVDEC，AV1 编码与解码
MIG / NVLink	均不支持

L40S 还支持 NVIDIA vGPU 软件和带硬件信任根的安全启动，并符合 NEBS Level 3 就绪标准。在我们的服务器上，整块 GPU 都交给你的操作系统，因此若要用 vGPU 拆分，需使用你自己的许可证和虚拟机监控程序。

来自订单目录

L40S 服务器价格，含搭载 GPU 的整机

L40S 可搭载于 2 个平台。每行是其中一个平台上最便宜机型的完整月费：处理器、内存、订单页默认磁盘、不限流量端口和一个 IPv4 地址，外加 GPU。点击“配置”即打开该平台并已选好 L40S，你可再加内存、磁盘或更快的端口。

Platform	PCIe link	Cheapest machine	Cities	Per month
Intel Xeon Silver / GoldL40S $449/mo	PCIe 3.0 x16GPU is 4.0	Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps	New York, Bucharest, San Francisco, Miami	$532.67Configure
AMD EPYCL40S $449/mo	PCIe 4.0 x16full speed	AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps	New York, Bucharest	$666.59Configure

L40S 是 PCIe 4.0 GPU。在 PCIe 3.0 平台上，链路单向速度为 16 GB/s 而非 32，加载权重和从主机内存流式传输批次会变慢，但完全留在 GPU 自身 864 GB/s 显存内的工作不受影响。加装 GPU 的配置需支付一次性上架费 $29。预付 3、6 或 12 个月可享最高 15% 折扣，续费不涨价。

L40S 对比 A100 对比 H100

L40S、A100 或 H100：我们搭载的三款数据中心 GPU

A100 和 H100 搭载 HBM 显存，带宽是两倍以上，带 NVLink 连接器，但没有视频编码器。L40S 显存带宽较低，但多了 RT Core 和三个 NVENC 引擎，月费也更低。三款均为 PCIe 版本，这是我们机箱唯一支持的形式。

来源：NVIDIA L40S 数据表、A100 数据表、H100 PCIe 产品简介。价格来自我们的订单目录，均为可搭载该 GPU 的最便宜机型。
规格	L40S	A100 80 GB	H100 80 GB PCIe
架构	Ada Lovelace	Ampere	Hopper
GPU 显存	48 GB GDDR6，ECC	80 GB HBM2e，ECC	80 GB HBM2e，ECC
显存带宽	864 GB/s	1,935 GB/s	2,039 GB/s
FP8	支持	不支持	支持
RT Core	142	无	无
视频编码	3 NVENC，带 AV1	无	无
NVLink	不支持	桥接连接器	桥接连接器
多实例 GPU	不支持	最多 7	最多 7
板卡功耗	350 W	300 W	350 W
接口	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 5.0 x16
GPU 月费	$449	$899	$1,599
完整服务器起价	$532.67	$972.47	$1,682.67

当模型需要单卡超过 48 GB 显存、训练受显存带宽限制，或两块 GPU 需通过 NVLink 交换数据时，请选择 A100 或 H100。两者均见 A100 和 H100 服务器。

工作负载

NVIDIA L40S GPU 服务器擅长跑什么

先从显存算起。权重、KV 缓存和运行时都必须装进 48 GB；装不下的任务，换更快的芯片也救不了。

推理与微调

16 位精度跑 13B 模型游刃有余，8 位跑 30B 或 4 位跑 70B 配短上下文，以及 LoRA 或 QLoRA 微调。若你的运行时支持 FP8，FP8 Tensor Core 可加速推理。

图形

渲染与 3D

RT Core 服务通过 OptiX 使用它们的渲染器，如 Blender Cycles；48 GB 显存可容纳让 24 GB 消费级 GPU 爆显存的场景。

视频

编码与转码

三个 NVENC 和三个 NVDEC 引擎，支持 AV1，FFmpeg、OBS 或转码器可用硬件编码，把 CUDA 核心留给流水线的其余部分。

模型权重装得进 48 GB 吗？

Model weights	16-bit	8-bit	4-bit
7-8 billion parameters	fits16 GB	fits8 GB	fits5 GB
13-14 billion parameters	fits28 GB	fits14 GB	fits8 GB
30-34 billion parameters	no68 GB	tight34 GB	fits19 GB
70 billion parameters	no140 GB	no70 GB	tight38 GB

仅计算权重。“装得下”指权重占用后仍有一半大小的空闲空间留给 KV 缓存和运行时。“勉强”能加载，但长提示或第二个用户就可能把 48 GB 撑爆。针对具体模型，LLM 托管会给出机型建议；硬件直播频道则见 GPU 转码服务器，在 GPU 上运行 Flussonic 或 Wowza。

包含内容

L40S 裸金属：你掌控什么，如何计费

没有虚拟机，也没有共享 GPU：L40S 属于一台机器，这台机器属于你。机器和 GPU 是同一张发票上的两行月费，日后更换 GPU 只按差价调整账单，磁盘和 IP 地址保持不变。

Root 权限和远程控制台

你的操作系统，干净安装，带 root 权限，外加机器的带外控制器（iLO、iDRAC 或 BMC），用于屏幕、虚拟介质和电源管理。

驱动版本由你锁定

NVIDIA 驱动、CUDA 版本和框架都保持在你选择的版本，不会有人替你更新。如需在交付前装好驱动，请在订单上写明版本。

不限流量端口

双向流量均不计费，数据集、检查点和编码视频都不会增加账单。更快的端口见订单页和不限流量带宽。

按月付费

一个月一付，任务结束即可停止。按小时计费仅适用于已上架且按原配置订购的即时服务器；定制配置仍按月计费。

交付时间

L40S 服务器需要多久

取决于你下单时 GPU 在哪里，付款前会告知你属于哪种情况。以下时间均从订单确认后起算。

30 分钟
已上架
一台搭载 L40S 的机器已在机架上待命。
4–24 小时
从库存加装
我们有 GPU 库存，装到你配置的机器上。
5–10 天
现购
工作日，需先采购 L40S。
10–15 天
配额分配
工作日，由供应商确定日期。

解答

关于 L40S 服务器的常见问题

什么是 L40S 独立服务器？

一台物理服务器，配备一块 NVIDIA L40S 48 GB GPU，直通给你安装的操作系统，拥有 root 权限、不限流量的端口，机器上没有其他用户。按月计费，机器和 GPU 在同一张发票上分两行列出。

一台 L40S 服务器多少钱？

一台完整 L40S 服务器的最低月费是 $532.67。该机器为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps，GPU 占总价的 $449。加装 GPU 的配置需一次性支付 $29 的安装费，配置表中列出了每个平台及其各自的价格。

NVIDIA L40S 有多少个 CUDA 核心？

18,176 个 CUDA 核心，配备 568 个第四代 Tensor Core 和 142 个第三代 RT Core，基于 Ada Lovelace 架构。搭载 48 GB 带 ECC 的 GDDR6，带宽 864 GB/s，通过 PCIe 4.0 x16 连接，功耗最高 350 W。

做 AI 的话，L40S 比 A100 更好吗？

对于能装进 48 GB 的模型做推理，通常是的：它有 FP8 Tensor Core，而 A100 没有，而且每月成本更低。训练大模型时 A100 80 GB 通常胜出，它拥有 80 GB HBM2e、1,935 GB/s 带宽，对比 48 GB 和 864 GB/s，还有 NVLink 接口。H100 在训练方面领先两者。

L40S 能跑 70B 模型吗？

4-bit 量化下可以，但余量很小：权重约占 48 GB 中的 38 GB，剩下空间只够短上下文和单个用户。8-bit 下，700 亿参数大约需要 70 GB，需要两块 GPU 或一块 80 GB 的 GPU。

L40S 支持 NVLink 或 MIG 吗？

都不支持。L40S 没有 NVLink 接口，也不支持多实例 GPU，所以一台服务器里的两块 L40S GPU 通过 PCIe 通信，一块 L40S 只能作为单个 GPU 运行。如果工作需要这两项功能，请考虑 A100 或 H100。

L40S 适合视频编码吗？

适合。它有三个 NVENC 和三个 NVDEC 引擎，支持 AV1 编码和解码，所以 FFmpeg、OBS 或转码器可以用硬件编码。A100 和 H100 完全没有 NVENC。

可以按小时按需租用 L40S 吗？

可以，但仅限于已经上架且未改动配置的 L40S 机器，从即时服务器下单。费用为月费除以 730 小时再乘以 1.3，按秒计费直到你释放机器，最低一小时。上表中的每个配置都是按月计费。

这是 L40S 云实例还是裸金属？

裸金属。你的操作系统和 GPU 之间没有虚拟机监控程序，机器只有一个租户。你看到的是完整的 L40S 及其 48 GB 显存，而不是其中一部分。

能在一台服务器里放两块或更多 L40S GPU 吗？

可以，但需要人工报价的定制配置，而不是在结账时直接勾选：机箱、PCIe 通道和电源决定了能装几块。GPU 之间通过 PCIe 通信，因为 L40S 没有 NVLink。下单前请在聊天中咨询，或查看多 GPU 服务器。

L40S 服务器多久能交付？

如果已有搭载 L40S 的机器上架，审批后约 30 分钟交付；如果我们有库存 GPU 需要安装，需 4 到 24 小时；如果 GPU 需要采购，需 5 到 10 个工作日；如果是配额分配，需 10 到 15 个工作日。付款前我们会告知你属于哪种情况。

我需要帮助时谁来回应？

发起聊天：我们的 AI 几秒内回复，可以在对话中查询你的账户和 L40S 服务器。说你想找人工，我们中的一位会接管同一对话。

纯文本说明

本页所有数据

GPU: NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores: 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute: FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video: 3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from: $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line: $449 a month on top of the machine
Platforms: Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities: New York, Bucharest, San Francisco, Miami
Setup: $29 once for a build with a GPU fitted
Term: Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic: Unmetered port, no egress charge
GPU access: PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery: About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S: NVLink, Multi-Instance GPU, HBM

其他内容

其他 GPU 问题

选择平台，然后配置 L40S 服务器

打开配置器时已预选 L40S，或在聊天中告诉我们型号、场景或频道数量。AI 几秒内回复；只要你要求，人工随时接管。

配置一台 L40S 服务器