NVIDIA L40S · Ada Lovelace

NVIDIA L40S GPU 独立服务器 48 GB ECC 显存,三个 AV1 编码器,自选操作系统 root 权限。

NVIDIA L40S GPU 服务器是一台物理机,L40S 48 GB 直通给你安装的操作系统,按月计费。最低完整价格为每月 $532.67,配置为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps 并加装 GPU。

  • 单租户
  • PCIe 直通
  • 不限流量端口
  • AV1 NVENC
  • 无合约

L40S 是我们为混合工作负载配备的 GPU:在一张 GPU 上完成 LLM 推理与微调、光线追踪渲染和硬件视频编码。本页给出其数据表参数、每款可搭载平台的报价、各平台上的 PCIe 链路,以及哪些场景更适合用 A100 或 H100。

数据表

NVIDIA L40S 规格参数

L40S 是一款被动散热、双槽位 PCIe 数据中心 GPU,基于 Ada Lovelace 架构,与 RTX 6000 Ada 同属 AD102 芯片家族,配备 ECC 显存,板卡功耗上限 350 W。NVIDIA 对其 Tensor 数据给出两种标称值:稠密值与结构化稀疏值;下表同时列出两者并注明区别。

规格NVIDIA L40S
架构Ada Lovelace
GPU 显存48 GB GDDR6,带 ECC
显存带宽864 GB/s
CUDA 核心18,176
Tensor Core568,第四代
RT Core142,第三代
接口PCIe 4.0 x16
板卡功耗350 W
来源:NVIDIA L40S 产品页与数据表。
计算稠密值,及稀疏值
FP3291.6 TFLOPS
TF32 Tensor183 TFLOPS 稀疏下 366
FP16 / BF16 Tensor362 TFLOPS 稀疏下 733
FP8 Tensor733 TFLOPS 稀疏下 1,466
INT8 Tensor733 TOPS 稀疏下 1,466
RT Core212 TFLOPS
视频引擎3 个 NVENC,3 个 NVDEC,AV1 编码与解码
MIG / NVLink均不支持

L40S 还支持 NVIDIA vGPU 软件和带硬件信任根的安全启动,并已具备 NEBS 3 级就绪。在我们的服务器上,整张 GPU 直通给你的操作系统,因此若要用 vGPU 拆分,需使用你自己的许可证和虚拟机监控程序。

来自订单目录

L40S 服务器价格,含搭载 GPU 的整机

L40S 可用于 2 款平台。每行是其中一款平台上最低配机器的完整月费:处理器、内存、订单页默认磁盘、不限流量端口和一个 IPv4 地址,外加 GPU。点击“配置”即打开该平台并已选好 L40S,你可继续添加内存、磁盘或更高带宽端口。

PlatformPCIe linkCheapest machineCitiesPer month
Intel Xeon Silver / GoldL40S $449/moIntel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 GbpsNew York, Bucharest, San Francisco, Miami$532.67Configure
AMD EPYCL40S $449/moAMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 GbpsNew York, Bucharest$666.59Configure

L40S 是 PCIe 4.0 GPU。在 PCIe 3.0 平台上,链路双向带宽为 16 GB/s 而非 32,会拖慢从主机内存加载权重和流式批处理,但不影响停留在 GPU 自身 864 GB/s 显存内的工作。加装 GPU 的配置需支付一次性安装费 $29。预付 3、6 或 12 个月可享最高 15% 折扣,续费时价格不上涨。

L40S 对比 A100 对比 H100

L40S、A100 或 H100:我们配备的三款数据中心 GPU

A100 和 H100 搭载 HBM,带宽高出一倍以上,并带 NVLink 连接器,但没有视频编码器。L40S 显存带宽较低,但增加了 RT Core 和三个 NVENC 引擎,且月费更低。三款均为 PCIe 版本,这是我们机箱唯一支持的形态。

来源:NVIDIA L40S 数据表、A100 数据表、H100 PCIe 产品简介。价格来自我们的订单目录,均为可搭载该 GPU 的最低配机器。
规格L40SA100 80 GBH100 80 GB PCIe
架构Ada LovelaceAmpereHopper
GPU 显存48 GB GDDR6,ECC80 GB HBM2e,ECC80 GB HBM2e,ECC
显存带宽864 GB/s1,935 GB/s2,039 GB/s
FP8支持不支持支持
RT Core142无无
视频编码3 个 NVENC,支持 AV1无无
NVLink不支持桥接连接器桥接连接器
多实例 GPU不支持最多 7 个最多 7 个
板卡功耗350 W300 W350 W
接口PCIe 4.0 x16PCIe 4.0 x16PCIe 5.0 x16
GPU 月费$449$899$1,599
完整服务器起价$532.67$972.47$1,682.67

当模型需要单卡超过 48 GB 显存、训练受显存带宽限制,或两张 GPU 需通过 NVLink 交换数据时,请选择 A100 或 H100。两者均提供于 A100 和 H100 服务器。

工作负载

NVIDIA L40S GPU 服务器擅长运行的任务

先从显存出发。权重、KV 缓存和运行时都必须装进 48 GB;装不下的任务,换更快的芯片也救不了。

AI

推理与微调

以 16 位精度服务 13B 模型绰绰有余,8 位精度可跑 30B,4 位精度加短上下文可跑 70B,并支持 LoRA 或 QLoRA 微调。当你的运行时支持 FP8 时,FP8 Tensor Core 可加速推理。

图形

渲染与 3D

RT Core 服务于通过 OptiX 使用它们的渲染器,如 Blender Cycles;48 GB 显存可承载让 24 GB 消费级 GPU 显存溢出的场景。

视频

编码与转码

三个 NVENC 和三个 NVDEC 引擎支持 AV1,因此 FFmpeg、OBS 或转码器可在硬件中编码,把 CUDA 核心留给流水线的其余部分。

模型权重能装进 48 GB 吗?

Model weights16-bit8-bit4-bit
7-8 billion parametersfits16 GBfits8 GBfits5 GB
13-14 billion parametersfits28 GBfits14 GBfits8 GB
30-34 billion parametersno68 GBtight34 GBfits19 GB
70 billion parametersno140 GBno70 GBtight38 GB

仅计算权重。“宽裕”表示权重之外还有其一半大小的空间留给 KV 缓存和运行时。“紧张”可以加载,但长提示或第二个用户就可能把 48 GB 撑爆。针对具体模型,LLM 托管会指明合适的机器;针对硬件实时频道,GPU 转码服务器可在 GPU 上运行 Flussonic 或 Wowza。

包含内容

L40S 裸金属:你掌控什么,如何计费

没有虚拟机,也没有共享 GPU:L40S 属于一台机器,机器属于你。机器和 GPU 是同一张发票上的两条月费项目,之后更换 GPU 只按差价调整账单,磁盘和 IP 地址保持不变。

Root 权限与远程控制台

你的操作系统,全新安装,拥有 root 权限,外加机器的带外控制器(iLO、iDRAC 或 BMC),用于屏幕、虚拟介质和电源管理。

由你固定的驱动

NVIDIA 驱动、CUDA 版本和框架都保持在你选择的版本,不会有人替你更新。如需在交付前安装好驱动,请在订单上写明版本。

不限流量端口

双向流量均不计费,因此数据集、检查点和编码视频不会增加账单。更高带宽端口可在订单页选择,详见 不限流量带宽。

按月付费

一次付一个月,任务结束即可停止。按小时计费仅适用于已上架且按原配置订购的 即时服务器;定制配置仍按月计费。

L40S 服务器可运行的系统

在订单页指定操作系统,交付时磁盘上就是它:Ubuntu 从 14.04 到 26.04,Windows Server 从 2008 R2 到 2025,Proxmox VE 或 VMware vSphere Hypervisor。其上的 GPU 软件栈由你决定。L40S 需要 R535 或更新版本的驱动——NVIDIA 在该分支中加入了对它的支持——以及 CUDA 12 才能启用其 FP8 Tensor Core。之后 PyTorch、vLLM、llama.cpp 和 Ollama 会识别到一块 48 GB 的设备,FFmpeg 6.0 或更新版本则带有驱动三个 NVENC 引擎的 av1_nvenc 编码器。

交付时间

L40S 服务器需要多久

取决于你下单时 GPU 所在位置,付款前会告知你适用哪种情况。以下时间均从订单审核通过起算。

  1. 30 分钟

    已上架

    机架上已有一台搭载 L40S 的机器待命。

  2. 4–24 小时

    从库存加装

    我们持有 GPU,并将其加装到你配置的机器上。

  3. 5–10 天

    采购中

    工作日,需先采购 L40S。

  4. 10–15 天

    配额分配

    工作日,由供应商确定日期。

解答

关于 L40S 服务器的常见问题

什么是 L40S 独立服务器?

一台物理服务器,配备一块 NVIDIA L40S 48 GB GPU,直通给你所安装的操作系统,拥有 root 权限、不限流量的端口,且机器上没有其他租户。按月计费,机器和 GPU 在同一张发票上分两行列出。

一台 L40S 服务器多少钱?

一台完整 L40S 服务器的最低月费为 $532.67。该机器为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps,GPU 占总价的 $449。加装 GPU 的配置需一次性支付 $29 的上架费,配置表中列出了每个平台及其各自的价格。

NVIDIA L40S 有多少个 CUDA 核心?

18,176 个 CUDA 核心,配备 568 个第四代 Tensor Core 和 142 个第三代 RT Core,基于 Ada Lovelace 架构。搭载 48 GB GDDR6 显存,支持 ECC,带宽 864 GB/s,通过 PCIe 4.0 x16 连接,功耗最高 350 W。

用于 AI,L40S 比 A100 更好吗?

对于能装入 48 GB 显存的模型推理,通常是的:它拥有 A100 所没有的 FP8 Tensor Core,而且每月成本更低。对于大型模型训练,A100 80 GB 通常更胜一筹,其 80 GB HBM2e 带宽达 1,935 GB/s,而 L40S 为 48 GB 和 864 GB/s,并且 A100 还有 NVLink 接口。H100 在训练方面领先于两者。

L40S 能运行 70B 模型吗?

4-bit 量化下可以,但余量很小:权重约占 48 GB 中的 38 GB,仅剩空间支持较短的上下文和单个用户。8-bit 下,700 亿参数约需 70 GB,需要两块 GPU 或一块 80 GB 的 GPU。

L40S 支持 NVLink 或 MIG 吗?

都不支持。L40S 没有 NVLink 接口,也不支持多实例 GPU,因此同一台服务器中的两块 L40S GPU 通过 PCIe 通信,一块 L40S 只能作为单个 GPU 运行。如果工作需要其中任一功能,请考虑 A100 或 H100。

L40S 适合视频编码吗?

适合。它拥有三个 NVENC 和三个 NVDEC 引擎,支持 AV1 编码和解码,因此 FFmpeg、OBS 或转码器可以进行硬件编码。A100 和 H100 完全没有 NVENC。

可以按小时按需租用 L40S 吗?

可以,但仅限于已上架且未更改配置的 L40S 机器,见即时服务器。费用为月费除以 730 小时再乘以 1.3,按秒计费,直至你释放机器,最低计费一小时。上表中的每个配置均为月付。

这是 L40S 云实例还是裸金属?

裸金属。你的操作系统与 GPU 之间没有虚拟机监控程序,机器上只有一个租户。你看到的是完整的 L40S 及其 48 GB 显存,而不是其中一部分。

L40S 服务器运行什么操作系统和 NVIDIA 驱动?

你在订单上指定的任何镜像,交付前安装完成:Ubuntu 从 14.04 到 26.04,Windows Server 从 2008 R2 到 2025,Proxmox VE 或 VMware vSphere Hypervisor。L40S 需要 R535 或更新版本的驱动,这是 NVIDIA 加入该 GPU 支持的分支,并需要 CUDA 12 才能使用其 FP8 Tensor Core。交付后,驱动、CUDA 版本和框架将保持在你选择的版本。

可以在一台服务器中安装两块或更多 L40S GPU 吗?

可以,但需人工报价而非结账时勾选:机箱、PCIe 通道和电源决定了可安装的数量。由于 L40S 没有 NVLink,GPU 之间通过 PCIe 通信。下单前请在聊天中咨询,或查看多 GPU 服务器。

L40S 服务器多久能交付?

若已有搭载 L40S 的机器上架,审批后约 30 分钟交付;若需安装我们库存中的 GPU,需 4 到 24 小时;若需采购 GPU,需 5 到 10 个工作日;若 GPU 处于配额分配中,需 10 到 15 个工作日。付款前我们会告知你属于哪种情况。

我需要帮助时谁来回应?

发起聊天:我们的 AI 会在几秒内回复,并可在对话中查询你的账户和 L40S 服务器。告诉它你需要人工服务,我们中的一位会接管同一对话。

纯文本

本页所有数据

GPU
NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
Cores
18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
Compute
FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
Video
3 NVENC and 3 NVDEC engines, AV1 encode and decode
L40S server from
$532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
GPU line
$449 a month on top of the machine
Platforms
Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
Cities
New York, Bucharest, San Francisco, Miami
Setup
$29 once for a build with a GPU fitted
Term
Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
Traffic
Unmetered port, no egress charge
GPU access
PCIe passthrough to your own OS, root, single tenant, no hypervisor
Delivery
About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
Not on the L40S
NVLink, Multi-Instance GPU, HBM

选择平台,然后配置 L40S 服务器

打开配置器时已默认选中 L40S,或在聊天中告诉我们型号、场景或频道数量。AI 会在几秒内回复;只要你要求,人工随时接管。