NVIDIA L40S · Ada Lovelace
NVIDIA L40S GPU 独立服务器 48 GB ECC 显存,三个 AV1 编码器,自选操作系统 root 权限。
NVIDIA L40S GPU 服务器是一台物理机,L40S 48 GB 直通给你安装的操作系统,按月计费。最低完整价格为每月 $532.67,配置为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps 并加装 GPU。
- 单租户
- PCIe 直通
- 不限流量端口
- AV1 NVENC
- 无合约
L40S 是我们为混合工作负载配备的 GPU:在一张 GPU 上完成 LLM 推理与微调、光线追踪渲染和硬件视频编码。本页给出其数据表参数、每款可搭载平台的报价、各平台上的 PCIe 链路,以及哪些场景更适合用 A100 或 H100。
数据表
NVIDIA L40S 规格参数
L40S 是一款被动散热、双槽位 PCIe 数据中心 GPU,基于 Ada Lovelace 架构,与 RTX 6000 Ada 同属 AD102 芯片家族,配备 ECC 显存,板卡功耗上限 350 W。NVIDIA 对其 Tensor 数据给出两种标称值:稠密值与结构化稀疏值;下表同时列出两者并注明区别。
| 规格 | NVIDIA L40S |
|---|---|
| 架构 | Ada Lovelace |
| GPU 显存 | 48 GB GDDR6,带 ECC |
| 显存带宽 | 864 GB/s |
| CUDA 核心 | 18,176 |
| Tensor Core | 568,第四代 |
| RT Core | 142,第三代 |
| 接口 | PCIe 4.0 x16 |
| 板卡功耗 | 350 W |
| 计算 | 稠密值,及稀疏值 |
|---|---|
| FP32 | 91.6 TFLOPS |
| TF32 Tensor | 183 TFLOPS 稀疏下 366 |
| FP16 / BF16 Tensor | 362 TFLOPS 稀疏下 733 |
| FP8 Tensor | 733 TFLOPS 稀疏下 1,466 |
| INT8 Tensor | 733 TOPS 稀疏下 1,466 |
| RT Core | 212 TFLOPS |
| 视频引擎 | 3 个 NVENC,3 个 NVDEC,AV1 编码与解码 |
| MIG / NVLink | 均不支持 |
L40S 还支持 NVIDIA vGPU 软件和带硬件信任根的安全启动,并已具备 NEBS 3 级就绪。在我们的服务器上,整张 GPU 直通给你的操作系统,因此若要用 vGPU 拆分,需使用你自己的许可证和虚拟机监控程序。
来自订单目录
L40S 服务器价格,含搭载 GPU 的整机
L40S 可用于 2 款平台。每行是其中一款平台上最低配机器的完整月费:处理器、内存、订单页默认磁盘、不限流量端口和一个 IPv4 地址,外加 GPU。点击“配置”即打开该平台并已选好 L40S,你可继续添加内存、磁盘或更高带宽端口。
| Platform | PCIe link | Cheapest machine | Cities | Per month |
|---|---|---|---|---|
| Intel Xeon Silver / GoldL40S $449/mo | PCIe 3.0 x16GPU is 4.0 | Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | New York, Bucharest, San Francisco, Miami | $532.67Configure |
| AMD EPYCL40S $449/mo | PCIe 4.0 x16full speed | AMD EPYC 7413 24 CORE 2.65 GHz 128MB L3 CACHE · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | New York, Bucharest | $666.59Configure |
L40S 是 PCIe 4.0 GPU。在 PCIe 3.0 平台上,链路双向带宽为 16 GB/s 而非 32,会拖慢从主机内存加载权重和流式批处理,但不影响停留在 GPU 自身 864 GB/s 显存内的工作。加装 GPU 的配置需支付一次性安装费 $29。预付 3、6 或 12 个月可享最高 15% 折扣,续费时价格不上涨。
L40S 对比 A100 对比 H100
L40S、A100 或 H100:我们配备的三款数据中心 GPU
A100 和 H100 搭载 HBM,带宽高出一倍以上,并带 NVLink 连接器,但没有视频编码器。L40S 显存带宽较低,但增加了 RT Core 和三个 NVENC 引擎,且月费更低。三款均为 PCIe 版本,这是我们机箱唯一支持的形态。
| 规格 | L40S | A100 80 GB | H100 80 GB PCIe |
|---|---|---|---|
| 架构 | Ada Lovelace | Ampere | Hopper |
| GPU 显存 | 48 GB GDDR6,ECC | 80 GB HBM2e,ECC | 80 GB HBM2e,ECC |
| 显存带宽 | 864 GB/s | 1,935 GB/s | 2,039 GB/s |
| FP8 | 支持 | 不支持 | 支持 |
| RT Core | 142 | 无 | 无 |
| 视频编码 | 3 个 NVENC,支持 AV1 | 无 | 无 |
| NVLink | 不支持 | 桥接连接器 | 桥接连接器 |
| 多实例 GPU | 不支持 | 最多 7 个 | 最多 7 个 |
| 板卡功耗 | 350 W | 300 W | 350 W |
| 接口 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| GPU 月费 | $449 | $899 | $1,599 |
| 完整服务器起价 | $532.67 | $972.47 | $1,682.67 |
当模型需要单卡超过 48 GB 显存、训练受显存带宽限制,或两张 GPU 需通过 NVLink 交换数据时,请选择 A100 或 H100。两者均提供于 A100 和 H100 服务器。
工作负载
NVIDIA L40S GPU 服务器擅长运行的任务
先从显存出发。权重、KV 缓存和运行时都必须装进 48 GB;装不下的任务,换更快的芯片也救不了。
AI
推理与微调
以 16 位精度服务 13B 模型绰绰有余,8 位精度可跑 30B,4 位精度加短上下文可跑 70B,并支持 LoRA 或 QLoRA 微调。当你的运行时支持 FP8 时,FP8 Tensor Core 可加速推理。
图形
渲染与 3D
RT Core 服务于通过 OptiX 使用它们的渲染器,如 Blender Cycles;48 GB 显存可承载让 24 GB 消费级 GPU 显存溢出的场景。
视频
编码与转码
三个 NVENC 和三个 NVDEC 引擎支持 AV1,因此 FFmpeg、OBS 或转码器可在硬件中编码,把 CUDA 核心留给流水线的其余部分。
模型权重能装进 48 GB 吗?
| Model weights | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7-8 billion parameters | fits16 GB | fits8 GB | fits5 GB |
| 13-14 billion parameters | fits28 GB | fits14 GB | fits8 GB |
| 30-34 billion parameters | no68 GB | tight34 GB | fits19 GB |
| 70 billion parameters | no140 GB | no70 GB | tight38 GB |
仅计算权重。“宽裕”表示权重之外还有其一半大小的空间留给 KV 缓存和运行时。“紧张”可以加载,但长提示或第二个用户就可能把 48 GB 撑爆。针对具体模型,LLM 托管会指明合适的机器;针对硬件实时频道,GPU 转码服务器可在 GPU 上运行 Flussonic 或 Wowza。
包含内容
L40S 裸金属:你掌控什么,如何计费
没有虚拟机,也没有共享 GPU:L40S 属于一台机器,机器属于你。机器和 GPU 是同一张发票上的两条月费项目,之后更换 GPU 只按差价调整账单,磁盘和 IP 地址保持不变。
Root 权限与远程控制台
你的操作系统,全新安装,拥有 root 权限,外加机器的带外控制器(iLO、iDRAC 或 BMC),用于屏幕、虚拟介质和电源管理。
由你固定的驱动
NVIDIA 驱动、CUDA 版本和框架都保持在你选择的版本,不会有人替你更新。如需在交付前安装好驱动,请在订单上写明版本。
不限流量端口
双向流量均不计费,因此数据集、检查点和编码视频不会增加账单。更高带宽端口可在订单页选择,详见 不限流量带宽。
按月付费
一次付一个月,任务结束即可停止。按小时计费仅适用于已上架且按原配置订购的 即时服务器;定制配置仍按月计费。
L40S 服务器可运行的系统
在订单页指定操作系统,交付时磁盘上就是它:Ubuntu 从 14.04 到 26.04,Windows Server 从 2008 R2 到 2025,Proxmox VE 或 VMware vSphere Hypervisor。其上的 GPU 软件栈由你决定。L40S 需要 R535 或更新版本的驱动——NVIDIA 在该分支中加入了对它的支持——以及 CUDA 12 才能启用其 FP8 Tensor Core。之后 PyTorch、vLLM、llama.cpp 和 Ollama 会识别到一块 48 GB 的设备,FFmpeg 6.0 或更新版本则带有驱动三个 NVENC 引擎的 av1_nvenc 编码器。
交付时间
L40S 服务器需要多久
取决于你下单时 GPU 所在位置,付款前会告知你适用哪种情况。以下时间均从订单审核通过起算。
- 30 分钟
已上架
机架上已有一台搭载 L40S 的机器待命。
- 4–24 小时
从库存加装
我们持有 GPU,并将其加装到你配置的机器上。
- 5–10 天
采购中
工作日,需先采购 L40S。
- 10–15 天
配额分配
工作日,由供应商确定日期。
GPU 市场
机主挂牌的 L40S 机器
机主也会在我们的市场上挂牌自己的 L40S 机器,每台按挂牌页所示月价出租。我们姊妹公司 Primcast 的挂牌也会显示在这里,并在那边出租。
解答
关于 L40S 服务器的常见问题
什么是 L40S 独立服务器?
一台物理服务器,配备一块 NVIDIA L40S 48 GB GPU,直通给你所安装的操作系统,拥有 root 权限、不限流量的端口,且机器上没有其他租户。按月计费,机器和 GPU 在同一张发票上分两行列出。
一台 L40S 服务器多少钱?
一台完整 L40S 服务器的最低月费为 $532.67。该机器为 Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps,GPU 占总价的 $449。加装 GPU 的配置需一次性支付 $29 的上架费,配置表中列出了每个平台及其各自的价格。
NVIDIA L40S 有多少个 CUDA 核心?
18,176 个 CUDA 核心,配备 568 个第四代 Tensor Core 和 142 个第三代 RT Core,基于 Ada Lovelace 架构。搭载 48 GB GDDR6 显存,支持 ECC,带宽 864 GB/s,通过 PCIe 4.0 x16 连接,功耗最高 350 W。
用于 AI,L40S 比 A100 更好吗?
对于能装入 48 GB 显存的模型推理,通常是的:它拥有 A100 所没有的 FP8 Tensor Core,而且每月成本更低。对于大型模型训练,A100 80 GB 通常更胜一筹,其 80 GB HBM2e 带宽达 1,935 GB/s,而 L40S 为 48 GB 和 864 GB/s,并且 A100 还有 NVLink 接口。H100 在训练方面领先于两者。
L40S 能运行 70B 模型吗?
4-bit 量化下可以,但余量很小:权重约占 48 GB 中的 38 GB,仅剩空间支持较短的上下文和单个用户。8-bit 下,700 亿参数约需 70 GB,需要两块 GPU 或一块 80 GB 的 GPU。
L40S 支持 NVLink 或 MIG 吗?
都不支持。L40S 没有 NVLink 接口,也不支持多实例 GPU,因此同一台服务器中的两块 L40S GPU 通过 PCIe 通信,一块 L40S 只能作为单个 GPU 运行。如果工作需要其中任一功能,请考虑 A100 或 H100。
L40S 适合视频编码吗?
适合。它拥有三个 NVENC 和三个 NVDEC 引擎,支持 AV1 编码和解码,因此 FFmpeg、OBS 或转码器可以进行硬件编码。A100 和 H100 完全没有 NVENC。
可以按小时按需租用 L40S 吗?
可以,但仅限于已上架且未更改配置的 L40S 机器,见即时服务器。费用为月费除以 730 小时再乘以 1.3,按秒计费,直至你释放机器,最低计费一小时。上表中的每个配置均为月付。
这是 L40S 云实例还是裸金属?
裸金属。你的操作系统与 GPU 之间没有虚拟机监控程序,机器上只有一个租户。你看到的是完整的 L40S 及其 48 GB 显存,而不是其中一部分。
L40S 服务器运行什么操作系统和 NVIDIA 驱动?
你在订单上指定的任何镜像,交付前安装完成:Ubuntu 从 14.04 到 26.04,Windows Server 从 2008 R2 到 2025,Proxmox VE 或 VMware vSphere Hypervisor。L40S 需要 R535 或更新版本的驱动,这是 NVIDIA 加入该 GPU 支持的分支,并需要 CUDA 12 才能使用其 FP8 Tensor Core。交付后,驱动、CUDA 版本和框架将保持在你选择的版本。
可以在一台服务器中安装两块或更多 L40S GPU 吗?
可以,但需人工报价而非结账时勾选:机箱、PCIe 通道和电源决定了可安装的数量。由于 L40S 没有 NVLink,GPU 之间通过 PCIe 通信。下单前请在聊天中咨询,或查看多 GPU 服务器。
L40S 服务器多久能交付?
若已有搭载 L40S 的机器上架,审批后约 30 分钟交付;若需安装我们库存中的 GPU,需 4 到 24 小时;若需采购 GPU,需 5 到 10 个工作日;若 GPU 处于配额分配中,需 10 到 15 个工作日。付款前我们会告知你属于哪种情况。
我需要帮助时谁来回应?
发起聊天:我们的 AI 会在几秒内回复,并可在对话中查询你的账户和 L40S 服务器。告诉它你需要人工服务,我们中的一位会接管同一对话。
纯文本
本页所有数据
- GPU
- NVIDIA L40S, Ada Lovelace, 48 GB GDDR6 with ECC, 864 GB/s, PCIe 4.0 x16, 350 W
- Cores
- 18,176 CUDA cores, 568 fourth-generation Tensor Cores, 142 third-generation RT Cores
- Compute
- FP32 91.6 TFLOPS; FP16 and BF16 Tensor 362 TFLOPS (733 with sparsity); FP8 733 TFLOPS (1,466 with sparsity)
- Video
- 3 NVENC and 3 NVDEC engines, AV1 encode and decode
- L40S server from
- $532.67 a month, complete: Intel Xeon Silver 4110 8 Core 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps with the GPU
- GPU line
- $449 a month on top of the machine
- Platforms
- Intel Xeon Silver / Gold (PCIe 3.0); AMD EPYC (PCIe 4.0)
- Cities
- New York, Bucharest, San Francisco, Miami
- Setup
- $29 once for a build with a GPU fitted
- Term
- Monthly, no contract; up to 15% off for 3, 6 or 12 months paid ahead
- Traffic
- Unmetered port, no egress charge
- GPU access
- PCIe passthrough to your own OS, root, single tenant, no hypervisor
- Delivery
- About 30 minutes racked; 4 to 24 hours fitted from stock; 5 to 10 working days bought in; 10 to 15 on allocation
- Not on the L40S
- NVLink, Multi-Instance GPU, HBM
其他内容