L40S · NVIDIA GPU 服务器

NVIDIA L40S 独立服务器

部署高性能 NVIDIA L40S GPU 服务器,针对 AI 训练、LLM 推理、3D 渲染和视频制作进行了优化。Ada Lovelace 架构配备 48 GB ECC GDDR6 显存和三个支持 AV1 的 NVENC 编码器,可安装到您配置的机器中。

运行时间 SLA 48 GB ECC GDDR6 全球节点

NVIDIA L40S GPU 规格

NVIDIA L40S 凭借突破性的 Ada Lovelace 架构性能,在 AI 训练、图形渲染、视频转码和虚拟化方面表现出色。

NVIDIA L40S

L40S GPU 实现了卓越的性能指标:Tensor 运算 1466 TFLOPS,RT 核心能力 212 TFLOPS,单精度计算能力 91.6 TFLOPS。

架构

Ada Lovelace

显存

48GB GDDR6,带 ECC

CUDA 核心

18,176 个

最大带宽

864 GB/s

最大功耗

350 W

性能指标

第四代 Tensor Core 支持 FP8,为 AI 训练和推理工作负载提供出色的计算性能。

FP32

91.6 teraFLOPS

FP16 Tensor Core

733 teraFLOPS

FP8 Tensor Core

1,466 teraFLOPS

RT Core

212 teraFLOPS

为严苛工作负载而设计的 GPU 服务器

NVIDIA L40S GPU 裸金属服务器采用 Ada Lovelace 架构,针对 AI 训练、科学计算和高性能可视化进行了优化。

AI 训练性能

L40S GPU 的 AI 工作负载性能比上一代提升 5 倍,通过先进的张量处理快速生成高质量图像和沉浸式内容。

LLM 与生成式 AI

L40S 利用支持 FP8 的第四代 Tensor Core,提供出色的计算性能,加速 AI 和数据科学模型训练。

光线追踪加速

L40S GPU 通过先进的光线追踪能力提升设计和工程任务的渲染速度,非常适合建筑可视化和产品设计。

3D 可视化

NVIDIA L40S 增强 3D 可视化,实现更快的渲染和复杂设计的实时处理,从而提高生产力并输出高保真结果。

视频制作

NVIDIA L40S 通过三个视频编码和解码引擎(包括 AV1 编码)提升流媒体和视频内容任务,增强性能并降低总体拥有成本。

企业级安全

L40S GPU 符合数据中心标准,包括 NEBS 3 级就绪,并提供带信任根技术的安全启动,以增强安全性。

A100 对比 L40S 对比 H100

我们安装的三款数据中心显卡,以服务器中使用的 PCIe 附加卡形式进行比较。

L40S A100 80 GB H100 80 GB
架构 Ada Lovelace NVIDIA Ampere Hopper
显存 48GB GDDR6,带 ECC 80GB HBM2e 80GB HBM2e
显存带宽 864 GB/s 1,935 GB/s 2,039 GB/s
功耗 最高 350W 最高 300W 最高 350W
总线接口 PCIe Gen 4 x16 PCIe Gen 4 x16 PCIe Gen 5 x16
视频编码 3 个 NVENC,支持 AV1 无 无
NVLink 否 连接器,桥接需报价 连接器,桥接需报价
仅显卡,每月 加载中... 加载中... 加载中...

关于 NVIDIA L40S GPU 裸金属服务器的常见问题

关于部署和管理用于 AI、渲染和专业可视化工作负载的 NVIDIA L40S GPU 加速独立服务器的常见问题。

是什么让 NVIDIA L40S 成为混合 AI 和图形工作负载的理想选择?

NVIDIA L40S 基于 Ada Lovelace 架构,独特地将 AI 加速与专业图形能力相结合。它拥有 18,176 个 CUDA 核心、48GB GDDR6 显存和支持 FP8 的第四代 Tensor Core,在 AI 模型训练、LLM 推理、3D 渲染和视频制作方面表现出色。L40S 提供 1,466 teraFLOPS 的 FP8 性能,同时保持先进的光线追踪和 DLSS 3 支持,适用于可视化工作流程。

部署 L40S GPU 服务器需要多长时间?

已安装 L40S 的机器在付款验证后约 30 分钟内交付。当我们安装库存中的显卡时,需要 4 到 24 小时;需要采购的显卡则需要五到十个工作日,付款前会告知您具体情况。每台 L40S 服务器都包含即时操作系统重装,因此您无需提交支持工单即可迭代。

L40S 在 AI 工作流程中有哪些性能优势?

L40S 提供 FP8 Tensor Core 加速,专门针对大型语言模型的高效训练和推理进行了优化。48GB GDDR6 显存支持大型模型,而先进的张量运算比上一代 GPU 性能提升 5 倍。结合三个支持 AV1 的视频编码/解码引擎,L40S 可处理结合文本、图像和视频处理的多模态 AI 工作负载。

哪些工作负载从 L40S GPU 服务器中获益最多?

L40S GPU 服务器在同时需要 AI 计算和图形加速的环境中表现出色。最佳用例包括:大型语言模型训练和推理、AI 驱动的图像和视频生成、专业 3D 渲染和 CAD 工作流程、带 AV1 编码的视频转码、虚拟工作站部署(VDI),以及结合机器学习与实时可视化的混合工作负载。