数据中心的网络硬件、装置和设备
人工智能正在推动对更先进计算基础设施（包括网络）的需求。网络带宽的不足常常会在驱动 AI 应用的信息处理中造成瓶颈。加速计算基础设施的速度取决于其最薄弱的环节，而这个环节往往就是网络。幸运的是，通过与 NVIDIA 合作，Supermicro 已在其多款系统中验证了全新的 NVIDIA Spectrum-X 网络平台，从而使 AI 工作负载的网络性能提升高达 1.6 倍，同时提高了能源效率并降低了总体拥有成本。结合 NVIDIA Spectrum-4 以太网交换机和 NVIDIA BlueField®-3 SuperNIC，客户现在可以利用性能最高的以太网 AI 云处理基础设施。
目前正在通过 NVIDIA Spectrum-X 网络解决方案进行验证的系统包括 Supermicro 备受欢迎的 GPU SuperServers，它们提供 4U、5U 和 8U 高度，并在以下系统中支持 NVIDIA GPU：
- Supermicro 8U GPU 服务器，配备 NVIDIA HGX H100 8-GPU 系统：
- SYS-821GE-TNHR(8U) - 英特尔 CPU
- AS -8125GS-TNHR(8U) -AMD CPU
- SYS-421GU-TNXR(4U) - 英特尔 CPU
- Supermicro 通用 GPU 服务器（4U 和 5U），配备 NVIDIA H100 PCIe GPU 或 NVIDIA L40S GPU：
- SYS-521GE-TNRT(5U) - 英特尔 CPU
- SYS-421GE-TNRT(4U) - 英特尔 CPU
- SYS-421GE-TNRT3(4U) - 英特尔 CPU
- AS -4125GS-TNRT(4U) -AMD CPU
- AS -4125GS-TNRT2(4U) -AMD CPU
这些由 NVIDIA Spectrum-X 驱动的 Supermicro 系统缩短了基于大型 Transformer 的生成式 AI 模型的训练和推理运行时间，这对于从 AI 中获取更快的成果和洞察至关重要。
除了将 AI 网络性能大幅提升 1.6 倍之外，配备 NVIDIA Spectrum-X 网络的 Supermicro 系统还受益于在多租户环境中隔离工作负载性能。允许工作负载独立地传输数据，避免可能阻碍性能的“吵闹邻居”干扰，这对于高性能应用至关重要。此外，隔离网络工作负载还提供了一项额外的安全优势，即防止一个工作负载中的恶意行为者干扰另一个独立的工作负载。NVIDIA Spectrum-X 通过为每个租户分配安全的虚拟私有云 (VPC) 来实现这种增强的工作负载隔离。
在运行高性能、高功耗的 AI 系统时，能源效率始终是一个关键问题。通过在相同的网络功耗范围内提供更高的网络性能，NVIDIA Spectrum-X 可以为更节能的 AI 环境做出贡献。这种更高的每瓦性能可降低整体功耗，并可能降低总体拥有成本。对于通常依赖功耗限制来控制能源成本的用户，配备 Spectrum-X 的 Supermicro 系统有助于确保不会超出能耗上限。
采用标准化以太网网络的用户可以确信，NVIDIA Spectrum-X 完全基于标准，并与基于以太网的堆栈完全互操作。此外，配备 NVIDIA Spectrum-X 的 Supermicro 服务器可帮助客户克服部署 AI 的最大挑战——可扩展性。凭借在单个交换机中支持 256 个 200G 端口或在两层叶脊拓扑中支持 16K 端口的能力，这些系统是满足不断发展的加速计算基础设施需求的组织的理想选择。
Supermicro 致力于满足 AI 客户的需求，这些客户不仅需要高性能网络，还需要云多租户功能，因此配备 NVIDIA Spectrum-X 的 Supermicro 系统利用融合以太网 (RoCE) 上的远程直接内存访问 (RDMA) 扩展来支持性能和多租户功能。与传统以太网相比，其性能令人惊叹，如下图所示。
NVIDIA 的突破性网络技术（包括在众多 Supermicro 服务器中）实现了 AI 网络的突破性性能、多租户性能隔离和更高的能源效率。所有这些都是在以太网网络标准的基础上，通过将 NVIDIA Spectrum-4 以太网交换机与 NVIDIA BlueField-3 SuperNIC 相结合来实现的。这种组合的最终效果是帮助缩短大型生成式 AI 模型的运行时间。对于需要更快获得关键洞察、多租户功能和未来可扩展性的客户，这些配备 NVIDIA Spectrum-X 的 Supermicro 系统是满足其需求的理想选择。