資料中心的網路硬體、裝置與設備
AI 正在推動對更先進運算基礎設施的需求，其中包含網路。網路頻寬不足經常在驅動 AI 應用程式的資訊處理中造成瓶頸。加速運算基礎設施的速度取決於其最薄弱的環節，而這個環節往往就是網路。幸運的是，透過與 NVIDIA 合作，Supermicro 已在其多個系統中驗證了全新的 NVIDIA Spectrum-X 網路平台，以為 AI 工作負載提供高達 1.6 倍的網路效能提升，同時提高能源效率並降低總體擁有成本。結合 NVIDIA Spectrum-4 乙太網路交換器和 NVIDIA BlueField®-3 SuperNIC，客戶現在可以利用效能最高的乙太網路 AI 雲端處理基礎設施。
目前正透過 NVIDIA Spectrum-X 網路解決方案進行驗證的系統，包含 Supermicro 非常受歡迎的 GPU SuperServers，這些系統提供 4U、5U 和 8U 的高度，並在以下系統中支援 NVIDIA GPU：
- Supermicro 8U GPU 伺服器，搭載 NVIDIA HGX H100 8-GPU 系統：
- SYS-821GE-TNHR(8U) - Intel CPU
- AS -8125GS-TNHR(8U) -AMD CPU
- SYS-421GU-TNXR(4U) - Intel CPU
- Supermicro 通用型 GPU 伺服器 (4U 和 5U)，搭載 NVIDIA H100 PCIe GPU 或 NVIDIA L40S GPU：
- SYS-521GE-TNRT(5U) - Intel CPU
- SYS-421GE-TNRT(4U) - Intel CPU
- SYS-421GE-TNRT3(4U) - Intel CPU
- AS -4125GS-TNRT (4U) – AMD CPU
- AS -4125GS-TNRT2 (4U) – AMD CPU
這些由 NVIDIA Spectrum-X 驅動的 Supermicro 系統，縮短了大規模基於 Transformer 的生成式 AI 模型的訓練和推論執行時間，這對於從 AI 獲得更快的結果和洞察至關重要。
除了將 AI 網路效能大幅提升 1.6 倍之外，搭載 NVIDIA Spectrum-X 網路的 Supermicro 系統還受益於在多租戶環境中隔離工作負載效能。允許工作負載獨立地傳輸資料，免受可能阻礙效能的「吵雜鄰居」干擾，這對於高效能應用程式至關重要。此外，隔離網路工作負載還提供額外的安全優勢，可防止一個工作負載中的惡意行為者干擾另一個獨立的工作負載。NVIDIA Spectrum-X 透過為每個租戶分配安全的虛擬私有雲 (VPC) 來實現這種增強的工作負載隔離。
在操作高效能、高功耗的 AI 系統時，能源效率一直是關鍵考量。透過在相同的網路功耗範圍內提供更高的網路效能，NVIDIA Spectrum-X 有助於建立更節能的 AI 環境。這種更高的每瓦效能可降低整體功耗，並可能降低總體擁有成本。對於通常依賴功耗限制來控制能源成本的用戶，搭載 Spectrum-X 的 Supermicro 系統有助於確保能源消耗上限不會被超越。
已標準化乙太網路的客戶可以確信，NVIDIA Spectrum-X 完全基於標準，並與基於乙太網路的堆疊完全互通。此外，搭載 NVIDIA Spectrum-X 的 Supermicro 伺服器有助於客戶克服部署 AI 的最大挑戰——可擴展性。憑藉在單一交換器中支援 256 個 200G 埠或在兩層式葉脊拓撲中支援 16K 埠的能力，這些系統非常適合具有不斷演進的加速運算基礎設施需求的組織。
隨著 Supermicro 致力於滿足 AI 客戶對高效能網路和雲端多租戶的需求，搭載 NVIDIA Spectrum-X 的 Supermicro 系統利用融合乙太網路 (RoCE) 擴展上的遠端直接記憶體存取 (RDMA) 以支援效能和多租戶。其相較於傳統乙太網路的效能令人驚嘆，如下圖所示。
NVIDIA 的突破性網路技術，包含在眾多 Supermicro 伺服器中，為 AI 實現了突破性的網路效能、多租戶效能隔離和更高的能源效率。所有這些都是在乙太網路標準的基礎上，透過將 NVIDIA Spectrum-4 乙太網路交換器與 NVIDIA BlueField-3 SuperNIC 結合而完成的。這種組合的最終效果是幫助縮短大規模生成式 AI 模型的執行時間。對於需要更快獲得關鍵洞察、多租戶和未來可擴展性的客戶，這些搭載 NVIDIA Spectrum-X 的 Supermicro 系統是滿足其需求的理想選擇。