這本 IBM 紅皮書提供了一個經過驗證的參考架構。 AI 此基礎架構允許鍵值快取（KV快取）在請求、會話和GPU節點之間持久性儲存、共享和重複使用。它由NVIDIA Dynamo（用於智慧分散式KV快取管理）和IBM® Storage Scale糾刪碼版（ECE）（作為高效能共用儲存層）組成。 Supermicro Petascale 伺服器作為儲存和網路基礎，NVIDIA Spectrum-X 乙太網路則將所有元件透過低延遲、高頻寬的網路架構連接起來，從而實現生產環境的穩定運作。 AI 推理需求。
本文檔介紹了 NVIDIA 企業版的參考架構。 AI 工廠Supermicro SYS-212GB-FNR 系統。它全面解釋了所採用的技術、每個組件的用途和配置。
作為AI /ML，代理AI隨著檢索增強生成 (RAG) 工作負載的複雜性和需求不斷增長，底層儲存系統的效能變得至關重要。為了充分利用 GPU，儲存必須在順序和隨機運算方面都提供卓越的效能。憑藉其出色的性能， NVMe PCIe 硬碟是關鍵任務應用的理想選擇。
這本 IBM 紅皮書提供了一個經過驗證的參考架構。 AI 此基礎架構允許鍵值快取（KV快取）在請求、會話和GPU節點之間持久性儲存、共享和重複使用。它由NVIDIA Dynamo（用於智慧分散式KV快取管理）和IBM® Storage Scale糾刪碼版（ECE）（作為高效能共用儲存層）組成。 Supermicro Petascale 伺服器作為儲存和網路基礎，NVIDIA Spectrum-X 乙太網路則將所有元件透過低延遲、高頻寬的網路架構連接起來，從而實現生產環境的穩定運作。 AI 推理需求。
本文檔介紹了 NVIDIA 企業版的參考架構。 AI 工廠Supermicro SYS-212GB-FNR 系統。它全面解釋了所採用的技術、每個組件的用途和配置。
作為AI /ML，代理AI隨著檢索增強生成 (RAG) 工作負載的複雜性和需求不斷增長，底層儲存系統的效能變得至關重要。為了充分利用 GPU，儲存必須在順序和隨機運算方面都提供卓越的效能。憑藉其出色的性能， NVMe PCIe 硬碟是關鍵任務應用的理想選擇。
經過全面驗證的解決方案，可為採用AMD Instinct™ MI300X-MI355X GPU、AMD Pensando™ Pollara 400AI NIC 和AMD EPYC™ CPU 建置基礎架構的供應商及客戶提供最佳化架構
為建置基礎架構的供應商和客戶提供最佳化架構的全面驗證解決方案AMD Instinct™ MI300X-MI355X 加速器
