無限制上下文:面向大規模應用的高效能鍵值快取平台AI 推理
本 IBM Redbook 提供經過驗證的 AI 基礎架構參考架構,可讓 KV 快取在跨請求、工作階段與 GPU 節點時進行持續性儲存、共用與重複使用。其組成包含用於智慧分散式 KV 快取管理的 NVIDIA Dynamo、作為高效能共用儲存層的 IBM® Storage Scale Erasure Coding Edition (ECE)、作為儲存與 Networking 基礎的 Supermicro Petascale 伺服器,以及將其緊密結合的 NVIDIA Spectrum-X 乙太網路,具備生產級 AI 推論所需的低延遲與高頻寬網狀架構。




