この IBM Redbook では、AI推論の運用環境に求められる低遅延かつ広帯域なファブリックでシステム全体を統合し、KVキャッシュを永続的に保存・共有して、リクエスト、セッション、GPUノード間で再利用可能にするAIインフラストラクチャ向けの検証済みリファレンス・アーキテクチャを紹介します。このアーキテクチャは、インテリジェントな分散KVキャッシュ管理を行う「NVIDIA Dynamo」、高性能な共有ストレージ層としての「IBM® Storage Scale Erasure Coding Edition (ECE)」、ストレージおよびネットワークの基盤となる「Supermicro Petascaleサーバー」、そしてこれらすべてを接続する「NVIDIA Spectrum-X Ethernet」で構成されています。
低出力、低遅延、最大2kmの到達距離を備えた共パッケージ光学系
このドキュメントは、Supermicro SYS-212GB-FNRシステムで NVIDIA Enterprise AI Factory リファレンスアーキテクチャを示しています。採用されている技術、および各コンポーネントの目的と構成について包括的に解説します。
この IBM Redbook では、AI推論の運用環境に求められる低遅延かつ広帯域なファブリックでシステム全体を統合し、KVキャッシュを永続的に保存・共有して、リクエスト、セッション、GPUノード間で再利用可能にするAIインフラストラクチャ向けの検証済みリファレンス・アーキテクチャを紹介します。このアーキテクチャは、インテリジェントな分散KVキャッシュ管理を行う「NVIDIA Dynamo」、高性能な共有ストレージ層としての「IBM® Storage Scale Erasure Coding Edition (ECE)」、ストレージおよびネットワークの基盤となる「Supermicro Petascaleサーバー」、そしてこれらすべてを接続する「NVIDIA Spectrum-X Ethernet」で構成されています。
低出力、低遅延、最大2kmの到達距離を備えた共パッケージ光学系
このドキュメントは、Supermicro SYS-212GB-FNRシステムで NVIDIA Enterprise AI Factory リファレンスアーキテクチャを示しています。採用されている技術、および各コンポーネントの目的と構成について包括的に解説します。
AI/ML、エージェンティックAI、RAG（検索拡張生成）といったワークロードの複雑化と需要の拡大に伴い、基盤となるストレージシステムの性能が極めて重要になっています。GPUの稼働率を最大限に維持するには、シーケンシャル処理とランダム処理の双方において、ストレージが卓越した性能を発揮する必要があります。優れた性能を誇るNVMe PCIeドライブは、こうしたミッションクリティカルなアプリケーションに最適です。
プロバイダーと顧客向けに最適化されたアーキテクチャを提供する完全検証済みのソリューションでインフラストラクチャを構築しますAMD Instinct™ MI300X-MI355X GPU、 AMD Pensando™ Pollara 400 AI NIC、およびAMD EPYC™ CPU
プロバイダーと顧客向けに最適化されたアーキテクチャを提供する完全検証済みのソリューションでインフラストラクチャを構築しますAMD Instinct™ MI300X-MI355Xアクセラレータ
