大規模AI訓練與推論
大型語言模型、生成式AI訓練、自動駕駛、機器人
大規模AI 需要尖端技術,以充分發揮 GPU 的平行運算能力,從而處理數十億甚至數兆AI 參數,並配合龐大的資料集進行訓練。 透過採用 NVIDIA 的 HGX™ B300/B200、GB300/GB200 NVL72,以及具備高達 1.8TB/s 頻寬的最快 NVLink® 與 NVSwitch® GPU-GPU 互連技術,並為節點叢集提供每顆 GPU 專屬的最快 1:1 網路連接,這些系統經過最佳化,可從頭開始訓練大型語言模型,並為數百萬名同時在線的使用者提供服務。Supermicro 更透過全快閃 NVMe 儲存方案完善整體架構,以加速AI 處理流程,Supermicro 配備液冷選項的完全整合式機架,確保快速部署與流暢的AI 體驗。





工作負載規模
- 特大型
- 大型
- 中型
- 儲存
資源

HPC/AI
工程模擬、科學研究、基因組測序、藥物研究與發展
可助力加速科學家、研究人員和工程師的研發時間,同時,越來越多的HPC工作負載正在強化機器學習演算法,以及透過GPU加速的平行運算,以更快獲得成果。目前,全球許多最快的超級運算叢集都運用到GPU和AI技術。
HPC工作負載通常需要進行資料密集型模擬與分析,並需要處理大量的資料集,以及提供高度精準性。GPU(如NVIDIA H100/H200)可提供前的雙精確度效能,且每GPU效能可達60 teraflops。Supermicro的高彈性HPC平台能支援多組GPU與CPU,確保在多種密集型機體規格內運行,並可進行機架規模整合與搭配液體冷卻技術。






工作負載規模
- 大型
- 中型
資源

企業型AI的推論與訓練
生成式AI推論、AI服務/應用程式、聊天機器人、推薦系統、商業自動化
生成式AI技術已成為科技、銀行、媒體等各類產業的全新趨勢。因AI技術是孕育創新、大幅提升生產力、簡化營運、以資料為導向的決策,以及改善客戶體驗的源頭,AI應用賽道已開啟序章。
無論是AI應用程式與商業模式、用於客戶服務的智慧化擬真聊天機器人,或是AI協同的程式碼生成與內容創作,企業都可以運用開放式架構、程式庫、預先訓練的AI模型相關技術,並透過自有資料集,依據特殊專案需求,對這些架構、程式庫和模型進行微調。許多企業已開始打造AI基礎設施,而Supermicro多元的GPU最佳化系統可為這些企業提供開放式模組化架構、供應商靈活性,以及順暢的部署與設施升級途徑,進而導入更先進的技術。




工作負載規模
- 特大型
- 大型
- 中型
資源

視覺化與設計
即時協作、3D設計、遊戲開發
現今的GPU為3D圖形與AI應用程式提升了逼真度,進而加速工業的數位化。高真實度的3D模擬技術推動了產品開發與設計流程、製造,以及內容創作的轉型,進一步實現更好的品質、無機會成本的永續迭代,以及更快的上市時間。
透過 Supermicro 的全整合解決方案,大規模建構虛擬生產基礎設施以加速工業數位化,這些解決方案包括 4U/5U 8-10 GPU 系統、針對 NVIDIA Omniverse Enterprise 和 Universal Scene Description (USD) 連接器進行最佳化的 NVIDIA OVX™ 參考架構,以及 NVIDIA 認證的機架式伺服器和多 GPU 工作站。


工作負載規模
- 大型
- 中型
資源

內容傳遞與虛擬化
內容傳遞網路(CDN)、轉碼、壓縮、雲端遊戲/串流
影片傳遞工作負載在目前的網路流量占比量仍然相當高。隨著串流服務供應商提供更多的4K和甚至8K的內容,或是螢幕更新率更高的雲端遊戲,結合媒體引擎的GPU加速變成了必須要素,為串流管線提供數倍的吞吐量效能,同時藉由AV1編碼和解碼等最新技術,維持更佳的視覺擬真度,並減少所需的資料量。
Supermicro的多節點與多GPU系統,例如2U 4節點BigTwin®系統,可滿足現代影片傳遞的嚴格需求。這些系統的每個節點都支援NVIDIA L4 GPU,並具備大量的PCIe Gen5儲存與網路速度,針對內容傳遞網路,因應需求嚴苛的資料管道。


工作負載規模
- 大型
- 中型
- 小
資源

邊緣AI
邊緣影片轉碼、邊緣推論、邊緣訓練
在不同產業內,不少企業的員工與客戶在城市、工廠、零售店、醫院等邊緣地點接觸與互動,其中,越來越多的企業開始投資在邊緣AI的部署 。透過在邊緣端處理資料和運行AI和ML演算法,企業能克服頻寬和延遲方面的限制,實現實時分析,進而及時做出決策、預測型看護、個人化服務,以及優化業務運作。
專為特定用途打造、環境最佳化的 Supermicro 邊緣 AI 伺服器,採用多種緊湊型外形規格,提供低延遲、開放式架構所需的效能,具備預整合元件、多樣化的硬體和軟體堆疊相容性,以及複雜邊緣部署所需的開箱即用隱私和安全功能集。



工作負載規模
- 特大型
- 大型
- 中型
- 小
資源


COMPUTEX 2024 執行長主題演講
























