隨著 AI 領域的快速發展，對於具可擴展性與高效能基礎架構的需求正以指數速度增長。使用者依賴 Azure AI 基礎架構來開發創新且以 AI 為驅動的解決方案，因此微軟推出了由 Azure ND H200 v5 系列虛擬機器（VM）構建的全新雲端 AI 超級運算集群。這些虛擬機器已經全面上市，並且專門為應對高階 AI 工作負載的日益複雜性而設計，從基礎模型訓練到生成性推理應用皆適用。ND H200 v5虛擬機器的擴展性、效率及增強效能，已促使客戶與 Microsoft AI 服務（如 Azure Machine Learning 和 Azure OpenAI Service）開始採用。
Azure ND H200 v5 虛擬機器採用 Microsoft 的系統化架構設計，以提升效率和效能，並配備了八個 NVIDIA H200 Tensor Core GPU。這些虛擬機器特別針對 GPU 的原始計算能力增長速度遠超過其附帶記憶體和記憶體頻寬的情況進行了優化。相比上一代的 Azure ND H100 v5虛擬機器，ND H200 v5系列在高頻寬記憶體（HBM）容量上增加了 76%，達到 141GB，並將 HBM 頻寬提高了 43%，達到 4.8 TB/s。這種 HBM 頻寬的提升使 GPU 能夠更快速地存取模型參數，有助於降低整體應用程式延遲，這對於互動式代理等即時應用來說是關鍵指標。ND H200 V5虛擬機器還可以在單一 VM 記憶體中容納更複雜的大型語言模型（LLM），從而提高效能，幫助用戶避免在多台 VM 上運行分散式工作的額外負擔。
H200 超級運算集群設計，還能更高效地管理 GPU 記憶體以處理模型權重、鍵值快取和批次大小，這些因素均直接影響基於大型語言模型（LLM）的生成式 AI 推理工作負載的吞吐量、延遲和成本效益。憑藉更大的高頻寬記憶體（HBM）容量，ND H200 v5虛擬機器可支援更高的批次大小，與 ND H100 v5系列相比，能在推理工作負載中提高 GPU 利用率和吞吐量，無論是小型語言模型（SLM）還是 LLM。在早期測試中，ND H200 v5虛擬機器在執行 LLAMA 3.1 405B 模型（使用世界大小為 8、輸入長度 128、輸出長度 8，最大批次大小為 H100 的32 和 H200 的 96）的推理工作負載時，相較於 ND H100 v5 系列實現了高達 35% 的吞吐量增長。欲了解更多Azure 高效能運算基準測試的細節，請點此閱讀或造訪 Azure GitHub 資料庫上的 AI 基準測試指南以獲取更多資訊。
ND H200 v5虛擬機器已預先整合 Azure Batch、Azure Kubernetes Service、Azure OpenAI Service 和 Azure Machine Learning，幫助企業即刻開始使用。如需有關新款 Azure ND H200 v5虛擬機器的詳細技術文件，請點此查看。
Comments are closed, but trackbacks and pingbacks are open.