北京2022年12月30日 /美通社/ -- 隨著金融數字化轉型加速推進，銀行需要提供更高質量、更快速的金融服務，對銀行智算中心的能力提出了更高要求和挑戰。多樣化智能計算場景需要多元化的算力供給，如巨量化模型、數據和應用規模需要巨量算力，不同尺度作業需要靈活且精細化算力管理。隨著計算集群規模不斷激增，以及異構計算資源、高性能網絡快速發展，如何滿足不同AI負載針對網絡、存儲、異構算力等需求，是銀行面臨的關鍵問題。
浪潮信息在與某大型國有銀行的合作中發現，當前銀行智算中心主要支持在線推理服務，應用場景近1000種，但同時缺乏大規模分布式、大模型訓練算力基礎設施所需的資源管理和開發平臺，導致某些業務的模型迭代周期較長。同時由于業務部門分散，缺乏有效的算力統一管控平臺。
浪潮智能業務生產創新平臺AIStation通過不斷的技術創新與實踐，將大規模GPU并行計算優化能力與AI算力池化智能化調度結合起來，成功將典型AI模型的訓練周期由1周縮短為1個工作日，支持銀行AI業務場景快速上線，已在大型國有銀行落地。本文將闡述浪潮如何在具體業務場景下幫助銀行智算中心快速構建AI生產創新平臺，實現高性能、高可靠、高擴展。
全生命周期管理的AIStation平臺，助力銀行業務創新
完備的任務全生命周期管理能更好地支持銀行智算中心，幫助開發者快速使用算力，協助管理者管好資源，實現業務快速創新。
AIStation平臺提供了作業全生命周期管理，能夠讓開發者跟蹤作業狀態、為訓練優化提供必要的信息、分析平臺資源使用率狀態、幫助制定資源使用率提升方案。同時提供完備、高效的異構計算資源管理，從數據加速、網絡優化、業務系統無縫對接等維度保障銀行業務，實現開發者便捷無感知的開發模式和管理者高效可控的管理模式。
目前異構人工智能芯片發展迅速，越來越多銀行智算中心正在從傳統架構遷移至異構算力架構，但面臨異構芯片種類多、管理復雜、開發門檻高等難題。
針對異構算力資源接入與管理，AIStation平臺建立了加速卡管理模型，可以實現零業務代碼修改和異構算力資源接入、配額管理、算力使用的配置化流程，以及異構加速卡的類型識別、算力識別。同時提供報表統計、監控告警功能，使平臺管理員能夠獲取異構算力的健康狀態及使用情況，可以通過配置化的方式實現異構算力資源的接入和管理。目前，AIStation已經適配了超20款當前市場主流不同架構的加速卡，具有良好的適配性和通用性，能夠充分滿足不同業務場景對銀行智算中心的算力要求。
通常情況下，計算集群在為訓練任務分配了資源后，節點將準備環境（如下載作業鏡像），此時加速卡算力資源處于完全空置狀態。尤其是分布式作業涉及多個計算節點并發下載鏡像，對鏡像倉庫產生較大壓力，導致鏡像下載較慢甚至失敗，嚴重浪費了算力資源。
AIStation提供了鏡像P2P分發加速功能，能在無需新增硬件的情況下實現鏡像分發加速。鏡像倉庫僅提供一次下載帶寬，鏡像加速系統即可在計算節點緩存鏡像數據，并為其他計算節點的鏡像下載提供數據服務，同時提供節點數線性相關的鏡像網絡總帶寬，有效降低了分布式任務的環境準備時間。實測證明可將耗時降低至原來的1/2。
此外，AIStation具有節點數據緩存功能，可以僅進行一次性存儲系統讀取，依靠本地高速磁盤消除網絡傳輸時延，極大提高了存儲IOPS，加速訓練效率，能夠將典型AI模型的訓練周期由1周下降為1個工作日。并且AIStation在緩存機制基礎上提供了緩存生命周期管理，在磁盤使用率不高時盡可能緩存數據，同時實現數據親和性調度。
大規模分布式作業的另一大挑戰是異常故障處理。由于分布式任務使用了更多的資源，因而更容易受到硬件、網絡等故障的影響，進而引發訓練中斷。一般來說，分布式任務異常處理需要人工介入操作，時效性無法保障，并且還需要一定的人工經驗判斷任務失敗的具體原因和解決方法，對算法人員的要求較高。AIStation平臺提供了完備的故障檢測識別、任務容錯的機制，在故障發生時能夠識別當前故障類型，對于通過重啟即可恢復的故障（如加速卡故障、網絡故障等），平臺自動觸發訓練任務的重提。AIStation通過自動化流程，提高了故障處理效率，節省了集群機時資源，提高了資源利用率。
銀行智算中心網絡構建方案目前有很多，其中RoCE網絡基于以太網協議實現RDMA，可以復用已有數據中心的網絡設備，從而降低集群搭建成本。基于RoCE的網絡方案，需要充分考慮GPU資源的協調調度，實現物理主機GPU的共享使用，來滿足訓練任務任意GPU數的需求，同時也需將RDMA網卡透傳到容器內，以滿足跨節點GPU的RDMA通信需求，但是目前還沒有一個有效的解決方案。
浪潮提出基于RoCE網卡虛擬化和網絡互通性管理相結合的解決方案，實現了在容器云平臺上對RoCE網絡的快速接入適配，同時降低網絡適配難度。方案已部署到某大型國有銀行的實際生產環境中，幫助客戶解決了GPU資源碎片的問題，實現RoCE網絡下GPU資源靈活調度分配，實際效果超出了客戶預期。
性能測試表明，在浪潮AIStation平臺容器內基于不同網卡進行通訊時，在不同的數據包大小下，性能和時延都沒有損失。針對銀行業務特點，AIStation測試了大規模圖像類別訓練任務，采用ResNet50并使用ILSVRC 2012數據集測試加速比，結果顯示大規模分布式訓練的加速比達94%以上，性能優異。同時物理主機RDMA網卡能夠透傳到容器并能夠基于RoCEv2完成RDMA通信，在有多個RoCE網卡時，能夠根據GPU與高性能網卡的拓撲關系、NCCL親和性等選擇最優的RoCE網卡進行跨節點通信。
銀行業務具有多樣化和精細化的特點，在進行AI業務時一般需要多個系統支撐與協同，包括數據采集系統、數據處理系統、AI開發訓練系統、模型管理系統、推理服務系統、運營管理系統等。雖然內部通用平臺能夠把各個系統整合起來，但AI開發訓練系統中的AI資源管理、AI單機和分布式訓練任務全生命周期管理、異構算力管理等方面能力是欠缺的，很難達到AI業務需求。
針對銀行內部復雜的系統、業務流程，AIStation平臺提供了通用的AI業務調用接口能力，以達到簡化流程和整合能力的目的。同時兼容異構資源任務，讓銀行無需關心底層資源部署和連接情況，把精力放在業務處理上。AIStation平臺提供了涵蓋任務、數據全生命周期管理、集群資源監控和報表的全能力域API接口，幫助管理者掌握集群運行情況。同時平臺API管理實現了全程加密傳輸以保證數據安全。通過豐富、完備且安全的API接口，AIStation能夠快速與銀行已有系統集成，讓銀行快速擁有專家級AI算力基礎設施管理能力。
總結
浪潮AIStation在某大型國有銀行的實踐中取得了顯著的示范效果。通過以上關鍵技術實現了GPU間通信性能大幅提升，減少節點間網絡通信開銷，提升整體處理性能，有效降低總能耗。同時可以減少機柜占用，提高集群算力密度，實現基礎資源降本增效。助力構建高性能、高可靠、可擴展的軟硬件系統架構，實現AI訓練場景下算力資源的統一管理與智能化調度。
浪潮AIStation為銀行前沿的大規模人工智能模型開發訓練和場景應用打下了堅實的技術基礎。未來，浪潮信息將繼續通過全棧智算能力賦能金融AI業務創新，推進金融數字化轉型和數字經濟高質量發展。
