CCF信息存儲技術專委會走進浪潮信息 共話大模型時代的存儲創新之道

北京2024年6月7日 /美通社/ -- 近日，中國計算機學會信息存儲技術專業委員會（CCF信息存儲技術專委會）首場“走進企業”活動啟動，來自CCF信息存儲技術專委會、清華大學、北京大學、華中科技大學、華東師范大學、上海交通大學、上海理工大學等單位的十余位存儲領域專家、學者走進浪潮信息，在“大模型時代數據中心存儲技術創新和應用”的會議主題下，分別就“以數據為中心的存儲技術協同創新”和“大模型新應用的存儲技術挑戰與探索”兩個核心議題，共同探討了在存儲架構創新、近數據計算、多協議融合互通、GPU直通存儲、故障預測等多個領域的前沿技術創新和產業洞察。

“以數據為中心”加速到來，存儲架構亟待創新

隨著數字化、智能化的加速發展，社會產生的數據量呈現出爆炸式增長。IDC報告顯示，中國數據量規模將從2022年的23.88ZB增長至2027年的76.6ZB，年均增長速度(CAGR)達到26.3%，為全球第一。同期，全球數據量規模預計增長一倍以上，到2027年將達到284.3ZB，年均增長速度(CAGR)達到22.6%。當數據變成重要的生產要素，其價值釋放正加速“以數據為中心”的到來，這對存儲架構創新提出了新的要求。

浪潮信息存儲產品線首席架構師孫斌認為，作為數據的主要載體，數據中心呈現出大型集約化、邊緣分散化的發展趨勢，未來數據中心將實現“人機物”三元智聯融合，提供全面服務且資源利用率趨向最優。但是，隨著數據中心應用多樣化與計算多元化的疊加，亟需一套新型存儲架構來實現均衡全能存儲服務，通過融合軟硬件協同設計，實現介質、軟件和數據的分離，從而可組合可共享，最終靈活支撐全場景綜合負載。

北京大學助理教授張杰認為，存儲架構創新將是一個長期性、持續性工程，最終是要解決所謂的“存儲墻”問題。以數據為中心要求計算圍著數據轉，以減小數據搬運帶來的性能瓶頸以及功耗，但馮·諾依曼架構是一個以計算為中心的架構，數據搬運已然成為當下大數據、大規模應用所面臨的最大的問題。

華中科技大學的劉海坤教授提出，基于新型高速互連總線CXL實現單機內存擴展和分布式內存擴展，可以較好地解決大規模數據處理特別是大模型應用面臨的“內存墻”問題，可能顛覆未來數據中心架構，推動存算融合向存算分離演進，同時使能以數據為中心的CPU、GPU、FPGA間的對等計算。但是，劉海坤也指出，目前CXL總線面臨體系結構、操作系統、編程模型等多方面的挑戰，產業技術生態有待進一步完善。

Storage for AI，AI for Storage，推動大模型與存儲的雙向進化

如果說數據中心是數據的“集散地”，那么大模型就是數據的“掘金場”。隨著大語言模型（LLM）以及生成式AI的飛速發展，數據規模和質量對模型精度的價值日趨凸顯，這也推動存儲技術成為提升人工智能生產力的關鍵環節，直接關乎到人工智能整體落地水平。同時，人工智能技術的進步，也正向回饋于存儲技術創新之中，帶動了智能化存儲技術的發展。Storage for AI，AI for Storage，大模型與存儲呈現出雙向進化。

大模型開發通常涵蓋數據歸集、數據預處理、模型訓練、應用推理幾個流程階段，其中跨設備、跨中心的數據準備往往耗時數周，同時大模型訓練過程中存在海量的小文件讀取，小文件的讀寫性能較差，進一步拉長了訓練周期，對存儲系統的容量、性能、穩定性等方面都帶來了巨大挑戰。

清華大學副教授陸游游表示，從大模型訓練過程中反映出的數據特征來看，小文件讀取和帶寬的優化是非常重要的。同時隨著模型參數量提升，對內存、HBM顯存以及CXL遠端內存等多層次內存的管理也變得更加重要，需要與計算更好地協同。此外，向量存儲、參數存儲等新興的存儲方式也需要予以關注。

浪潮信息一直深耕面向AIGC場景的新一代存儲平臺。通過全局緩存技術，突破多模態小文件訓練瓶頸，創新性提出多協議融合互通技術，實現數據免遷移，構建全局文件管理平臺，統一多源異構存儲，數據管理更加便捷，引入GPU直通存儲技術，大大縮短AI訓練I/O路徑，提高大模型訓練效率。此外，浪潮信息也積極地圍繞CXL2.0，QLC，PCIe Gen 5等新型硬件和協議等進行全面的適配和優化，提供更強大的存儲性能，助力大模型系統創新及AI應用落地。

而在AI for Storage領域，人工智能在數據恢復、故障預測等場景中也體現出越來越高的技術價值。上海交通大學教授吳晨濤分享了分布式機器學習高可靠數據恢復機制的研究，包括分布式學習過程中硬盤故障恢復加速的研究以及故障和繁忙節點的混合全局圖恢復方法；華東師范大學教授石亮分享了面向大規模存儲場景的SSD故障預測及部署優化技術研究，包括差異化的機器學習SSD故障預測研究和基于預測備份的RAID快速恢復技術，主要針對當前大規模閃存存儲系統故障預測性能不佳、故障恢復機制占用計算資源且速度慢的問題做了優化。

浪潮信息作為本次活動的東道主，存儲產品線總經理李輝對各位專家的到來表示熱烈歡迎，指出面向數據產業創新與大模型應用的存儲需求，業界與學界的深度對接和交流將進一步拓展創新的邊界。CCF信息存儲技術專委會走進浪潮信息活動的成功舉辦，將有助于加快信息存儲領域的學術創新到產業落地的轉化，推動數據成為新質生產力的優質生產要素。