北京2023年8月8日 /美通社/ -- 冬瓜哥上次學(xué)習(xí)AI和ML，還是在2019年初。當(dāng)時(shí)其實(shí)是卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展期，其主要目的是分類識(shí)別。當(dāng)時(shí)冬瓜哥還做了一個(gè)4小時(shí)的視頻，那真是我見(jiàn)過(guò)的最小白的白也能輕松入門，理清楚最基本的名詞概念關(guān)系的視頻了，沒(méi)有之一。那時(shí)候利用AI生成一些藝術(shù)作品已經(jīng)初見(jiàn)雛形，但是非常不成熟，基本上都是僅供娛樂(lè)。我記得曾經(jīng)至少有兩部科幻電影描述過(guò)（比如《機(jī)械公敵》，《Finch》），也許做夢(mèng)對(duì)于一個(gè)機(jī)器人來(lái)講，是一種超級(jí)進(jìn)化的開(kāi)端。
生成式AI，AI2.0
時(shí)過(guò)境遷。短短幾年內(nèi)，新的不同于傳統(tǒng)分類器的模型Transformer，讓AI再一次革新。以往的RNN在自然語(yǔ)言處理訓(xùn)練方面的并行度不是很好，需要太多通信，處理長(zhǎng)句子時(shí)效率比較低。而Transformer模型從新的維度上解決了這個(gè)問(wèn)題，高并行度讓GPU訓(xùn)練效率大幅提升。這個(gè)過(guò)程，感覺(jué)像極了當(dāng)年分布式系統(tǒng)興起的時(shí)候，大家也是拿著幾篇經(jīng)典論文翻來(lái)覆去的研讀，然后開(kāi)始用開(kāi)源軟件，最后逐漸發(fā)展出自己的技術(shù)。
當(dāng)AI突破了人類語(yǔ)言這道關(guān)卡，后續(xù)就有點(diǎn)一馬平川的感覺(jué)了。因?yàn)槿祟愔R(shí)目前主要儲(chǔ)存在各種語(yǔ)言文本當(dāng)中。再結(jié)合對(duì)圖片、聲音等各種信息的數(shù)字化映射和分析，讓AI能夠運(yùn)行于多模態(tài)模式下，能夠更好的理解字里行間的信息，更精細(xì)化的生成對(duì)應(yīng)的內(nèi)容，走進(jìn)了現(xiàn)實(shí)。
多模態(tài)生成式AI（AI Generated Content，AIGC）是指通過(guò)生成和分析多種模態(tài)的數(shù)據(jù)，如文本、圖像、音頻、視頻等，以實(shí)現(xiàn)更加豐富和精準(zhǔn)的智能應(yīng)用。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，多模態(tài)生成式AI能夠充分利用多種數(shù)據(jù)之間的關(guān)聯(lián)性，提高模型的泛化能力和魯棒性。生產(chǎn)式AI是人工智能從1.0時(shí)代進(jìn)入2.0時(shí)代的重要標(biāo)志，其具備強(qiáng)大的認(rèn)知智能，在搜索引擎、藝術(shù)創(chuàng)作、影音游戲、文本生成、語(yǔ)音生成、圖片生成、視頻生成、代碼生成、虛擬人生成以及金融、教育、醫(yī)療、工業(yè)等領(lǐng)域有著廣闊的應(yīng)用前景。
Gartner預(yù)測(cè)，到2023年將有20%的內(nèi)容被AIGC所創(chuàng)建；到2025 年人工智能生成數(shù)據(jù)占比將達(dá)到10%。據(jù)分析師預(yù)測(cè)，到2032年，生成式人工智能市場(chǎng)規(guī)模將達(dá)到2,000億美元，占據(jù)人工智能支出總額的約20%，顯著高出當(dāng)前的5%。換言之，未來(lái)十年市場(chǎng)規(guī)模可能每?jī)赡昃蜁?huì)翻一番。
生成式AI的背后是基于行業(yè)上下游對(duì)數(shù)據(jù)進(jìn)行采集、標(biāo)注、訓(xùn)練、推理、歸檔，其特征是數(shù)據(jù)量大、多元數(shù)據(jù)類型復(fù)雜、服務(wù)協(xié)議多樣、性能要求苛刻、要求服務(wù)持續(xù)在線。由于多模態(tài)數(shù)據(jù)具有復(fù)雜性和多樣性，因此多模態(tài)生成式AI需要具備以下特點(diǎn)：
革新帶來(lái)的新挑戰(zhàn)，現(xiàn)有存儲(chǔ)系統(tǒng)還能不能打？
多模態(tài)生成式AI系統(tǒng)本身是一個(gè)大規(guī)模集群，無(wú)論是集中式存儲(chǔ)還是本地直連存儲(chǔ)，都早已無(wú)法滿足該系統(tǒng)對(duì)存儲(chǔ)性能和容量的基本需求。另外，以機(jī)械硬盤構(gòu)建的任何存儲(chǔ)系統(tǒng)，也根本無(wú)法承擔(dān)生成式AI對(duì)存儲(chǔ)系統(tǒng)帶寬和時(shí)延的要求。總的來(lái)講，生成式AI在存儲(chǔ)方面所面臨的挑戰(zhàn)如下：
大型數(shù)據(jù)集：隨著數(shù)據(jù)和模型規(guī)模的增長(zhǎng)，獨(dú)立存儲(chǔ)無(wú)法滿足應(yīng)用需求。因此，解決這些問(wèn)題的分布式存儲(chǔ)解決方案勢(shì)在必行。
歷史數(shù)據(jù)的完整歸檔：在某些場(chǎng)景下，AI集群每天都會(huì)產(chǎn)生大量新的數(shù)據(jù)集，必須將其歸檔為歷史數(shù)據(jù)。這在自動(dòng)駕駛領(lǐng)域尤為重要，道路測(cè)試車輛收集的數(shù)據(jù)（例如雷達(dá)和攝像頭數(shù)據(jù)）對(duì)于公司來(lái)說(shuō)是非常有價(jià)值的資產(chǎn)。在這些情況下，獨(dú)立存儲(chǔ)被證明是不夠的，因此分布式存儲(chǔ)成為必要的考慮因素。
小文件和非結(jié)構(gòu)化數(shù)據(jù)過(guò)多：傳統(tǒng)分布式文件系統(tǒng)難以管理大量小文件，導(dǎo)致元數(shù)據(jù)存儲(chǔ)負(fù)擔(dān)過(guò)重。這對(duì)于視覺(jué)模型來(lái)說(shuō)尤其成問(wèn)題。為了解決這個(gè)問(wèn)題，需要一個(gè)針對(duì)小文件存儲(chǔ)進(jìn)行優(yōu)化的分布式存儲(chǔ)系統(tǒng)。這樣既保證了上層訓(xùn)練任務(wù)的高效進(jìn)行，又保證了海量小文件的輕松管理。
云訓(xùn)練數(shù)據(jù)I/O效率低：云模型訓(xùn)練往往采用對(duì)象存儲(chǔ)作為存儲(chǔ)計(jì)算分離架構(gòu)的底層存儲(chǔ)。然而，對(duì)象存儲(chǔ)較差的讀寫性能可能會(huì)導(dǎo)致訓(xùn)練過(guò)程中出現(xiàn)嚴(yán)重的瓶頸。
異構(gòu)數(shù)據(jù)的融合：生成式AI訓(xùn)練模型的數(shù)據(jù)呈現(xiàn)來(lái)源多、格式多的多源異構(gòu)現(xiàn)狀，傳統(tǒng)存儲(chǔ)面向單一數(shù)據(jù)類型設(shè)計(jì)，需要以搬移數(shù)據(jù)的方式實(shí)現(xiàn)多協(xié)議訪問(wèn)，存儲(chǔ)成為應(yīng)用平臺(tái)的關(guān)鍵瓶頸。
持續(xù)的低延遲與高帶寬：模型訓(xùn)練過(guò)程中，頻繁的從數(shù)據(jù)集取Token，每個(gè)Token一般4字節(jié)，實(shí)時(shí)高并發(fā)小IO性能需要極低的延遲；存儲(chǔ)模型Checkpoint時(shí)，為Checkpoint數(shù)據(jù)可快速寫入，需要高帶寬。
EB級(jí)大容量存儲(chǔ)需求：越多的數(shù)據(jù)投喂結(jié)果越精準(zhǔn)的工作原理，決定了大模型訓(xùn)練存在深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復(fù)雜、數(shù)據(jù)量大的特征，隨著模型參數(shù)和數(shù)據(jù)量的快速增長(zhǎng)，對(duì)于存儲(chǔ)的大容量和擴(kuò)展需求也迫在眉睫。
數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)需要進(jìn)行全方位的技術(shù)升級(jí)，通過(guò)在多源異構(gòu)融合、數(shù)據(jù)高速傳輸、海量數(shù)據(jù)管理等方面持續(xù)創(chuàng)新，打造專業(yè)的生成式AI存儲(chǔ)產(chǎn)品與解決方案。
塊，文件，對(duì)象，哪種存儲(chǔ)方式最好？
塊存儲(chǔ)
傳統(tǒng)觀點(diǎn)認(rèn)為，低延遲高帶寬場(chǎng)景，使用塊存儲(chǔ)是最佳方案。然而，塊存儲(chǔ)在可擴(kuò)展性方面卻不能令人滿意。AI集群必須在數(shù)據(jù)量、數(shù)據(jù)類型、決策速度，當(dāng)然還有預(yù)算方面進(jìn)行平衡。AI訓(xùn)練環(huán)境對(duì)實(shí)時(shí)運(yùn)行的基于網(wǎng)絡(luò)的推薦引擎提出了不同的要求。塊存儲(chǔ)傳統(tǒng)上非常適合高吞吐量和高I/O工作負(fù)載，其中低延遲非常重要，然而，隨著現(xiàn)代數(shù)據(jù)分析工作負(fù)載（包括人工智能、機(jī)器學(xué)習(xí)甚至數(shù)據(jù)湖）的出現(xiàn)，人們發(fā)現(xiàn)傳統(tǒng)的基于塊的平臺(tái)缺乏滿足這些平臺(tái)計(jì)算方面所產(chǎn)生的橫向擴(kuò)展需求的能力。因此，必須采用基于文件和對(duì)象的方法來(lái)支持這些現(xiàn)代工作負(fù)載。
文件和對(duì)象
因此，系統(tǒng)架構(gòu)師更傾向于基于文件或?qū)ο蟮?nbsp;AI 和 ML 存儲(chǔ)。對(duì)象存儲(chǔ)在構(gòu)建時(shí)考慮到了 PB 級(jí)大容量，并且是按規(guī)模構(gòu)建的，還支持物聯(lián)網(wǎng) (IoT) 等應(yīng)用。對(duì)象存儲(chǔ)在性能方面落后于塊存儲(chǔ)系統(tǒng)，盡管隨著更新的高性能對(duì)象技術(shù)的出現(xiàn)，差距正在縮小。另外一個(gè)需要考慮的因素是，AI應(yīng)用程序支持的存儲(chǔ)訪問(wèn)接口各不相同，并非所有人工智能、機(jī)器學(xué)習(xí)或分析工具都支持 AWS 的 S3 接口（對(duì)象的事實(shí)標(biāo)準(zhǔn)）。
云儲(chǔ)存
云存儲(chǔ)主要是基于對(duì)象的，但為人工智能和機(jī)器學(xué)習(xí)項(xiàng)目提供了其他優(yōu)勢(shì)。其中最主要的是靈活性和較低的前期成本。云存儲(chǔ)的主要缺點(diǎn)是延遲和潛在的數(shù)據(jù)傳輸成本。云存儲(chǔ)對(duì)于基于云的人工智能和機(jī)器學(xué)習(xí)系統(tǒng)來(lái)說(shuō)是一個(gè)不錯(cuò)的選擇，對(duì)于長(zhǎng)期數(shù)據(jù)歸檔來(lái)說(shuō)還是劃算的。
綜上，傳統(tǒng)觀點(diǎn)認(rèn)為，沒(méi)有單一選項(xiàng)可以滿足人工智能、機(jī)器學(xué)習(xí)和分析的所有存儲(chǔ)需求。然而這個(gè)觀點(diǎn)在浪潮信息AS13000這個(gè)老牌分布式存儲(chǔ)系統(tǒng)面前就顯得有點(diǎn)過(guò)于武斷了。
浪潮信息生成式AI存儲(chǔ)解決方案
浪潮信息生成式AI存儲(chǔ)解決方案用一套AS13000融合存儲(chǔ)支撐生成式AI的全階段應(yīng)用，提供全閃、混閃、帶庫(kù)、光盤四種介質(zhì)，支持文件、對(duì)象、大數(shù)據(jù)、視頻、塊協(xié)議，可滿足大容量、多協(xié)議共享，百萬(wàn)以上IOPS，100GB以上帶寬，冷數(shù)據(jù)的長(zhǎng)期保存和歸檔。結(jié)合AIGC數(shù)據(jù)處理的五個(gè)階段：數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔，由同一套存儲(chǔ)提供端到端的數(shù)據(jù)流支持流程，滿足面向文本、音頻、圖像、視頻、代碼以及多模態(tài)和全模態(tài)的模型需求。
浪潮信息生成式AI存儲(chǔ)解決方案擁有極致融合、極致性能、極致節(jié)能，和熱溫冷冰四級(jí)全生命周期存儲(chǔ)管理四大特點(diǎn)，助力AIGC突破海量數(shù)據(jù)存力瓶頸，加速釋放數(shù)據(jù)的AI價(jià)值：
極致融合。為了應(yīng)對(duì)不同模態(tài)的多樣性需求，浪潮信息提出協(xié)議融合設(shè)計(jì)理念，一個(gè)集群內(nèi)支持多個(gè)存儲(chǔ)池，一個(gè)存儲(chǔ)池內(nèi)支持文本、圖片、音頻、視頻等多種類型數(shù)據(jù)存儲(chǔ)，一份數(shù)據(jù)又可以被前端不同業(yè)務(wù)場(chǎng)景以文件、對(duì)象、大數(shù)據(jù)以及視頻的存儲(chǔ)方式進(jìn)行并行訪問(wèn)。用一套存儲(chǔ)實(shí)現(xiàn)多模態(tài)場(chǎng)景應(yīng)用，應(yīng)用間數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)共享，同時(shí)節(jié)省了大量的存儲(chǔ)空間。
極致性能。AIGC場(chǎng)景數(shù)據(jù)類型多樣化，文件大小不一數(shù)量多，且讀寫頻繁，對(duì)存儲(chǔ)系統(tǒng)的100GB級(jí)帶寬、100萬(wàn)級(jí)IOPS需求成了常態(tài)。浪潮信息在軟件方面，通過(guò)數(shù)控分離架構(gòu)減少東西向數(shù)據(jù)量的轉(zhuǎn)發(fā)，通過(guò)GDS、RMDA技術(shù)縮短I/O路徑，通過(guò)SPDK、緩存零拷貝技術(shù)減少I/O路徑上的數(shù)據(jù)拷貝，以及基于自研NVMe SSD開(kāi)發(fā)的盤控協(xié)同技術(shù)，減少I/O訪問(wèn)SSD盤的次數(shù)，使存儲(chǔ)性能得到進(jìn)一步釋放。在硬件方面，優(yōu)化IO路徑通道，均衡IO路徑，最大化發(fā)揮硬件性能，全閃單節(jié)點(diǎn)帶寬超過(guò)50GB/s，IOPS超過(guò)50萬(wàn)；創(chuàng)新性的引入雙控全閃節(jié)點(diǎn)，帶寬超過(guò)100GB/s，IOPS超過(guò)100萬(wàn)，真正使系統(tǒng)達(dá)到了TB級(jí)帶寬、千萬(wàn)級(jí)IOPS、EB級(jí)帶寬。
極致節(jié)能。浪潮信息最新發(fā)布的G7硬件平臺(tái)，存儲(chǔ)專用的液冷服務(wù)器涵蓋性能型和容量型，且均采用模塊化冷板組件設(shè)計(jì)模式。在系統(tǒng)方案層面，浪潮信息具有風(fēng)液式，液液式等完善的端到端解決方案，能夠?yàn)橛脩羧轿淮蛟煲豪鋽?shù)據(jù)中心交鑰匙工程，并且完成了業(yè)界首次液冷整機(jī)柜批量交付，實(shí)現(xiàn)PUE<1.1。
端到端的全生命周期管理。浪潮生成式AI存儲(chǔ)方案采用閃存、磁盤、磁帶、光盤四種介質(zhì)提供熱溫冷冰四種存儲(chǔ)資源，且實(shí)現(xiàn)了資源的互通和數(shù)據(jù)全生命周期的管理。基于數(shù)據(jù)的熱度識(shí)別，自動(dòng)釋放在線存儲(chǔ)空間，可以將海量數(shù)據(jù)自動(dòng)歸檔到光盤庫(kù)，降低長(zhǎng)期存儲(chǔ)成本；實(shí)現(xiàn)冷數(shù)據(jù)的分鐘級(jí)快速回調(diào)，滿足0~4級(jí)應(yīng)用的存儲(chǔ)需求。四種介質(zhì)、四類存儲(chǔ)節(jié)點(diǎn)，提供熱溫冷冰自動(dòng)流轉(zhuǎn)，滿足各類應(yīng)用的靈活配置需求，通過(guò)性能型、均衡型、容量型、高密容量型四種機(jī)型的按需靈活配置，進(jìn)一步降低整體投入。
浪潮信息自研的源大模型
目前，浪潮信息生成式AI存儲(chǔ)解決方案已經(jīng)在全球領(lǐng)先的中文語(yǔ)言大模型"源1.0"中成功落地。"源"中文語(yǔ)言大模型有近2500億個(gè)模型參數(shù)，算力消耗達(dá)4000+PetaFlop/s-day，底層采用AS13000并行存儲(chǔ)支撐，原始數(shù)據(jù)、經(jīng)過(guò)粗篩和精篩的處理后得到高質(zhì)量中文數(shù)據(jù)都集中在AS13000上。
模型訓(xùn)練過(guò)程中對(duì)存儲(chǔ)的挑戰(zhàn)主要有對(duì)小文件并發(fā)的性能，和訓(xùn)練過(guò)程中要求快速保存Checkpoint存檔文件的高速寬寫入要求。AS13000采用最新硬件平臺(tái)，搭載全閃SSD和高速IB網(wǎng)絡(luò)，支撐源的訓(xùn)練過(guò)程高效完成。
據(jù)測(cè)算，GPT-3使用10000塊GPU、花了30天訓(xùn)練完成1750億參數(shù)，"源1.0"在2128個(gè)GPU集群上跑了16天完成了訓(xùn)練，源1.0的算力效率達(dá)到44.8%，遠(yuǎn)超MT-NLG與GPT-3等國(guó)際知名模型，其中存儲(chǔ)的極致性能功不可沒(méi)。
某AI獨(dú)角獸公司
該公司計(jì)劃發(fā)布5000億參數(shù)量的NLP語(yǔ)言類大模型，為了極致的提升計(jì)算效率，采用了計(jì)算網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)分離的設(shè)計(jì)，計(jì)算網(wǎng)絡(luò)采用高速IB、存儲(chǔ)網(wǎng)絡(luò)選擇了RoCE，并對(duì)于存儲(chǔ)提出了明確要求：不小于3.5PB的高速存儲(chǔ)，性能要求帶寬300GB，IOPS 350萬(wàn)以上。客戶從專業(yè)性、開(kāi)發(fā)成本、周期及運(yùn)維等方面進(jìn)行全面評(píng)估后，選擇浪潮信息AS13000分布式全閃存儲(chǔ)集群，支持高性能RocE組網(wǎng)和GPU直通存儲(chǔ)功能，為算力集群提供高性能低延時(shí)的數(shù)據(jù)讀取保障。同時(shí)隨著業(yè)務(wù)的上線，進(jìn)行了兩次在線存儲(chǔ)擴(kuò)容，具有非常好的靈活性和容量性能線性擴(kuò)展能力。
隨著AIGC時(shí)代的到來(lái)，浪潮信息作為最早布局AIGC大模型的企業(yè)之一，持續(xù)圍繞"新存儲(chǔ)之道"的理念，持續(xù)打造平臺(tái)型存儲(chǔ)產(chǎn)品，應(yīng)對(duì)智能時(shí)代、AIGC時(shí)代的存儲(chǔ)挑戰(zhàn)。
本文作者 | 大話存儲(chǔ) 冬瓜哥
