北京2025年12月4日 /美通社/ -- 亞馬遜云科技在2025 re:Invent全球大會(huì)上，宣布Amazon EC2 Trainium3 UltraServers（下稱Trn3 UltraServers）現(xiàn)已正式可用，由亞馬遜云科技首款3nm AI芯片驅(qū)動(dòng)，為不同規(guī)模的企業(yè)提供運(yùn)行高強(qiáng)度AI訓(xùn)練與推理工作負(fù)載的能力，幫助客戶更快更省地訓(xùn)練和部署AI模型。與Trainium2 UltraServers相比，Trn3 UltraServers在AI場(chǎng)景中提供高性能，實(shí)現(xiàn)高達(dá)4.4倍的計(jì)算性能、4倍的能效提升以及近4倍的內(nèi)存帶寬，使AI開發(fā)速度更快、運(yùn)營(yíng)成本更低。Trn3 UltraServers可擴(kuò)展至最多144顆Trainium3芯片，提供高達(dá)362 FP8 PFLOPs的性能，延遲降低4倍，可更快速訓(xùn)練更大規(guī)模的模型，并支持大規(guī)模推理場(chǎng)景。包括Anthropic、Karakuri、Metagenomics、Neto.ai、Ricoh與Splashmusic在內(nèi)的客戶已經(jīng)通過Trainium將訓(xùn)練與推理成本降低至原來的50%。值得的一提的是，Amazon Bedrock也已在Trainium3上運(yùn)行生產(chǎn)級(jí)工作負(fù)載。

AI模型規(guī)模與復(fù)雜度持續(xù)提升，正在逼近計(jì)算和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的極限。客戶希望縮短訓(xùn)練時(shí)間并降低推理延遲（即AI系統(tǒng)接收輸入到生成對(duì)應(yīng)輸出的時(shí)間）。如今，訓(xùn)練尖端模型所需的基礎(chǔ)設(shè)施投入只有少數(shù)企業(yè)能夠承擔(dān)，而大規(guī)模提供 AI 應(yīng)用服務(wù)則需要大量計(jì)算資源，成本很容易失控。即使采用當(dāng)前最快的加速實(shí)例，僅靠增大集群規(guī)模也難以突破并行化限制，無法顯著縮短訓(xùn)練時(shí)間，而實(shí)時(shí)推理需求則進(jìn)一步超出單實(shí)例架構(gòu)的能力邊界。為幫助客戶突破這些限制，亞馬遜云科技宣布Amazon EC2 Trn3 UltraServers今日起正式可用。Trn3 UltraServers基于全新的3nm制程工藝的Trainium3芯片，使各類規(guī)模的企業(yè)能夠更快訓(xùn)練更大的AI模型，以更低成本服務(wù)更多用戶，讓更多機(jī)構(gòu)能夠以更低門檻獲取支撐未來前沿AI項(xiàng)目所需的算力。

Trainium3 UltraServers：為下一代AI工作負(fù)載而生

Trn3 UltraServers在單一系統(tǒng)中集成多達(dá)144顆Trainium3芯片，計(jì)算性能較Trainium2 UltraServers提升高達(dá)4.4倍。這使企業(yè)能夠處理過去難以實(shí)現(xiàn)或成本過高的AI項(xiàng)目：模型訓(xùn)練速度更快，周期從數(shù)月縮短至數(shù)周；可同時(shí)處理更多用戶的推理請(qǐng)求；并進(jìn)一步縮短產(chǎn)品上市時(shí)間，并降低整體運(yùn)營(yíng)成本。

使用OpenAI的開源權(quán)重模型GPT-OSS對(duì)Trn3 UltraServers進(jìn)行測(cè)試發(fā)現(xiàn)，相比Trn2 UltraServers，其單芯片吞吐量提升3倍，響應(yīng)速度快4倍。這意味著企業(yè)在更小的基礎(chǔ)設(shè)施規(guī)模下即可擴(kuò)展AI應(yīng)用以應(yīng)對(duì)峰值需求，直接提升用戶體驗(yàn)，同時(shí)降低單次推理請(qǐng)求的成本。

這些改進(jìn)源于為AI場(chǎng)景專門設(shè)計(jì)的Trainium3芯片。該芯片通過先進(jìn)的設(shè)計(jì)創(chuàng)新、用于加速芯片間數(shù)據(jù)傳輸?shù)膬?yōu)化互連結(jié)構(gòu)以及能夠在處理大型AI模型時(shí)消除瓶頸的增強(qiáng)型內(nèi)存系統(tǒng)，實(shí)現(xiàn)了突破性的性能提升。除了性能增長(zhǎng)之外，Trainium3實(shí)現(xiàn)顯著的節(jié)能效果，與前幾代相比能效提升40%，在大規(guī)模部署中尤為關(guān)鍵，從而能夠提供更具成本效益的AI基礎(chǔ)設(shè)施，同時(shí)降低數(shù)據(jù)中心的整體能耗與環(huán)境影響。

專為規(guī)模化設(shè)計(jì)的先進(jìn)網(wǎng)絡(luò)基礎(chǔ)設(shè)施

亞馬遜云科技將Trn3 UltraServer打造為從芯片架構(gòu)到軟件棧的垂直集成系統(tǒng)。該集成的核心是一套專為消除分布式AI計(jì)算中常見通信瓶頸而設(shè)計(jì)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施。全新的NeuronSwitch-v1使每臺(tái)UltraServer的帶寬提升2倍，而增強(qiáng)型Neuron Fabric網(wǎng)絡(luò)則將芯片間通信延遲降低至不足10微秒。

未來的AI工作負(fù)載，包括agent系統(tǒng)、MoE架構(gòu)和強(qiáng)化學(xué)習(xí)應(yīng)用，都需要海量數(shù)據(jù)在處理器之間無縫流動(dòng)。亞馬遜云科技打造的這一網(wǎng)絡(luò)體系，使過去難以實(shí)現(xiàn)的近乎即時(shí)響應(yīng)型AI應(yīng)用成為可能，并進(jìn)一步解鎖全新用例，例如可即時(shí)處理并執(zhí)行數(shù)據(jù)的實(shí)時(shí)決策系統(tǒng)，以及響應(yīng)自然、無延遲的流暢對(duì)話式AI。

對(duì)于有規(guī)模化需求的客戶，EC2 UltraClusters 3.0可連接數(shù)千臺(tái)UltraServer，最多可搭載100萬顆Trainium芯片，是上一代的10倍，從而為訓(xùn)練下一代基礎(chǔ)模型提供所需的基礎(chǔ)設(shè)施。如此規(guī)模讓許多過去無法實(shí)現(xiàn)的任務(wù)成為可能，包括在萬億token級(jí)數(shù)據(jù)集上訓(xùn)練多模態(tài)模型，或?yàn)閿?shù)百萬并發(fā)用戶提供實(shí)時(shí)推理服務(wù)。

客戶已在前沿規(guī)模上獲得顯著成果

客戶已經(jīng)從Trainium中獲得顯著價(jià)值。與其他方案相比，Anthropic、Karakuri、Metagenomics、Neto.ai、Ricoh與Splashmusic等企業(yè)通過Trainium將訓(xùn)練成本降低了最多50%。亞馬遜云科技的基礎(chǔ)模型托管服務(wù)Amazon Bedrock目前已在Trainium3上運(yùn)行生產(chǎn)級(jí)工作負(fù)載，充分證明該芯片已具備企業(yè)級(jí)部署能力。

包括Decart在內(nèi)的先鋒AI企業(yè)正借助Trainium3處理實(shí)時(shí)生成式視頻等高要求工作負(fù)載。Decart是一家專注高效優(yōu)化生成式視頻與圖像模型的AI實(shí)驗(yàn)室，為實(shí)時(shí)互動(dòng)體驗(yàn)提供技術(shù)支持。該公司利用Trainium3實(shí)現(xiàn)了幀生成速度提升4倍、成本僅為GPU一半，這使得計(jì)算密集型應(yīng)用規(guī)模化落地變得可行，并催生從個(gè)性化實(shí)時(shí)體驗(yàn)到大規(guī)模模擬在內(nèi)的全新互動(dòng)內(nèi)容類型。

在Project Rainier項(xiàng)目中，亞馬遜云科技與Anthropic合作，將超過50萬顆Trainium2芯片連接為全球最大AI算力集群，其規(guī)模是訓(xùn)練Anthropic上一代模型所用基礎(chǔ)設(shè)施的5倍。Trainium3在此基礎(chǔ)上進(jìn)一步擴(kuò)展UltraCluster架構(gòu)，為下一代大規(guī)模AI算力集群和前沿模型提供更高的性能與可擴(kuò)展性。

展望下一代Trainium 

亞馬遜云科技已經(jīng)著手研發(fā)下一代Trainium4，其設(shè)計(jì)目標(biāo)是在各項(xiàng)性能指標(biāo)上實(shí)現(xiàn)顯著提升，包括至少6倍的FP4處理性能、3倍的FP8性能以及4倍的內(nèi)存帶寬，以支撐下一代前沿模型的訓(xùn)練與推理需求。隨著硬件與軟件的持續(xù)優(yōu)化，最終的整體性能提升將遠(yuǎn)高于這些芯片參數(shù)本身的提升幅度。

Trainium4在FP8性能上的3倍提升是一次基礎(chǔ)性飛躍，使AI模型的訓(xùn)練速度至少提升3倍，或處理至少3倍的推理請(qǐng)求，并可通過持續(xù)的軟件增強(qiáng)與特定工作負(fù)載優(yōu)化獲得更多額外加速。FP8作為行業(yè)標(biāo)準(zhǔn)的精度格式，能夠在現(xiàn)代AI工作負(fù)載中平衡模型準(zhǔn)確性與計(jì)算效率。

為實(shí)現(xiàn)更強(qiáng)的擴(kuò)展能力，Trainium4將支持NVIDIA NVLink Fusion高速芯片互連技術(shù)。通過這一集成，Trainium4、Graviton與Elastic Fabric Adapter（EFA）能夠在通用MGX機(jī)架內(nèi)無縫協(xié)作，構(gòu)建兼容GPU與Trainium服務(wù)器的高性價(jià)比機(jī)架級(jí)AI基礎(chǔ)設(shè)施，形成一個(gè)靈活且高性能的平臺(tái)，為高要求的AI模型訓(xùn)練與推理工作負(fù)載進(jìn)行優(yōu)化。