通過Amazon SageMaker HyperPod的三項新功能，以及直接在Amazon SageMaker中整合亞馬遜云科技合作伙伴的熱門AI應用產(chǎn)品，亞馬遜云科技幫助客戶消除AI開發(fā)生命周期中無差別的繁重工作，從而更快速、更輕松地構(gòu)建、訓練和部署模型

北京2024年12月16日 /美通社/ -- 亞馬遜云科技在2024 re:Invent全球大會上，宣布推出Amazon SageMaker AI四項創(chuàng)新，助力企業(yè)更快使用熱門的公開模型，最大化訓練效率、降低成本，并使用其首選工具加速生成式人工智能（AI）模型的開發(fā)。Amazon SageMaker AI是一項端到端的服務，數(shù)十萬客戶使用它來構(gòu)建、訓練和部署各種用例的AI模型，它提供完全托管的基礎設施、工具和工作流。

• Amazon SageMaker HyperPod新增三項強大功能，幫助客戶更輕松地快速開始訓練時下流行的公開可用模型，通過靈活訓練計劃節(jié)省數(shù)周的模型訓練時間，并最大化計算資源利用率，將成本降低高達40%。
• 現(xiàn)在，客戶可以直接在Amazon SageMaker中輕松安全地發(fā)現(xiàn)、部署和使用來自亞馬遜云科技合作伙伴的完全托管的生成式AI和機器學習（ML）開發(fā)應用，例如Comet、Deepchecks、Fiddler AI和Lakera，從而靈活選擇最適合的工具。
• Articul8、澳大利亞聯(lián)邦銀行、富達、Hippocratic AI、Luma AI、NatWest、NinjaTech AI、OpenBabylon、Perplexity、Ping Identity、Salesforce和湯森路透等客戶正在使用Amazon SageMaker的新功能，加速生成式AI模型開發(fā)。

亞馬遜云科技人工智能和機器學習服務與基礎設施副總裁Baskar Sridharan博士表示："亞馬遜云科技在七年前推出Amazon SageMaker，以簡化構(gòu)建、訓練和部署AI模型的過程，幫助各種規(guī)模的組織訪問和擴展其對AI和機器學習的使用。隨著生成式AI的興起，Amazon SageMaker不斷快速創(chuàng)新，自2023年以來已經(jīng)推出了超過140項功能，幫助Intuit、Perplexity和Rocket Mortgage等企業(yè)更快地構(gòu)建基礎模型。通過此次發(fā)布，我們將為客戶提供更高性能、更具成本效益的模型開發(fā)基礎設施，幫助他們加速將生成式AI工作負載部署到生產(chǎn)環(huán)境中。"

Amazon SageMaker HyperPod：訓練生成式AI模型的首選基礎設施

隨著生成式AI的出現(xiàn)，構(gòu)建、訓練和部署機器學習模型的過程變得更加困難，這需要深厚的AI專業(yè)知識、訪問大量數(shù)據(jù)以及創(chuàng)建和管理大型計算集群。此外，客戶需要開發(fā)專門的代碼來實現(xiàn)跨集群分布式訓練，持續(xù)檢查和優(yōu)化模型，并手動處理硬件故障，同時盡量控制時間進度和成本。亞馬遜云科技為此推出Amazon SageMaker HyperPod，幫助客戶在數(shù)千個AI加速器上高效擴展生成式AI模型開發(fā)，將訓練基礎模型的時間縮短高達40%。無論是Writer、Luma AI、Perplexity等領先的初創(chuàng)公司，還是湯森路透、Salesforce等大型企業(yè)，都在利用Amazon SageMaker HyperPod加速模型開發(fā)。亞馬遜還使用Amazon SageMaker HyperPod訓練新的Amazon Nova模型，不僅降低了訓練成本，提高了訓練基礎設施的性能，還節(jié)省了數(shù)月手動設置和管理集群的時間。

現(xiàn)在，越來越多的企業(yè)希望微調(diào)熱門的公開可用模型，或訓練自己的專用模型，以利用生成式AI改造業(yè)務和應用。Amazon SageMaker HyperPod將持續(xù)創(chuàng)新，幫助客戶更輕松、更快速、更具成本效益地大規(guī)模構(gòu)建、訓練和部署這些模型，具體創(chuàng)新包括：

• 新訓練配方幫助客戶更快上手：許多客戶希望基于Llama和Mistral等熱門的公開可用模型，使用內(nèi)部數(shù)據(jù)為特定用例進行定制。然而，優(yōu)化訓練性能可能需要數(shù)周的反復測試，包括嘗試不同的算法、調(diào)整參數(shù)、觀察訓練效果、調(diào)試問題和設定性能基準。為了幫助客戶在幾分鐘內(nèi)快速入門，Amazon SageMaker HyperPod現(xiàn)在提供30多個精選的模型訓練配方，可適用于時下熱門的一些公開可用模型，包括Llama 3.2 90B、Llama 3.1 405B和Mistral 8x22B。這些配方極大地簡化了客戶的入門過程，自動加載訓練數(shù)據(jù)集、應用分布式訓練技術，并配置系統(tǒng)以實現(xiàn)高效的檢查點管理和基礎設施故障恢復。不同技能水平的客戶能夠從一開始就在亞馬遜云科技基礎架構(gòu)上優(yōu)化模型訓練的性價比，省去了數(shù)周的反復評估和測試的時間。客戶可以通過Amazon SageMaker GitHub存儲庫瀏覽可用的訓練配方，根據(jù)定制需求調(diào)整參數(shù)，并在幾分鐘內(nèi)完成部署。此外，客戶只需一行簡單編輯，即可在基于GPU或Trainium的實例之間無縫切換，進一步優(yōu)化性價比。
  
  Salesforce的研究人員一直在尋求一種快速啟動基礎模型訓練和微調(diào)的解決方案，希望能夠在不用過多關注基礎設施的情況下，避免為每個新模型耗費數(shù)周時間進行訓練堆棧優(yōu)化。通過Amazon SageMaker HyperPod的定制模板，他們現(xiàn)在能夠快速開展基礎模型的原型設計。目前，Salesforce的AI研究團隊可以在短短幾分鐘內(nèi)啟動各種預訓練和微調(diào)流程，并成功實現(xiàn)基礎模型的高效運營。
  
  
• 靈活訓練計劃可輕松滿足訓練時限和預算要求：盡管基礎設施創(chuàng)新有助于降低成本并提高訓練效率，但客戶仍需規(guī)劃并管理所需計算資源，以確保在預算范圍內(nèi)按時完成訓練任務。因此，亞馬遜云科技為Amazon SageMaker HyperPod推出了靈活訓練計劃。客戶只需輕松點擊幾下，就能指定預算、截止日期和所需的最大計算資源量。Amazon SageMaker HyperPod會自動預留容量、設置集群并創(chuàng)建模型訓練作業(yè)，幫助團隊節(jié)省數(shù)周的訓練時間，減少客戶在獲取大型計算集群以完成模型開發(fā)任務時的不確定性。如果提議的訓練計劃無法滿足指定的時間、預算或計算要求，Amazon SageMaker HyperPod會提供替代方案，如延長日期范圍、增加計算資源或選擇不同的亞馬遜云科技區(qū)域進行訓練。一旦計劃獲批，Amazon SageMaker會自動配置基礎設施并啟動訓練作業(yè)。Amazon SageMaker使用 Amazon Elastic Compute Cloud (EC2)容量塊預留所需的加速計算實例，確保訓練任務按時完成。根據(jù)容量塊的可用時間，Amazon SageMaker HyperPod通過有效的暫停和恢復訓練作業(yè)，確保客戶始終擁有按時完成任務所需的計算資源，無需人工干預。
  
  Hippocratic AI為醫(yī)療保健開發(fā)以安全為重點的大語言模型（LLM）。為了訓練多個模型，Hippocratic AI采用了Amazon SageMaker HyperPod靈活訓練計劃，獲得了按時完成訓練任務所需的加速計算資源。這幫助他們將模型訓練速度提高了4倍，并更有效地擴展其解決方案，以適應數(shù)百個用例。
  
  
• 任務治理功能最大化加速器利用率：越來越多的企業(yè)為模型訓練配置大量加速計算資源。這些計算資源昂貴且有限，因此客戶需要一種管理資源使用率的方法，以確保其計算資源優(yōu)先用于最關鍵的模型開發(fā)任務，避免任何浪費或利用率不足。如果沒有對任務優(yōu)先級和資源分配的有效控制，一些項目最終會因資源不足而停滯，而同時其他項目卻資源利用率不足。這給管理員帶來了巨大負擔，他們必須不斷重新規(guī)劃資源分配，而數(shù)據(jù)科學家則難以取得進展。這不僅阻礙了企業(yè)將AI創(chuàng)新快速推向市場，還可能導致成本超支。通過Amazon SageMaker HyperPod任務治理功能，客戶可以在模型訓練、微調(diào)和推理過程中最大化加速器的利用率，將模型開發(fā)成本降低最多 40%。只需點擊幾下，客戶就可以輕松為不同任務定義優(yōu)先級，并為每個團隊或項目可以使用的計算資源設置限制。一旦客戶在不同團隊和項目之間設置了限制，Amazon SageMaker HyperPod將分配相關資源，自動管理任務隊列以確保最關鍵的工作優(yōu)先進行。例如，如果客戶緊急需要更多計算資源來支持面向客戶的推理任務，但所有計算資源都已被占用，Amazon SageMaker HyperPod會自動釋放未充分利用的資源或非緊急任務的資源，以確保緊急推理任務獲得所需資源。在這種情況下，Amazon SageMaker HyperPod會自動暫停非緊急任務，保存檢查點以保證已完成的工作完好無損，并在更多資源可用時從最后保存的檢查點恢復任務，確保客戶最大化計算資源的利用。
  
  Articul8 AI是一家快速成長的初創(chuàng)企業(yè)，致力于幫助企業(yè)構(gòu)建自己的生成式AI應用產(chǎn)品，因此需要不斷優(yōu)化計算環(huán)境，以盡可能高效地分配資源。通過使用Amazon SageMaker HyperPod中的新任務治理功能，該公司的GPU利用率有了顯著提高，減少了空閑時間，并加速了端到端模型開發(fā)。自動將資源轉(zhuǎn)移到高優(yōu)先級任務的能力提高了團隊的生產(chǎn)力，使他們能夠更快地推出生成式AI創(chuàng)新成果。

在Amazon SageMaker中使用亞馬遜云科技合作伙伴的熱門AI應用產(chǎn)品，加速模型開發(fā)和部署

許多客戶在使用Amazon SageMaker AI的同時，也在使用業(yè)界一流的生成式AI和機器學習模型開發(fā)工具來執(zhí)行專業(yè)任務，如跟蹤和管理實驗、評估模型質(zhì)量、監(jiān)控性能和保護AI應用產(chǎn)品。然而，將熱門的AI應用產(chǎn)品集成到團隊的工作流程中是一個耗時的多步驟過程。這包括尋找合適的解決方案、執(zhí)行安全和合規(guī)性評估、監(jiān)控跨多個工具的數(shù)據(jù)訪問、配置和管理必要的基礎設施、構(gòu)建數(shù)據(jù)集成以及驗證是否符合治理要求。現(xiàn)在，亞馬遜云科技幫助客戶更輕松地將專業(yè)AI應用產(chǎn)品的強大功能與Amazon SageMaker AI的托管能力和安全性結(jié)合起來。這項新功能讓客戶能夠直接在Amazon SageMaker中輕松發(fā)現(xiàn)、部署和使用來自領先合作伙伴（如Comet、Deepchecks、Fiddler和Lakera Guard）的最佳生成式AI和機器學習開發(fā)應用，從而消除其中的阻礙繁重的工作。

Amazon SageMaker是首個為一系列生成式AI和機器學習開發(fā)任務提供精選的、完全托管且安全的合作伙伴應用集的服務。這為客戶構(gòu)建、訓練和部署模型提供了更大的靈活性和控制權，同時將AI應用產(chǎn)品的上線時間從數(shù)月縮短到數(shù)周。每個合作伙伴應用都由Amazon SageMaker AI完全托管，因此客戶不必擔心設置應用或持續(xù)監(jiān)控以確保有足夠的容量。通過Amazon SageMaker可直接訪問這些應用，客戶無需將數(shù)據(jù)從安全的亞馬遜云科技環(huán)境中移出，同時可以減少在不同界面之間切換的時間。客戶只需瀏覽Amazon SageMaker合作伙伴AI應用產(chǎn)品目錄，了解他們想要使用的應用的功能、用戶體驗和定價。然后，他們可以輕松選擇和部署應用，并使用Amazon Identity and Access Management（Amazon IAM）管理整個團隊的訪問權限。

Amazon SageMaker在Ping Identity自研的AI和機器學習基礎設施的開發(fā)和運營中也發(fā)揮著關鍵作用。借助Amazon SageMaker中的合作伙伴AI應用產(chǎn)品，Ping Identity將能夠通過私有、完全托管的服務，為其客戶提供更快速、更高效的機器學習驅(qū)動的功能，同時滿足嚴格的安全和隱私要求，并減少運營開銷。

Amazon SageMaker全部創(chuàng)新技術現(xiàn)已全面可用。