北京2025年3月20日 /美通社/ -- 浪潮信息宣布推出元腦CPU推理服務器，可高效運行DeepSeek和千問QwQ等新一代大推理模型。元腦CPU推理服務器NF8260G7和NF8480G7設計采用4顆高性能通用CPU和多通道內存系統，通過先進的張量并行策略和AMX加速技術，單機即可高效運行DeepSeek-R1 32B和QwQ-32B推理模型，單用戶性能超20 tokens/s，可同時處理20個并發用戶請求，是企業快速、易獲得、低投入部署上線大模型平臺的理想算力選擇，將加速DeepSeek帶動下AI落地普及速度。

大模型行業應用落地加速，DeepSeek-R1 32B、QwQ-32B等模型中文能力見長，并在理解能力和知識儲備上有顯著優勢，是企業平衡性能和部署成本的最佳模型選擇。元腦CPU推理服務器僅基于通用處理器進行軟硬協同優化，可為企業32B模型推理與云計算、數據庫等通用關鍵業務場景融合提供更高效、更靈活、更穩定的AI通用算力支撐。

隨著DeepSeek等大模型在企業場景中的應用日趨廣泛，以及與企業業務系統的融合更加緊密，CPU服務器憑借其獨特優勢成為中小規模并發場景部署DeepSeek的最佳選擇。CPU服務器具備卓越的通用性和靈活性，可同時支持AI推理、云計算、數據庫等多種工作負載，避免了專用AI硬件的使用局限，為大模型應用與現有IT基礎設施的融合提供了更加靈活、經濟的方案選擇，使企業能夠以較低的硬件投入快速實現大模型應用落地。

在企業部署大模型的過程中，參數規模與其應用場景息息相關。浪潮信息與IDC聯合發布的《2025年中國人工智能計算力發展評估報告》顯示，目前92%企業使用的生成式人工智能模型平均參數量小于50B。一般而言，671B等超大規模參數的模型性能更強，但對硬件資源要求高，部署成本昂貴；而32B級模型在理解能力和知識儲備上有顯著優勢，能夠平衡性能和部署成本。以業界32B模型為例，DeepSeek-R1 32B在知識問答、智能寫作、內容生成等方面表現優秀，QwQ-32B則在數學推理、編程任務和長文本處理等方面的性能優異。DeepSeek-R1 32B和QwQ-32B的訓練數據中包含海量的高質量中文語料庫，會更加適合于國內企業應用，而Llama 70B主要基于英文語料進行訓練，對中文用戶而言不夠友好。因此，大多數企業應用場景中，如企業知識庫問答、文檔寫作、會議紀要整理等場景，32B參數級別的模型往往是最佳選擇，既能提供強大的能力支持，又能保持合理的硬件投入。

目前元腦CPU推理服務器NF8260G7和NF8480G7基于通用處理器架構進行軟硬協同優化，已經完成與DeepSeek-R1 32B和QwQ-32B等大模型的深度適配和優化。元腦CPU推理服務器通過采用先進的張量并行策略和AMX加速技術，業界主流企業級大模型推理服務框架，實現多處理器并行計算，并使用AWQ（激活感知權重量化）技術，進一步提升推理解碼性能，成功實現單用戶最高20tokens/s的最佳性能，為企業的AI大模型部署應用帶來流暢體驗。

面對CPU服務器部署大模型面臨算力和帶寬方面的挑戰，元腦CPU推理服務器采用了多項創新技術。

• 在算力方面，元腦CPU推理服務器NF8260G7和NF8480G7，設計上采用4顆32核心的英特爾至強處理器6448H，具有AMX（高級矩陣擴展）AI加速功能，支持張量并行計算，并通過多通道內存系統設計可支持32組DDR5內存，從而在單機具備超強的BF16精度AI推理能力、最大16T內存容量和1.2TB/s內存帶寬，可以更好滿足模型權重、KVCache等計算和存儲需求，快速讀取和存儲數據，大幅提升大模型推理性能。同時，元腦四路服務器具備高可靠性，平均無故障時間可達200,000小時，保障關鍵應用和AI推理應用持續穩定運行。
• 在算法方面，元腦CPU推理服務器對業界主流的企業級大模型推理服務框架vLLM進行深度定制優化，通過張量并行和內存綁定技術，充分釋放服務器CPU算力和內存帶寬潛能，實現多處理器并行計算，效率最高提升4倍，并使用AWQ（激活感知權重量化）技術進一步加速解碼性能，實現了2倍解碼性能提升。測試數據顯示，基于單臺NF8260G7，在使用DeepSeek-R1 32B進行帶思維鏈深度思考的短輸入長輸出的問答場景下，解碼性能超過20tokens/s，20個并發用戶下，總token數達到255.2tokens/s；在使用QwQ-32B進行模型推理時，支持20個并發用戶數，總token數達到224.3tokens/s，可以提供流暢穩定的用戶體驗。

當前，元腦服務器研發團隊正與業內團隊密切合作，在計算架構、算子調優、并行策略、框架適配、調度管理等多個方面持續發力，旨在為用戶帶來高效、穩定的DeepSeek等大模型部署方案，助力大模型快速落地應用。