久久99精品久久久久久噜噜-国产免费内射又粗又爽密桃视频-性欧美大战久久久久久久-久久久久久久

隨著人工智能業(yè)界大模型從稠密架構(gòu)向以DeepSeek為代表的多專家混合模型（MoE）架構(gòu)演進，基于高端智算能力的云上推理成為當前技術(shù)演進的趨勢和必然需求，高效率推理性能成為智算資源提供領(lǐng)先者的核心競爭力。

近期，中國電信廣東公司聯(lián)合電信研究院、華為公司，基于中國電信粵港澳大灣區(qū)（韶關(guān)）算力集群已上線的全球首個商用昇騰超節(jié)點智算集群，采用電信研究院自研“翼芯”智算測試與適配優(yōu)化平臺，針對多種推理場景開展了大模型性能優(yōu)化及測試。通過對主流模型與超節(jié)點系統(tǒng)迭代適配調(diào)優(yōu)，不同場景下的推理性能均實現(xiàn)了大幅提升；其中DeepSeek 671B滿血版模型達到單卡推理吞吐性能2122 Tokens/s，刷新了業(yè)界紀錄。

圖1：廣東電信超節(jié)點液冷艙

昇騰超節(jié)點系統(tǒng)創(chuàng)新應(yīng)用全總線架構(gòu)，采用高速互連技術(shù)將384張910C智算卡緊密耦合形成大型算力單元。該架構(gòu)在大幅降低模型并行通信時延的同時，還需要解決好資源調(diào)度與并行策略設(shè)置復(fù)雜性變高的問題；需要針對不同業(yè)務(wù)場景的資源和并發(fā)策略進行靈活設(shè)置，才能最大發(fā)揮算力單元整體性能，將算力單元與大模型的親和度提升至最佳。

圖2：超節(jié)點物理架構(gòu)

本次中國電信和華為公司共同合作，完成翼芯測試平臺與昇騰384卡超節(jié)點對接優(yōu)化，針對13項基準性能、6類典型場景推理性能，采用5類典型資源配置開展自動化測試；同時嘗試采用了算子融合替換、PD分離調(diào)度、KV cache優(yōu)化、集合通信優(yōu)化、并行策略優(yōu)化等多維度的調(diào)優(yōu)策略，不斷將吞吐性提升到最大。經(jīng)充分優(yōu)化后，DeepSeek 671B模型在多種場景下的單卡吞吐性能較優(yōu)化前有2.5~4.3倍提升；在保證TTFT為1.28s、TPOT為50ms的服務(wù)質(zhì)量指標下，單卡吞吐達到了2122 Tokens/s，較業(yè)界前期測試最佳性能提升9.2%。

圖3：超節(jié)點性能優(yōu)化情況

本次超節(jié)點優(yōu)化和性能指標刷新，成功體現(xiàn)了中國電信對智算系統(tǒng)整體優(yōu)化核心技術(shù)的深刻理解與實踐創(chuàng)新能力，可以根據(jù)客戶實際場景性能的需要，靈活配置智算資源池資源，更高效地服務(wù)于復(fù)雜推理、多智能體協(xié)同等新業(yè)務(wù)場景。下一階段中國電信將開展更多場景的超節(jié)點形態(tài)優(yōu)化研究和驗證測試；在此基礎(chǔ)上，進一步匯聚產(chǎn)業(yè)生態(tài)、共建行業(yè)生態(tài)、共享技術(shù)生態(tài)、聚攏開發(fā)者生態(tài)，持續(xù)推動國產(chǎn)智算基礎(chǔ)設(shè)施建設(shè)和技術(shù)創(chuàng)新，全面助力人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展。