科技媒體 WccfTech (8 月 11 日)發(fā)布博文,報道稱英特爾為其銳炫 Pro 系列 GPU 的 Battlematrix 項(xiàng)目,發(fā)布首個重磅軟件更新 LLM Scaler v1.0,重點(diǎn)優(yōu)化了 AI 推理能力。
IT之家曾于 5 月報道,英特爾在 COMPUTEX 2025 臺北國際電腦展上,推出銳炫 Arc Pro B50 和 B60 兩張顯卡之外,還推出了 Project Battlematrix 推理工作站平臺,支持最多 8 張銳炫 Pro 顯卡并具備軟件包支持,能運(yùn)行高達(dá) 150B 參數(shù)的中等規(guī)模且精度高的 AI 模型。
Battlematrix 平臺集成硬件與定制化軟件棧,優(yōu)化推理性能和企業(yè)部署體驗(yàn);而 LLM Scaler 是基于 vLLM 框架開發(fā)的 AI 大模型推理容器,支持多 GPU 擴(kuò)展、長序列高效推理及多模態(tài)任務(wù)。
LLM Scaler v1.0 重點(diǎn)優(yōu)化了 vLLM 推理框架,對于 32B KPI 模型,40K 序列長度下性能提升可達(dá) 1.8 倍;70B KPI 模型同條件下提升高達(dá) 4.2 倍,8B 至 32B 規(guī)模模型輸出吞吐量較上版提升約 10%。
該版本還引入分層在線量化,有效降低顯存占用,并支持管道并行、數(shù)據(jù)并行、多模態(tài)模型及嵌入、重排序等功能,提升模型適應(yīng)性與擴(kuò)展性。
為便于企業(yè)級運(yùn)維,LLM Scaler v1.0 集成了 XPU Manager 工具,支持 GPU 電源管理、固件升級、診斷及顯存帶寬檢測。
新容器基于 Linux 平臺,充分利用多 GPU 擴(kuò)展和 PCIe 點(diǎn)對點(diǎn)數(shù)據(jù)傳輸,實(shí)現(xiàn)最高 80% 的整體性能提升,系統(tǒng)同時具備 ECC、SRIOV、遙測與遠(yuǎn)程固件更新等可靠性與可管理性特性,滿足企業(yè)級部署需求。
英特爾強(qiáng)調(diào),新軟件棧遵循行業(yè)標(biāo)準(zhǔn),兼容主流開發(fā)流程,oneCCL 基準(zhǔn)測試工具的集成也為開發(fā)者調(diào)優(yōu)和性能評測提供了便利,進(jìn)一步豐富了 Battlematrix 平臺的生態(tài)支持。
根據(jù)英特爾路線圖,本季度內(nèi)還將發(fā)布更為穩(wěn)固的容器版本,進(jìn)一步優(yōu)化 vLLM 服務(wù)能力。預(yù)計到今年第四季度,Battlematrix 項(xiàng)目將實(shí)現(xiàn)全功能版本落地,推動大模型推理平臺的持續(xù)升級,為專業(yè)領(lǐng)域用戶帶來更高效、更易用的 AI 解決方案。