华为昇腾完成小红书dots3-note preview模型0 Day适配
小红书于8月14日发布dots3-note preview开源大模型,华为昨日宣布昇腾Atlas 800 A3及Atlas 900 A3 SuperPoD超节点已完成该模型的全量适配,并基于vLLM Ascend推理引擎提供完整部署与推理能力。

dots3-note preview作为dots3系列首个版本,拥有280B总参数量与16B激活参数量,支持文本、视觉、语音全模态感知。官方称其在推理、Agent及多模态感知等任务上表现优异,可媲美更大尺寸模型。

华为在模型发布当天完成0 Day推理适配与性能优化,在保留全模态能力的同时提升生成效率。基于vLLM Ascend框架,实现文本、图片、音频的端到端适配,打通视觉编码器、音频特征提取与LLM主干推理链路,支持多模态输入稳定推理。
- FlashComm通信优化:通过数学等价变换将AllReduce拆解为ReduceScatter+AllGather,消除多卡重复计算,降低推理时延。
- FUSED_MC2通算融合:合并MoE层多段独立Kernel为单一大算子,减少Kernel启动次数,提升推理吞吐。
- MTP投机推理原生支持:针对增量解码瓶颈,原生适配MTP投机解码,减少解码前向次数,降低TPOT,提升生成效率。
部署指导与模型权重已公开,详见华为昇腾文档及Hugging Face仓库。
本文图片来自互联网,仅供学习交流使用,版权归原作者或原平台所有。如认为图片侵犯了您的权益,请联系我们删除。

