研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 长江证券-软件与服务行业AI产业跟踪:QWEN-NEXT即将发布,有望树立AI大模型效率与性能新标杆-250914
上传日期:   2025/9/15 大小:   619KB
格式:   pdf  共5页 来源:   长江证券
评级:   看好 作者:   宗建树
下载权限:   此报告为加密报告
事件描述
  根据Hugging Face transformers库,阿里Qwen团队开源模型家族引入一位新成员——Qwen3-Next,预计即将发布并开源Qwen3-Next-80B-A3B,总参数量800亿。
  事件评论
  Qwen3-Next系列定位专为极长上下文和大规模参数效率而优化的下一代基础模型,大模型降本与效能提升有望取得突破。Qwen3-Next并非简单的模型迭代,而是一个全新的、旨在攻克长上下文和计算效率难题的架构体系,我们认为,Qwen3-Next有望树立大模型新的性能与效率标杆。
  Qwen3-Next引入一系列架构创新,旨在“最大化性能、最小化计算成本”:(1)混合注意力(Hybrid Attention)重构,实现性能和效率的精妙平衡:用门控DeltaNet与门控注意力Gated Attention结合机制替代标准注意力机制,前者是一种基于状态空间模型(SSM)的结构,融合了传统注意力的局部信息捕捉能力和SSM架构在线性计算复杂度下处理长程依赖的能力,使得模型既能精准捕捉关键信息,又能更高效地大规模扩展上下文处理能力,实现高效上下文建模;(2)1:50高稀疏度MoE(High-Sparsity MoE):相较常见的1:4 ~1:32的MoE激活比例,Qwen3-Next在MoE层中实现极低的激活比例(1:50),在512个专家中,每次推理为每个token选择10个专家。我们认为,这种“多选”策略相比“单选”能提供更丰富的特征组合和更平滑的路由,得以在保持模型容量的同时,大幅减少每个token所需FLOPs,由此实现高性能。(3)多Token预测(MultiToken Prediction, MTP)提升预训练性能、加快推理速度。不同于传统语言模型一次预测下一个词元,效率较低且容易出现逻辑偏差,MTP允许模型在预训练时并行预测未来多个词元,通过学习到更好的语言规划能力能提升训练效率和生成文本连贯性,该技术或是下一代大模型预训练的关键。(4)其他优化:包括零中心+权重衰减的LayerNorm、Gated Attention以及其他增强训练稳定性的技术。
  模型从“更大”转向“更高效”,有望开启“性能-效率新范式”竞赛。得益于上述架构创新,仅激活30亿参数,Qwen3-Next在下游任务依然超越Qwen3-32B(320亿参数稠密模型),而训练成本不到后者1/10。此外,在处理超过32K tokens的长上下文时,其推理吞吐量也比Qwen3-32B高出10倍以上。Qwen3-Next-80B-A3B或代表了大模型产业商业化落地曲线的一个重要拐点,AIAgent商业化落地有望进一步加速。
  持续关注Qwen3-Next后续发布及其架构演进。当前国内模型加速迭代不断与海外拉平,Agent投资核心逻辑强化,随着AI货币化开启,预计Q4国内模型与应用侧都将迎来核心拐点,模型能效持续提升、成本下探有望实现突破,强烈看好国内AI应用货币化开启,垂直场景的Agent落地周期有望提前,看好Agent投资机遇。建议关注:1)AIAgent相关厂商;2)中国推理算力产业链;3)CSP厂商关注推理需求推动;4)IDC:与阿里等大厂合作的IDC。
  风险提示
  1、AI技术发展不及预期;
  2、下游应用需求不及预期
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1