研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 中原证券-人工智能行业专题:DeepSeek的稀疏注意力机制给AI产业释放更大的发展潜能-251016
上传日期:   2025/10/16 大小:   998KB
格式:   pdf  共9页 来源:   中原证券
评级:   强于大市 作者:   唐月
下载权限:   无限制-登录即可下载
投资要点:
  人类在处理信息时选择性地关注关键信息,从而提高了处理效率和准确性。深度学习模仿人类的这种能力引入了注意力机制,从而给长文本处理带来了可能性。
  由于注意力机制面临显存开销和计算复杂度两大发展瓶颈,为了不断通过Scaling Law提升大模型长文本处理能力和模型性能,AI产业不断在进行算法、系统、硬件三个层面的提升和优化。其中在算法层面,DeepSeek作为开源大模型领域的代表和低成本模型方向的标杆,在注意力机制的技术改进方面也做了大量的工作。
  NSA:2025年2月,DeepSeek梁文锋参与撰写的论文《NativeSparse Attention: Hardware-Aligned and Natively TrainableSparse Attention》发布,提出了原生稀疏注意力(NSA),通过算法和硬件的协同优化,把长文本处理速度提升了11倍,并实现了与传统的全注意力模型相当或更优的性能。
  DSA:2025年9月DeepSeek发布了V3.2-Exp,它基于V3.1-Terminus构建,引入了新的注意力机制DSA,在保持模型性能的稳定的同时,在训练推理效率方面有了较大的提升,带来了模型较大幅度的降价。由于不需要重新训练模型,而是进行原有模型的升级,可以更低成本地进行稀疏注意力的探索与实验。
  稀疏注意力的引入将注意力计算复杂度从O(L2)(L为序列长度)降至亚平方级(如O(Llog L)、(O(Lk)),从而突破内存与算力瓶颈。此前,稀疏注意力工作主要集中在推理阶段,而业界预训练阶段多采用稠密注意力机制,而DeepSeek的NSA和DSA在训练阶段引入了稀疏注意力,给大模型带来的计算效率的提升和模型上下文的拓展,将给后训练释放更大的发展潜能,成为推动模型能力不断突破的重要支撑。
  风险提示:国际形势的不确定性。
  
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1