研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 东吴证券-汽车行业深度报告:AI系列深度16期,语言智能为何从RNN转向Transformer?-260806
上传日期:   2026/8/6 大小:   1063KB
格式:   pdf  共15页 来源:   东吴证券
评级:   看好 作者:   黄细里
行业名称:   汽车
下载权限:   无限制-登录即可下载
语言智能从RNN走向Transformer的本质,是序列建模从“递归记忆”转向“全局注意力”,并由此打开并行训练、规模扩展和任务统一的空间。RNN通过隐藏状态沿时间步传递上下文,适合文本、语音等顺序数据,并在LSTM/GRU、Seq2Seq和Attention-RNN推动下,于2014—2016年达到机器翻译等任务的工程高峰;但其串行计算、长距离依赖衰减和固定向量瓶颈,决定了递归范式很难继续承载大模型时代的规模化路线。
  Transformer的关键变化,不在于设计更复杂的记忆单元,而在于以自注意力让序列中任意位置直接交互,使语言建模从受串行结构约束的算法问题,转变为可随算力和数据扩展的工程问题。其优势集中体现在训练可并行、长距离依赖建模更强、结构更易堆叠扩展、归纳偏置更弱并更能释放大规模数据价值;相应代价是长序列计算成本、位置编码和小数据条件下先验不足等问题,这也是循环类结构在部分效率场景仍会延续的原因。
  我们以论文与代表成果为锚,将语言Transformer演进归纳为七阶段、三大阶段:2017年自注意力替代递归,完成架构确立;2018—2020年,BERT、GPT、T5/BART推动预训练—微调、理解与生成任务统一以及规模律验证,语言模型从特征提取器转向任务执行器;2021年后,指令微调、RLHF、CoT、RAG、工具调用、o1和DeepSeek-R1等成果继续叠加,使主线从单纯扩大预训练规模,走向后训练优化与测试时计算。
  Transformer出现后,语言领域的研究和产业范式同步改变:研究主线从为每个任务设计专用架构,转向预训练通用底座加下游适配,再转向以对话式通用模型响应多类任务;产业形态则因“互动性”能力发生质变。相较AI1.0时代CNN输出标签、检测框等感知性中间结果,语言模型可以直接通过自然语言与用户交互,形成反复使用的入口,ChatGPT由此成为AI第二次爆发的产品拐点。
  我们认为,数字AI底座模型发展路径已逐渐清晰、价值在于确定性,但其难以实现物理世界的建模闭环;我们认为物理AI将成为物理世界的AI解决方案,从而在AI的当前发展阶段成为增量更大的方向,智能驾驶作为最先跑通闭环的代表场景,我们认为应重点关注。
  风险提示:技术迭代不及预期的风险,大模型厂商ARR增速放缓的风险,云服务商资本开支不及预期的风险,智能驾驶及机器人商业化落地不及预期的风险。
  
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1