>> 国盛证券-通信行业周报:AI前沿,顶级AI峰会关注了哪些新方向?-231224
| 上传日期: |
2023/12/24 |
大小: |
1855KB |
| 格式: |
pdf 共17页 |
来源: |
国盛证券 |
| 评级: |
增持 |
作者: |
宋嘉吉,黄瀚,赵丕业 |
| 行业名称: |
通信 |
| 下载权限: |
无限制-登录即可下载 |
|
|
EMNLP是自然语言处理领域的顶级会议之一,由于今年ChatGPT等AI应用的问世,聊天型AI和自然语言处理概念得到学术界的进一步深入关注,EMNLP今年的投稿数量达到4909篇,创历史新高。我们通过对比EMNLP 2022年和2023年收录的论文研究方向变化,观察到在近两年的时间里,自然语言处理的研究由传统NLP的算法优化转变至大模型的性能优化,大模型调优领域或进入学术攻坚阶段,论文数量显著提升;大模型评估作为AI发展的重要工具,也成为今年的热门论文产出赛道;机器翻译、自然语言理解、上下文理解领域或已进入大模型的规模性应用阶段,个别方向被LLM颠覆,如BERT模型,论文数量显著下降。 2022年:前沿研究集中于传统NLP的算法优化、性能评估、算法稳定性等,针对LLM的对话系统、模型蒸馏、文本生成方向的研究较少。我们统计了2022年EMNLP会议上被正式收录的829篇论文,通过对论文摘要进行总结,得到若干关键词,并进行词频统计。提示词解释研究量仍旧居高不下,多语言处理论文量上升,成了一门相对独立的赛道;图形-文字的多模态研究变多;与推理优化有关的(例如常识推理、问题分解、定量推理)研究变多。获奖论文的研究集中于多模态泛化和模型性能评估两个领域。 2023年:由传统方法转向拥抱LLM,集中攻关现有LLM的不足,研究方向集中于LLM、模型性能优化、模型性能评估、多模态学习、多模态数据对齐等。我们认为,EMNLP 2023的入围论文更加注重用户提示词处理、推理优化、减少幻觉、模型评分几个新维度,会议重点在于围绕LLM的可用性(AI能否正确、流畅地回答问题)、实用性(LLM向Agent的进化)和耐用性(AI对算力资源的利用率,即绿色AI)进行学术研究工作的组织和引导。获奖论文集中于上下文学习、模型泛化性能评估、模型蒸馏、常识推理、AIAgent、模型安全等领域,可以说是针对AI现存的痛点进行攻关。 同时,由于LLM迭代速度超预期,对比今年7月的ACL 2023会议,EMNLP 2023的研究赛道(Track)经过主动调整,数个主题出现合并、删除或增加:语言多样性赛道和多语性以及跨语言自然语言处理合并为了多语言和语言多样性赛道;语义学中的词汇和句子两个赛道被合并;删除了ACL 2023新增加的大语言模型赛道,并改为更加细化的常识推理、自然语言处理的高效方法、以人为中心的自然语言处理和语言建模和语言模型的分析。 通过学术界前沿研究方向的梳理,我们得出结论:一是大语言模型作为一项颠覆性发明,深刻改变了学术与产业两端,随着理论与实践的相互作用,未来“AI将深刻改变人类社会”的观点将进一步被映证;二是前沿研究目前仍旧集中于模型调优,或许说明该方向的研究对提升现有大模型的能力的边际变化最为显著;三是针对多模态模型的研究正在逐步深入,从去年较热门的数据对齐到今年的少样本泛化,我们认为未来多模态模型的表现有望再进一步惊艳人类用户,增强对AI的信心。 算力—— 光通信:中际旭创、新易盛、天孚通信、太辰光、腾景科技、光库科技、光迅科技、德科立、联特科技、华工科技、源杰科技、剑桥科技、铭普光磁。算力调优/调度/租赁:恒为科技、思特奇、中科金财、东方材料、博睿数据、中贝通信、中科曙光、中国移动、中国联通、中国电信。算力设备:中兴通讯、紫光股份、锐捷网络、盛科通信、菲菱科思、工业富联、寒武纪、震有科技。液冷:英维克、申菱环境、高澜股份、佳力图。边缘算力承载平台:美格智能、广和通、移远通信、初灵信息、龙宇股份、网宿科技、佳讯飞鸿。卫星通信:中国卫通、中国卫星、震有科技、华力创通、电科芯片、海格通信。 数据要素—— 运营商:中国电信、中国移动、中国联通。数据可视化:浩瀚深度、恒为科技、中新赛克。BOSS系统:亚信科技、天源迪科、东方国信。 风险提示:AI发展不及预期,算力需求不及预期,市场竞争风险。
|
|