>> 中信证券-前瞻研究全球人工智能AI行业系列报告5:GPT会是AI算法模型的终极答案吗?-230407
| 上传日期: |
2023/4/7 |
大小: |
2133KB |
| 格式: |
pdf 共23页 |
来源: |
中信证券 |
| 评级: |
-- |
作者: |
许英博,陈俊云,贾凯方 |
| 下载权限: |
此报告为加密报告 |
|
|
ChatGPT在全球AI产业、技术领域带来的良好示范效应,有望推动AI算法模型结束当前的技术路线分叉,并不断向以GPT为主导的大语言模型(LLM)靠拢,加速全球AI产业“工业化”时代到来。中期维度,大语言模型领域“暴力美学”预计仍将是我们不断逼近通用人工智能的最可能路线,基于此基准假设,模型算法架构将遵从渐进的学术研究步伐,高质量数据集、工程实践能力、核心人才、资本将成为大模型研发领域的核心竞争壁垒。而面对当前GPT等大语言模型在问答可靠性、推理能力等层面缺陷,复杂问题分解、链接外部知识&工具等增强语言模型(ALM)方式料将是可行的方式,比如ChatGPT插件等。作为中期最具确定性的产业方向之一,我们持续看好全球AI领域的投资机会,并建议持续聚焦芯片、算力设施、模型架构&工程实践、应用场景等核心环节。在美股市场,我们建议持续关注:英伟达、台积电、微软、谷歌、AMD、Arista、博通、Marvell、百度、Adobe、Snowflake等。 ▍报告缘起:ChatGPT在全球市场的成功,以及由此引致的全球主要科技企业在AI领域的军备竞赛,正在加速全球AI产业的发展速度。AI算法模型作为产业的核心环节,其本身的技术路线,将直接决定AI产业链最终形态,以及各产业环节的分工协作方式、价值分配结构等,对AI算法模型技术路线的系统分析、前瞻性判断,是构建AI产业中期投资逻辑的核心基础。在本篇专题中,我们主要回答:AI算法模型是否会朝GPT方向进行收敛,算法模型核心竞争壁垒、算力是否会成为AI产业潜在约束因素,以及如何引入新的知识&工具,以克服当前大语言模型的潜在缺陷等。 ▍技术路线:大语言模型(LLM)有望实现主导,并不断向GPT方案靠拢。在过去近10年里,人工智能模型经历了从小模型到以Transformer为代表的大模型的转变,我们根据行业发展的历史总结为以下四个阶段。1)2017年前,以深度学习为核心的小模型占据主流:这类模型以LSTM及CNN模型作为典型的特征抽取器,根据特定领域标注数据训练,在一些任务上可以达到接近人类的水准。但是硬件算力不够导致针对其他领域重新训练成本过高,让其通用型任务的完成情况很差。2)2017年到2020年,以谷歌Bert为代表的双向预训练+FineTuning(微调)的Transformer模型横空出世成为了人工智能的主流方向。谷歌研究团队发布的《Attention is all you need》论文开创了Transformer模型,重新统一了自然语言模型(NLP)的研究范式。这类模型以预训练的方式学习语言学特征,大幅简化了过去NLP繁琐的研究种类。Transformer作为特征提取器效果好于CNN、LSTM模型等,让AI首次能在语言任务的部分场景中追平人类。3)2020年到2022年,产业界与学术界继续沿着Transformer的道路前景,但开始尝试不同于Bert的其他Transformer架构,通过预训练无监督学习的方法不断增加模型大小成为了这一时段的主流。以1750亿参数的GPT-3为代表,各大互联网巨头不断尝试增加模型体积以获得更好的效果。GPT-3为代表的自回归+Prompting的方法开始展现产品化能力的优越性,与Fine-tuning方法的Bert模型成为两条道路。4)2022年至今,ChatGPT的成功证明了GPT模型的Prompting道路的正确性,同时也强调了数据质量的重要性。ChatGPT最重要的成功是在产品化上更进一步:ChatGPT在模型精度上并没有飞跃性的突破,但从Few Shot prompt(需要输入范例示范)转换到Instruct(用人类语言描述想做什么)更加贴合用户的习惯。 ▍竞争壁垒:数据、工程实践、人才、资本等。回顾过去近十年人工智能模型的发展,我们发现进入人工智能模型研发的门槛越来越高。从Bert开始到GPT-3再到谷歌的PALM,网络中的公开语言数据源已经在被尽可能地利用(论坛、新闻、维基百科等等),而模型的进一步优化对数据质量的要求也越来越高。我们认为优质的私有数据源将在未来3-5年里人工智能模型的精度优化上发挥更重要的作用。爬虫难以爬取的社交媒体数据、保存在后台的用户偏好数据、代码托管数据等仍具有开发空间,这也将成为数据获取端的优势,而结合这些私有数据生成的合成数据将进一步放大这些公司数据端的优势。此外随着模型体量仍然在成倍数增加,大量的前期资本投入是阻碍新入者的重要因素。在过去五年内,我们看到人工智能模型的独角兽都在寻找互联网科技大厂作为其背后的依靠,主要因为:1)能够得到充足而短时间内不求产出的资金支持,2)依靠互联网大厂的公有云等相关资源进一步降低成本,3)获取互联网大厂长期以来所积累的优质数据源。这也是我们看到为什么在过去五年内人工智能头部厂商逐渐从开源走向闭源,利用其资源优势来打造差异化的AI模型,而落后者更希望通过开源的模式以求缩小与头部厂商的距离。研发团队的工程能力是决定公司在大语言模型竞争力的另一个重要因素。随着语言模型的体积不断增加,在研究方法上现今千亿量级的模型与之前几十亿量级的小模型发生了本质变化,个体工程师没有能力通过自有资源积累对大模型的学习经验。一个合格
|
|