ChatGPT引发范式革命，AI产业发展前景可期
　　近期由OpenAI团队发布的聊天机器人软件ChatGPT，凭借类人的语言理解和表达能力，引发AI产业范式革命。通过拆解ChatGPT，我们发现：1）单一大模型或为未来AI训练主流方向；2）大模型训练可以积累底层语言能力，但需要大算力支持；3）预训练语言模型和Transformer架构是模型底层能力的根源；4）ChatGPT商业化应用前景广阔。基于此，我们认为国产厂商或将训练出自己的GPT模型，AI产业有望迎来景气周期。目前国内在模型层面具备产业基础的相关企业包括：百度、商汤、云从科技等；在应用层持续推出新应用的相关企业包括：科大讯飞、金山办公、同花顺、汉王科技等；在底层基础设施和工具有布局的相关企业包括：寒武纪、景嘉微等。
　　背景：发源于OpenAI，成名于生成式语言
　　OpenAI于2015年在旧金山成立，主要从事人工智能研究。2019年OpenAI收到微软注资10亿美元，就Azure业务开发人工智能技术。2020年发布GPT-3语言模型，由微软获得独家授权。2022年，OpenAI在GPT-3.5的基础上推出了ChatGPT，强化了人工智能的语言对话能力，引起社会广泛关注。2023年，微软拟对OpenAI追加数十亿美元投资，利用自身算力基础设施资源发挥与OpenAI业务协同效应，深入布局生成式AI技术。
　　原理：AI大模型里程碑式的胜利
　　ChatGPT采用监督学习+奖励模型进行语言模型训练，主要包括三个步骤：1）第一阶段：训练监督策略模型。在ChatGPT模型的训练过程中，需要标记者的参与监督过程；2）第二阶段：训练奖励模型。借助标记者的人工标注，训练出合意的奖励模型，为监督策略建立评价标准；3）第三阶段：采用近端策略优化进行强化学习。通过监督学习策略生成PPO模型，将最优结果用于优化和迭代原有的PPO模型参数。我们认为，ChatGPT的训练过程采用单一模型+小样本学习+人类微调监督方式进行，取得了良好效果，验证了AI大模型应用前景，大模型路线有望成为未来主流。
　　模型：三个维度拆解GPT模型特征
　　我们认为，ChatGPT的成功离不开AI大模型的加持，强大的算法训练模型，使得ChatGPT在迭代中获得实现接近自然语言的表达能力。拆解模型来看：1）ChatGPT使用单一大模型，积累强大底层通用能力，背后来自微软丰富的算力资源支持，并通过引入监督学习，有效填补了大模型同质化漏洞；2）模型的具体训练模式，采用的是预训练语言模型，而预训练语言模型无需人工标签，具备高效性、通用性与正则化等内生优势，且二代模型具备上下文交互能力，推动模型语义理解能力升级；3）Transformer是大模型高效运行的根基，天然适合高并发训练，通过编码器堆叠实现底层架构搭建。
　　应用：打开AIGC应用新局面
　　ChatGPT属于AIGC的具体应用，相比过去的AI产品，在模型类型、应用领域、商业化等层面呈现出新的特点。1）技术方面：ChatGPT属于自然语言处理领域，与早期的自然语言技术相比，ChatGPT采用大模型进行训练，并加入人工反馈增强学习(RLHF)方法，实现了效果提升；2）应用方面：ChatGPT属于生成式AI，相比于分析型AI，不局限于已有的内容，已在文艺创作，代码处理，营销等多个创造性场景内得到应用；3）商业化方面：ChatGPT在商业化方面彰显出强于以往AI应用的潜力，一方面用户数快速增长，另一方面得到了微软为代表的科技巨头的支持，应用有望快速推广。
　　风险提示：宏观经济波动；下游需求不及预期
　　

研究报告全文：证券研究报告计算机ChatGPT深度拆解华泰研究计算机增持维持2023年2月09日中国内地专题研究研究员谢春生ChatGPT引发范式革命AI产业发展前景可期SACNoS0570519080006xiechunshenghtsccomSFCNoBQZ938862129872036近期由OpenAI团队发布的聊天机器人软件ChatGPT凭借类人的语言理解和表达能力引发AI产业范式革命通过拆解ChatGPT我们发现1联系人彭钢单一大模型或为未来AI训练主流方向2大模型训练可以积累底层语言能SACNoS0570121070173pengganghtsccom力但需要大算力支持预训练语言模型和架构是模型底8621289722283Transformer层能力的根源4ChatGPT商业化应用前景广阔基于此我们认为国产联系人林海亮厂商或将训练出自己的GPT模型AI产业有望迎来景气周期目前国内在SACNoS0570122060076linhailianghtsccom模型层面具备产业基础的相关企业包括百度商汤云从科技等在应用862128972228层持续推出新应用的相关企业包括科大讯飞金山办公同花顺汉王科技等在底层基础设施和工具有布局的相关企业包括寒武纪景嘉微等行业走势图背景发源于OpenAI成名于生成式语言计算机沪深300于年在旧金山成立主要从事人工智能研究年OpenAI20152019OpenAI2收到微软注资10亿美元就Azure业务开发人工智能技术2020年发布7GPT-3语言模型由微软获得独家授权2022年OpenAI在GPT-35的基础上推出了ChatGPT强化了人工智能的语言对话能力引起社会广泛16关注2023年微软拟对OpenAI追加数十亿美元投资利用自身算力基24础设施资源发挥与OpenAI业务协同效应深入布局生成式AI技术33Feb-22Jun-22Oct-22Feb-23原理AI大模型里程碑式的胜利资料来源Wind华泰研究ChatGPT采用监督学习奖励模型进行语言模型训练主要包括三个步骤1第一阶段训练监督策略模型在ChatGPT模型的训练过程中需要标记者的参与监督过程2第二阶段训练奖励模型借助标记者的人工标注训练出合意的奖励模型为监督策略建立评价标准3第三阶段采用近端策略优化进行强化学习通过监督学习策略生成PPO模型将最优结果用于优化和迭代原有的PPO模型参数我们认为ChatGPT的训练过程采用单一模型小样本学习人类微调监督方式进行取得了良好效果验证了AI大模型应用前景大模型路线有望成为未来主流模型三个维度拆解GPT模型特征我们认为ChatGPT的成功离不开AI大模型的加持强大的算法训练模型使得ChatGPT在迭代中获得实现接近自然语言的表达能力拆解模型来看1ChatGPT使用单一大模型积累强大底层通用能力背后来自微软丰富的算力资源支持并通过引入监督学习有效填补了大模型同质化漏洞2模型的具体训练模式采用的是预训练语言模型而预训练语言模型无需人工标签具备高效性通用性与正则化等内生优势且二代模型具备上下文交互能力推动模型语义理解能力升级3Transformer是大模型高效运行的根基天然适合高并发训练通过编码器堆叠实现底层架构搭建应用打开AIGC应用新局面ChatGPT属于AIGC的具体应用相比过去的AI产品在模型类型应用领域商业化等层面呈现出新的特点1技术方面ChatGPT属于自然语言处理领域与早期的自然语言技术相比ChatGPT采用大模型进行训练并加入人工反馈增强学习RLHF方法实现了效果提升2应用方面ChatGPT属于生成式AI相比于分析型AI不局限于已有的内容已在文艺创作代码处理营销等多个创造性场景内得到应用3商业化方面ChatGPT在商业化方面彰显出强于以往AI应用的潜力一方面用户数快速增长另一方面得到了微软为代表的科技巨头的支持应用有望快速推广风险提示宏观经济波动下游需求不及预期免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1计算机正文目录背景发源于OpenAI成名于生成式语言3原理AI大模型里程碑式的胜利5模型三个维度拆解GPT模型特征7维度一单一大模型7维度二预训练语言模型10维度三Transformer特征抽取器12应用打开AIGC应用新局面14技术新Transformer架构RLHFNLP领域迎来新突破14应用新生成式AI应用于创造性工作15商业化潜力巨头纷纷发力商业化潜力较大16风险提示17免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2计算机背景发源于OpenAI成名于生成式语言OpenAI是一家世界领先的非营利性人工智能研究公司OpenAI于2015年在旧金山成立是一家非营利的人工智能研究公司公司的目标是以最有可能造福全人类的方式推进人工智能而不受财务回报需求的约束OpenAI创始人背景深厚由埃隆马斯克与硅谷孵化器YCombinator投资人山姆阿尔特曼等人联合创立公司研究人员经验丰富包括前GoogleBrain研究科学家伊利亚苏茨凯弗与前Stripe首席技术官格雷格布罗克曼等世界一流研究工程师与科学家微软持续增资布局生成式AI技术2018年随着特斯拉对AI的应用深入为避免潜在利益冲突马斯克主动离任董事会仅保留捐资人和顾问的身份由于AI训练花费金额巨大2019年公司从非营利性公司转向部分盈利公司成立了OpenAILP利润上限子公司即任何对OpenAILP投资的收益都将统一转移至一家非盈利公司回报达到投资的100倍后进行利润分配同年OpenAI收到微软注资10亿美元就Azure业务开发人工智能技术2020年发布GPT-3语言模型由微软获得独家授权2022年发布ChatGPT的自然语言生成式模型带来更大潜在应用空间2023年微软拟对OpenAI追加数十亿美元投资利用自身算力基础设施资源发挥与OpenAI业务协同效应深入布局生成式AI技术OpenAI产品发布密集产品涵盖音频制作图像生成和语言对话人工智能2016年推出用于开发和比较强化学习算法的工具包OpenAIGym加速公开社会中RL研究进度同时推出Universe软件平台用于测试和训练AI在全球游戏网站和其他应用程序中的智能程度2019年OpenAI推出深度神经网络MuseNet可以使用4种不同的乐器生成10分钟的音乐作品以及最终模型版本的GPT-22020年研发团队在GPT-2的基础上拓展参数发布了GPT-3语言模型2021年发布了转换器语言模型DALLE从文本描述生成图像2022年OpenAI在GPT-35的基础上推出了ChatGPT强化了人工智能的语言对话能力引起社会广泛关注图表1OpenAI产品资料来源OpenAI官网华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3计算机OpenAI当前盈利主要通过付费API接口并尝试拓展盈利模式目前OpenAI提供GPT-3Codex以及DALLE的API数据接口分别执行用户自然语言任务自然语言转换为代码的任务以及创建和编辑图像的任务API接口根据类型不同以流量收费比如图像模型以分辨率分类按张数收费语言模型则以基于的子模型型号按字符数收费OpenAIAPI盈利情况较好据路透社数据OpenAI2022年收入数千万美元公司预计2023与2024年收入分别为2亿美元和10亿美元同时OpenAI正尝试拓展自身盈利模式2023年1月试点推出订阅制ChatGPTPlus收取每月20美元的会员费以得到各类优先服务图表2OpenAIAPI价格模型类型细分价格美元模型类型细分训练价格美元使用价格美元图像模型10241024002张微调模型Ada00004千字符00016千字符5125120018张Babbage00006千字符00024千字符2562560016张Curie00030千字符00120千字符语言模型Ada00004千字符Davinci00300千字符01200千字符Babbage00005千字符Curie00020千字符模型类型细分价格美元Davinci00200千字符嵌入模型Ada00004千字符资料来源OpenAI官网华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4计算机原理AI大模型里程碑式的胜利ChatGPT采用监督学习奖励模型进行语言模型训练ChatGPT使用来自人类反馈的强化学习RLHF来训练该模型首先使用监督微调训练了一个初始模型人类AI训练员提供对话他们在对话中扮演双方用户和AI助手其次ChatGPT让标记者可以访问模型编写的建议以帮助他们撰写回复最后ChatGPT将这个新的对话数据集与原有数据集混合将其转换为对话格式具体来看主要包括三个步骤1第一阶段训练监督策略模型在ChatGPT模型的训练过程中需要标记者的参与监督过程首先ChatGPT会从问题数据集中随机抽取若干问题并向模型解释强化学习机制其次标记者通过给予特定奖励或惩罚引导AI行为最后通过监督学习将这一条数据用于微调GPT35模型2第二阶段训练奖励模型这一阶段的主要目标在于借助标记者的人工标注训练出合意的奖励模型为监督策略建立评价标准训练奖励模型的过程同样可以分为三步1抽样出一个问题及其对应的几个模型输出结果2标记员将这几个结果按质量排序3将排序后的这套数据结果用于训练奖励模型3第三阶段采用近端策略优化进行强化学习近端策略优化ProximalPolicyOptimization是一种强化学习算法核心思路在于将PolicyGradient中On-policy的训练过程转化为Off-policy即将在线学习转化为离线学习具体来说也就是先通过监督学习策略生成PPO模型经过奖励机制反馈最优结果后再将结果用于优化和迭代原有的PPO模型参数往复多次第二阶段和第三阶段从而得到参数质量越来越高的ChatGPT模型图表3ChatGPT模型原理资料来源OpenAI官网华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5计算机从ChatGPT的训练原理中我们不难发现这一训练过程存在几个特点1采用的是单一大模型在GPT模型兴起之前大多数AI模型主要是针对特定应用场景需求进行训练的小模型存在通用性差训练数据少适应范围小的弊端而我们看到ChatGPT虽然在过程中使用了奖励模型等辅助手段但最终用于实现自然语言理解和生成式功能的主模型只有一个但却在语义理解推理协作等方面表现出了更强能力因此我们认为ChatGPT的成功验证了参数增长训练数据量增大对AI模型的重要意义2采用的是小样本学习方法在小样本学习Few-shotLearning方法下AI预训练模型在不必使用大量标记的训练数据就可以建立起比较通用的泛化能力简单来说小样本学习即是在给定有限信息和较少训练数据的情况下尝试对总体规律进行理解和预测这一过程类似于学习如何去学习对于小样本学习在ChatGPT中的应用我们认为这一方法解决了大模型数据标注工作量巨大的问题是模型得以迅速迭代的基础3采用人类反馈微调监督学习ChatGPT是从GPT35即InstructGPT改进而来的版本相比于前代ChatGPT主要变化在于采用了人类反馈机制对监督学习过程进行微调本质上来说无论是大模型还是小样本学习解决的目标都是提升训练的效率但真正令ChatGPT实现结果准确合理的关键技术还是在于加入了人类反馈据LongOuyang等人2022年发表的TraininglanguagemodelstofollowinstructionswithhumanfeedbackInstructGPT仅用13亿个参数就实现了比1750亿个参数的GPT-3更优的输出解雇显著提升了真实性减少了有害信息的输出免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6计算机模型三个维度拆解GPT模型特征拆解GPT模型可以帮助理解ChatGPT之所以强大的原因从前面的讨论中我们发现ChatGPT的成功离不开AI大模型的加持强大的算法训练模型使得ChatGPT在迭代中获得实现接近自然语言的表达能力而这一切的核心都来自一个模型GPT模型因此我们以GPT模型为核心从三个维度出发去拆解GPT模型以此进一步挖掘ChatGPT强大背后的原因维度一单一大模型ChatGPT使用单一大模型积累强大底层通用能力对于ChatGPT所用到的训练模型从模型体量来看属于AI单一大模型的范畴对比传统AI训练模型单一大模型的大体现在1更多的模型参数量2更大的数据处理量3更大的训练计算量模型体量的增大带来的最直接变化在于AI模型通用能力的跨越式提升传统的AI训练方法大多以单一知识领域的应用为目标主要使用特定领域有标注的数据进行模型训练模型通用性差如果更换使用场景往往需要进行重新训练而大模型的训练一是能使用的数据来源更加广泛可用数据量更大二是对标注要求更低只需要对数据进行微调甚至不调就可以用于训练三是输出的能力更加泛化通用在语义理解逻辑推理文本表达等方面能力更出众从通用到特殊单一大模性具备丰富的垂直领域应用潜力基于对底层能力的训练AI大模型积累了对于数据背后特征和规则的理解因此在进行垂直领域的时候可以做到举一反三这一过程与人类学习知识的过程类似都是先学习如何去学习再构建听说读写能力最后在不同学科深入探索AI大模型也是一样在完成通用能力积累之后可以将学习能力移植到需要应用的特定领域通过投喂垂直领域数据可以使模型达到目标场景所需的性能图表4单一大模性具备丰富的垂直领域应用潜力资料来源OntheOpportunitiesandRiskofFoundationModels李飞飞等2021华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7计算机大模型训练需要大算力支持ChatGPT坐拥丰富算力资源我们认为从大模型自身的发展过程来看参数量的变化是一个非常值得关注的指标从最早的ResNetInception等模型到如今的GPT模型参数量不断增长2018年前后OpenAI先后推出Transformer和GPT-1模型参数量来到1亿级别随后谷歌提出3亿参数的BERT模型参数量再次增长20192020年OpenAI加速追赶陆续迭代出GPT-2GPT-3模型参数量分别为15亿1750亿实现模型体量质的飞跃另一方面参数运算需要大规模并行计算的支持核心难点在于内存交换效率取决于底层GPU内存容量以英特尔为例从2017年V100的32GB内存到2020年A100的80GB内存GPU内存容量的提升量级与模型参数相比显然不在同一量级而ChatGPT的解决方法则是与微软联手借助Azure强大的基础算力设施为ChatGPT提供训练支持图表5单一大模型的参数量快速增长资料来源Github华泰研究AI大模型会带来特性涌现和模型同质化问题2021年8月李飞飞等学者于arXiv发表OntheOpportunitiesandRiskofFoundationModels将大模型统一命名为FoundationModels即基础模型或基石模型此外论文还提出基础模型面临的两大问题1同质化尽管基础模型基于标准的深度学习和迁移学习但其规模导致了新能力的涌现其在众多任务中的有效性激励了同质化的产生2特性涌现尽管基础模型即将被广泛部署但目前研究者对其如何工作何时失效以及其涌现的特性衍生了何种能力尚缺乏清晰的理解举例来看如机器学习的引入使得算法从数据案例中学会了如何执行自动推断深度学习的引入涌现了用于预测的高级特征基础模型的引入涌现了上下文学习等高级功能但在这一过程中机器学习使学习算法变得同质化例如逻辑回归深度学习使模型架构同质化例如卷积神经网络架构大模型使得下游模型同质化例如下游模型一定会继承上游模型缺陷ChatGPT通过引入监督学习有效填补了大模型同质化漏洞从本质上来说上下游模型同质化的问题无法被完全解决OpenAI选择的方向是尽可能填补缺陷漏洞从GPT-35版本开始OpenAI团队在模型中引入了监督学习过程在监督学习模式下人类反馈机制开始加入到模型训练过程从而不断纠正模型生成结果逐步提升输出结果的准确性和真实性随着大模型朝着越来越符合人类期望的方向演进对话逻辑和表达方式逐渐逼近人类水平才最终达到我们今天所看到的样子免责声明和披露以及分析师声明是报告的一部分请务必一起阅读8计算机图表6基础模型带来特性涌现和模型同质化资料来源OntheOpportunitiesandRiskofFoundationModels李飞飞等2021华泰研究AI大模型加持下ChatGPT有望加速迭代通过拆解单一大模型的原理特征及发展历程我们发现单一大模型的引入是ChatGPT强大语言的根本来源展望未来我们认为ChatGPT或将在大模型加持下加速迭代主要因为1大模型训练效果取决于数据量目前ChatGPT仅使用2021年之前的数据随着更多数据的加入模型底层语言能力有望进一步加强2大模型具备能力迁移潜力垂直领域应用或将加速ChatGPT进化3OpenAI背靠微软大算力资源为模型演进提供保障4随着软件用户规模持续扩张用户自身的反馈又会带来类似监督学习的效果或将带动ChatGPT加速迭代基于此我们看好AI大模型及ChatGPT未来应用前景商业化落地或将加快免责声明和披露以及分析师声明是报告的一部分请务必一起阅读9计算机维度二预训练语言模型拆解模型来看主要关注预训练语言模型和Transformer特征抽取器我们前面讨论了ChatGPT背后所使用的AI大模型及其迭代过程但如果我们将拆解动作继续深入在更细颗粒度的视角下其实可以将训练模型做进一步的拆解实际上GPTGeneralPre-Training即通用预训练语言模型简单来说就是一种利用Transformer作为特征抽取器基于语言模型进行预训练的模型因此接下来我们从模型的两个关键特征出发分别从预训练语言模型和Transformer特征抽取器的角度来分析GPT模型的迭代过程预训练语言模型无需人工标签为NLP研究带来质变预训练属于迁移学习的范畴其思想是在利用标注数据之前先利用无标注的数据即纯文本数据训练模型从而使模型能够学到一些潜在的跟标注无关的知识最终在具体的任务上预训练模型就可以利用大量的无标注数据知识标志着自然语言处理模型进入了大规模复制阶段从实现原理上来看预训练语言模型是通过计算某个词句w的出现概率即pW在给定词句的情况下可以自行计算出后一个词或句出现的概率因此GPT的训练可以在无人工标签的基础上进行通过连续不断地预测迭代参数再预测模型最终实现语言能力的学习图表7预训练语言模型的实现原理资料来源CSDN华泰研究预训练语言模型与神经网络语言模型的区别在于初始参数的选取上一代神经网络语言模型训练思想是基于后向传播BP算法先通过对网络模型参数进行随机初始化然后通过优化算法去优化模型参数而预训练语言模型的初始参数并非随机而是先通过一个任务训练得到一套模型参数再以这套参数对模型初始化进而继续反复训练预训练语言模型的内生优势高效性通用性与正则化模型初始参数选取方式不同使得预训练语言模型拥有诸多优势1训练高效性神经网络语言模型中随机的初始参数加大训练复杂度而预训练能得到较好的初始化参数后续训练更加高效2语言通用性经过预训练的语言模型更接近通用语言表示UniversialLanguageRepresentations适应于多领域实际应用场景3提供正则化由于模型复杂性高神经网络模型的优化算法易陷入过度拟合导致实际测试表现远低于样本测试表现预训练模型相当于一个正则化过程仅通过几步精修得到模型很大程度上避免了过度拟合预训练语言模型的应用优势对数据处理程度要求低可利用海量无标注数据在大多数基于统计方法和神经网络的自然语言处理模型中都需要大量已标注的数据集来满足模型训练但并非所有的训练任务都能获取足够的标注信息同时随着模型复杂度和参数数量的增加大多数数据集的大小难以支持训练而预训练模型能先通过利用无标注的数据训练模型解决传统模型无法解决的实际问题而且由于预训练语言模型可以利用现实世界中大量的纯文本数据训练扩大了其训练范围和规模拥有发掘大模型FoundationModels的潜力免责声明和披露以及分析师声明是报告的一部分请务必一起阅读10计算机对比两代预训练语言模型二代模型具备上下文交互能力第一代预训练模型是静态词向量模型经训练给每一个词赋予静态词向量让相似的词聚集在一起实现了符号空间到向量空间的映射经典结构有ContinuousBag-of-WordsCBOW和Skip-GramSG等而由于第一代模型的词向量静态性使其不能结合上下文进而有无法分辩同义词等缺陷最新的第二代预训练模型包括BERTGPT等则在此基础上允许静态词向量与上下文交互这种动态词向量优化了同义词问题目前第二代预训练模型的标准范式是预训练微调首先在大量的文本上训练出一个预训练语言模型再根据实际情况对得到的预训练语言模型进行微调加强了模型对下游应用场景的契合度图表8两代预训练语言模型对比资料来源Pre-trainedModelsforNaturalLanguageProcessing邱锡鹏2020华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读11计算机维度三Transformer特征抽取器Transformer是大模型高效运行的根基前面我们从单一大模型出发对预训练语言模型进行了拆解但如果我们继续深入会发现语言模型仍然不是GPT模型的最底层语言模型之下还需要有具体的调度架构和运算逻辑来实现最终的计算我们认为Transformer特征抽取器在GPT模型中就承担了这样的一个角色直接决定了AI大模型能否实现高效率的运算和学习Transformer模型较RNN并行计算能力更强提升了大模型训练效率Transformer模型最早由谷歌在2017年提出属于深度学习模型架构的一种特点是在学习中引入了注意力机制对比循环神经网络RNN来看Transformer与RNN均对输入数据如自然语言等进行顺序处理并主要应用于翻译和文本摘要等工作但Transformer与RNN不同的是Transformer中的注意机制可以为输入序列中的任何字符提供上下文因此可以一次处理所有输入而不是一次只处理一个词因此与RNN相比Transformer可以实现更大规模的并行计算大大减少了模型训练时间使得大规模AI模型得以被应用Transformer解码模块是GPT模型的核心要建从Transformer架构细节来看核心是由编码模块和解码模块构成而GPT模型只用到了解码模块拆解模块来看大致分为三层前馈神经网络层编码解码自注意力机制层Self-Attention自注意力机制掩码层其中自注意力机制层主要作用在于计算某个单词对于全部单词的权重即Attention掩码层则需要在这一过程中帮助模型屏蔽位于计算位置右侧尚未出现的单词最后输出的向量结果输入前馈神经网络完成模型参数计算图表9Transformer解码模块拆解资料来源CSDN华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读12计算机解码模块大量堆叠最终形成GPT模型完整架构在GPT模型中解码模块相当于基本架构单元通过彼此堆叠的方式拼凑成最终我们看到的GPT模型底层架构这里有两个值得关注的要点1解码模块的数量决定了模型的规模GPT-1一般有12个模块GPT-2有48个GPT-3则有96个模块2针对模块输出的结果还需要进行Finetune对模型进行调优图表10解码模块堆叠形成GPT模型完整架构资料来源CSDN华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读13计算机应用打开AIGC应用新局面ChatGPT属于AIGC的具体应用相比过去的AI产品在模型类型应用领域商业化等层面呈现出新的特点1技术方面ChatGPT属于自然语言处理领域与早期的自然语言技术相比ChatGPT采用大模型进行训练并加入人工反馈增强学习RLHF方法实现了效果的明显提升2应用方面ChatGPT属于生成式AI相比于分析型AI不局限于已有的内容已在文艺创作代码处理营销等多个创造性场景内得到应用3商业化方面ChatGPT在商业化方面彰显出强于以往AI应用的潜力一方面用户数快速增长另一方面得到了微软为代表的科技巨头的支持应用有望快速推广技术新Transformer架构RLHFNLP领域迎来新突破Transformer架构逐步成为主流自然语言处理从技术的发展可分为三个时期1一般机器学习模型阶段2013年前自然语言处理多采用机器学习和一般的统计学方法来分析词语或者句子之间的联系2深度学习模型阶段2013-2017年深度学习算法被引入NLP领域在这一阶段内主要通过增加层深和模型容量提升训练效果3Transformer架构逐步成为主流2017至今2017年transformer架构面世使得深度学习对语言的理解更加深入基于transformer架构的GPT及BERT的陆续发布影响力进一步扩大图表11AI自然语言处理发展历程资料来源CSDN华泰研究ChatGPT模型优势在于语言生成2017年后应用范围最广的是BERT和GPT模型以及在这些模型基础上做出的改进模型BERT模型在结构上是一个多层的双向transformer的Encoder模型GPT是由12个Transformer中的Decoder模块经修改后组成相比来说BERT模型的核心优势在于自然语言理解GPT模型的核心优势在于自然语言生成BERT的改进模型有RoBERTaALBERT等GPT的改进模型有GPT2GPT3ChatGPT等随着人工反馈增强学习RLHF方法的加入模型能够在与人类标注者互动时通过人类的反馈进行强化学习人类标注者则可对初始模型生成的结果进行修改比较和排序帮助模型进行训练ChatGPT在效果上取得重大突破在语言生成领域形成优势图表12训练模型对比对比指标ChatGPTBERT一般深度学习模型CNNRNN参数量1750亿34亿千万以下训练方式双向预训练Fine-tuning自回归模型ZeroFew-ShotPrompt神经网络机器学习模型训练预训练数据量45TB16GB无预训练数据质量人工标注聊天网站维基百科图书语料库等公开语料库模型TransformerTransformer决策树CNNRNN等资料来源CSDN华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读14计算机图表13RLHF人类反馈强化学习模型原理资料来源CSDN华泰研究应用新生成式AI应用于创造性工作生成式AI应用于创造性工作AI可分为生成式AI和分析型AI其中分析型AIAnalyticalAI主要在给定数据的情况下通过分析找出规律和关系并在此基础上生成报告或给出建议比如通过追踪客户行为以刻画用户画像并基于此进行个性化推荐实现精准营销通过收集城市中传感器的大量数据并分析预测天气及环境污染情况从而帮助相关部门进行政策制定不同于分析型AI局限于分析已有内容生成式AIGenerativeAI可以通过学习已有数据和信息生成多种形式的新的内容在创造性工作的领域进行应用目前生成式AI的应用主要包括生成文本图像对话音视频代码3D等图表14生成型AI应用领域资料来源红杉资本华泰研究ChatGPT是典型的生成式AIChatGPT通过学习大量语料并通过生成模型生成文本回答其基础GPT-3是一个大型语言模型该模型通过对大量语料的预训练学习了语言的语法语义语用等特征并通过对语言的生成任务进行微调以适应各种应用场景目前除了ChatGPT外有大量AIGC应用产品基于GPT-3模型免责声明和披露以及分析师声明是报告的一部分请务必一起阅读15计算机图表15基于GPT-3的AI产品应用名称应用领域成立时间OthersideAIAI写作邮件2020年CopyAIAI写作广告及营销文案2020年JasperAIAI写作广告文案播客等2020年NotionAIAI写作提供创意语法检查翻译2022年ChatSonicAI对话在实时数据图像和语音搜索方面表现出色2022年PerplexityAI对话将LLMLargeLanguageModel和搜索引擎结合来进行问答2022年YouChatAI对话第一个将聊天助手集成到其搜索结果中的搜索引擎2022年资料来源公司官网华泰研究商业化潜力巨头纷纷发力商业化潜力较大ChatGPT用户突增彰显商业化潜力内容生成或成ChatGPT重要应用据各公司官网ChatGPT从0到100万用户数仅花费5天速度远超其他平台从活跃用户角度据Similarweb2023年1月期间ChatGPT平均每天约有1300万独立访客超出22年12月一倍用户数量的快速扩大反映了ChatGPT具备较强的商业化潜力图表16ChatGPT从0到100万用户速度远超其他平台天14001278各平台0到100万用户所花的时间120010008007306004003041522007650NETFLIXtwitterfacebookSpotifyinstagramChatGPT注按1年365天进行换算资料来源Statista华泰研究国内外巨头持续发力布局AIGCAIGCAIGeneratedContent指由人工智能生成的内容包括文本图像音频3D等多种类型具有高效及自动化生产的特点近年来谷歌亚马逊百度等国内外巨头持续布局AIGC2014年谷歌以超5亿美元的价格收购人工智能公司DeepMind2023年3月谷歌宣布向人工智能初创公司Anthropic投资约3亿美元建立新的合作伙伴关系2022年11月亚马逊宣布与AI制图平台StabilityAI合作成为其首选云合作伙伴同时为其提供亚马逊Tradium芯片2021年4月华为诺亚方舟实验室联合多部门推出首个2000亿参数中文预训练模型盘古2023年2月百度官宣类ChatGPT大模型新项目文心一言英文名ERNIEBot免责声明和披露以及分析师声明是报告的一部分请务必一起阅读16计算机图表17AIGC领域产品应用名称简介推出时间开发者备注JasperAIAI内容写作工具内置超50个模板可应用于广告电商播客等不同场景2021JasperAIOpenAI是一种基于Web的工具可以轻松测试并熟悉API的工作原理无需编写任2021OpenAI继2019年和2021年之后2023年2Playground何代码只需提供简单的英语文本输入即可开始使用GPT-3月再次获得Microsoft数十亿美元的投资盘古业界首个2000亿超大参数中文预训练模型基于鹏城云脑和MindSpore2021华为框架的自动混合并行模式Sparrow基于DeepmindChinchilla语言模型的AI聊天机器人其设计目的是与人类交2022DeepMind2014年谷歌以超5亿美元的价格收购谈并回答问题同时实时使用谷歌搜索或有关信息来支持它的答案DeepMindChatsonic是AI文本生成器Writesonic的一项新功能与ChatGPT相比的优势在于提供2022Writersonic了访问当前谷歌数据的选项PerplexityAI是一种由大型语言模型和搜索引擎提供支持的聊天工具在答案中以脚注数字的2022Perplexity形式引用了来源AIYouChatAI聊天机器人是第一个将聊天助手集成到其搜索结果中的搜索引擎2022Youcom2021年获得来自SalesforceCEOMarcBenioff的投资Bard是一款由LaMDA提供支持的对话式AI聊天机器人利用来自网络的信息提供2023谷歌最新高质量的回复答案中包含搜索索引StabilityDiffusion是一个文字转图片的生成模型可以只用几秒钟时间就生成高分辨率高清晰度2022StabilityAI具有真实性及艺术性的图片结果ClaudeAI聊天机器人基于前沿NLP和AI安全技术打造目标是成为一个安全接近2023Anthropic2021年获包括Facebook联合创始人人类价值观且合乎道德规范的AI系统目前仍处于实验阶段尚未作为商业产品DustinMoskovitz谷歌前CEO现技正式发布术顾问EricSchmidt在内124亿美元投资文心一言是百度基于文心大模型技术推出的生成式对话产品将于2023年3月完成内测2023百度面向公众开放资料来源公司官网华泰研究图表18AIGC商业化应用潜力彰显资料来源公司官网华泰研究风险提示宏观经济波动若宏观经济波动产业变革及新技术的落地节奏或将受到影响宏观经济波动还可能对IT投资产生负面影响从而导致整体行业增长不及预期下游需求不及预期若下游数字化需求不及预期相关的数字化投入增长或慢于预期致使行业增长不及预期免责声明和披露以及分析师声明是报告的一部分请务必一起阅读17计算机免责声明分析师声明本人谢春生兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读18计算机香港-重要监管披露华泰金融控股香港有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员汉王科技002362CH华泰金融控股香港有限公司其子公司和或其关联公司实益持有标的公司的市场资本值的1或以上有关重要的披露信息请参华泰金融控股香港有限公司的网页httpswwwhtsccomhkstockdisclosure其他信息请参见下方美国-重要监管披露美国在美国本报告由华泰证券美国有限公司向符合美国监管规定的机构投资者进行发表与分发华泰证券美国有限公司是美国注册经纪商和美国金融业监管局FINRA的注册会员对于其在美国分发的研究报告华泰证券美国有限公司根据1934年证券交易法修订版第15a-6条规定以及美国证券交易委员会人员解释对本研究报告内容负责华泰证券美国有限公司联营公司的分析师不具有美国金融监管FINRA分析师的注册资格可能不属于华泰证券美国有限公司的关联人员因此可能不受FINRA关于分析师与标的公司沟通公开露面和所持交易证券的限制华泰证券美国有限公司是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司任何直接从华泰证券美国有限公司收到此报告并希望就本报告所述任何证券进行交易的人士应通过华泰证券美国有限公司进行交易美国-重要监管披露分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员董事或顾问分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益本披露中所提及的相关人士包括FINRA定义下分析师的家庭成员分析师根据华泰证券的整体收入和盈利能力获得薪酬包括源自公司投资银行业务的收入科大讯飞002230CH华泰证券股份有限公司其子公司和或其联营公司在本报告发布日之前的12个月内担任了标的证券公开发行或144A条款发行的经办人或联席经办人汉王科技002362CH华泰证券股份有限公司其子公司和或其联营公司实益持有标的公司某一类普通股证券的比例达1或以上华泰证券股份有限公司其子公司和或其联营公司及或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券股份有限公司其子公司和或其联营公司及或其高级管理层董事和雇员可能会持有本报告中所提到的任何证券或任何相关投资头寸并可能不时进行增持或减持该证券或投资因此投资者应该意识到可能存在利益冲突本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽亦不试图促进购买或销售该等证券如任何投资者为美国公民取得美国永久居留权的外国人根据美国法律所设立的实体包括外国实体在美国的分支机构任何位于美国的个人该等投资者应当充分考虑自身特定状况不以任何形式直接或间接地投资本报告涉及的投资者所在国相关适用的法律法规所限制的企业的公开交易的证券其衍生证券及用于为该等证券提供投资机会的证券的任何交易该等投资者对依据或者使用本报告内容所造成的一切后果华泰证券股份有限公司华泰金融控股香港有限公司华泰证券美国有限公司及作者均不承担任何法律责任评级说明投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力含此期间的股息回报相对基准表现的预期A股市场基准为沪深300指数香港市场基准为恒生指数美国市场基准为标普500指数具体如下行业评级增持预计行业股票指数超越基准中性预计行业股票指数基本与基准持平减持预计行业股票指数明显弱于基准公司评级买入预计股价超越基准15以上增持预计股价超越基准515持有预计股价相对基准波动在-155之间卖出预计股价弱于基准15以上暂停评级已暂停评级目标价及预测以遵守适用法规及或公司政策无评级股票不在常规研究覆盖范围内投资者不应期待华泰提供该等证券及或公司相关的持续或补充信息免责声明和披露以及分析师声明是报告的一部分请务必一起阅读19计算机法律实体披露中国华泰证券股份有限公司具有中国证监会核准的证券投资咨询业务资格经营许可证编号为91320000704041011J香港华泰金融控股香港有限公司具有香港证监会核准的就证券提供意见业务资格经营许可证编号为AOK809美国华泰证券美国有限公司为美国金融业监管局FINRA成员具有在美国开展经纪交易商业务的资格经营业务许可编号为CRD298809SEC8-70231华泰证券股份有限公司南京北京南京市建邺区江东中路228号华泰证券广场1号楼邮政编码210019北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层邮政编码100032电话862583389999传真862583387521电话861063211166传真861063211275电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom深圳上海深圳市福田区益田路5999号基金大厦10楼邮政编码518017上海市浦东新区东方路18号保利广场E栋23楼邮政编码200120电话8675582493932传真8675582492062电话862128972098传真862128972068电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom华泰金融控股香港有限公司香港中环皇后大道中99号中环中心58楼5808-12室电话852-3658-6000传真852-2169-0770电子邮件researchhtsccomhttpwwwhtsccomhk华泰证券美国有限公司美国纽约公园大道280号21楼东纽约10017电话212-763-8160传真917-725-9702电子邮件Huataihtsc-uscomhttpwwwhtsc-uscom版权所有2023年华泰证券股份有限公司免责声明和披露以及分析师声明是报告的一部分请务必一起阅读20