ChatGPT算法的核心壁垒
　　(1)庞大的数据训练数据，往往意味着模型精准度的上升；数据量大，往往意味着数据特征维度大，模型的参数越复杂，训练数据维度跟算力指数呈现正相关，算力成本高。
　　(2)底层算法Transformer，相较于传统神经网络综合特征提取能力、远距离特征捕获能力、语义特征提取能力，全部明显增强，正逐步取代RNN(循环神经网络)。
　　(3) AI预训练模型(大模型)，本质是“大算力+强算法”结合的产物，对自然语言理解能力明显上升，谷歌BERT模型就是典型跨时代的例子，我们认为其是AIGC的初始应用算法。
　　(4)多模态数据协同，极大推动AIGC的内容多样性与通用性，让AIGC不只局限于文本和图像等单个部分，而是多应用相容。
　　不同类别AIGC算法比对
　　1、ChatGPT :训练模型为强化学习近端策略优化，可以理解成在“人脑思维”的基础上加入了“人类反馈系统”，是一种奖励模型，拥有175B参数，训练数据为语言文本。
　　2、LaDMA(谷歌Bard):参数方面为137B，奖励模型是人类评分机制，训练数据为对话数据。
　　3、图神经网络(GNN)作为科学领域预训练模型(大模型)备受瞩目，强大之处在于数据结构，其应用广阔例如推荐系统、药物发现、合成物发现、芯片设计等众多科学前沿领域。
　　国产ChatGPT生态正在形成
　　百度是少有预训练模型(大模型)语言训练能力的公司，已经经历多次迭代，参数方面，模型基于ERNIE 3.0，拥有千亿级参数。预训练方面，具备海量知识沉淀和丰富场景的文心大模型，跨模态方面，已有地理-语言、视觉-语言、语音-语言等模型架构，已覆盖众多方向，例如自然语言处理、机器视觉等其他重大任务，此外，根据IDC数据，目前已有近百万开发者使用文心大模型，生态正在逐步繁荣，合作厂商覆盖科技、教育、工业、媒体、金融等诸多产业。
　　投资建议：关注鸿蒙OS的生态伙伴
　　我们认为AIGC的出世会产生革命性的影响，同时有望赋能千行百业。我们梳理了三条路径图，积极的推荐以下三条投资主线:
　　1)具备算力基础的厂商，受益标的为寒武纪、商汤、海光信息、浪潮信息、中科曙光、景嘉微、联想集团、紫光股份、龙芯中科；
　　2)具备AI算法商业落地的厂商，重点推荐科大讯飞、拓尔思，其他受益标的为:汉王科技、海天瑞声、云从科技；
　　3) AIGC相关技术储备的应用厂商，受益标的为:百度、同花顺、三六零、金山办公。
　　风险提示
　　核心技术水平升级不及预期的风险；AI伦理风险；政策推进不及预期的风险；中美贸易摩擦升级的风险。
　　

研究报告全文：仅供机构投资者使用证券研究报告行业动态报告TableDate2023年02月23日ChatTableTitleGPT深度拆解AI算力模型计算机行业TableTitle2评级及分析师信息ChatGPTTableSummary算法的核心壁垒行业评级TableIndustryRank推荐1庞大的数据训练数据往往意味着模型精准度的上升数据量大往往意味着数据特征维度大模型的参数越复杂训行业走势图TablePic练数据维度跟算力指数呈现正相关算力成本高2底层算法Transformer相较于传统神经网络综合特征提取0能力远距离特征捕获能力语义特征提取能力全部明显增-7强正逐步取代RNN循环神经网络-143AI预训练模型大模型本质是大算力强算法结合的-21-28产物对自然语言理解能力明显上升谷歌138737BERT模型就是典型-35跨时代的例子我们认为其是AIGC的初始应用算法2022022022052022082022112023024多模态数据协同极大推动AIGC的内容多样性与通用性计算机沪深300让AIGC不只局限于文本和图像等单个部分而是多应用相容不同类别AIGC算法比对分析师刘泽晶1ChatGPT训练模型为强化学习近端策略优化可以理解TableAuthor邮箱liuzj1hx168comcn成在人脑思维的基础上加入了人类反馈系统是一种SACNOS1120520020002奖励模型拥有175B参数训练数据为语言文本联系电话2LaDMA谷歌Bard参数方面为137B奖励模型是人类评分机制训练数据为对话数据3图神经网络GNN作为科学领域预训练模型大模型备受瞩目强大之处在于数据结构其应用广阔例如推荐系统药物发现合成物发现芯片设计等众多科学前沿领域国产ChatGPT生态正在形成百度是少有预训练模型大模型语言训练能力的公司已经经历多次迭代参数方面模型基于ERNIE30拥有千亿级参数预训练方面具备海量知识沉淀和丰富场景的文心大模型跨模态方面已有地理-语言视觉-语言语音-语言等模型架构已覆盖众多方向例如自然语言处理机器视觉等其他重大任务此外根据IDC数据目前已有近百万开发者使用文心大模型生态正在逐步繁荣合作厂商覆盖科技教育工业媒体金融等诸多产业投资建议关注鸿蒙OS的生态伙伴我们认为AIGC的出世会产生革命性的影响同时有望赋能千行百业我们梳理了三条路径图积极的推荐以下三条投资主线请仔细阅读在本报告尾部的重要法律声明证券研究报告行业动态报告1具备算力基础的厂商受益标的为寒武纪商汤海光信息浪潮信息中科曙光景嘉微联想集团紫光股份龙芯中科2具备AI算法商业落地的厂商重点推荐科大讯飞拓尔思其他受益标的为汉王科技海天瑞声云从科技3AIGC相关技术储备的应用厂商受益标的为百度同花顺三六零金山办公风险提示核心技术水平升级不及预期的风险AI伦理风险政策推进不及预期的风险中美贸易摩擦升级的风险请仔细阅读在本报告尾部的重要法律声明2证券研究报告行业动态报告正文目录1ChatGPT深度拆解AI算力模型411ChatGPT算法的核心壁垒412不同类别AIGC算法比对913我国国产ChatGPT生态正在形成112投资建议梳理AIGC相关受益厂商143风险提示15图目录图表1AI算法的全流程4图表2模型的准确度和数据数量呈现正相关5图表3AI需求呈现指数级别的增长5图表4Transformer算法的前世今生5图表5Transformer模型与RNNCNN模型准确度对比5图表6深度学习初期模型越来越大6图表7预模型出现后机器对自然语言的理解不断提升6图表8国外主要AIGC预训练模型一览7图表9谷歌GBRT取得的能力8图表10谷歌GBRT预训练架构8图表11CLIP算法示意图8图表12DallE2自动生成图画8图表13强化学习近端策略优化优化示意图9图表14ChatGPT和LaMDA的不同左为ChatGPT右为LaMDA10图表15图神经网络在电子健康记录建模的应用10图表16药物发现和合成化合物11图表17百度文心预训练模型大模型发展历程12图表18百度文心大模型全景图13图表19部分国产ChatGPT文心一言合作公司14请仔细阅读在本报告尾部的重要法律声明3证券研究报告行业动态报告1ChatGPT深度拆解AI算力模型11ChatGPT算法的核心壁垒AI的完整算法生成分为五部分分别是数据收集数据清洗模型训练模型测试模型部署和反馈图表1AI算法的全流程资料来源CSDN华西证券研究所核心壁垒一庞大的数据训练数据数据是所有人工智能或大数据的燃料根据appen的数据ChatGPT的前身GPT-3就使用了3000亿单词超过40T的大规模高质量数据进行训练ChatGPT在其基础上加入了人工打标的监督学习即对话式模型给出结果后由训练师对结果做出评价并修改结果以更贴切对话内容原因往往愈发庞大的燃料意味着模型的精准度的提升数据量的大小跟深度学习大数据的准确度庞大的正相关此外数据量的大小对于运算计算机算力的要求往往呈现指数级别的关系这也是强大算法的核心需求原因是数据清洗和数据标注的核心意义就是将人们理解的非结构化数据转变成计算机可以理解的结构化数据可以将人工智能的本质理解成矩阵的运算矩阵的维度往往代表着数据特征的维度这也是训练神经网络参数的基础一般情况下数据维度越多模型参数量越多模型越复杂模型的准确度越高对算力的指数需求越高本质是数据维度与算力指数呈现正相关不考虑参数堆积模型过拟合的情况请仔细阅读在本报告尾部的重要法律声明4证券研究报告行业动态报告图表2模型的准确度和数据数量呈现正相关图表3AI需求呈现指数级别的增长资料来源知乎华西证券研究所资料来源腾讯云华西证券研究所第二模型训练方面ChatGPT强大的底层技术是Transformer算法该算法正逐步取代RNN循环神经网络Transformer算法在神经网络中具备跨时代的意义RNN和CNN已经广泛应用于序列模型语言建模机器翻译并取得不错效果然而在算法上仍有一定限制和不足Transformer具备跨时代的意义的原因是算法上添加了注意力机制这种机制具备突破性的原因在于1突破了RNN模型不能并行计算的限制2相比CNN模型关联所需的操作次数不随距离增长3模型解释力度明显加强从结果上看根据CDSN数据Transformer的综合特征提取能力远距离特征捕获能力语义特征提取能力全部明显增强因此此算法正逐步取代RNN算法也是ChatGPT算法的底座图表4Transformer算法的前世今生图表5Transformer模型与RNNCNN模型准确度对比资料来源公开资料整理华西证券研究所资料来源CSDN华西证券研究所第三模型训练部分AI预训练模型大模型引发了AIGC技术能力的质变在该模型问世之前具有使用门槛高训练成本低内容生成简单和质量偏低等问题而在AIGC领域AI预训练模型拥有巨大参数量模型AI预模型可以实现多任务多语言多方式等至关重要的作用AI预训练模型的出正是人工智能发展的未来和趋势AI预训练模型大模型即大算力强算法结合的产物大模型通常是在大规模无标注数据上进行训练学习出一种特征和规则基于大模型进行应用开发时将大模型进行微调如在下游特定任务上的小规模有标注数据进行二次训练或者不进行微调就可以完成多个应用场景的任务请仔细阅读在本报告尾部的重要法律声明5证券研究报告行业动态报告AI预训练模型的本质是机器对自然语言理解能力的不断提升其根本原因除Transformer算法以外还有就是参数量的大小谷歌BERT网络模型的提出使得参数量首次超过3亿规模GPT-3模型超过百亿此外目前较火热AIGC的参数量已经超过千亿此外参数量往往是计算空间的复杂程度模型空间越复杂往往意味着庞大的计算量计算量和参数量呈现正比关系这也是随着AI的功能强大AI对算力呈现指数级别根本需求的本质原因图表6深度学习初期模型越来越大图表7预模型出现后机器对自然语言的理解不断提升经典神经网AlexNeInceptioVGG16络tn-V3模型内存20050090-100MB参数百万60138232计算量百720153005000万资料来源博客网华西证券研究所资料来源知乎华西证券研究所此外预训练模型大模型按照应用的基本类型分类可分为1自然语言处理NLP例如谷歌的LaMDA和PaLMOpenAI的GPT系列2计算机视觉CV例如微软的Florence3多模态即融合文字图片音视频等多种内容形式例如OpenAI的DALL-E2此外根据不同的领域的应用可以将预训练模型进一步分类请仔细阅读在本报告尾部的重要法律声明6证券研究报告行业动态报告图表8国外主要AIGC预训练模型一览厂商预训练模型应用参数量领域BERT语言理解与生成4810亿NLPLaMDA对话系统NLP语言理解与生PaLM成推理代码5400亿NLP谷歌生成语言理解与图像Imagen110亿多模态生成语言理解与图像Parti200亿多模态生成Florence视觉识别64亿CV微软Turing-NLG语言理解生成170亿NLPOPT-175B语言模型1750亿NLPFacebookM2M-100100种语言互译150亿NLPGato多面手的智能体12亿多模态DeepMindGopher语言理解与生成2800亿NLPAlphaCode代码生成414亿NLP语言理解与生GPT31750亿NLP成推理等图像生成跨模CLIPDALL-E120亿多模态OpenAI态检索Codex代码生成120亿NLP语言理解与生ChatGPTNLP成推理等Megatron-Turing语言理解与生英伟达5300亿NLPNLG成推理等语言理解与图像StabilityAIStableDiffusion多模态生成资料来源腾讯AIGC发展报告2023华西证券研究所谷歌BERT作为自然语言处理NLP是预训练模型大模型的里程碑之作BERT模型是谷歌2018年发布的的掩码语言模型当时发布后在许多自然语言理解任务上取得了最先进的性能被当时誉为最先进的神经网络模型其具有里程碑式结果如下机器阅读理解顶级水平测试SQuAD11中表现出惊人的成绩全部两个衡量指标上全面超越人类并且还在11种不同NLP测试中创出最佳成绩包括将GLUE基准推至804绝对改进76MultiNLI准确度达到867绝对改进率56等BERT取得跨时代的意义是新的预训练模型在BERT模型出世之前现有的技术已经严重限制了预训练表示的能力原因是标准语言模型架构是单向的因此Bert采用了Transformer技术的双向编码器表示与最近的其他语言表示模型不同BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示因此预训练的BERT表示可以通过一个额外的输出层进行微调适用于广泛任务的最先进模型的构建比如问答任务和语言推理无需针对具体任务做大幅架构修改请仔细阅读在本报告尾部的重要法律声明7证券研究报告行业动态报告模型的预训练核心机制是其具备里程碑的根本原因语言建模15的标记被屏蔽训练目标是在给定上下文的情况下预测原始标记和下一句预测训练目标是对两个文本跨度进行分类依次出现在训练语料库中因此BERT学习了上下文中单词和句子的潜在表示例如语言推理文本分类和基于序列到序列的语言生成任务此外该阶段的计算成本明显高于微调我们认为该算法是AIGC的初始应用算法图表9谷歌GBRT取得的能力图表10谷歌GBRT预训练架构资料来源知乎华西证券研究所资料来源稀土掘金华西证券研究所第四模型训练方面多模态数据协同极大的推动AIGC的内容多样性与通用性预训练模型更具备通用性多才艺的根本原因得益于多模型技术multimodaltechnology的使用即多模态表示图像声音语音融合的机器学习2021年OpenAI团队将跨模态深度学习CLIP开源CLIP能够将文字和图像进行关联比如将文字狗和图像狗进行关联CLIP的优势有两点1同时进行自然语言处理NLP和计算机视觉分析CV实现文本和图像的匹配2CLIP模型利用互联网的照片文本-图像进行训练这为后续AIGC奠定基础极大减少数据标注的工作量多模态同样具有跨时代的意义因此在多模态技术的支持下预训练模型已经从早期单一的自然语言处理和机器视觉发展成自动生成图画图像文字音视频等多模态跨模态图型DallE2就是典型的代表CLIP模型让文字和图片两个模态找到能够对话的交界点图表11CLIP算法示意图图表12DallE2自动生成图画资料来源知乎华西证券研究所资料来源OpenAI官网华西证券研究所请仔细阅读在本报告尾部的重要法律声明8证券研究报告行业动态报告12不同类别AIGC算法比对ChatGPTChatGPT基于GPT-35架构拥有175B个参数ChatGPT的训练功能强大的原因就是训练奖励模型数据收集设置略有不同并加入了强化学习近端策略优化可以理解成在人脑思维的基础上加入了人类反馈系统是一种奖励模型因此效果更加真实模型的无害性实现些许提升编码能力更强具体而言此种强化学习的目的是获得奖励因此ChatGPT加入了一个奖励模型每一个问题都生成不同的答案然后由人类对不同的答案进行排序排序靠前的回答得分更高排序较低的回答得分更低图表13强化学习近端策略优化优化示意图资料来源OpenAI官网华西证券研究所谷歌LaMDA是GoogleBard聊天机器人的程序语言模板相同点同样是基于Transformer的神经语言模型不同点1参数方面由多达137B个参数组成并在156T的公开可用对话数据和网络文档的单词上进行了预训练LaMDA模型具有质量安全和扎实性三个关键目标每个目标有各自的衡量指标2奖励模型LaMDA的进展是通过收集来自预训练模型微调模型和人类评分者即人类生成的反应对多轮双作者对话的反应来量化的然后由针对上述定义的指标对一系列问题进行不同的人类评分具体行为即对AI生成文本进行点赞或是差评3训练数据ChatGPT的训练方式是训练文本而LaMDA的训练方式是训练对话因此可以说GPT-3专注于生成语言文本LaMDA专注于生成对话请仔细阅读在本报告尾部的重要法律声明9证券研究报告行业动态报告图表14ChatGPT和LaMDA的不同左为ChatGPT右为LaMDA资料来源AI阅粒华西证券研究所此外图神经网络GNN作为科学领域预训练模型大模型备受瞩目基本定义图神经网络GraphNeuralNetworkGNN是指使用神经网络来学习图结构数据提取和发掘图结构数据中的特征和模式满足聚类分类预测分割生成等图学习任务需求的算法总称强大之处图神经网络相较于普通神经网络最大的特点可以理解成关系网即图神经网络不光可以反映自身的特征也可以反映邻居结点的特征换而言之图结构表示的数据使得可以进行基于图的解释和推理图表15图神经网络在电子健康记录建模的应用资料来源CSDN华西证券研究所图神经网络应用与日俱增有望成为下一时代的风口浪尖图形神经网络和相关技术的发展已经具有脱胎换骨的意义例如化学合成车辆路由3D视觉推荐系统连续控制自动驾驶和社交网络分析目前已经应用在社会结构请仔细阅读在本报告尾部的重要法律声明10证券研究报告行业动态报告电子健康记录建模药物发现和合成化合物推荐系统交通预测链接预测点云分类与分割人物交互文本分类姿态估计芯片设计等众多前沿领域图表16药物发现和合成化合物资料来源CSDN华西证券研究所13我国国产ChatGPT生态正在形成我国国产ChatGPT生态正逐渐繁荣由于ChatGPT具有跨时代的意义根据网易新消息百度在国内率先开发类似ChatGPT的产品该项目中文名字为文心一言英文名ERNIEBot百度是少有预训练模型大模型语言训练能力的公司其文心大模型和OpenAI的GPT模型类似在2019年就已经推出并且已经迭代了多代从单一的自然语言理解延申到多模态包括视觉文档文图语音等多模态多功能因此文心一言所基于的ERNIE系列模型也已经具备较强泛化能力和性能以最新发布的ERNIE30Zeus为例参数方面该模型迭代于ERNIE30拥有千亿级参数请仔细阅读在本报告尾部的重要法律声明11证券研究报告行业动态报告图表17百度文心预训练模型大模型发展历程资料来源经济观察报华西证券研究所国产ChatGPT文心一言功能强大预训练模型方面百度凭借海量的知识沉淀和丰富的场景推出文心大模型根据IDC数据其拥有5500亿条知识且已经应用于百度搜索信息流智能驾驶百度地图小度等产品此外跨模态方面百度已有文能生成文档智能地理-语言视觉-语言语音-语言等模型架构根据IDC数据目前已有近百万开发者使用文心大模型请仔细阅读在本报告尾部的重要法律声明12证券研究报告行业动态报告图表18百度文心大模型全景图资料来源IDC华西证券研究所百度文心模型覆盖了多方向1自然语言处理具备语言理解能力与小说摘要文案创意歌词诗歌等能力目前已在机器阅读理解文本分类语义相似度计算等60多项任务中应用2机器视觉已经能够应用于各行各业的文档卡证票据等图像文字识别和结构化理解3跨模态模型可应用在AI作图地理-语言视觉-语言语音-语言应用4其他任务例如对话生成文本自然语言变成理解化合物分子蛋白分子的预训练模型医药研发建模等多应用场景国产ChatGPT生态逐渐繁荣目前已有诸多厂商开展合作我们认为其商业模式同样为API接口收费属于SAAS商业模式合作厂商分别覆盖科技教育工业请仔细阅读在本报告尾部的重要法律声明13证券研究报告行业动态报告媒体金融等诸多产业代表公司有宇信科技汉得信息金蝶航天宏图致远互联东软集团等图表19部分国产ChatGPT文心一言合作公司资料来源公开资料整理华西证券研究所2投资建议梳理AIGC相关受益厂商我们认为AIGC的出世会产生革命性的影响同时有望赋能千行百业我们梳理了三条路径图积极的推荐以下三条投资主线1具备算力基础的厂商受益标的为寒武纪商汤海光信息浪潮信息中科曙光景嘉微联想集团紫光股份龙芯中科请仔细阅读在本报告尾部的重要法律声明14证券研究报告行业动态报告2具备AI算法商业落地的厂商重点推荐科大讯飞拓尔思其他受益标的为汉王科技海天瑞声云从科技3AIGC相关技术储备的应用厂商受益标的为百度同花顺三六零金山办公3风险提示1核心技术水平升级不及预期的风险2AI伦理风险3政策推进不及预期的风险4中美贸易摩擦升级的风险TableAuthorInfo请仔细阅读在本报告尾部的重要法律声明15证券研究报告行业动态报告分析师与研究助理简介刘泽晶首席分析师2014-2015年新财富计算机行业团队第三第五名水晶球第三名10年证券从业经验分析师承诺作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力保证报告所采用的数据均来自合规渠道分析逻辑基于作者的职业理解通过合理判断并得出结论力求客观公正结论不受任何第三方的授意影响特此声明评级说明投资公司评级标准说明评级买入分析师预测在此期间股价相对强于上证指数达到或超过15以报告发布日后的6个增持分析师预测在此期间股价相对强于上证指数在515之间月内公司股价相对上证中性分析师预测在此期间股价相对上证指数在-55之间指数的涨跌幅为基准减持分析师预测在此期间股价相对弱于上证指数515之间卖出分析师预测在此期间股价相对弱于上证指数达到或超过15行业评级标准以报告发布日后的6个推荐分析师预测在此期间行业指数相对强于上证指数达到或超过10月内行业指数的涨跌幅中性分析师预测在此期间行业指数相对上证指数在-1010之间为基准回避分析师预测在此期间行业指数相对弱于上证指数达到或超过10华西证券研究所地址北京市西城区太平桥大街丰汇园11号丰汇时代大厦南座5层网址httpwwwhx168comcnhxzqhxindexhtml请仔细阅读在本报告尾部的重要法律声明16证券研究报告行业动态报告华西证券免责声明华西证券股份有限公司以下简称本公司具备证券投资咨询业务资格本报告仅供本公司签约客户使用本公司不会因接收人收到或者经由其他渠道转发收到本报告而直接视其为本公司客户本报告基于本公司研究所及其研究人员认为的已经公开的资料或者研究人员的实地调研资料但本公司对该等信息的准确性完整性或可靠性不作任何保证本报告所载资料意见以及推测仅于本报告发布当日的判断且这种判断受到研究方法研究依据等多方面的制约在不同时期本公司可发出与本报告所载资料意见及预测不一致的报告本公司不保证本报告所含信息始终保持在最新状态同时本公司对本报告所含信息可在不发出通知的情形下做出修改投资者需自行关注相应更新或修改在任何情况下本报告仅提供给签约客户参考使用任何信息或所表述的意见绝不构成对任何人的投资建议市场有风险投资需谨慎投资者不应将本报告视为做出投资决策的惟一参考因素亦不应认为本报告可以取代自己的判断在任何情况下本报告均未考虑到个别客户的特殊投资目标财务状况或需求不能作为客户进行客户买卖认购证券或者其他金融工具的保证或邀请在任何情况下本公司本公司员工或者其他关联方均不承诺投资者一定获利不与投资者分享投资收益也不对任何人因使用本报告而导致的任何可能损失负有任何责任投资者因使用本公司研究报告做出的任何投资决策均是独立行为与本公司本公司员工及其他关联方无关本公司建立起信息隔离墙制度跨墙制度来规范管理跨部门跨关联机构之间的信息流动务请投资者注意在法律许可的前提下本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易也可能为这些公司提供或者争取提供投资银行财务顾问或者金融产品等相关服务在法律许可的前提下本公司的董事高级职员或员工可能担任本报告所提到的公司的董事所有报告版权均归本公司所有未经本公司事先书面授权任何机构或个人不得以任何形式复制转发或公开传播本报告的全部或部分内容如需引用刊发或转载本报告需注明出处为华西证券研究所且不得对本报告进行任何有悖原意的引用删节和修改请仔细阅读在本报告尾部的重要法律声明17