溯源GPT发展：2019年“三足鼎立”，GPT明确大容量路线
　　回顾基于Transformer的预训练大语言模型的发展，可以看到2019年是预训练大语言模型的技术架构演进之年。以GPT、BERT、T5为代表的三类典型预训练语言模型，分别采用了只有解码器、只有编码器、同时拥有解码器-编码器的技术架构，分别搭建了自回归语言模型、自编码语言模型以及序列到序列模型。2019年GPT-2论文的正式发表，有力验证了“更多训练数据+更大网络参数，也可以有效提升预训练模型的泛化能力”，自此开启了GPT模型向更大容量扩展的技术发展路径。因此，2019年也可以称得上是GPT系列模型的技术路线明确之年，是GPT模型演化的重要时间节点。
　　GPT-2：具备多任务学习、大模型容量、无微调建模三大特点
　　GPT-2模型具有多任务学习、大模型容量、无微调建模三大特点。1）多任务学习：GPT-2在预训练阶段采用多任务学习方式，不仅有效提升了学习效率，而且通过扩大训练数据、隐式数据增强有效强化了模型的泛化能力；2）大模型容量：GPT-2最大层数达48层，最大词向量长度达1,600，由于模型层数越多，完成的非线性映射就越复杂，词向量长度越长，拟合的情况越复杂，因此GPT-2模型具有较强的学习能力；3）无微调建模：GPT-2聚焦模型的泛化能力，旨在通过多任务学习训练一个模型，训练好的这一个模型可以解决多类任务，因此取消了fine-tune层，不再针对不同任务进行微调。
　　GPT-2 VSGPT-1：从“专才”到“通才”，大容量路线确定
　　较GPT-1而言，GPT-2的变化主要体现在四个方面：取消fine-tune训练、增加数据集（GPT-2使用WebText数据集，累计大小约40GB）、增加网络参数（最大模型参数量15亿）、调整Transformer结构。GPT-2取消fine-tune，采用大规模数据集+大容量模型的技术方案，成功训练了GPT模型的“通才”能力，“一个模型解决多类任务”构想的有效性得到了重要的实验验证。同时GPT-2证明随着模型的参数变多，模型的表现呈现对数线性上升，模型的泛化能力仍具有上升空间。总结来看，GPT-2模型的成功演绎是后续GPT模型向更大容量、更大训练集演进的重要基础。
　　GPTVSBERT/T5：自回归语言模型更具生成式优势
　　GPT-2、BERT、T5均基于Transformer模型，但在模块组成、模型参数、预训练方式上有所不同。1）GPT-2：Transformer只有Decoder（解码器），为自回归模型（Auto-regressive models）；2）BERT：Transformer只有Encoder（编码器），为自编码模型（Auto-encoding models）；3）T5：Transformer同时包含Encoder、Decoder两部分，为序列到序列模型（Sequence-to-sequence model）。对比来看，GPT的自回归预训练在文本生成、对话问答等从左向右的生成任务上具备天然优势。
　　风险提示：宏观经济波动；下游需求不及预期；本报告内容均基于公开客观数据整理，不代表研究覆盖和推荐。
　　

研究报告全文：证券研究报告计算机GPT产业复盘2019大容量路线华泰研究计算机增持维持2023年2月14日中国内地专题研究研究员谢春生溯源GPT发展2019年三足鼎立GPT明确大容量路线SACNoS0570519080006xiechunshenghtsccomSFCNoBQZ938862129872036回顾基于Transformer的预训练大语言模型的发展可以看到2019年是预训练大语言模型的技术架构演进之年以GPTBERTT5为代表的三类联系人袁泽世PhD典型预训练语言模型分别采用了只有解码器只有编码器同时拥有解码SACNoS0570122080053yuanzeshihtsccom器-编码器的技术架构分别搭建了自回归语言模型自编码语言模型以及862128972228序列到序列模型2019年GPT-2论文的正式发表有力验证了更多训练数据更大网络参数也可以有效提升预训练模型的泛化能力自此开启行业走势图了GPT模型向更大容量扩展的技术发展路径因此2019年也可以称得上是GPT系列模型的技术路线明确之年是GPT模型演化的重要时间节点计算机沪深3006GPT-2具备多任务学习大模型容量无微调建模三大特点3GPT-2模型具有多任务学习大模型容量无微调建模三大特点1多任务学习GPT-2在预训练阶段采用多任务学习方式不仅有效提升了学习效12率而且通过扩大训练数据隐式数据增强有效强化了模型的泛化能力221大模型容量GPT-2最大层数达48层最大词向量长度达1600由于模30型层数越多完成的非线性映射就越复杂词向量长度越长拟合的情况越Feb-22Jun-22Oct-22Feb-23复杂因此模型具有较强的学习能力无微调建模聚焦GPT-23GPT-2资料来源Wind华泰研究模型的泛化能力旨在通过多任务学习训练一个模型训练好的这一个模型可以解决多类任务因此取消了fine-tune层不再针对不同任务进行微调GPT-2VSGPT-1从专才到通才大容量路线确定较GPT-1而言GPT-2的变化主要体现在四个方面取消fine-tune训练增加数据集GPT-2使用WebText数据集累计大小约40GB增加网络参数最大模型参数量15亿调整Transformer结构GPT-2取消fine-tune采用大规模数据集大容量模型的技术方案成功训练了GPT模型的通才能力一个模型解决多类任务构想的有效性得到了重要的实验验证同时GPT-2证明随着模型的参数变多模型的表现呈现对数线性上升模型的泛化能力仍具有上升空间总结来看GPT-2模型的成功演绎是后续GPT模型向更大容量更大训练集演进的重要基础GPTVSBERTT5自回归语言模型更具生成式优势GPT-2BERTT5均基于Transformer模型但在模块组成模型参数预训练方式上有所不同1GPT-2Transformer只有Decoder解码器为自回归模型Auto-regressivemodels2BERTTransformer只有Encoder编码器为自编码模型Auto-encodingmodels3T5Transformer同时包含EncoderDecoder两部分为序列到序列模型Sequence-to-sequencemodel对比来看GPT的自回归预训练在文本生成对话问答等从左向右的生成任务上具备天然优势风险提示宏观经济波动下游需求不及预期本报告内容均基于公开客观数据整理不代表研究覆盖和推荐免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1计算机GPT发展之2019三足鼎立GPT明确大容量路线2019年三足鼎立GPT-2论文成功开启GPT大容量演进路线回顾基于Transformer的预训练大语言模型的发展可以看到2019年是预训练大语言模型的技术架构演进之年以GPTBERTT5为代表的三类典型预训练语言模型分别采用了只有解码器只有编码器同时拥有解码器-编码器的技术架构GPT-2论文对更多训练数据更大网络参数可以提升模型的泛化能力进行了有力验证由此开启了GPT系列模型的大容量演进路线本报告针对GPT-2的论文LanguageModelsareUnsupervisedMultitaskLearners的关键信息进行了详细解读同时通过对比GPT-2与GPT-1得到了GPT系列模型的演进思路通过对比GPT-2BERTT5三类技术架构的模型得到了GPT系列模型在生成式任务上具备天然优势的原因图表12017-2022年基于Transformer的预训练模型梳理及2019年三类典型模型注红框内浅粉色高亮的三种预训练语言模型是2019年三类典型模型资料来源OpenAI官网Google官网CSDN华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2计算机GPT-2大模型新纪元开启大容量技术路线确定理解GPT系列论文是我们理解GPT模型技术路径演绎的重要方法GPT-2论文的核心重点在于验证是否可以通过更多的训练数据更大的网络参数让模型具备零次学习Zero-shotLearning能力即通过更广泛学习更强的学习能力加速GPT从专才走向通才实验结果证明当训练数据足够多模型参数足够大时就可以通过训练一个模型处理多类任务自此确立了GPT模型向更大容量演进的发展目标图表2GPT模型演进路径资料来源OpenAI官网华泰研究GPT-2开启单模型解决多任务新纪元大容量技术路线确定LanguageModelsareUnsupervisedMultitaskLearners论文发表GPT-2开启一个模型处理多类任务的新时代GPTGenerativePre-trainedTransformer系列预训练语言模型早在2018年在论文ImprovingLanguageUnderstandingbyGenerativePre-Training中被提出初代GPT-1模型验证了通过无监督预训练针对特定任务微调处理有监督任务模型的有效性2019年2月论文LanguageModelsareUnsupervisedMultitaskLearners正式发表基于无监督学习的全局最小也必定是监督学习的全局最小的理论基础GPT-2模型去掉fine-tune层不再针对不同任务分别进行微调建模而是通过使用更多的网络参数和更大的数据集来强化模型的泛化能力GPT-2模型成功验证了更多训练数据更大的网络参数可以有效地提升模型的泛化能力实现了训练一个模型可以解决多类任务的效果不再需要针对不同任务进行模型微调GPT-2的成功自此开启了GPT模型向更大容量扩展的技术发展路径图表3LanguageModelsareUnsupervisedMultitaskLearners论文开启GPT-2时代资料来源LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3计算机模型特点多任务学习大模型容量无微调建模特点一预训练阶段采用多任务学习方式GPT-2在预训练阶段采用多任务学习方式不同于单任务学习单次仅针对一个任务学习以及模型参数独立的特点多任务学习单次可同时学习多个任务同时各个任务之间的模型参数共享可以实现已学习信息的共享补充有效提升了模型的学习效率图表4GPT-2预训练采用多任务学习方式资料来源ModelingTaskRelationshipsinMulti-taskLearningwithMulti-gateMixture-of-ExpertsAlexKendall2017华泰研究多任务学习有效防止模型过拟合提升模型的泛化能力为理解多任务学习对模型泛化能力的提升首先需要明晰噪音过拟合泛化这几个概念1噪音任务学习过程不相关的信息为噪音2过拟合训练出来的模型在训练集上表现很好但是在测试集上表现较差的一种现象3泛化模型对新测试集之前没见过的数据的适应能力三者之间的联系是当把噪声作为有效信息或训练数据集较小时容易导致模型过拟合模型过拟合导致模型的泛化能力变差多任务学习提升模型泛化能力的原因主要有三点1训练数据集更大2多任务之间有一定相关性多任务学习相当于隐式数据增强3多任务学习的共享模块需要兼顾所有任务一定程度避免了模型过拟合到单个任务的训练集图表5多任务学习可有效提升模型的泛化能力资料来源神经网络与深度学习邱锡鹏2020华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4计算机特点二GPT-2拥有较大的模型容量GPT-2最大模型GPT-2EXTRALARGE的层数达到48层词向量长度到16001层数理解层数对GPT模型的影响需要理解GPT的模型架构GPT模型由层层堆叠的Transformer模块组成因此可以理解为模型层数越多模型可以完成的非线性映射就越复杂模型的学习能力更强2词向量长度词向量长度即隐藏层的神经元个数每一层Transformer都是一个隐藏层隐藏层的神经元个数越多即可以产生越复杂的组合拟合越复杂的情况解决越复杂的问题计算量也随之越来越大GPT-2论文LanguageModelsareUnsupervisedMultitaskLearners提及四种规模的GPT-2模型GPT-2的模型层数最多为48层词向量长度隐藏层维度最大为1600模型的最大参数量多达15亿图表6GPT-2模型层数最大达48词向量长度最大达1600资料来源LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019华泰研究特点三GPT-2取消fine-tune微调建模层GPT-2旨在训练一个模型解决多类任务因此取消fine-tune微调建模层GPT-2聚焦模型的泛化能力旨在通过多任务学习训练一个模型训练好的这一个模型可以解决多类任务无需再根据特定任务进行模型微调因此GPT-2模型在训练任务中取消了fine-tune任务只保留了语言模型部分的训练同时将诸多下游任务根据各自的特点规划成语言模型的训练使得最终的语言模型学到的东西更丰富拥有更多样的应用奠定了模型的Zero-shotLearning零次学习的基础图表7GPT-1四类任务微调建模示意图资料来源ImprovingLanguageUnderstandingbyGenerativePre-TrainingAleeRadford2018华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5计算机论文结论一个模型解决多类任务有效性得到验证GPT-2成功验证了一个模型解决多类任务的有效性从论文LanguageModelsareUnsupervisedMultitaskLearners的实验结果来看GPT-2在8个测试过的语言建模数据集ChildrensBookTest儿童书籍测试LAMBADAWikitext2PTBenxik8Text8WikiText1031BW中有7个的测试表现达到了最先进的性能具备在Zero-shot环境下的任务执行能力GPT-2模型的成功测试表明当一个大型语言模型在一个足够大和多样化的数据集上训练时它能够在许多数据集上表现良好通过训练一个模型解决多类任务的模型有效性得到有力验证图表8GPT-2在78的Zero-shotLearning零次学习测试中表现出最佳性能注标红的数据表示GPT-2的测试结果优于目前其他模型的最优技术性能资料来源LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019华泰研究图表9GPT-2部分测试结果资料来源LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019华泰研究大规模数据集大容量模型行之有效可以继续演进GPT-2取消fine-tune采用大规模数据集大容量模型的技术方案成功训练了GPT模型的通才能力一个模型解决多类任务构想的有效性得到了重要的实验验证同时GPT-2证明随着模型的参数变多模型的表现呈现对数线性上升模型的泛化能力仍具有上升空间总结来看GPT-2模型的成功演绎是后续GPT模型向更大容量更大训练集演进的重要基础免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6计算机GPT-2VSGPT-1从专才到通才较GPT-1而言GPT-2的变化主要体现在四个方面1取消fine-tune训练GPT-2只有无监督的预训练阶段不再针对不同任务分别进行微调建模GPT-2不定义这个模型应该做什么任务而是通过模型自动识别2增加数据集GPT-1使用BooksCorpus数据集约包含7000本未经发布的书籍累计大小约5GBGPT-2使用WebText数据集约包含800万篇文章累计大小约40GB3增加网络参数GPT-1层数12词向量长度768模型参数量117亿GPT-2层数48词向量长度1600模型参数量15亿4调整Transformer结构为了使模型训练更加稳定将layernormalization放到每个sub-block之前并在最后一个Self-attention后再增加一个layernormalization图表10与GPT-1相比GPT-2的变化主要体现在四个方面资料来源ImprovingLanguageUnderstandingbyGenerativePre-TrainingAleeRadford2018LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019华泰研究图表11GPT-1的Transformer架构图表12GPT-2的Transformer架构资料来源CSDN华泰研究资料来源CSDN华泰研究更广泛学习更强的学习能力加速GPT从专才走向通才对比来看GPT-2与GPT-1相比在模型上并无过多改进而是在数据集学习更广泛模型参数学习能力更强上有较大的提升从结果来看GPT-1在未经微调的任务上虽然也有一定效果但是其泛化能力远远低于经过微调的有监督任务而GPT-2验证了通过海量数据和大量参数训练出来的语言模型具备迁移到其它类别任务中而不需要额外的训练的能力证明了GPT可以不只是单一领域的专家泛化能力差而是可以成为通用的语言学家泛化能力强免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7计算机GPT-2VSBertT5自回归语言模型更具生成式优势基于Transformer演进的预训练语言模型GPTBERTT52019年是预训练语言模型技术架构的演进之年如果说2018年提出的GPT-1ImprovingLanguageUnderstandingbyGenerativePre-TrainingAleeRadford2018模型开启预训练语言模型的新时代2019年以最新论文发表时间为判断依据GPT-2BERTT5三类典型模型的提出可以说开启了预训练语言模型的技术架构演进之年GPT-2BERTT5均基于Transformer模型但在模块组成模型参数预训练方式上有所不同对比来看GPT自回归预训练模型在文本生成对话问答等从左向右的生成任务上具备天然优势1GPT-2GPT-2由Transformer层层堆叠而成但Transformer只包含Decoder解码器GPT-2的Transformer层数为48层词向量长度隐藏层维度为1600模型参数为15亿GPT-2采用自回归的预训练方法为自回归模型Auto-regressivemodels2BERTBERT由Transformer层层堆叠而成但Transformer只包含Encoder编码器BERT的Transformer层数为12层词向量长度隐藏层维度为768模型参数为11亿BERT采用自编码的预训练方法为自编码模型Auto-encodingmodels3T5T5由Transformer层层堆叠而成Transformer同时包含EncoderDecoder两部分T5的EncoderDecoder均为24层词向量长度隐藏层维度均为1024模型参数为110亿实现了两者方法的融合为序列到序列模型Sequence-to-sequencemodel图表13GPT-2BERTT5三类预训练语言模型对比资料来源LanguageModelsareUnsupervisedMultitaskLearnersAleeRadford2019BERTPre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingJacobDevlin2019T5ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformerColinRaffel2019华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读8计算机对比BERT自回归语言更具生成式优势为了理解GPT为何更具生成式优势我们对GPTBERT两类模型的Transformer单元进行了更详细的拆解对比来看BERT仅由Encoder模块组成Encoder模块架构仅包括自注意力层Self-Attention前馈神经网络FeedForwordNeuralNetwork两部分GPT-2仅由Decoder模块组成Decoder模块与Encoder模块架构略有差异1Encoder-DecoderSelf-Attention加入了一层可以重点关注编码器输出的编码器-解码器自注意力层Encoder-DecoderSelf-Attention2MaskedSelf-Attention自注意力层Self-Attention变为了带掩模的自注意力层MaskedSelf-Attention图表14Encoder编码器结构示意图表15Decoder解码器结构示意资料来源TheIllustratedGPT-2VisualizingTransformerLanguageModels资料来源TheIllustratedGPT-2VisualizingTransformerLanguageModelsJayAlammar2020华泰研究JayAlammar2020华泰研究对比自注意力层Self-Attention与带掩模的自注意力层MaskedSelf-Attention可以清楚看到GPT模型在生成式任务中更具优势1Self-Attention在每个阶段注意力层都可以访问初始句子中的所有单词模型具有双向注意力因此在预训练阶段通常采用MaskedLanguageModel即随机遮盖或替换一句话里面的任意字或词然后让模型通过上下文预测那一个被遮盖或替换的部分2MaskedSelf-Attention在每个阶段对于给定的单词注意力层只能访问句子中位于它之前的单词模型具有单向注意力因此在预训练阶段通常采用基于前文去预测下文的方法故而在生成式任务中更具优势图表16自注意力层Self-Attention与带掩模的自注意力层MaskedSelf-Attention对比资料来源TheIllustratedGPT-2VisualizingTransformerLanguageModelsJayAlammar2020华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读9计算机对比T5GPT更擅长自由创作T5模型的Transfomer模块同时拥有Encoder-Decoder模块由于T5同时具备解码器编码器可以根据训练需要选择相应的预训练方案T5论文T5ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer2019中选取三类预训练方法1语言模型式与GPT-2的预训练方式相似即从左到右预测2BERT-style式与BERT的预训练方法相似即将文本的一部分内容给破坏掉然后还原出来3Deshuffling式即将文本打乱然后还原出来测试结果发现Bert-style式预训练效果最好因此可以看出T5在应对给定输入产生对应的输出的任务上具有更好的表现比如翻译等GPT则更擅长写作对话等任务具有更强的自由创作能力图表17T5的Transformer架构资料来源T5ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformerColinRaffel2019华泰研究风险提示宏观经济波动若宏观经济波动产业变革及新技术的落地节奏或将受到影响宏观经济波动还可能对IT投资产生负面影响从而导致整体行业增长不及预期下游需求不及预期若下游数字化需求不及预期相关的数字化投入增长或慢于预期致使行业增长不及预期本报告内容均基于公开客观数据整理不代表研究覆盖和推荐免责声明和披露以及分析师声明是报告的一部分请务必一起阅读10计算机免责声明分析师声明本人谢春生兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读11计算机香港-重要监管披露华泰金融控股香港有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员有关重要的披露信息请参华泰金融控股香港有限公司的网页httpswwwhtsccomhkstockdisclosure其他信息请参见下方美国-重要监管披露美国在美国本报告由华泰证券美国有限公司向符合美国监管规定的机构投资者进行发表与分发华泰证券美国有限公司是美国注册经纪商和美国金融业监管局FINRA的注册会员对于其在美国分发的研究报告华泰证券美国有限公司根据1934年证券交易法修订版第15a-6条规定以及美国证券交易委员会人员解释对本研究报告内容负责华泰证券美国有限公司联营公司的分析师不具有美国金融监管FINRA分析师的注册资格可能不属于华泰证券美国有限公司的关联人员因此可能不受FINRA关于分析师与标的公司沟通公开露面和所持交易证券的限制华泰证券美国有限公司是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司任何直接从华泰证券美国有限公司收到此报告并希望就本报告所述任何证券进行交易的人士应通过华泰证券美国有限公司进行交易美国-重要监管披露分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员董事或顾问分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益本披露中所提及的相关人士包括FINRA定义下分析师的家庭成员分析师根据华泰证券的整体收入和盈利能力获得薪酬包括源自公司投资银行业务的收入华泰证券股份有限公司其子公司和或其联营公司及或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券股份有限公司其子公司和或其联营公司及或其高级管理层董事和雇员可能会持有本报告中所提到的任何证券或任何相关投资头寸并可能不时进行增持或减持该证券或投资因此投资者应该意识到可能存在利益冲突评级说明投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力含此期间的股息回报相对基准表现的预期A股市场基准为沪深300指数香港市场基准为恒生指数美国市场基准为标普500指数具体如下行业评级增持预计行业股票指数超越基准中性预计行业股票指数基本与基准持平减持预计行业股票指数明显弱于基准公司评级买入预计股价超越基准15以上增持预计股价超越基准515持有预计股价相对基准波动在-155之间卖出预计股价弱于基准15以上暂停评级已暂停评级目标价及预测以遵守适用法规及或公司政策无评级股票不在常规研究覆盖范围内投资者不应期待华泰提供该等证券及或公司相关的持续或补充信息免责声明和披露以及分析师声明是报告的一部分请务必一起阅读12计算机法律实体披露中国华泰证券股份有限公司具有中国证监会核准的证券投资咨询业务资格经营许可证编号为91320000704041011J香港华泰金融控股香港有限公司具有香港证监会核准的就证券提供意见业务资格经营许可证编号为AOK809美国华泰证券美国有限公司为美国金融业监管局FINRA成员具有在美国开展经纪交易商业务的资格经营业务许可编号为CRD298809SEC8-70231华泰证券股份有限公司南京北京南京市建邺区江东中路228号华泰证券广场1号楼邮政编码210019北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层邮政编码100032电话862583389999传真862583387521电话861063211166传真861063211275电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom深圳上海深圳市福田区益田路5999号基金大厦10楼邮政编码518017上海市浦东新区东方路18号保利广场E栋23楼邮政编码200120电话8675582493932传真8675582492062电话862128972098传真862128972068电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom华泰金融控股香港有限公司香港中环皇后大道中99号中环中心58楼5808-12室电话852-3658-6000传真852-2169-0770电子邮件researchhtsccomhttpwwwhtsccomhk华泰证券美国有限公司美国纽约公园大道280号21楼东纽约10017电话212-763-8160传真917-725-9702电子邮件Huataihtsc-uscomhttpwwwhtsc-uscom版权所有2023年华泰证券股份有限公司免责声明和披露以及分析师声明是报告的一部分请务必一起阅读13