复盘：海外AI大模型发展呈现5大趋势
　　复盘了2022年11月底ChatGPT发布到当前时点海外AI大模型的发展情况，我们认为呈现出5大趋势。1）闭源大模型龙头效应显著，OpenAI、Google、Anthropic三足鼎立局面基本形成；2）开源模型生态逐步完善，Meta引领开源发展；3）模型模态逐步丰富，文本到图像、图像到文本、多模态统一到单一模型等领域均有发展；4）模型落地场景丰富，软件侧场景包括AI agent、垂类模型，终端侧场景包括智能终端大模型、具身智能模型；5）上下文窗口持续拓宽，更长的上下文窗口意味着模型能够一次性输入更多的内容，使得模型对长内容的掌握更加完善，回答更加合理。
　　闭源vs开源：更好的服务vs更自由的开发环境
　　海外的闭源模型主要包括OpenAI的GPT系列，Google的PaLM/Gemini（待发布）系列和Anthropic的Claude系列。从模态来看，Claude/PaLM/GPT-3.5均为语言模型，GPT-4/Genimi为多模态模型；商业模式看，三家均支持API付费调用，OpenAI还另外支持会员服务（$20/月）；微调功能看，GPT-3系列支持微调，Claude模型需要申请微调权限，PaLM2暂不支持微调。开源模型生态由Meta引领，基于开源发布的Llama 1/2，开发者和企业纷纷训练/微调新的模型。此外，Llama 2支持商业化，有助于Meta进一步拓展开源生态，我们认为有望复刻Android的商业化路径。
　　模态：从单一模态向多模态延展
　　在模型从单一模态向多模态扩展的过程中，Google、Meta、Stability AI是典型代表。其中，Google的Vision Transformer打通了文本Transformer架构与图像的“壁垒”，在此基础上，大语言模型PaLM吸收了ViT得到PaLM-E，扩展了多模态和具身智能。此外，PaLM也可以扩展到音频领域得到AudioPaLM。Meta在音频生成领域成果丰富，先后发布通用文本转语音模型Voicebox，以及文本转音乐/音效模型AudioCraft等。Stability AI则反其道而行，其起家模型为文生图的稳定扩散（stable diffusion）模型，随后在LLM和代码模型上先后发布新成果。
　　场景：具身智能+AI agent+智能终端+垂类模型
　　具身智能领域，主要思路是使用机器人动作数据来训练大模型，实现机器人动作预测。代表模型包括Google的PaLM-E/RoboCat/RT-2，英伟达的VIMA等。AI agent定义为LLM（核心大脑）、记忆、任务规划以及工具使用的集合，能够自动化的分解、处理、记忆、输出用户需求，典型agent包括Auto-GPT/MetaGPT/Hyperwrite AI agent等。智能终端中，Vifa已在智能音箱中落地了大模型，高通则基于骁龙平台部署了可端侧运行的稳定扩散模型。垂类模型方面，彭博基于金融专业数据训练了BloombergGPT，Google也基于医疗和网安数据分别训练了Med-PaLM和Sec-PaLM行业模型。
　　上下文窗口：呈继续拓宽趋势
　　在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。目前，商业闭源模型中Claude全系提供了100K的上下文窗口。研究层面，微软LONGNET通过引入新的记忆力机制将上下文窗口扩展到10亿token。
　　风险提示：宏观经济波动，技术进步不及预期。本报告内容均基于客观信息整理，不构成投资建议。
　　

研究报告全文：证券研究报告计算机海外AI大模型发展复盘华泰研究计算机增持维持2023年8月21日中国内地专题研究研究员谢春生复盘海外AI大模型发展呈现5大趋势SACNoS0570519080006xiechunshenghtsccomSFCNoBQZ938862129872036复盘了2022年11月底ChatGPT发布到当前时点海外AI大模型的发展情况我们认为呈现出5大趋势1闭源大模型龙头效应显著OpenAI联系人袁泽世PhDGoogleAnthropic三足鼎立局面基本形成2开源模型生态逐步完善SACNoS0570122080053yuanzeshihtsccomMeta引领开源发展3模型模态逐步丰富文本到图像图像到文本多862128972228模态统一到单一模型等领域均有发展4模型落地场景丰富软件侧场景包括AIagent垂类模型终端侧场景包括智能终端大模型具身智能模型华泰证券研究所分析师名录5上下文窗口持续拓宽更长的上下文窗口意味着模型能够一次性输入更多的内容使得模型对长内容的掌握更加完善回答更加合理闭源vs开源更好的服务vs更自由的开发环境海外的闭源模型主要包括OpenAI的GPT系列Google的PaLMGemini待发布系列和Anthropic的Claude系列从模态来看ClaudePaLMGPT-35均为语言模型GPT-4Genimi为多模态模型商业模式看三家均支持付费调用还另外支持会员服务月APIOpenAI20行业走势图微调功能看GPT-3系列支持微调Claude模型需要申请微调权限PaLM2暂不支持微调开源模型生态由Meta引领基于开源发布的Llama12计算机沪深300开发者和企业纷纷训练微调新的模型此外Llama2支持商业化有助于Meta进一步拓展开源生态我们认为有望复刻Android的商业化路径4933模态从单一模态向多模态延展16在模型从单一模态向多模态扩展的过程中GoogleMetaStabilityAI是1典型代表其中Google的VisionTransformer打通了文本Transformer架构与图像的壁垒在此基础上大语言模型吸收了得到17PaLMViTAug-22Dec-22Apr-23Aug-23PaLM-E扩展了多模态和具身智能此外PaLM也可以扩展到音频领域得到AudioPaLMMeta在音频生成领域成果丰富先后发布通用文本转语资料来源Wind华泰研究音模型Voicebox以及文本转音乐音效模型AudioCraft等StabilityAI则反其道而行其起家模型为文生图的稳定扩散stablediffusion模型随后在LLM和代码模型上先后发布新成果场景具身智能AIagent智能终端垂类模型具身智能领域主要思路是使用机器人动作数据来训练大模型实现机器人动作预测代表模型包括Google的PaLM-ERoboCatRT-2英伟达的VIMA等AIagent定义为LLM核心大脑记忆任务规划以及工具使用的集合能够自动化的分解处理记忆输出用户需求典型agent包括Auto-GPTMetaGPTHyperwriteAIagent等智能终端中Vifa已在智能音箱中落地了大模型高通则基于骁龙平台部署了可端侧运行的稳定扩散模型垂类模型方面彭博基于金融专业数据训练了BloombergGPTGoogle也基于医疗和网安数据分别训练了Med-PaLM和Sec-PaLM行业模型上下文窗口呈继续拓宽趋势在语言模型中上下文窗口对于理解和生成与特定上下文相关的文本至关重要较大上下文窗口可以提供更丰富的语义信息消除歧义处理上下文依赖性并帮助模型生成连贯准确的文本还能更好地捕捉语言的上下文相关性使得模型能够根据前文来做出更准确的预测或生成目前商业闭源模型中Claude全系提供了100K的上下文窗口研究层面微软LONGNET通过引入新的记忆力机制将上下文窗口扩展到10亿token风险提示宏观经济波动技术进步不及预期本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1计算机图表1提及公司列表公司代码公司简称MSFTUS微软NVDUS英伟达GOOGUS谷歌未上市彭博未上市Vifa未上市OpenAI未上市Anthropic未上市Hyperwrite资料来源Bloomberg华泰研究风险提示宏观经济波动若宏观经济波动产业变革及新技术的落地节奏或将受到影响宏观经济波动还可能对AI投入产生负面影响从而导致整体行业增长不及预期技术进步不及预期若AI技术和大模型技术进步不及预期或将对相关的行业落地情况产生不利影响本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2计算机免责声明分析师声明本人谢春生兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3计算机香港-重要监管披露华泰金融控股香港有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员有关重要的披露信息请参华泰金融控股香港有限公司的网页httpswwwhtsccomhkstockdisclosure其他信息请参见下方美国-重要监管披露美国在美国本报告由华泰证券美国有限公司向符合美国监管规定的机构投资者进行发表与分发华泰证券美国有限公司是美国注册经纪商和美国金融业监管局FINRA的注册会员对于其在美国分发的研究报告华泰证券美国有限公司根据1934年证券交易法修订版第15a-6条规定以及美国证券交易委员会人员解释对本研究报告内容负责华泰证券美国有限公司联营公司的分析师不具有美国金融监管FINRA分析师的注册资格可能不属于华泰证券美国有限公司的关联人员因此可能不受FINRA关于分析师与标的公司沟通公开露面和所持交易证券的限制华泰证券美国有限公司是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司任何直接从华泰证券美国有限公司收到此报告并希望就本报告所述任何证券进行交易的人士应通过华泰证券美国有限公司进行交易美国-重要监管披露分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员董事或顾问分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益本披露中所提及的相关人士包括FINRA定义下分析师的家庭成员分析师根据华泰证券的整体收入和盈利能力获得薪酬包括源自公司投资银行业务的收入华泰证券股份有限公司其子公司和或其联营公司及或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券股份有限公司其子公司和或其联营公司及或其高级管理层董事和雇员可能会持有本报告中所提到的任何证券或任何相关投资头寸并可能不时进行增持或减持该证券或投资因此投资者应该意识到可能存在利益冲突评级说明投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力含此期间的股息回报相对基准表现的预期A股市场基准为沪深300指数香港市场基准为恒生指数美国市场基准为标普500指数具体如下行业评级增持预计行业股票指数超越基准中性预计行业股票指数基本与基准持平减持预计行业股票指数明显弱于基准公司评级买入预计股价超越基准15以上增持预计股价超越基准515持有预计股价相对基准波动在-155之间卖出预计股价弱于基准15以上暂停评级已暂停评级目标价及预测以遵守适用法规及或公司政策无评级股票不在常规研究覆盖范围内投资者不应期待华泰提供该等证券及或公司相关的持续或补充信息免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4计算机法律实体披露中国华泰证券股份有限公司具有中国证监会核准的证券投资咨询业务资格经营许可证编号为91320000704041011J香港华泰金融控股香港有限公司具有香港证监会核准的就证券提供意见业务资格经营许可证编号为AOK809美国华泰证券美国有限公司为美国金融业监管局FINRA成员具有在美国开展经纪交易商业务的资格经营业务许可编号为CRD298809SEC8-70231华泰证券股份有限公司南京北京南京市建邺区江东中路228号华泰证券广场1号楼邮政编码210019北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层邮政编码100032电话862583389999传真862583387521电话861063211166传真861063211275电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom深圳上海深圳市福田区益田路5999号基金大厦10楼邮政编码518017上海市浦东新区东方路18号保利广场E栋23楼邮政编码200120电话8675582493932传真8675582492062电话862128972098传真862128972068电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom华泰金融控股香港有限公司香港中环皇后大道中99号中环中心58楼5808-12室电话852-3658-6000传真852-2169-0770电子邮件researchhtsccomhttpwwwhtsccomhk华泰证券美国有限公司美国纽约公园大道280号21楼东纽约10017电话212-763-8160传真917-725-9702电子邮件Huataihtsc-uscomhttpwwwhtsc-uscom版权所有2023年华泰证券股份有限公司免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5