行业观点
　　 2023年3月1日，OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中。本次ChatGPTAPI接入的模型名为GPT-3.5-turbo，只需0.2美分/千Tokens。本文尝试测算训练和不同推理场景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。我们的成本估算思路是：计算AI模型在进行训练与推理时所需的浮点运算次数，与AI算力集群的平均算力(以每秒浮点运算次数计)做比，以此估算AI模型的训练成本与推理成本。
　　在通用大模型训练方面，经测算，使用云计算时ChatGPT的训练成本约为170万美元，若自建AI算力中心进行模型训练，训练成本有望降至约51万美元；在大模型推理方面，使用云计算时的ChatGPT每处理1,000Tokens信息需花费约0.177美分，自建AI算力中心有望将成本降至0.053美分。
　　不同应用场景中AI模型面临的任务复杂度有所不同，我们考虑模型缓存命中率、计算集群闲置率、模型压缩等因素，综合估算各典型场景下模型的推理成本：1）搜索引擎场景中，以新版Bing为例，完成一次搜索的成本约为1.73美分；2）办公软件融合ChatGPT后可支持文字生成、文字修改等功能，完成一次用户需求的成本约为1.70美分；3）AI客服作为对话场景应用，有望率先实现B端落地。经测算，AI客服场景解决一次用户需求的成本约为0.08美分。
　　未来随着模型压缩技术的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模商用。
　　投资逻辑
　　我们认为有海外场景的公司有可能率先与GPT-3.5-turbo进行对接，建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。
　　风险提示
　　海外基础软硬件使用受限；应用落地不及预期；行业竞争加剧风险

研究报告全文：行业观点2023年3月1日OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中本次ChatGPTAPI接入的模型名为GPT-35-turbo只需02美分千Tokens本文尝试测算训练和不同推理场景之下的实际成本未来随着模型压缩的持续发展推理成本可能进一步降低也有望大幅推动生成式模型在各个场景的大规模商用我们的成本估算思路是计算AI模型在进行训练与推理时所需的浮点运算次数与AI算力集群的平均算力以每秒浮点运算次数计做比以此估算AI模型的训练成本与推理成本在通用大模型训练方面经测算使用云计算时ChatGPT的训练成本约为170万美元若自建AI算力中心进行模型训练训练成本有望降至约51万美元在大模型推理方面使用云计算时的ChatGPT每处理1000Tokens信息需花费约0177美分自建AI算力中心有望将成本降至0053美分不同应用场景中AI模型面临的任务复杂度有所不同我们考虑模型缓存命中率计算集群闲置率模型压缩等因素综合估算各典型场景下模型的推理成本1搜索引擎场景中以新版Bing为例完成一次搜索的成本约为173美分2办公软件融合ChatGPT后可支持文字生成文字修改等功能完成一次用户需求的成本约为170美分3AI客服作为对话场景应用有望率先实现B端落地经测算AI客服场景解决一次用户需求的成本约为008美分未来随着模型压缩技术的持续发展推理成本可能进一步降低也有望大幅推动生成式模型在各个场景的大规模商用投资逻辑我们认为有海外场景的公司有可能率先与GPT-35-turbo进行对接建议关注福昕软件万兴科技等海外营收占比较高的应用公司风险提示海外基础软硬件使用受限应用落地不及预期行业竞争加剧风险敬请参阅最后一页特别声明1行业专题研究报告内容目录1AI模型训练成本估算32通用AI模型推理成本估算43多应用场景下ChatGPT推理成本估算431搜索引擎场景532办公软件场景633AI客服场景64投资建议75风险提示7图表目录图表1AI模型训练成本估算3图表2AI模型训练所需浮点运算次数计算与模型参数规模正相关3图表3前沿AI模型的有效算力比率3图表4考虑有效算力比率后的训练所需浮点运算次数计算4图表5AI模型推理成本估算4图表6AI模型推理所需浮点运算次数计算4图表7具体应用场景中AI模型完成一次任务所需成本4图表8新版Bing搜索引擎的运作方式5图表9Bing搜索引擎场景任务的所需Tokens5图表10办公软件场景任务的所需Tokens6图表11AI客服场景任务的所需Tokens6敬请参阅最后一页特别声明2行业专题研究报告2023年3月1日OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中本次ChatGPTAPI接入的模型名为GPT-35-turbo是许多非聊天用例的最佳模型且只需02美分千Tokens本文尝试测算训练和不同推理场景之下的实际成本未来随着模型压缩的持续发展推理成本可能进一步降低也有望大幅推动生成式模型在各个场景的大规模商用AI模型的成本主要由训练成本和推理成本构成训练成本衡量从头开发一个AI模型的算力费用或是对现有AI模型知识库进行迭代更新所需的算力费用推理成本衡量用户使用AI模型时产生的算力费用我们的成本估算思路是计算AI模型在进行训练与推理时所需的浮点运算次数与AI算力集群的平均算力以每秒浮点运算次数计做比以此估算AI模型的训练成本与推理成本1AI模型训练成本估算我们以ChatGPT为例采用以下公式估算AI模型的训练成本图表1AI模型训练成本估算模型训练所需的浮点运算次数训练成本算力集群单位时间价格算力集群单位时间有效浮点运算次数来源量子位公众号国金证券研究所训练所需的浮点运算次数根据OpenAI于2020年发表的相关研究对于GPT-3等采用Decoder结构Transformer骨干网络的大型语言模型而言其训练所需的浮点运算次数可以遵照下述公式图表2AI模型训练所需浮点运算次数计算与模型参数规模正相关模型训练所需的浮点运算次数模型参数规模训练集大小来源ScalingLawsforNeuralLanguageModelsJaredKaplan等2020国金证券研究所ChatGPT采用Decoder结构Transformer骨干网络虽然他的参数量包含13B6B175B这几种但目前开放API接口的GPT-35-turbo与InstructDavinci相近因而采用1750亿参数规模进行计算在训练集大小上我们假设ChatGPT采用的训练集大小为4000亿Tokens数据单位1000Tokens约对应750个英文单词500个中文字符由此得出ChatGPT训练所需的浮点运算次数AI算力集群单位时间有效浮点运算次数在利用GPU进行AI模型训练时GPU算力除了用以训练模型还被用以通信训练数据读写等因此有效浮点运算次数才能衡量AI算力集群的算力水平图表3前沿AI模型的有效算力比率模型名称时间使用硬件有效算力比率GPT-32020年5月NVIDIAV100213MT-NLG2021年10月NVIDIAA100302PaLM2022年4月GoogleTPU462来源PaLMScalingLanguageModelingwithPathwaysAakankshaChowdhery等2022国金证券研究所ChatGPT模型在底层算法结构层面与MT-NLG模型类似并且同样采用NVIDIAA100进行训练我们保守估计ChatGPT有效算力比率为30敬请参阅最后一页特别声明3行业专题研究报告图表4考虑有效算力比率后的训练所需浮点运算次数计算AI算力集群单位时间有效浮点运算次数算力集群峰值算力有效算力比率来源机器学习算法与自然语言处理公众号国金证券研究所OpenAI的模型训练算力由MicrosoftAzure通过云服务提供由于ChatGPT采用NVIDIAA100训练我们选取了MicrosoftAzure的NDA100v4系列作为对标的AI计算集群该AI计算集群由8块NVIDIAA100组成NVIDIAA100的峰值算力为312PFlops使用价格为每小时109美元通过上述计算我们得出在使用云计算时ChatGPT的训练成本约为170万美元根据微软2022年财报微软云的毛利率为70因此如果自建AI算力中心进行模型训练ChatGPT的训练成本将降至约51万美元2通用AI模型推理成本估算由于AI模型的应用场景多元化在不同应用场景中AI模型会进行复杂度不同的推理运算为便于后续AI模型场景成本估算我们将估算AI模型每处理1000Tokens信息所需的推理成本我们同样以ChatGPT为例采用如下公式估算AI模型的推理成本图表5AI模型推理成本估算模型推理所需的浮点运算次数推理成本算力集群单位时间价格算力集群单位时间有效浮点运算次数来源量子位公众号国金证券研究所推理所需的浮点运算次数根据OpenAI于2020年发表的相关研究对于GPT-3等采用Decoder结构Transformer骨干网络的大型语言模型而言其推理所需的浮点运算次数可以按照如下公式计算图表6AI模型推理所需浮点运算次数计算模型推理所需的浮点运算次数模型参数规模训练集大小来源ScalingLawsforNeuralLanguageModelsJaredKaplan等2020国金证券研究所推理成本计算中的其余参数与训练成本计算中相同根据计算我们得出在使用云计算时ChatGPT每处理1000Tokens信息需要花费约0177美分如果自建AI算力中心为模型推理提供算力支持成本将进一步降低至0053美分3多应用场景下ChatGPT推理成本估算由于在不同的应用场景中AI模型所面临的任务复杂度有所不同因此AI推理成本的估算必须基于应用场景我们采用如下公式估算各应用场景中ChatGPT的推理成本图表7具体应用场景中AI模型完成一次任务所需成本场景成本场景任务所需推理成本缓存命中率模型压缩因子计算集群闲置率来源新钛云服公众号算法邦公众号机器之心公众号国金证券研究所其中各参数的意义如下场景任务所需Tokens其指在具体应用场景中为了完成给定的场景任务如搜索信息文书修改撰写等AI模型需要处理的Tokens数量这既包括向AI模型输入的信息也包括AI模型自主生成的信息推理成本我们在前文计算得到在使用云计算时ChatGPT每处理1000Tokens信息敬请参阅最后一页特别声明4行业专题研究报告需要花费约0177美分如果自建AI算力中心推理成本将降低至0053美分每1000Tokens缓存命中率在AI模型应用至具体场景时用户的任务需求存在重叠性当一位用户向AI模型提出一个任务需求时该任务需求可能在此之前已为AI模型所解决因此无需AI模型进行推理仅输出缓存信息即可完成场景任务计算集群闲置率当AI模型应用至具体场景时为保证能够及时响应用户需求AI算力集群需采用冗余配置方式这会导致算力闲置模型压缩因子用以衡量当AI模型应用至具体场景时是否可以通过模型压缩技术来压缩AI模型的参数规模从而降低场景下的推理成本31搜索引擎场景2023年2月7日微软宣布推出新版Bing搜索引擎将ChatGPT技术引入搜索引擎有望为用户提供全新的搜索体验搜索引擎场景是ChatGPT的第一个落地场景我们将以新版Bing搜索引擎为例估算搜索引擎场景下的AI推理成本新版Bing搜索引擎在执行搜索任务时采用下图中的方式获取信息并加以整合最终输出搜索结果图表8新版Bing搜索引擎的运作方式来源Bing智东西公众号国金证券研究所我们将搜索引擎场景任务定义为完成一次搜索即与Bing进行一次问答根据新版Bing搜索引擎的运作方式我们采用如下公式估算搜索引擎场景任务的所需Tokens图表9Bing搜索引擎场景任务的所需Tokens场景任务所需用户输入模型从每个信源中读取的每次搜索的信源数量模型输出来源智能试听研究院OneFlow公众号国金证券研究所我们对相关参数进行如下估算用户输入我们估计用户进行一次搜索时输入中文25字对应50Tokens模型从每个信源中读取的信息Bing在对信源进行信息读取时会首先读取标题摘要和文章的前两段再根据读取信息与关键词是否匹配决定是否读取更多的信息Bing从每个信源中读取的文字量从300字到1000字不等我们估计模型平均从每个信源中读取的信息为1300Tokens每次搜索的信源数量在绝大多数情况Bing针对用户问题会对6个信源进行搜索并从中挑选4-6个信源来生成最终的搜索结果我们估计每次搜索的信源数量为6模型输出TokensBing生成的搜索结果力求简洁精炼输出内容通常在200-400字间我们保守估计模型每次的输出为600Tokens缓存命中率我们参照了Google搜索引擎的缓存命中率Google不同时期的缓存命中率在30-60不等我们保守估计新版Bing的缓存命中率为30敬请参阅最后一页特别声明5行业专题研究报告计算集群闲置率为使得用户搜索得到及时详细的结果需对算力集群实行冗余布置我们估计计算集群闲置率为20模型压缩因子由于在搜索引擎场景AI模型需要处理信息来源极为广泛要求AI模具备各领域的知识因此在当前技术水平下无法通过模型压缩技术来降低搜索引擎场景的推理算力我们将模型压缩因子设定为1由此我们计算得出在采用云计算的情况下新版Bing搜索引擎完成一次搜索的成本为173美分如果自建AI算力中心成本将下降至052美分32办公软件场景2023年2月7日微软宣布最快或于3月将ChatGPT整合至MicrosoftOffice系列软件并开放相关测试办公软件场景或将成为ChatGPT的第二个落地场景我们将办公软件场景任务定义为完成一次用户需求包括文字生成文字修改等我们采用如下公式估算办公软件场景任务的所需Tokens图表10办公软件场景任务的所需Tokens场景任务所需用户输入模型输出满足用户需求的平均响应轮次来源国金证券研究所我们对相关参数进行如下估算用户输入在进行AI辅助文章撰写文章修改时需要用户提供相关信息包含大纲写作要求追加信息修改意见等我们保守估计用户每次输入中文200字对应400Tokens模型输出Tokens由于办公软件场景涉及文章撰写修改翻译等工作模型每次输出的Tokens较大我们估计模型每次输出中文1000字对应2000Tokens满足用户需求的平均响应轮次我们认为现有ChatGPT的智能水平有限同时存在用户对需求描述不清的现象因此想要满足用户需求需要进行多轮次响应我们估算满足用户需求的平均响应轮次为3缓存命中率办公软件场景任务多为创意类工作无法通过缓存机制降低推理算力消耗我们估算缓存命中率为0计算集群闲置率为使得用户的办公需求得到及时详细的响应同样需对算力集群实行冗余布置我们假设计算集群闲置率为20模型压缩因子办公软件场景任务多为创意类工作要求AI模型具备多领域知识因此在当前技术水平下无法通过模型压缩技术来降低搜索引擎场景的推理算力我们将模型压缩因子设定为1由此我们计算得出在采用云计算的情况下ChatGPT在办公场景完成一次用户需求的成本为170美分如果采用自建AI算力中心成本将下降至051美分33AI客服场景ChatGPT大幅提高了对话类人工智能的应用表现AI客服作为对话场景应用有望率先实现B端落地助力企业实现降本增效我们将AI客服场景任务定义为解决一次用户需求我们采用如下公式估算AI客服场景任务的所需Tokens图表11AI客服场景任务的所需Tokens场景任务所需用户输入模型输出解决用户需求的平均对话轮次来源国金证券研究所我们对相关参数进行如下估算用户输入在用户对AI客服进行咨询时需要用户提供相关信息我们保守估计用敬请参阅最后一页特别声明6行业专题研究报告户在进行咨询时平均每次输入中文50字对应100Tokens模型输出Tokens为解决用户需求我们估计模型每次输出中文300字对应600Tokens满足用户需求的平均响应轮次在客服场景中经常存在用户对问题描述不清的现象这就需要模型通过与用户进行多轮对话引导用户描述问题因此想要满足用户需求需要进行多轮次对话我们假设满足用户需求的平均对话轮次为5轮缓存命中率由于场景相较搜索引擎较为单一用户需求会有较高的重叠度我们假设AI客服场景任务的缓存命中率为35计算集群闲置率为使得用户的问题得到及时解决同样需对算力集群实行冗余布置我们估算计算集群闲置率为20模型压缩因子AI客服仅需针对单一场景为解决客户问题AI模型仅具备单一领域知识可以通过模型压缩技术削减模型中的无用参数以此降低搜索引擎场景的推理算力我们将模型压缩因子设定为05由此我们计算得出在采用云计算的情况下ChatGPT在AI客服场景解决一次用户需求的成本为008美分如果采用自建AI算力中心成本将下降至002美分4投资建议从近期推进节奏来看GPT-35-turbo模型可为高需用户提供专用实例Dedicatedinstances或将进一步加速场景应用落地开发者可上传数据由OpenAI为其进行云端微调以获取大模型在特定场景下的能力据官方口径若开发者每日运营超过45亿TokensDedicatedinstances可能是更经济的选择未来随着模型压缩技术的持续发展推理成本可能进一步降低也有望大幅推动生成式模型在各个场景的大规模商用我们认为有海外场景的公司有可能率先与GPT-35-turbo进行对接建议关注福昕软件万兴科技等海外营收占比较高的应用公司5风险提示海外基础软硬件使用受限若因国际关系等原因高算力GPU等基础硬件或计算框架等基础软件使用受限可能会对国内人工智能算法应用产生影响应用落地不及预期若相关应用公司不能找到人工智能算法较好的商业应用落地场景或相关场景客户没有较强的付费意愿可能算法应用落地会不及预期行业竞争加剧风险若相关企业加快技术迭代和应用布局整体行业竞争程度加剧将会对行业内已有企业的业绩增长产生威胁敬请参阅最后一页特别声明7行业专题研究报告特别声明国金证券股份有限公司经中国证券监督管理委员会批准已具备证券投资咨询业务资格本报告版权归国金证券股份有限公司以下简称国金证券所有未经事先书面授权任何机构和个人均不得以任何方式对本报告的任何部分制作任何形式的复制转发转载引用修改仿制刊发或以任何侵犯本公司版权的其他方式使用经过书面授权的引用刊发需注明出处为国金证券股份有限公司且不得对本报告进行任何有悖原意的删节和修改本报告的产生基于国金证券及其研究人员认为可信的公开资料或实地调研资料但国金证券及其研究人员对这些信息的准确性和完整性不作任何保证本报告反映撰写研究人员的不同设想见解及分析方法故本报告所载观点可能与其他类似研究报告的观点及市场实际情况不一致国金证券不对使用本报告所包含的材料产生的任何直接或间接损失或与此有关的其他任何损失承担任何责任且本报告中的资料意见预测均反映报告初次公开发布时的判断在不作事先通知的情况下可能会随时调整亦可因使用不同假设和标准采用不同观点和分析方法而与国金证券其它业务部门单位或附属机构在制作类似的其他材料时所给出的意见不同或者相反本报告仅为参考之用在任何地区均不应被视为买卖任何证券金融工具的要约或要约邀请本报告提及的任何证券或金融工具均可能含有重大的风险可能不易变卖以及不适合所有投资者本报告所提及的证券或金融工具的价格价值及收益可能会受汇率影响而波动过往的业绩并不能代表未来的表现客户应当考虑到国金证券存在可能影响本报告客观性的利益冲突而不应视本报告为作出投资决策的唯一因素证券研究报告是用于服务具备专业知识的投资者和投资顾问的专业产品使用时必须经专业人士进行解读国金证券建议获取报告人员应考虑本报告的任何意见或建议是否符合其特定状况以及若有必要咨询独立投资顾问报告本身报告中的信息或所表达意见也不构成投资法律会计或税务的最终操作建议国金证券不就报告中的内容对最终操作建议做出任何担保在任何时候均不构成对任何人的个人推荐在法律允许的情况下国金证券的关联机构可能会持有报告中涉及的公司所发行的证券并进行交易并可能为这些公司正在提供或争取提供多种金融服务本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布该研究报告的人员国金证券并不因收件人收到本报告而视其为国金证券的客户本报告对于收件人而言属高度机密只有符合条件的收件人才能使用根据证券期货投资者适当性管理办法本报告仅供国金证券股份有限公司客户中风险评级高于C3级含C3级的投资者使用本报告所包含的观点及建议并未考虑个别客户的特殊状况目标或需要不应被视为对特定客户关于特定证券或金融工具的建议或策略对于本报告中提及的任何证券或金融工具本报告的收件人须保持自身的独立判断使用国金证券研究报告进行投资遭受任何损失国金证券不承担相关法律责任若国金证券以外的任何机构或个人发送本报告则由该机构或个人为此发送行为承担全部责任本报告不构成国金证券向发送本报告机构或个人的收件人提供投资建议国金证券不为此承担任何责任此报告仅限于中国境内使用国金证券版权所有保留一切权利上海北京深圳电话021-60753903电话010-85950438电话0755-83831378传真021-61038200邮箱researchbjgjzqcomcn传真0755-83830558邮箱researchshgjzqcomcn邮编100005邮箱researchszgjzqcomcn邮编201204地址北京市东城区建内大街26号邮编518000地址上海浦东新区芳甸路1088号新闻大厦8层南侧地址中国深圳市福田区中心四路1-1号紫竹国际大厦7楼嘉里建设广场T3-2402敬请参阅最后一页特别声明8