微软开源DeepSpeed-Chat，助力类ChatGPT模型训练。开源社区贡献了很多类GPT模型，但RLHF环节作为ChatGPT能力的重要来源，实现依然有一定复杂度。2023年4月12日，微软开源了DeepSpeed-Chat，它能进行简单、快速且经济的RLHF训练，适用于各种规模的类似ChatGPT的模型：只需要用一个脚本，就能够采用预训练的Huggingface模型，使用DeepSpeed-RLHF系统运行完成RLHF过程，生成自己的类ChatGPT的模型。DeepSpeed-HE是DeepSpeed-RLHF系统的引擎，具备三大优势：1）效率和经济性：效率比现有其他系统快15倍以上。2）出色的可扩展性：支持数千亿参数的模型，在一天内可以训练一个庞大的175B模型。3）亲民的RLHF训练：只需一个GPU就能支持训练超过130亿个参数的模型。
　　算力需求伴随应用而生。1）DeepSheep-Chat降低了RLHF的工程难度以及算力需求，但RLHF在ChatGPT训练过程中的算力需求占比极小。ChatGPT的成功，基石是预训练大模型GPT-3.5/4，绝大多数算力消耗在预训练环节而不是RLHF。2）即使有能大幅降低大模型训练全过程算力需求的技术出现，也只会促进厂商追求更大更强的模型。OpenAI的目标是要实现通用人工智能，其他大厂也必将全力追赶OpenAI，目前的大语言模型对于通用人工智能还只是一个起步，技术进步只会加速人类对更强AI的探索而不是让人类安于现状。
　　DeepSpeed-Chat加速应用百花齐放，中期加大算力需求。DeepSpeed-Chat降低了RLHF的工程难度，并极大降低了微调大模型的成本，让中小厂商更容易基于大模型实现细分领域应用，如办公、多模态GPT、智能助理、金融、医疗等场景训练中模型微调的难度和成本将大幅降低。同时中小应用厂商在一些不需要模型能力非常强的场景，也可以自己基于开源模型，迅速低成本进行RLHF得到自己的小型类ChatGPT模型进行应用落地。除了训练端的算力需求，在应用爆发后，推理侧的算力需求将指数型增长。DeepSpeed-Chat加速各类应用落地，中期算力需求有望迎来大爆发。
　　投资建议。
　　建议关注：算力：英伟达、中科曙光、海光信息、寒武纪、易华录、光通信产业链、拓维信息、常山北明、神州数码、浪潮信息、景嘉微、工业富联。
　　大模型及技术公司：百度、阿里、华为、360、科大讯飞、云从科技、昆仑万维、海天瑞声、拓尔思、腾讯、字节跳动等。
　　应用：1）对标微软办公：微软、金山办公、彩讯股份；2）多模态GPT（输入输出信号变化）：大华股份、海康威视、万兴科技、千方科技、当虹科技、云从科技、萤石网络、商汤科技、中科创达、新国都等。3）互联网传媒：昆仑万维、汤姆猫、蓝色光标、中文在线、利欧股份、游戏、数字人、电商等。4）智能助理（耳机/音箱）：漫步者、科大讯飞、传音控股、国光电器、恒玄科技、奋达科技、惠威科技等。5）其他优质应用：同花顺、恒生电子、金证股份、上海钢联、石基信息、汉得信息等。6)AI安全：新华网、人民网、电科网安、美亚柏科、安恒信息等。7)国内巨头合作：光云科技、赛意信息、云鼎科技、朗新科技、润和软件、软通动力等8）医疗应用：润达医疗、嘉和美康、卫宁健康、创业慧康。8)机器人：三花智控、拓普集团、鸣志电器、绿的谐波、晶品特装。
　　风险提示：AI技术迭代不及预期风险；经济下行超预期风险；行业竞争加剧风险。
　　

研究报告全文：证券研究报告行业周报2023年04月15日计算机DeepSpeed-Chat应用与算力的加速器微软开源DeepSpeed-Chat助力类ChatGPT模型训练开源社区贡献了很多类增持维持GPT模型但RLHF环节作为ChatGPT能力的重要来源实现依然有一定复杂度2023年4月12日微软开源了DeepSpeed-Chat它能进行简单快速且行业走势经济的RLHF训练适用于各种规模的类似ChatGPT的模型只需要用一个脚本就能够采用预训练的Huggingface模型使用DeepSpeed-RLHF系统运行完成RLHF过程生成自己的类ChatGPT的模型DeepSpeed-HE是计算机沪深30048DeepSpeed-RLHF系统的引擎具备三大优势1效率和经济性效率比现有32其他系统快15倍以上2出色的可扩展性支持数千亿参数的模型在一天内16可以训练一个庞大的175B模型3亲民的RLHF训练只需一个GPU就能支0持训练超过130亿个参数的模型-16-32算力需求伴随应用而生1DeepSheep-Chat降低了RLHF的工程难度以及算力2022-042022-082022-122023-04需求但RLHF在ChatGPT训练过程中的算力需求占比极小ChatGPT的成功基石是预训练大模型GPT-354绝大多数算力消耗在预训练环节而不是RLHF2即使有能大幅降低大模型训练全过程算力需求的技术出现也只会促进厂商追求更大更强的模型OpenAI的目标是要实现通用人工智能其他大厂也必将全力作者追赶OpenAI目前的大语言模型对于通用人工智能还只是一个起步技术进步只分析师刘高畅会加速人类对更强AI的探索而不是让人类安于现状执业证书编号S0680518090001DeepSpeed-Chat加速应用百花齐放中期加大算力需求DeepSpeed-Chat降邮箱liugaochanggszqcom低了RLHF的工程难度并极大降低了微调大模型的成本让中小厂商更容易基相关研究于大模型实现细分领域应用如办公多模态GPT智能助理金融医疗等场1计算机AIGC监管推进加速产业规范健康发展景训练中模型微调的难度和成本将大幅降低同时中小应用厂商在一些不需要模2023-04-12型能力非常强的场景也可以自己基于开源模型迅速低成本进行RLHF得到自2计算机车载入口AI助理与自动驾驶的最佳搭己的小型类ChatGPT模型进行应用落地除了训练端的算力需求在应用爆发后配推理侧的算力需求将指数型增长DeepSpeed-Chat加速各类应用落地中期算力2023-04-09需求有望迎来大爆发3计算机阿里通义千问测评国内一线积极追赶2023-04-09投资建议建议关注算力英伟达中科曙光海光信息寒武纪易华录光通信产业链拓维信息常山北明神州数码浪潮信息景嘉微工业富联大模型及技术公司百度阿里华为360科大讯飞云从科技昆仑万维海天瑞声拓尔思腾讯字节跳动等应用1对标微软办公微软金山办公彩讯股份2多模态GPT输入输出信号变化大华股份海康威视万兴科技千方科技当虹科技云从科技萤石网络商汤科技中科创达新国都等3互联网传媒昆仑万维汤姆猫蓝色光标中文在线利欧股份游戏数字人电商等4智能助理耳机音箱漫步者科大讯飞传音控股国光电器恒玄科技奋达科技惠威科技等5其他优质应用同花顺恒生电子金证股份上海钢联石基信息汉得信息等6AI安全新华网人民网电科网安美亚柏科安恒信息等7国内巨头合作光云科技赛意信息云鼎科技朗新科技润和软件软通动力等8医疗应用润达医疗嘉和美康卫宁健康创业慧康8机器人三花智控拓普集团鸣志电器绿的谐波晶品特装风险提示AI技术迭代不及预期风险经济下行超预期风险行业竞争加剧风险请仔细阅读本报告末页声明2023年04月15日内容目录1微软开源DeepSpeed-Chat助力类ChatGPT模型训练32算力永不会被满足技术进步将催生更多需求43DeepSpeed-Chat加速应用百花齐放中期加大算力需求54投资建议66风险提示7图表目录图表1HuggingFace社区可下载大量开源NLP模型3图表2RLHF流程示意图3图表3GPT-3预训练使用token数量4图表4InstructGPTRLHF训练使用提示数量5图表5OpenAI微调服务的价格表6P2请仔细阅读本报告末页声明2023年04月15日1微软开源DeepSpeed-Chat助力类ChatGPT模型训练自ChatGPT席卷了整个AI界以来开源社区也努力贡献了许多类GPT模型例如Meta开源的OPTOpenPre-trainedTransformer系列模型HuggingFace是一个用户共享模型和数据集的开源交流平台与微软深度合作可以下载众多开源模型图表1HuggingFace社区可下载大量开源NLP模型资料来源HuggingFace官网国盛证券研究所ChatGPT的强大能力来源之一在于其基于预训练模型通过人类反馈强化学习RLHF对模型进行微调让模型输出能更好地与人类偏好对齐RLHF的流程实现起来较为复杂也需要算力支撑使用开源模型微调出类ChatGPT模型的难度依然很大ChatGPT的RLHF过程可以概括为3步1由人类标注的数据微调对预训练模型做有监督微调SupervisedFineTuneSFT2让模型给出多个输出由人类排序比较训练一个奖励模型来模拟人类偏好3用奖励模型和PPO算法对模型做强化学习微调图表2RLHF流程示意图资料来源OpenAI官网国盛证券研究所P3请仔细阅读本报告末页声明2023年04月15日DeepSpeed是微软在2020年发布的开源深度学习优化库2023年4月12日微软进一步开源了DeepSpeed-Chat它能进行简单快速且经济的RLHF训练适用于各种规模的类似ChatGPT的模型只需要用一个脚本就能够采用预训练的Huggingface模型使用DeepSpeed-RLHF系统运行完成RLHF过程生成自己的类ChatGPT的模型DeepSpeed-HE是DeepSpeed-RLHF系统的引擎具备三大优势1效率和经济性效率比现有其他系统快15倍以上在Azure云上能以低于300美元和600美元的价格分别在9小时内训练OPT-13B在18小时内训练OPT-30B2出色的可扩展性支持数千亿参数的模型在多节点多GPU系统上可以实现出色的可扩展性可以在125小时内完成13B的模型的训练在一天内可以训练一个庞大的175B模型3亲民的RLHF训练只需一个GPU就能支持训练超过130亿个参数的模型2算力不会饱和技术进步将催生更多需求DeepSheep-Chat降低了RLHF的工程难度以及算力需求但RLHF在ChatGPT训练过程中的算力需求占比极小ChatGPT的成功基石是预训练大模型GPT-354绝大多数算力消耗在预训练环节而不是RLHF由于OpenAI还未公布ChatGPT训练细节从基于GPT-3做RLHF得到的InstructGPT的训练数据量来推测GPT-3论文中提到训练数据有3000亿个token而InstructGPT的RLHF过程中一共训练了不到10万条提示按每条100个token算的话RLHF训练使用的token数量是预训练中的十万分之三因此DeepSheep-Chat对于大模型整个训练过程能优化的算力占比极小图表3GPT-3预训练使用token数量资料来源GPT-3论文国盛证券研究所P4请仔细阅读本报告末页声明2023年04月15日图表4InstructGPTRLHF训练使用提示数量资料来源InstructGPT论文国盛证券研究所即使有能大幅降低大模型训练全过程算力需求的技术出现也只会促进厂商追求更大更强的模型80年代比尔盖茨曾说640k对所有人都应该够了但现在一个普通的8G内存电脑就已经超过了640k的万倍OpenAI的目标是要实现通用人工智能其他大厂也必将全力追赶OpenAI目前的大语言模型对于通用人工智能还只是一个起步不管是硬件进步提高算力或是软件方案带来的算力节约都只是加速人类对更强AI的探索而不会让人类满足于现状并且现在大模型只有少数实力雄厚的大厂能自主研发如果有技术能降低现在规模的大模型的成本在大厂追求更大更强模型的同时原本只能使用大厂云服务的小厂也会更有动力部署自己的算力3DeepSpeed-Chat加速应用百花齐放中期加大算力需求DeepSpeed-Chat降低了RLHF的工程难度并极大降低了微调大模型的成本让中小厂商更容易基于大模型实现细分领域应用如办公多模态GPT智能助理金融医疗等场景训练中模型微调的难度和成本将大幅降低OpenAI目前为用户提供上传数据得到微调模型的服务通过上传的token数量进行收费这可能也是未来其他大模型厂商与下游应用厂商合作的商业模式RLHF成本的降低有助于大模型厂商降低对下游应用厂商的报价同时中小应用厂商在一些不需要模型能力非常强的场景比如限定咨询范围的客服AI也可以自己基于HuggingFace开源模型迅速低成本进行RLHF得到自己的小型类ChatGPT模型进行应用落地P5请仔细阅读本报告末页声明2023年04月15日图表5OpenAI微调服务的价格表资料来源OpenAI官网国盛证券研究所应用加速落地中期将加大算力需求除了训练端的算力需求在应用爆发后推理侧的算力需求将指数型增长DeepSpeed-Chat加速各类应用落地中期算力需求有望迎来大爆发4投资建议建议关注算力英伟达中科曙光海光信息寒武纪易华录光通信产业链拓维信息常山北明神州数码浪潮信息景嘉微工业富联大模型及技术公司百度阿里华为360昆仑万维科大讯飞云从科技海天瑞声拓尔思腾讯字节跳动等应用1对标微软办公微软金山办公彩讯股份2多模态GPT输入输出信号变化大华股份海康威视万兴科技千方科技当虹科技云从科技萤石网络商汤科技中科创达新国都等3互联网传媒昆仑万维汤姆猫蓝色光标中文在线利欧股份游戏数字人电商等4智能助理耳机音箱漫步者科大讯飞传音控股国光电器恒玄科技奋达科技惠威科技等5其他优质应用同花顺恒生电子金证股份上海钢联石基信息汉得信息等6AI安全新华网人民网电科网安美亚柏科安恒信息等7国内巨头合作光云科技赛意信息云鼎科技朗新科技润和软件软通动力等8医疗应用润达医疗嘉和美康卫宁健康创业慧康8机器人三花智控拓普集团鸣志电器绿的谐波晶品特装P6请仔细阅读本报告末页声明2023年04月15日6风险提示AI技术迭代不及预期风险若AI技术迭代不及预期NLP技术理解人类意图水平未能取得突破则对产业链相关公司会造成一定不利影响经济下行超预期风险若宏观经济景气度下行固定资产投资额放缓影响企业再投资意愿从而影响消费者消费意愿和产业链生产意愿对整个行业将会造成不利影响NLP技术应用落地将会受限行业竞争加剧风险若相关企业加快技术迭代和应用布局整体行业竞争程度加剧将会对目前行业内企业的增长产生威胁P7请仔细阅读本报告末页声明2023年04月15日免责声明国盛证券有限责任公司以下简称本公司具有中国证监会许可的证券投资咨询业务资格本报告仅供本公司的客户使用本公司不会因接收人收到本报告而视其为客户在任何情况下本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任本报告的信息均来源于本公司认为可信的公开资料但本公司及其研究人员对该等信息的准确性及完整性不作任何保证本报告中的资料意见及预测仅反映本公司于发布本报告当日的判断可能会随时调整在不同时期本公司可发出与本报告所载资料意见及推测不一致的报告本公司不保证本报告所含信息及资料保持在最新状态对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司力求报告内容客观公正但本报告所载的资料工具意见信息及推测只提供给客户作参考之用不构成任何投资法律会计或税务的最终操作建议本公司不就报告中的内容对最终操作建议做出任何担保本报告中所指的投资及服务可能不适合个别客户不构成客户私人咨询建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素投资者应注意在法律许可的情况下本公司及其本公司的关联机构可能会持有本报告中涉及的公司所发行的证券并进行交易也可能为这些公司正在提供或争取提供投资银行财务顾问和金融产品等各种金融服务本报告版权归国盛证券有限责任公司所有未经事先本公司书面授权任何机构或个人不得对本报告进行任何形式的发布复制任何机构或个人如引用刊发本报告需注明出处为国盛证券研究所且不得对本报告进行有悖原意的删节或修改分析师声明本报告署名分析师在此声明我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力本报告所表述的任何观点均精准地反映了我们对标的证券和发行人的个人看法结论不受任何第三方的授意或影响我们所得报酬的任何部分无论是在过去现在及将来均不会与本报告中的具体投资建议或观点有直接或间接联系投资评级说明投资建议的评级标准评级说明评级标准为报告发布日后的6个月内公司股价或行业买入相对同期基准指数涨幅在15以上指数相对同期基准指数的相对市场表现其中A股市增持相对同期基准指数涨幅在515之间股票评级场以沪深300指数为基准新三板市场以三板成指针持有相对同期基准指数涨幅在-55之间对协议转让标的或三板做市指数针对做市转让标的减持相对同期基准指数跌幅在5以上为基准香港市场以摩根士丹利中国指数为基准美股增持相对同期基准指数涨幅在10以上市场以标普500指数或纳斯达克综合指数为基准中性相对同期基准指数涨幅在-1010行业评级之间减持相对同期基准指数跌幅在10以上国盛证券研究所北京上海地址北京市西城区平安里西大街26号楼3层地址上海市浦明路868号保利One561号楼10层邮编100032邮编200120传真010-57671718电话021-38124100邮箱gsresearchgszqcom邮箱gsresearchgszqcom南昌深圳地址南昌市红谷滩新区凤凰中大道1115号北京银行大厦地址深圳市福田区福华三路100号鼎和大厦24楼邮编330038邮编518033传真0791-86281485邮箱gsresearchgszqcom邮箱gsresearchgszqcomP8请仔细阅读本报告末页声明