ChatGPT表现惊艳，网站流量一路狂飙式成长。根据数据统计机构Similarweb的估计，chat.openai.com网站（即ChatGPT官网）在2023/1/27-2023/2/3这一周吸引的每日访客数量高达约2500万，在1月31日的流量高峰日，该网站吸引了2800万次访问。并且在1/3-2/3这一个月里，该网站的流量平均每天增长3.4%，增速惊人。
　　从Transformer到ChatGPT，有哪些历史性突破？ChatGPT用户数高速增长的根本原因，来源于其突破性的表现，其中最突出的有两点体现：1）ChatGPT与人类“对齐”了偏好，其应答更适应人类习惯，并且能驳回一些反道德的提问，展现出显著优于前代的智能度。2）ChatGPT具备了思维链（Chain-of-Thought，CoT）能力，能够处理一定程度的复杂思维逻辑。3）ChatGPT在算数、国际音标转写、单词解读、问答、事实性问答、基础概念映射、多任务自然语义理解、上下文单词理解等8个指标上表现出全面综合的能力。
　　量变到质变，规模超过特定阈值后模型性能陡增。根据谷歌发布的论文《Emergent Abilities of Large Language Models》，可以看到多个NLP任务随着模型规模扩大的性能变化曲线：前期性能和模型规模大致呈线性关系；然而当模型规模大到一定程度时，任务性能有了明显的“飞升”。
　　海量代码训练，模型习得代码背后隐含的逻辑能力。根据熵简科技介绍，“代码”可以理解为一种具备高度逻辑性的文本语料，不具备强逻辑性的代码会无法执行，而不像普通文本语料那样有着较高的逻辑自由度。模型从对大量代码的学习过程中，逐渐掌握了隐藏在代码背后的抽象能力与逻辑能力，进而涌现出我们在ChatGPT上感受到的“智能”。
　　训练过程加入了人类反馈，模型偏好向人类看齐。通过有人类反馈的加强学习（RLHF）训练，人类手动对AI给出的回复进行排名，让AI模型理解人类偏好。由于训练过程中加入了人类反馈，有别于前代GPT-3单纯使用海量数据的训练方法，ChatGPT能够更好地理解用户指令，并作出反应。
　　投资建议。建议关注：1）应用型公司：金山办公、光云科技、当虹科技、同花顺、万兴科技、立方数科、云赛智联、神思电子、宇信科技、360、高伟达、寺库、知乎、汉王科技等；2）算力公司：浪潮信息、中科曙光、海光信息、寒武纪、景嘉微、世纪华通、光通信产业链公司；3）相关技术公司：科大讯飞、云从科技、拓尔思、海天瑞声、海康威视、萤石网络、百度、阿里、腾讯；4）软件开发效率提升：赛意信息、润和软件、法本信息、游戏公司等；5）机器人：三花智控、鸣志电器、绿的谐波、晶品特装、微创机器人等。
　　风险提示：AI技术迭代不及预期风险；经济下行超预期风险；行业竞争加剧风险。
　　

研究报告全文：证券研究报告行业周报2023年02月26日计算机ChatGPT技术篇智能背后的秘密ChatGPT表现惊艳网站流量一路狂飙式成长根据数据统计机构增持维持Similarweb的估计chatopenaicom网站即ChatGPT官网在2023127-202323这一周吸引的每日访客数量高达约2500万在1月31日的流量高峰日该网站吸引了2800万次访问并且在13-行业走势23这一个月里该网站的流量平均每天增长34增速惊人从Transformer到ChatGPT有哪些历史性突破ChatGPT用户数计算机沪深300高速增长的根本原因来源于其突破性的表现其中最突出的有两点16体现1ChatGPT与人类对齐了偏好其应答更适应人类习惯0并且能驳回一些反道德的提问展现出显著优于前代的智能度2-16ChatGPT具备了思维链Chain-of-ThoughtCoT能力能够处理一定程度的复杂思维逻辑3ChatGPT在算数国际音标转写单词解-32读问答事实性问答基础概念映射多任务自然语义理解上下-48文单词理解等8个指标上表现出全面综合的能力2022-022022-062022-102023-02量变到质变规模超过特定阈值后模型性能陡增根据谷歌发布的论文EmergentAbilitiesofLargeLanguageModels可以看到多个NLP任务随着模型规模扩大的性能变化曲线前期性能和模型规模大作者致呈线性关系然而当模型规模大到一定程度时任务性能有了明显分析师刘高畅的飞升执业证书编号S0680518090001海量代码训练模型习得代码背后隐含的逻辑能力根据熵简科技介邮箱liugaochanggszqcom绍代码可以理解为一种具备高度逻辑性的文本语料不具备强相关研究逻辑性的代码会无法执行而不像普通文本语料那样有着较高的逻辑自由度模型从对大量代码的学习过程中逐渐掌握了隐藏在代码背1计算机首批AzureOpenAI服务落地万科大模后的抽象能力与逻辑能力进而涌现出我们在ChatGPT上感受到的型商业化进程持续加速2023-02-21智能2计算机ChatGPT算力需求是如何扩张的2023-训练过程加入了人类反馈模型偏好向人类看齐通过有人类反馈的02-19加强学习RLHF训练人类手动对AI给出的回复进行排名让AI3计算机Chatgpt需要多少算力2023-02-12模型理解人类偏好由于训练过程中加入了人类反馈有别于前代GPT-3单纯使用海量数据的训练方法ChatGPT能够更好地理解用户指令并作出反应投资建议建议关注1应用型公司金山办公光云科技当虹科技同花顺万兴科技立方数科云赛智联神思电子宇信科技360高伟达寺库知乎汉王科技等2算力公司浪潮信息中科曙光海光信息寒武纪景嘉微世纪华通光通信产业链公司3相关技术公司科大讯飞云从科技拓尔思海天瑞声海康威视萤石网络百度阿里腾讯4软件开发效率提升赛意信息润和软件法本信息游戏公司等5机器人三花智控鸣志电器绿的谐波晶品特装微创机器人等风险提示AI技术迭代不及预期风险经济下行超预期风险行业竞争加剧风险请仔细阅读本报告末页声明2023年02月26日内容目录1从Transformer到ChatGPT有哪些历史性突破32ChatGPT背后的秘密智能来自何方521量变到质变规模超过特定阈值后模型性能陡增522海量代码训练模型习得代码背后隐含的逻辑能力623训练过程加入了人类反馈模型偏好向人类看齐73投资建议84风险提示9图表目录图表1ChatGPT每日点击访问量统计3图表2ChatGPT会主动驳回一些具有潜在道德风险的危险提问4图表3ChatGPT已经具备了思维链能力5图表4模型规模超过特定阈值后模型性能陡增6图表5ChatGPT模型家族谱系7图表6ChatGPT使用RLHF方法进行训练8P2请仔细阅读本报告末页声明2023年02月26日1从Transformer到ChatGPT有哪些历史性突破ChatGPT流量以每日34的速度快速成长每日用户数已超2500万根据数据统计机构Similarweb的估计chatopenaicom网站即ChatGPT官网在2023127-202323这一周吸引的每日访客数量高达约2500万在1月31日的流量高峰日该网站吸引了2800万次访问并且在13-23这一个月里该网站的流量平均每天增长34增速惊人图表1ChatGPT每日点击访问量统计资料来源Similarweb国盛证券研究所ChatGPT用户数高速增长的根本原因来源于其突破性的表现其中最突出的有两点体现1ChatGPT与人类对齐了偏好其应答更适应人类习惯并且能驳回一些反道德的提问展现出显著优于前代的智能度ChatGPT模型比以往的人机对话模型例如GPT3等更强大例如其敢于质疑不正确的前提和假设主动承认错误以及一些无法回答的问题主动给拒绝不合理的问题提升了对用户意图的理解以及结果的准确性与之前的GPT3不同相比于此前海量学习数据进行训练ChatGPT中人对结果的反馈成为了AI学习过程中的一部分初次之外ChatGPT甚至会主动驳回一些危险提问例如如果提问如何霸凌John上一代的模型InstructGPT会给出几种方法作为解答而ChatGPT给出的答案则是霸凌是不对的P3请仔细阅读本报告末页声明2023年02月26日图表2ChatGPT会主动驳回一些具有潜在道德风险的危险提问资料来源ChatGPT官网国盛证券研究所2ChatGPT具备了思维链Chain-of-ThoughtCoT能力能够处理一定程度的复杂思维逻辑对于一些逻辑较为复杂的问题直接向大规模语言模型提问可能会得到不准确的回答但是如果以提示prompt的方式在输入中给出有逻辑的解题步骤即将复杂问题拆解为多个子问题解决再从中抽取答案的示例后再提出问题大模型就能给出正确题解有时甚至不用给示例在输入后面接一句Letsthinkstepbystep模型的输出就是一步一步思考后的各个子问题的结果再将该输出拼到输入后构造第二次输入数据大模型就能进一步将上一步的输出整合得出正确的复杂问题的解P4请仔细阅读本报告末页声明2023年02月26日图表3ChatGPT已经具备了思维链能力资料来源人大高瓴人工智能学院国盛证券研究所2ChatGPT背后的秘密智能来自何方21量变到质变规模超过特定阈值后模型性能陡增随着算力的不断提升语言模型已经从最初基于概率预测的模型发展到基于Transformer架构的预训练语言模型并逐步走向大模型的时代当模型规模较小时模型的性能和参数大致符合比例定律scalinglaw即模型的性能提升和参数增长基本呈线性关系然而当GPT-3ChatGPT这种千亿级别的大规模模型被提出后人们发现其可以打破比例定律实现模型能力质的飞跃这些能力也被称为大模型的涌现能力如理解人类指令等等根据谷歌发布的论文EmergentAbilitiesofLargeLanguageModels可以看到多个NLP任务随着模型规模扩大的性能变化曲线前期性能和模型规模大致呈线性关系然而当模型规模大到一定程度时任务性能有了明显的飞升例如在算数国际音标转写单词解读问答事实性问答基础概念映射多任务自然语义理解上下文单词理解等任务上因此当前研究通常以百亿千亿级别参数量作为LLM的分水岭P5请仔细阅读本报告末页声明2023年02月26日图表4模型规模超过特定阈值后模型性能陡增资料来源谷歌论文EmergentAbilitiesofLargeLanguageModels国盛证券研究所22海量代码训练模型习得代码背后隐含的逻辑能力学界普遍推测ChatGPT的复杂思维能力CoT能力来自于代码训练根据熵简科技介绍ChatGPT的背后是Text-davinci-002模型但如果回溯ChatGPT的模型家谱Text-davinci-002模型其实是基于Code-davinci-002模型经过指令微调的产物如果进一步回溯到起点对于没有接受过代码数据训练的GPT-3模型它的复杂推理能力是很弱的GPT-3的一个分支对代码数据进行了专项训练Codex模型中代码数据量约为159G基于此产生的Code-davinci-002模型神奇的具备了思维推理能力由于这一能力近来才出现学界对于它是如何产生的尚无定论但学界普遍推测在模型训练的过程中是否引入代码数据集很有可能是模型是否具备复杂思维能力的关键变量代码是一种强逻辑性的文字模型在学习代码的过程中习得了逻辑能力代码可以理解为一种具备高度逻辑性的文本语料不具备强逻辑性的代码会无法执行而不像普通文本语料那样有着较高的逻辑自由度模型从对大量代码的学习过程中逐渐掌握了隐藏在代码背后的抽象能力与逻辑能力进而涌现出我们在ChatGPT上感受到的智能P6请仔细阅读本报告末页声明2023年02月26日图表5ChatGPT模型家族谱系资料来源熵简科技国盛证券研究所23训练过程加入了人类反馈模型偏好向人类看齐通过有人类反馈的加强学习RLHF训练ChatGPT能够更好地理解人类偏好从而给出更符合人类习惯的回答ChatGPT使用RLHF方法训练了一个初始模型人类AI训练员提供对话他们在对话中扮演双方用户和AI助手AI训练员可以访问模型编写的对话回复以帮助AI调整回复内容为了创建强化学习的奖励模型该研究需要收集比较数据其中包含两个或多个按质量排序的模型回复该研究收集了AI训练员与聊天机器人的对话并随机选择一条模型编写的消息抽取几个备选回复让AI训练员对这些回复进行排名由于训练过程中加入了人类反馈有别于前代GPT-3单纯使用海量数据的训练方法ChatGPT能够更好地理解用户指令并作出反应P7请仔细阅读本报告末页声明2023年02月26日图表6ChatGPT使用RLHF方法进行训练资料来源ChatGPT官网国盛证券研究所RLHF具体训练步骤如下第一步首先从大量的包含人类真实意图的指令集合中采样指令作为输入数据并聘请专职标注员标注这些指令的输出这部分相对而言是一个高质量的小数据集数据收集完成后使用GPT-35在该数据集上进行有监督的微调supervisedfine-tuning第二步得到上一步微调好的GPT-35之后再次从指令集合中采样指令作为输入数据从GPT-35得到多个不同的结果并聘请专职标注员标注这些输出的好坏顺序例如输出D输出C输出A输出B由于只需要标注模型不同输出的好坏这部分标注的成本会降低很多因此数据规模也会较大得到这些人工标注的输出顺序之后可以训练得到一个打分reward模型第三步获得打分模型之后接着从指令集合中采样一些新的指令作为输入数据并结合打分模型使用PPO一种强化学习算法方式来训练得到最终的ChatGPT3投资建议建议关注1应用型公司金山办公光云科技当虹科技同花顺万兴科技立方数科云赛智联神思电子宇信科技360高伟达寺库知乎汉王科技等2算力公司浪潮信息中科曙光海光信息寒武纪景嘉微世纪华通光通信产业链公司3相关技术公司科大讯飞云从科技拓尔思海天瑞声海康威视萤石网络百度阿里腾讯4软件开发效率提升赛意信息润和软件法本信息游戏公司等5机器人三花智控鸣志电器绿的谐波晶品特装微创机器人等P8请仔细阅读本报告末页声明2023年02月26日4风险提示AI技术迭代不及预期风险若AI技术迭代不及预期NLP技术理解人类意图水平未能取得突破则对产业链相关公司会造成一定不利影响经济下行超预期风险若宏观经济景气度下行固定资产投资额放缓影响企业再投资意愿从而影响消费者消费意愿和产业链生产意愿对整个行业将会造成不利影响NLP技术应用落地将会受限行业竞争加剧风险若相关企业加快技术迭代和应用布局整体行业竞争程度加剧将会对目前行业内企业的增长产生威胁P9请仔细阅读本报告末页声明2023年02月26日免责声明国盛证券有限责任公司以下简称本公司具有中国证监会许可的证券投资咨询业务资格本报告仅供本公司的客户使用本公司不会因接收人收到本报告而视其为客户在任何情况下本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任本报告的信息均来源于本公司认为可信的公开资料但本公司及其研究人员对该等信息的准确性及完整性不作任何保证本报告中的资料意见及预测仅反映本公司于发布本报告当日的判断可能会随时调整在不同时期本公司可发出与本报告所载资料意见及推测不一致的报告本公司不保证本报告所含信息及资料保持在最新状态对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司力求报告内容客观公正但本报告所载的资料工具意见信息及推测只提供给客户作参考之用不构成任何投资法律会计或税务的最终操作建议本公司不就报告中的内容对最终操作建议做出任何担保本报告中所指的投资及服务可能不适合个别客户不构成客户私人咨询建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素投资者应注意在法律许可的情况下本公司及其本公司的关联机构可能会持有本报告中涉及的公司所发行的证券并进行交易也可能为这些公司正在提供或争取提供投资银行财务顾问和金融产品等各种金融服务本报告版权归国盛证券有限责任公司所有未经事先本公司书面授权任何机构或个人不得对本报告进行任何形式的发布复制任何机构或个人如引用刊发本报告需注明出处为国盛证券研究所且不得对本报告进行有悖原意的删节或修改分析师声明本报告署名分析师在此声明我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力本报告所表述的任何观点均精准地反映了我们对标的证券和发行人的个人看法结论不受任何第三方的授意或影响我们所得报酬的任何部分无论是在过去现在及将来均不会与本报告中的具体投资建议或观点有直接或间接联系投资评级说明投资建议的评级标准评级说明评级标准为报告发布日后的6个月内公司股价或行业买入相对同期基准指数涨幅在15以上指数相对同期基准指数的相对市场表现其中A股市增持相对同期基准指数涨幅在515之间股票评级场以沪深300指数为基准新三板市场以三板成指针持有相对同期基准指数涨幅在-55之间对协议转让标的或三板做市指数针对做市转让标的减持相对同期基准指数跌幅在5以上为基准香港市场以摩根士丹利中国指数为基准美股增持相对同期基准指数涨幅在10以上市场以标普500指数或纳斯达克综合指数为基准中性相对同期基准指数涨幅在-1010行业评级之间减持相对同期基准指数跌幅在10以上国盛证券研究所北京上海地址北京市西城区平安里西大街26号楼3层地址上海市浦明路868号保利One561号楼10层邮编100032邮编200120传真010-57671718电话021-38124100邮箱gsresearchgszqcom邮箱gsresearchgszqcom南昌深圳地址南昌市红谷滩新区凤凰中大道1115号北京银行大厦地址深圳市福田区福华三路100号鼎和大厦24楼邮编330038邮编518033传真0791-86281485邮箱gsresearchgszqcom邮箱gsresearchgszqcomP10请仔细阅读本报告末页声明