事件：4月12日，大数据分析公司Databricks发布经过指令数据集调试的大语言模型（LLM）Dolly2.0，宣布正开源其代码、数据集和模型参数（120亿个），并开放商用。
　　高质量指令数据集，复现ChatGPT的关键一步。ChatGPT表现惊艳，复现它一时间成AIGC“兵家必争之地”。虽然闭源，但ChatGPT并非完全的黑盒子，可以从其开发公司OpenAI发布的若干技术报告中觅得芳踪。例如，高质量人类指令数据集，就是ChatGPT公开的秘密武器库之一。根据OpenAI，ChatGPT聘请了40名人类标注员，使用了和InstructGPT相同的训练方法——基于人类反馈的强化学习（RLHF），它分为三个步骤：1）监督微调（SFT）：让标注员回答人类提问，用这一标注数据训练GPT；2）奖励模型（RM）训练：让标注员对机器的回答排序，相较于第一步由标注员直接撰写回答的生成式标注，排序作为判别式标注的成本更低，用这一标注训练模型，让它模拟人类排序；3）无人类标注，用近端策略优化算法（PPO）微调模型。这三个步骤对应的数据集的大小分别为1.3万个、3.3万个、3.1万个。RLHF是ChatGPT早期版本GPT3所不具备的功能，它使得只有13亿参数的InstructGPT表现出了比1750亿参数GPT-3更好的真实性、无害性和人类指令遵循度，更被标注员认可，同时不会折损GPT-3在学术评估维度上的效果。
　　Dolly2.0“手动”打造指令数据集，启发ChatGPT商用复现。近期开源大模型涌现，性能可圈可点（在部分问题的回答效果上接近ChatGPT），并且参数较小（约为百亿规模），训练成本低廉（不到1千美元），但指令数据集普遍基于GPT家族，基于OpenAI对版权的保护，无法商用。例如，斯坦福大学Alpaca的指令数据集有5.2万条，来自OpenAI的text-davinci-003引擎；加州大学Koala使用了约10万条用户与ChatGPT的对话数据；GPT4All的指令数据集来自GPT-3.5-Turbo；Vicuna使用了7万条用户与ChatGPT的对话数据。Dolly 2.0受ChatGPT监督微调（SFT）步骤启发，自行打造了高质量人类指令数据集，引领类GPT大模型进入商用新时代。具体来说，Databricks通过比赛和游戏的方式，激励5千多名员工自行撰写了1.5万条指令数据集的问题与答案对。尽管Databricks没有发布Dolly2.0与ChatGPT回答的详细的测试报告，但其方法与前述开源模型有一致性，所采用的技术路线都是“不增加模型参数，因此无需增加更多算力开支，而增加训练数据集本身的质量”，为行业提供了复现ChatGPT并商用化的新“弹药”。
　　模型和应用爆发时代，看好算力底座价值。正如我们在此前的报告《Web3视角下的AIGC算力进化论》中阐述的，“模型”或许不足以构成大语言模型应用的壁垒，伴随着ChatGPT复现“运动”的不断深化，“数据”或许也将不再是掣肘，“每个中型公司也拥有一个GPT”的未来或将实现，而与此同时，随着应用层不断将“蛋糕”做大，大型公司不断发展更大规模的模型，中小型公司不断入场，“算力”作为底座始终具备战略意义。
　　投资建议：该主题下建议关注：第三方IDC服务商：光环新网、奥飞数据、数据港、润泽科技、科华数据、宝信软件、世纪华通等。同时关注与之配套的：1）光模块服务商：新易盛、天孚通信、中际旭创、太辰光等；2）基础电信运营商：中国电信、中国移动、中国联通等；3）云计算服务平台：亚马逊、微软、谷歌、阿里、腾讯等。
　　风险提示：AIGC技术发展不及预期，AIGC商业落地进程不及预期。
　　

研究报告全文：证券研究报告行业点评2023年04月15日通信Dolly20发布大模型开发加速器事件4月12日大数据分析公司Databricks发布经过指令数据集调试的增持维持大语言模型宣布正开源其代码数据集和模型参数LLMDolly20120亿个并开放商用行业走势高质量指令数据集复现ChatGPT的关键一步ChatGPT表现惊艳复现它一时间成AIGC兵家必争之地虽然闭源但ChatGPT并非完全的黑通信沪深300盒子可以从其开发公司OpenAI发布的若干技术报告中觅得芳踪例如64高质量人类指令数据集就是ChatGPT公开的秘密武器库之一根据48OpenAIChatGPT聘请了40名人类标注员使用了和InstructGPT相同的32训练方法基于人类反馈的强化学习RLHF它分为三个步骤1监160督微调SFT让标注员回答人类提问用这一标注数据训练GPT2-16奖励模型RM训练让标注员对机器的回答排序相较于第一步由标注-32员直接撰写回答的生成式标注排序作为判别式标注的成本更低用这一标2022-042022-082022-122023-04注训练模型让它模拟人类排序3无人类标注用近端策略优化算法PPO微调模型这三个步骤对应的数据集的大小分别为13万个33万个31万个RLHF是ChatGPT早期版本GPT3所不具备的功能它使得只有13作者亿参数的InstructGPT表现出了比1750亿参数GPT-3更好的真实性无害分析师宋嘉吉性和人类指令遵循度更被标注员认可同时不会折损GPT-3在学术评估执业证书编号S0680519010002维度上的效果邮箱songjiajigszqcomDolly20手动打造指令数据集启发ChatGPT商用复现近期开源大分析师孙爽模型涌现性能可圈可点在部分问题的回答效果上接近ChatGPT并且执业证书编号S0680521050001参数较小约为百亿规模训练成本低廉不到1千美元但指令数据邮箱sunshuanggszqcom集普遍基于GPT家族基于OpenAI对版权的保护无法商用例如斯坦相关研究福大学Alpaca的指令数据集有52万条来自OpenAI的text-davinci-0031区块链Auto-GPT评测更聪明的AGI引擎加州大学Koala使用了约10万条用户与ChatGPT的对话数据GPT4All的指令数据集来自GPT-35-TurboVicuna使用了7万条用户与ChatGPT2023-04-14的对话数据Dolly20受ChatGPT监督微调SFT步骤启发自行打造了2通信智能硬件与边缘算力AI的重要入口高质量人类指令数据集引领类GPT大模型进入商用新时代具体来说2023-04-12Databricks通过比赛和游戏的方式激励5千多名员工自行撰写了15万条3通信SAM模型发布算力重要性再次提升指令数据集的问题与答案对尽管Databricks没有发布Dolly20与ChatGPT2023-04-11回答的详细的测试报告但其方法与前述开源模型有一致性所采用的技术路线都是不增加模型参数因此无需增加更多算力开支而增加训练数据集本身的质量为行业提供了复现ChatGPT并商用化的新弹药模型和应用爆发时代看好算力底座价值正如我们在此前的报告Web3视角下的AIGC算力进化论中阐述的模型或许不足以构成大语言模型应用的壁垒伴随着ChatGPT复现运动的不断深化数据或许也将不再是掣肘每个中型公司也拥有一个GPT的未来或将实现而与此同时随着应用层不断将蛋糕做大大型公司不断发展更大规模的模型中小型公司不断入场算力作为底座始终具备战略意义投资建议该主题下建议关注第三方IDC服务商光环新网奥飞数据数据港润泽科技科华数据宝信软件世纪华通等同时关注与之配套的1光模块服务商新易盛天孚通信中际旭创太辰光等2基础电信运营商中国电信中国移动中国联通等3云计算服务平台亚马逊微软谷歌阿里腾讯等风险提示AIGC技术发展不及预期AIGC商业落地进程不及预期请仔细阅读本报告末页声明2023年04月15日免责声明国盛证券有限责任公司以下简称本公司具有中国证监会许可的证券投资咨询业务资格本报告仅供本公司的客户使用本公司不会因接收人收到本报告而视其为客户在任何情况下本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任本报告的信息均来源于本公司认为可信的公开资料但本公司及其研究人员对该等信息的准确性及完整性不作任何保证本报告中的资料意见及预测仅反映本公司于发布本报告当日的判断可能会随时调整在不同时期本公司可发出与本报告所载资料意见及推测不一致的报告本公司不保证本报告所含信息及资料保持在最新状态对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司力求报告内容客观公正但本报告所载的资料工具意见信息及推测只提供给客户作参考之用不构成任何投资法律会计或税务的最终操作建议本公司不就报告中的内容对最终操作建议做出任何担保本报告中所指的投资及服务可能不适合个别客户不构成客户私人咨询建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素投资者应注意在法律许可的情况下本公司及其本公司的关联机构可能会持有本报告中涉及的公司所发行的证券并进行交易也可能为这些公司正在提供或争取提供投资银行财务顾问和金融产品等各种金融服务本报告版权归国盛证券有限责任公司所有未经事先本公司书面授权任何机构或个人不得对本报告进行任何形式的发布复制任何机构或个人如引用刊发本报告需注明出处为国盛证券研究所且不得对本报告进行有悖原意的删节或修改分析师声明本报告署名分析师在此声明我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力本报告所表述的任何观点均精准地反映了我们对标的证券和发行人的个人看法结论不受任何第三方的授意或影响我们所得报酬的任何部分无论是在过去现在及将来均不会与本报告中的具体投资建议或观点有直接或间接联系投资评级说明投资建议的评级标准评级说明评级标准为报告发布日后的6个月内公司股价或行业买入相对同期基准指数涨幅在15以上指数相对同期基准指数的相对市场表现其中A股市增持相对同期基准指数涨幅在515之间股票评级场以沪深300指数为基准新三板市场以三板成指针持有相对同期基准指数涨幅在-55之间对协议转让标的或三板做市指数针对做市转让标的减持相对同期基准指数跌幅在5以上为基准香港市场以摩根士丹利中国指数为基准美股增持相对同期基准指数涨幅在10以上市场以标普500指数或纳斯达克综合指数为基准中性相对同期基准指数涨幅在-1010之行业评级间减持相对同期基准指数跌幅在10以上国盛证券研究所北京上海地址北京市西城区平安里西大街26号楼3层地址上海市浦明路868号保利One561号楼10层邮编100032邮编200120传真010-57671718电话021-38124100邮箱gsresearchgszqcom邮箱gsresearchgszqcom南昌深圳地址南昌市红谷滩新区凤凰中大道1115号北京银行大厦地址深圳市福田区福华三路100号鼎和大厦24楼邮编330038邮编518033传真0791-86281485邮箱gsresearchgszqcom邮箱gsresearchgszqcomP2请仔细阅读本报告末页声明