大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术，有望打开未来to C市场的想象空间。我们认为中长期AI领域具备广阔前景，看好百度在AIGC领域的布局和先发优势。
　　大模型研究笔记（一）
　　现有的市场研究主要聚焦下游应用，即大语言模型能够实现什么功能，满足什么市场需求，而将大语言模型本身视为黑匣子，缺乏对语言模型本身机制的研究。本篇报告主要是对学界在LLM模型架构、预训练各环节、下游调优等领域的探索进行系统梳理，旨在增进市场对LLM技术原理的理解。需要指出的是，由于相关文献较多，本报告可能存在遗漏，并引致风险。
　　模型结构方面，现有的主流模型均基于Transformer架构。行业发展的关键节点在于1）下游任务逐渐被统一；2）研究总结出Scaling Law，从而催生规模竞赛；3）Google团队提出CoT研究，大模型+CoT prompt效果显著提升。因此，此前行业主流范式是训练更大的模型，通过引入代码数据等方式激活模型的潜在能力。但一些最新研究表明规模效应带来的涌现可能是度量选择的结果，规模带来的性能提升可能没有此前的研究所表明的那么显著，因而引发一些对进一步推动规模扩展的谨慎观点。
　　预训练仍存在非常充分的优化空间。1）训练数据集上，当前参数规模相比数据集过度扩张明显，训练数据集一定程度上制约了性能的提升。另一方面，数据集扩大可能带来重复数据的问题，而研究表明训练中的重复数据会显著影响模型的性能提升，因此对数据的清洗可能是业界实践中比较重要的环节；2）知识图谱方面，一些团队如百度ERNIE将知识图谱引入LLM训练，实现性能提升，但研究表明，由于知识图谱数据库搭建的高成本，且也不适用于所有类别/场景的数据，规模化难度较高。此外，知识图谱的性能提升是以推理速度的下降为代价的；3）参数规模方面，OpenAI提出的Scaling Law引发此前行业的规模竞赛，但斯坦福大学团队近期研究质疑了这一规律，并通过实验表明规模提升带来的效果突变是测试函数表达形式的结果，剔除影响后模型性能随规模变化更接近线性曲线。考虑到其他环节的优化空间，规模进一步大幅扩张可能不是厂商们的首要考虑目标；
　　4）训练策略方面，Google提出了Fixup、Skipint等初始化策略，其中后者在Transformer模型小Batch size训练下性能优于基准；稀疏训练和过参数方面的研究指出过参数有益于训练，但对推理部署成本有负面影响，UCB团队研究指出先训练大模型，再进行压缩、剪枝是给定计算资源约束下的最优选择。大批量学习方面，Google团队提出LAMB优化器，实现32KBatch size下无损训练（1K=1024）。
　　ChatGPT的火爆很大程度上是得益于“智能化”，或者说与人类交互的自然感，而这种用户体验主要是来自下游调试，例如Fine-tune、RLHF、Alignment等环节。GPT-4技术报告指出，调试环节并不会提升模型的性能，而是强化模型与人类的交互能力，符合人类的价值观等，甚至存在Alignment tax，即调优环节是在不同维度间调整模型的能力，优化一方面的能力会牺牲另一方面的能力。现有的研究表明，通过扩大Reward Model的规模能够优化RLHF环节模型的提升。Alignment方面，此前AI超越人类智能的相关研究不多，这方面仍需要进一步观察和跟踪。
　　总体而言，通过梳理现有研究，我们认为1）模型数据集、训练量的优化（包括对数据去重、数据集规模扩充）是重要方向；2）初始化策略、加速优化器能够在小批量训练集中优化模型性能，大批量训练目前研究的上限是32K，这与训练速度存在权衡取舍；3）模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术。近期陈天奇即相关团队MLCLLM项目热度较高，其将大模型部署至手机，这将大幅降低大模型产品的推广和部署门槛，打开to C产品的想象空间；4）参数规模、知识图谱可能不是短期研究主要推进的方向。
　　投资建议：百度搜索广告业务预计受益经济复苏，且效果广告受益序列较品牌广告媒介更优先，信息流广告则受益展现形式的效率继续驱动广告业务增长。云业务随着疫后回归常态，项目交付、新签订单逐步兑现，向上复苏趋势明确。ERNIEBOT方面，短期商业化前景尚不清晰，但可作为Option机会，我们认为中长期AIGC方向是AI领域具备广阔应用场景且有希望构建合适商业模式的机会，看好百度在AIGC领域的布局和先发优势。维持对百度集团的“买入”评级。