核心观点
　　大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，推理部署环节的优化进度较快，主要思路包括调整模型架构实现计算并行度提升，或通过捕捉参数结构实现混合精度推理，降低计算复杂度。这些技术演进有望大幅降低大模型产品的部署、应用门槛，打开to C产品的想象空间。我们认为中长期AI领域具备广阔前景，看好百度在AIGC领域的布局和先发优势。
　　大模型研究笔记（三）
　　模型结构方面，Meta研究团队于2023年5月提出Megabyte，基于对Transformer架构做出改进：Transformer架构是以token为基本单位的，而token形式的目的是将输入数据转换成计算机可以处理的形式，但token与单词并非一一对应，这等于带来额外的分词成本。Megabyte对模型处理的基础单元做出修改，从token改为patch，此外引入局部模块预测patch内文本序列，相当于引入二次注意力机制，最终实现计算成本降低、速度提升。
　　预训练环节，现有超大参数模型部署端侧时受限于终端计算资源和功耗，需要小、低延迟和低能耗的神经网络模型，从而节省成本。混合精度训练是把FP32表示的权重、参数和激活值用FP16、INT8、INT4重新表示，并且通过浮点数转定点数将连续的数值映射为离散化的数值，从而加快训练速度和降低存储占用。最新的进展来自ETH的SpQR，将剪枝思想迁移至推理环节的混合精度，在1%的性能损失下大幅提升推理效率。
　　下游调试方面，1）Alignment环节的数据质量和多样性可能比数量重要。Meta研究团队提出Alignment实质是模型在预训练阶段学习知识，在Alignment阶段学习人类交互形式。研究团队通过控制变量比较了数据质量、规模对Alignment后模型性能的影响，发现数据质量对性能影响显著，数量影响则不显著；2）Prompt环节ToT提升LLM解决复杂问题的能力。Google DeepMind等团队于2023年5月提出Tree-of-thoughts（ToT）。ToT则是借鉴人类思考的思维树范式，相比于CoT，ToT增加了对问题的分解和评估，实现模型解决复杂问题的表现提升。
　　3）RLHF环节，引入过程监督RM提升面向复杂问题的解决能力。2023年5月OpenAI团队提出《Let’s VerifyStep by Step》，主要解决CoT下过程缺乏监督导致结果准确率不高的问题。因此，其在每一个步骤中引入RM，即过程监督RM模型，并预测每个步骤之后的token，最大化目标token的对数似然，实验表明性能提升明显。
　　推理方面，CMUCatalyst Group于2023年5月提出SpecInfer推理引擎，较传统推理效率提升2.8x。LLM自回归式解码存在1）并行计算利用率低；2）显存占用大等问题。CMU研究团队的解决思路是引入计算代价更小的SSM替代LLM进行推理，且一次进行多步推理，再由LLM进行验证，整体来看通过提升计算并行度实现推理效率提升。另一种思路来自混合精度推理，ETHZurich等机构的研究团队于2023年6月提出SpQR。混合精度推理的难点主要在于Transformer模型序列生成过程中的错误会逐步累加。面对这一问题，研究团队的思路1）大模型的参数之间并非随机分布，而是存在特定结构的；2）研究团队对量化过程进行两个改变：一个用于捕捉小的敏感权重组，另一个用于捕捉单个的异常值。通过对敏感权重和异常值保留高精度，而其他参数降低精度，模型输出性能损失较原模型在可控范围，且推理的成本和效率大幅优化。
　　基于大模型研究笔记（一）、（二）与本篇报告，我们认为1）模型数据集、训练量的优化是重要方向；2）初始化策略、加速优化器能够在小批量训练集中优化模型性能，大批量训练目前研究的上限是32K，这与训练速度存在权衡取舍；3）下游调试中如PET等方法短期见效快，但在复杂问题的解决能力方面提升并不明显，模仿学习可能并不是一条高效路径。另一方面，引入人工标注辅助过程监督，这对效果提升显著，未来再通过AI模拟人类的过程监督，这条技术路径具备较好前景；4）推理部署环节的优化进度较快，主要思路包括调整模型架构实现计算并行度提升，或通过捕捉参数结构实现混合精度推理，降低计算复杂度。这些技术演进有望大幅降低大模型产品的部署、应用门槛，打开to C产品的想象空间；5）部分模型能力如Context Window来自底层硬件约束，未来软硬一体可能是关键壁垒，对LLM厂商的全栈实力提出较高要求。另一方面，对于全栈布局不足的厂商，开源大模型构建繁荣开发者生态也是一条可选路径，海外的开源社区迭代较快，能够推动LLaMA拉近与GPT-4的差距。
　　投资建议：百度搜索广告业务预计受益经济复苏，且效果广告受益序列较品牌广告媒介更优先，信息流广告则受益展现形式的效率继续驱动广告业务增长。云业务随着疫后回归常态，项目交付、新签订单逐步兑现，向上复苏趋势明确。ERNIEBOT方面，短期商业化前景尚不清晰，但可作为Option机会，我们认为中长期AIGC方向是AI领域具备广阔应用场景且有希望构建合适商业模式的机会，看好百度在AIGC领域的布局和先发优