核心观点
　　大模型规模竞赛强度有望下降，精益优化可能成为主要方向，如数据清洗、初始化策略、大批量训练等。另一方面，模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术，有望打开未来to C市场的想象空间。我们认为中长期AI领域具备广阔前景，看好百度在AIGC领域的布局和先发优势。
　　大模型研究笔记（二）
　　模型结构方面，Context Window拓展下游应用场景。技术路线上，引入局部注意力机制能一定程度上延长context window，但难以实现量级的拓展。斯坦福大学和纽约州立大学团队于2022年5月提出的FlashAttention结合前述研究，并基于CUDA对底层内存读取做出优化，实现context window的大幅拓展。斯坦福大学和蒙特利尔大学的研究团队于2023年2月进一步提出Hyena架构，较此前FlashAttention进一步实现性能优化。
　　预训练环节存在广阔优化空间。1）并行化环节，主要思路是结合模型并行与数据并行，并引入分片策略，核心差异在于分片应用环节不同，以及不同并行策略应用顺序的差异。从公开研究所披露的效果看，英伟达>谷歌>微软；2）大规模计算集群方面，阿里巴巴在大规模计算集群的通信优化方面较为领先，同时在确定性网络、准确测量两条路径上均有重要工作，基本处于国内领先地位，与谷歌、思科等国际大厂仍存在一定差距；3）内存置换与checkpoint优化方面，该领域偏向训练过程的工程技巧，法国国家信息与自动化研究所将offload与checkpoint结合，实现在训练环节降低训练损耗。此前，Google团队在Palm论文也提到对checkpoint做出的其他优化，提升模型训练的稳定性。
　　下游调试方面，比较重要的研究来自微软和CMU研究团队于2021年6月提出LoRA，核心思想是通过秩分解矩阵来间接训练神经网络中的一些密集层，同时冻结预训练模型权重，降低存储占用，同时提升训练速度。LoRA降低了模型二次调优的门槛，并成为简单应用开发的重要技术。后续斯坦福大学研究团队基于LLaMA模型，收集ChatGPT回答并应用LoRA调优，实现低成本、高效率的小模型开发（参数规模在7~13B，远小于ChatGPT），并实现简单任务上的性能匹配。此外，Anthorpic与OpenAI引入基于AI反馈的强化学习（RLAIF），并实现无害性优化。
　　总体而言，基于《大模型研究笔记（一）》与本篇报告，我们认为1）模型数据集、训练量的优化（包括对数据去重、数据集规模扩充）是重要方向；2）初始化策略、加速优化器能够在小批量训练集中优化模型性能，大批量训练目前研究的上限是32K，这与训练速度存在权衡取舍；3）模型压缩与内存管理、计算能力、下游部署等可能是大模型产品化落地的关键技术。近期陈天奇及相关团队MLCLLM项目热度较高，其将大模型部署至手机，这将大幅降低大模型产品的推广和部署门槛，打开to C产品的想象空间；4）部分模型能力如ContextWindow来自底层硬件约束，未来软硬一体可能是关键壁垒，对LLM厂商的全栈实力提出较高要求。另一方面，对于全栈布局不足的厂商，开源大模型构建繁荣开发者生态也是一条可选路径，海外的开源社区迭代较快，能够推动LLaMA拉近与GPT-4的差距。
　　投资建议：百度搜索广告业务预计受益经济复苏，且效果广告受益序列较品牌广告媒介更优先，信息流广告则受益展现形式的效率继续驱动广告业务增长。云业务随着疫后回归常态，项目交付、新签订单逐步兑现，向上复苏趋势明确。ERNIEBOT方面，短期商业化前景尚不清晰，但可作为Option机会，我们认为中长期AIGC方向是AI领域具备广阔应用场景且有希望构建合适商业模式的机会，看好百度在AIGC领域的布局和先发优势。维持对百度集团的“买入”评级。
　　风险分析
　　新业务发展不及预期：AIGC及相关新技术领域仍处于快速发展阶段，技术距离成熟存在较大差距，当前发展预期可能存在过度乐观的情况，业务实际发展仍存在较大不确定性。
　　宏观或行业环境变化：由于公司部分业务处于探索期或成长期，业务模式尚未成熟，同时宏观、行业环境可能发展变化，因此当前时点对未来的预判多数依赖上述环境变化不大或基本稳定的假设。若宏观、行业环境发生较大变化，公司业务受到的影响可能超出我们的预期范围。
　　竞争加剧风险：公司部分业务如搜索广告等面临短视频、应用内搜索的分流，以及搜狗、360等竞争威胁。