>> 首创证券-电子行业简评报告:CoD强化大模型不可能三角,加速端侧应用落地-250325
| 上传日期: |
2025/3/25 |
大小: |
640KB |
| 格式: |
pdf 共9页 |
来源: |
首创证券 |
| 评级: |
看好 |
作者: |
何立中 |
| 行业名称: |
电子 |
| 下载权限: |
此报告为加密报告 |
|
|
思维链CoT:拆解复杂问题,形成详细的中间推理步骤。2022年1月的论文《 Chain-of-Thought Prompting Elicits Reasoning in LargeLanguage Models》中提出思维链的概念。大模型通过强调详细、逐步的推理过程的思维链(Chain-of-Thought, CoT)提示机制,在解决复杂推理任务中展现了较好的性能。 草稿链CoD:简化中间推理步骤,减少token使用量和推理延迟。2025年3月的论文《Chain of Draft: Thinking Faster by Writing Less》中提出了不同于思维链(CoT)的草稿链(CoD),草稿链CoD鼓励大模型在每个步骤生成简洁、信息密集的输出,而不是过度强调中间步骤。简单来说,思维链CoT鼓励大模型尽可能详细地展示推理过程,而草稿链CoD要求大模型尽可能简洁地表达关键信息。 CoD在准确性上与CoT相当甚至超越,同时仅使用7.6%的token,显著降低了各种推理任务的成本和延迟。CoD在数学推理(GSM8K数据集)、常识推理(日期/体育理解任务)和符号推理(抛硬币预测)等任务中,通过减少冗余步骤并聚焦于关键信息,CoD在准确性上达到甚至超越了CoT,同时仅使用了7.6%的token,显著降低了各类推理任务的成本和延迟。 大模型不可能三角。根据GPT-4与DeepSeek-R1对比、《Chain of Draft:Thinking Faster by Writing Less》中思维链与草稿链的数据对比,再结合阿里云发布的《GenAI技术落地白皮书》中的“大模型不可能三角”:成本、效果、性能,我们认为发展大模型不只有一条路径。DeepSeekR1是在牺牲推理精度的情况下,以低成本(较少GPU算力)的方式提升了推理速度(性能)。GPT-4在高成本、低速度(性能)的情况下实现了高精度(效果)。同理,草稿链也是在牺牲精度(效果)的情况下,以低成本(较少token)的方式提升了推理速度(性能)。 在高端算力芯片受限的情况下,端侧推理应用也可以获得大发展。调整速度、成本、精度的权重,来匹配不同的应用场景。在拥有高端算力芯片的条件下,例如英伟达B200等芯片,面向医疗、金融等深度应用高端市场,可以通过牺牲速度和成本获得高精度高性能。在高端算力芯片受限的条件下,可利用算力较低的端侧算力芯片,例如瑞芯微3588芯片,在面向智能客服、机器人等端侧应用领域,优化后的大模型在精度可接受的范围内,可以实现低成本和高速度。DeepSeek和CoD,证明了在高端算力芯片受限的情况下,基于非高端算力芯片的端侧推理应用也可以获得大发展。 投资建议。从芯片角度,建议关注高端算力芯片和较低算力的端侧芯片。从应用角度,建议关注搭载算力芯片和加载AI大模型的推理智能终端。 风险提示。算力芯片需求不及预期。
|
|