研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 首创证券-电子行业简评报告:CoD强化大模型不可能三角,加速端侧应用落地-250325
上传日期:   2025/3/25 大小:   640KB
格式:   pdf  共9页 来源:   首创证券
评级:   看好 作者:   何立中
行业名称:   电子
下载权限:   此报告为加密报告
思维链CoT:拆解复杂问题,形成详细的中间推理步骤。2022年1月的论文《 Chain-of-Thought Prompting Elicits Reasoning in LargeLanguage Models》中提出思维链的概念。大模型通过强调详细、逐步的推理过程的思维链(Chain-of-Thought, CoT)提示机制,在解决复杂推理任务中展现了较好的性能。
  草稿链CoD:简化中间推理步骤,减少token使用量和推理延迟。2025年3月的论文《Chain of Draft: Thinking Faster by Writing Less》中提出了不同于思维链(CoT)的草稿链(CoD),草稿链CoD鼓励大模型在每个步骤生成简洁、信息密集的输出,而不是过度强调中间步骤。简单来说,思维链CoT鼓励大模型尽可能详细地展示推理过程,而草稿链CoD要求大模型尽可能简洁地表达关键信息。
  CoD在准确性上与CoT相当甚至超越,同时仅使用7.6%的token,显著降低了各种推理任务的成本和延迟。CoD在数学推理(GSM8K数据集)、常识推理(日期/体育理解任务)和符号推理(抛硬币预测)等任务中,通过减少冗余步骤并聚焦于关键信息,CoD在准确性上达到甚至超越了CoT,同时仅使用了7.6%的token,显著降低了各类推理任务的成本和延迟。
  大模型不可能三角。根据GPT-4与DeepSeek-R1对比、《Chain of Draft:Thinking Faster by Writing Less》中思维链与草稿链的数据对比,再结合阿里云发布的《GenAI技术落地白皮书》中的“大模型不可能三角”:成本、效果、性能,我们认为发展大模型不只有一条路径。DeepSeekR1是在牺牲推理精度的情况下,以低成本(较少GPU算力)的方式提升了推理速度(性能)。GPT-4在高成本、低速度(性能)的情况下实现了高精度(效果)。同理,草稿链也是在牺牲精度(效果)的情况下,以低成本(较少token)的方式提升了推理速度(性能)。
  在高端算力芯片受限的情况下,端侧推理应用也可以获得大发展。调整速度、成本、精度的权重,来匹配不同的应用场景。在拥有高端算力芯片的条件下,例如英伟达B200等芯片,面向医疗、金融等深度应用高端市场,可以通过牺牲速度和成本获得高精度高性能。在高端算力芯片受限的条件下,可利用算力较低的端侧算力芯片,例如瑞芯微3588芯片,在面向智能客服、机器人等端侧应用领域,优化后的大模型在精度可接受的范围内,可以实现低成本和高速度。DeepSeek和CoD,证明了在高端算力芯片受限的情况下,基于非高端算力芯片的端侧推理应用也可以获得大发展。
  投资建议。从芯片角度,建议关注高端算力芯片和较低算力的端侧芯片。从应用角度,建议关注搭载算力芯片和加载AI大模型的推理智能终端。
  风险提示。算力芯片需求不及预期。
  
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1