事件描述
　　10月31日，月之暗面推出了全新的混合线性注意力架构Kimi Linear，核心目标是解决当前LLMs在处理长序列任务时面临的计算效率和性能瓶颈，当然核心代码已开源并得到验证。
　　事件评论
　　新架构旨在解决传统Transformer在长文本处理和智能体式推理中的核心瓶颈——计算复杂度与内存占用，有望成为下一代Agent LLM的基石技术。（1）3:1混合层级结构，3个KDA层+1个全注意力层(MLA)固定比例堆叠，在该架构下KV缓存减少75%，长序列解码更高效。（2）无位置编码全注意力（NoPE）：MLA取消显式位置编码，专注于纯粹的内容关联，由KDA层承担位置感知，负责处理与位置相关的动态信息。这种策略避免了RoPE频率固定带来的“长度过拟合”，长文本鲁棒性更强，模型外推能力显著提升。（3）与MoE结合：实验中模型总参48B，每次推理仅激活3B（激活256个专家中的8个），稀疏计算进一步提升训练和推理效率，不显著增加计算成本的同时扩展模型参数规模。
　　性能对比，全面超越Full Attention。（1）基础能力测试：随着序列长度从256 →2048，KDA在所有任务均取得最高准确率，且收敛速度显著快于GDN。（2）短上下文性能：同等预训练后在几乎所有类别中，Kimi Linear一致性优于MLA和GDN-H。指令微调阶段，Kimi Linear在通用任务多个基准上都取得最高分，数学与代码任务中亦在AIME 2025等基准超越GDN和MLA。（3）长上下文（128K）性能：关键优势领域，平均分Kimi Linear54.5>MLA 52.2>GDN-H 51.2；RULER基准Kimi Linear 84.3>MLA 81.3；RepoQA（代码理解）：Kimi Linear得分最高。GDN-H在长文本上退化明显，但Kimi Linear稳居第一。（4）RL性能：在数学强化学习任务上Kimi Linear收敛速度更快，训练曲线与MLA差距随时间扩大，测试集性能显著领先。Transformer或将不再是性能的唯一上限。
　　效率对比，Kimi Linear的优势随着序列长度的增加而急剧扩大。（1）解码速度（1M长度），MLA速度为每token需要11.48ms，Kimi Linear仅为1.84ms，快6.3x。（2）预填充速度（1M长度）：Kimi Linear速度是MLA的2.9x。（3）内存占用：Kimi Linear的KV缓存大小仅为纯MLA模型的约25%。未来模型厂商有望以更低推理成本获得更优体验。
　　总结来看，Kimi Delta Attention (KDA)本质是一种表达能力更强的线性注意力模块，通过更精细的门控机制增强表达能力，再以定制的、高度优化的块处理算法实现卓越的硬件效率。KDA展现了线性注意力在表达能力上的巨大潜力，尤其是长文本推理、多Agent和企业级知识系统场景下，推理成本与延迟显著下降有望实现大规模部署，加快应用落地。
　　关注模型后续发布。当前时点大模型技术仍在不断迭代，考虑到当前成本仍为制约token消耗量的核心因素，商业化落地需要进一步关注模型在降本层面的效果。继续看好国产AI产业链，持续重点推荐铲子股和卡位优势显著的巨头本身。
　　风险提示
　　1、AI技术发展不及预期；
　　2、下游应用需求不及预期。