>> 华泰证券-科技行业:GPT-6 Astra发布,LoopTransformer或打开新Scaling路径-260909
| 上传日期: |
2026/9/9 |
大小: |
1232KB |
| 格式: |
pdf 共11页 |
来源: |
华泰证券 |
| 评级: |
增持 |
作者: |
郭雅丽,袁泽世 |
| 下载权限: |
此报告为加密报告 |
|
|
GPT-6 Astra发布后,市场对其复杂任务和长程Agent能力提升高度关注,底层架构层面变化也随之成为讨论重点。根据The Information于9月1日报道,OpenAI可能正在使用Loop Transformer技术;智谱也已将有效深度列为重点Scaling方向,并完成相关初步实验。我们认为,Loop Transformer有望拓展模型Scaling路径,提升单位Token计算强度并拉动算力需求;同时,Loop Transformer增加内部隐式计算,模型安全及可观察性的重要性也将进一步提升。建议关注基础模型、算力及AI安全相关方向。 Astra或引入Loop Transformer,前沿模型开始探索计算深度Scaling The Information于9月1日报道,OpenAI可能使用了Loop Transformer技术;OpenAI首席科学家Jakub Pachocki随后表示,包括Astra在内的当前前沿模型,其计算图深度不超过GPT-4的2倍。同时我们注意到,Astra在部分监控场景中会主动减少CoTToken,这类减少显式推理但保持复杂任务能力的表现,与Loop Transformer的技术特征较为一致。结合媒体报道及OpenAI回应,我们倾向于认为Astra已经引入相关技术,但当前仍以浅循环为主。考虑到智谱在26年中报中也将Loop Transformer作为重要方向,我们认为前沿模型厂商开始探索计算深度Scaling。 计算深度有望成为新的Scaling维度 Loop Transformer通过循环复用中间层,让同一组参数可以多次处理隐藏状态,并根据任务复杂度调整循环次数,在参数量变化有限的情况下增加每Token计算量。随着参数扩张推高预训练和部署成本,显式CoTScaling也会增加推理时延和KVCache占用,计算深度Scaling重新受到关注。我们认为,当前研究仍主要集中在中小规模模型,前沿大模型仍处于早期工程化阶段,后续计算深度Scaling有望与预训练、后训练及显式Test-time Scaling共同推动模型能力提升。 Loop Transformer提升单位Token计算强度,AI安全重要性同步上升 硬件侧,循环次数增加会直接提升层计算和每Token FLOPs,算力是受益最明确的环节,同时,我们认为随着模型Agent能力提升,Computer Use与工具调用有望增加CPU侧执行负载。软件侧,前沿Agent已经出现绕过隔离、未经授权访问外部系统等行为,Astra也成为OpenAI首个达到Critical网络安全能力门槛的模型。随着Loop Transformer增加内部隐式计算,模型行为或更难持续观察和监控,建议关注AI安全及Infra侧模型可观察性相关方向。 投资结论 我们建议关注三条投资主线:1)基础模型。Loop Transformer开始进入前沿模型讨论,模型Scaling路径继续拓展,有望为后续能力提升打开新的计算维度,看好基础模型环节。相关公司包含智谱、MiniMax。2)算力。LoopTransformer通过增加循环次数提升每Token计算强度,算力总需求有望扩张,模型提升Computer Use能力,增加CPU侧执行负载,建议关注CPU相关机会。相关公司包括禾盛新材、海光信息、中国长城。3)AI安全及模型可观察性。Loop Transformer增加内部计算,叠加前沿Agent自主执行能力提升,模型行为监控和运行环境防护难度进一步提高,建议关注AI安全及Infra侧模型可观察性相关方向。 风险提示:宏观经济波动,技术进步不及预期,中美竞争加剧。
|
|