>> 中国信通院-大模型词元服务性能监测报告(2026年)-261026
| 上传日期: |
2026/10/26 |
大小: |
4132KB |
| 格式: |
pdf 共42页 |
来源: |
中国信通院 |
| 评级: |
-- |
作者: |
-- |
| 下载权限: |
无限制-登录即可下载 |
|
|
随着大模型技术的迅速迭代,词元(Token)服务成为从技术走向应用的关键点,我国日均Token调用量持续攀升,2026年6月,国内词元日均消耗量约500万亿,是2025年12月的近4倍。产业中越来越多的MaaS(Model as a Service,模型即服务)平台厂商通过公有云API方式供给大模型Token服务。然而用户对Token服务性能缺乏直观的判断依据,且面临选型困难等各类问题。 为有效衡量服务性能,中国信息通信研究院(以下简称“中国信通院”)人工智能研究所依托人工智能大模型及软硬件评测工业和信息化部重点实验室(以下简称“实验室”),联合中国人工智能产业发展联盟(AIIA)模型服务(MaaS)工作组和高质量词元服务工作组,自2025年以来持续开展公有云大模型Token服务性能监测工作。 监测显示,大模型Token服务性能整体呈现提升态势,头部平台在每秒Token吞吐量等关键指标上持续优化,满足多数通用场景要求。本报告基于2026年1月-8月的监测数据,围绕各平台Token服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度,月均TPS相较2025年实现翻倍,原厂大模型整体时延有所增长,但开源模型在第三方平台上时延持续优化。对比原厂大模型在其官方平台,以及DeepSeek、Qwen、GLM、Kimi四款开源模型在第三方平台性能表现上的差异,并进一步分析影响Token服务性能的关键因素,旨在为用户选型提供参考,并为产业界优化服务能力提供方向指引。
|
|