>> 中泰证券-计算机行业PanGu~Σ:华为万亿参数语言大模型-230411
| 上传日期: |
2023/4/11 |
大小: |
1714KB |
| 格式: |
pdf 共14页 |
来源: |
中泰证券 |
| 评级: |
-- |
作者: |
闻学臣 |
| 行业名称: |
计算机 |
| 下载权限: |
此报告为加密报告 |
|
|
PanGu-Σ:1.085万亿参数的语言大模型 2023年3月,华为发布了PanGu-Σ语言大模型。该模型的训练采用了MindSpore架构,使用512块昇腾910芯片训练了100天。与之前的模型相比,PanGu-Σ的模型规模大规模扩大了。PanGu-Σ在各种中文NLP下游任务的零样本学习中展现出了SOTA结果。此外,它在开放领域对话、问答、机器翻译和代码生成的应用数据上进行微调时,表现出强大的能力。 PanGu-Σ是在13B版本的PanGu- α模型基础上进行了训练。训练量为3290亿tokens,参数量为1.085万亿。 投资观点 以大模型、生成式为代表的新一代人工智能技术与商业变革已经拉开了大幕,中国以华为为代表的科技巨头纷纷加大布局,以抢占下一代的超级入口和计算平台,其中也将重塑各行各业的模式与格局,建议可以沿着三个维度寻找机会。 模型厂商,未来的格局将是基础大模型+行业/场景模型,建议关注科大讯飞、三六零、格灵深瞳、云天励飞、云从科技等; 应用场景厂商,任何一轮技术的创新最终都将带来应用的大发展、大繁荣,建议三类标准寻找应用机会: 1)与AIGC技术相关度更为直接的应用场景,内容的丰富与工具生产力的提升,建议关注金山办公、广联达、万兴科技、中望软件、彩讯股份等; 2)高价值、高壁垒、数据量大的垂直场景,如金融、医疗、教育等,建议关注恒生电子、同花顺、明源云、中科软、宇信科技、京北方、长亮科技、顶点软件、创业慧康、嘉和美康、久远银海、卫宁健康等; 3)华为生态合作伙伴,建议关注中国软件、麒麟信安、诚迈科技、赛意信息、法本信息、软通动力、神州数码等; 安全厂商,人工智能时代攻防双方都将迎来新的机会和挑战,建议关注深信服、安恒信息、启明星辰、三未信安、天融信、安博通、迪普科技、奇安信、亚信安全、中孚信息、绿盟科技、山石网科、永信至诚等。 风险提示:技术落地不达预期,政策变化,格局恶化,疫情再次大规模传播。
|
|