>> 中信建投-谷歌A(GOOGL.US)Google 2023 I/O大会点评:PaLM 2效率优化显著,性能对标GPT-4-230514
| 上传日期: |
2023/5/15 |
大小: |
774KB |
| 格式: |
pdf 共6页 |
来源: |
中信建投 |
| 评级: |
-- |
作者: |
孙晓磊,崔世峰,许悦 |
| 下载权限: |
此报告为加密报告 |
|
|
核心观点 PaLM 2吸纳了学界的研究进展,在降低参数规模的情况下,增加训练数据和训练量,优化训练数据集结构,并较PaLM显著优化性能。横向对比,PaLM 2基本处于GPT-3.5~GPT-4的水平,我们对Google在大模型领域的追赶保持乐观态度。 事件 Google I/O大会举办,推出PaLM 2,对标GPT-4 Google I/O 2023于美国时间5月10日(北京时间5月11日)在加州举行,Google推出PaLM 2,改进了数学、代码、推理、多语言翻译和自然语言生成能力,利用谷歌最新的TPU算力基础设施提升了训练速度。目前Google Brain与DeepMind合并后聚焦多模态模型研究(代号Gemini)。产品化方面,Google推出多模态版Bard,并将生成式AI工具嵌入短信、地图、Google文档等应用。 简评 PaLM 2技术报告分析 在参数规模和训练数据方面,Google延续了此前DeepMind在Scaling Law方面的研究,但指出Training Loss并非下游任务表现的最好代理指标,这方面仍需进一步研究,也就是二者的关系并非此前DeepMind研究中的一一对应。 在训练集方面,PaLM 2训练数据集较此前显著扩大(significantlylarger),并且除英语外囊括了其他语言的语料。此外,PaLM 2进行了多方法的数据清洗,包括重复数据删除、敏感个人信息屏蔽、过滤等,最终实现英语数据量小于PaLM 1但效果好于此前,表明训练数据质量优化对性能的提升作用。 语言测试能力上,PaLM 2强于GPT-3.5,但较GPT-4仍有一定差距。推理能力,PaLM 2与GPT-4在不同测试集上互有胜负。数学上,PaLM 2在未采用self-consistency基础上表现与GPT-4有较大差距,使用后表现好于GPT-4。代码能力,PaLM 2与GPT-3.5也存在较大差距。 风险分析 业务发展不及预期:云计算等业务竞争格局仍处于较快变化阶段,我们对谷歌的估值和投资判断很大程度上是基于主观预期,而市场竞争加剧可能影响微软相关业务的表现,使预期与实际业绩产生偏差。 行业增长不及预期:疫情下居家办公等需求脉冲式增长,这使得重新开放后高基数、需求透支下业绩可能增速将有所放缓。 监管不确定性:云计算等业务涉及多个国家和地区,同时满足不同国家的监管要求及潜在的变化会对业务产生一定不确定性的影响。
|
|