新版ChatGPT：落地语音对话和识图功能
　　9月25日，OpenAI官宣即将在ChatGPT中推出语音和多模态功能，支持用户直接与ChatGPT进行语音对话和多模态图像问答。未来两周，新功能将向ChatGPTPlus和Enterprise用户开放，其中语音对话（需开启设置）将在手机的iOS和Android客户端推出，识图功能将面向包含网页端的所有平台。OpenAI在3月提出的GPT-4多模态识图能力正式落地。安全性上，OpenAI通过Red Team测试模型在极端主义和科学领域的风险，且拒绝对图片中的人进行分析，从而实现负责任的AI。完整版的多模态ChatGPT将在手机端率先实现，或将开启智能终端时代。
　　情理之中：复盘OpenAI的多模态之路
　　3月14日，OpenAI官宣GPT-4，并在演示和技术报告中展示了多模态识图能力（仅展示了单图识别）。9月18日，据The Information信息，出于视觉功能可能被不良利用等安全原因，多模态功能早期仅向Be My Eyes公司提供，近期OpenAI正准备将其广泛推出。9月25日，OpenAI官宣验证了该信息。值得注意的是，The Information还指出OpenAI正在训练新的多模态模型Gobi来抗衡Google即将推出的多模态模型Gemini，而本次的GPT-4V(ison)并非多模态的Gobi模型。此外，5月18日，ChatGPT iOS发布时，已支持语音多模态，即Whisper语音转文本输入。
　　意料之外：多图识别、聚焦分析和语音对话
　　结合官方发布的视频和博客，我们总结了新版ChatGPT超预期的多模态能力：1）支持用户同时上传多张图像，并以自然语言的方式提问，ChatGPT将结合文字与图像多模态进行理解和回答，帮助用户分析日常生活中的问题和工作中的图表等复杂数据。2）ChatGPT手机App内置了绘图工具，支持用户标注图像中的具体对象，让ChatGPT聚焦性的推理作答。3）赋予了ChatGPT语音输出能力，结合之前已集成的Whisper语音识别能力，实现了ChatGPT和用户的完整语音对话，并支持5种音色。
　　技术解析：语音新模型+多模态涌现能力
　　语音模态，语音输出功能基于新的文本到语音模型，能够从文本和样本语音中生成人类音频。图像模态，OpenAI公开了GPT-4V的system card：1）GPT-4V于2022年训练完成。2）GPT-4V训练方式与GPT-4相同，先使用互联网图像和文本数据进行混合预训练，来预测下一个单词；然后通过InstructGPT沿用至今的RLHF（基于人类反馈的强化学习）技术来用额外数据对模型进行微调，实现与人类的对齐。3）在文本和图像多模态的混合，以及大规模模型提供的智能和推理能力下，模型能够涌现新的能力。
　　未来布局：多模态ChatGPT开启智能终端时代，AGI更进一步
　　我们认为，大模型向智能终端侧部署是模型应用的重要方向之一。本次ChatGPT更新，完整的语音和多模态识图能力率先在手机端实现，而PC端的语音功能将被延后，智能终端对多模态的支持能力优势开始显现。从OpenAI官方介绍视频和文档看，多模态ChatGPT已能够较为全面的覆盖用户的生活和工作场景。未来随着模型多模态能力的迭代完善，或能赋能机器人、汽车等更加复杂的智能终端，AGI更进一步。
　　风险提示：宏观经济波动，技术进步不及预期。本报告内容均基于客观信息整理，不构成投资建议。
　　

研究报告全文：证券研究报告计算机多模态ChatGPTAGI更进一步华泰研究计算机增持维持2023年9月26日中国内地专题研究研究员谢春生新版ChatGPT落地语音对话和识图功能SACNoS0570519080006xiechunshenghtsccomSFCNoBQZ9388621298720369月25日OpenAI官宣即将在ChatGPT中推出语音和多模态功能支持用户直接与ChatGPT进行语音对话和多模态图像问答未来两周新功能联系人袁泽世PhD将向ChatGPTPlus和Enterprise用户开放其中语音对话需开启设置SACNoS0570122080053yuanzeshihtsccom将在手机的iOS和Android客户端推出识图功能将面向包含网页端的所有862128972228平台OpenAI在3月提出的GPT-4多模态识图能力正式落地安全性上OpenAI通过RedTeam测试模型在极端主义和科学领域的风险且拒绝对行业走势图图片中的人进行分析从而实现负责任的AI完整版的多模态ChatGPT将在手机端率先实现或将开启智能终端时代计算机沪深30070情理之中复盘OpenAI的多模态之路503月14日OpenAI官宣GPT-4并在演示和技术报告中展示了多模态识图能力仅展示了单图识别9月18日据TheInformation信息出于31视觉功能可能被不良利用等安全原因多模态功能早期仅向BeMyEyes公11司提供近期OpenAI正准备将其广泛推出9月25日OpenAI官宣验证9了该信息值得注意的是TheInformation还指出OpenAI正在训练新的多Sep-22Jan-23May-23Sep-23模态模型来抗衡即将推出的多模态模型而本次的GobiGoogleGemini资料来源Wind华泰研究GPT-4Vison并非多模态的Gobi模型此外5月18日ChatGPTiOS发布时已支持语音多模态即Whisper语音转文本输入意料之外多图识别聚焦分析和语音对话结合官方发布的视频和博客我们总结了新版ChatGPT超预期的多模态能力1支持用户同时上传多张图像并以自然语言的方式提问ChatGPT将结合文字与图像多模态进行理解和回答帮助用户分析日常生活中的问题和工作中的图表等复杂数据2ChatGPT手机App内置了绘图工具支持用户标注图像中的具体对象让ChatGPT聚焦性的推理作答3赋予了ChatGPT语音输出能力结合之前已集成的Whisper语音识别能力实现了ChatGPT和用户的完整语音对话并支持5种音色技术解析语音新模型多模态涌现能力语音模态语音输出功能基于新的文本到语音模型能够从文本和样本语音中生成人类音频图像模态OpenAI公开了GPT-4V的systemcard1GPT-4V于2022年训练完成2GPT-4V训练方式与GPT-4相同先使用互联网图像和文本数据进行混合预训练来预测下一个单词然后通过InstructGPT沿用至今的RLHF基于人类反馈的强化学习技术来用额外数据对模型进行微调实现与人类的对齐3在文本和图像多模态的混合以及大规模模型提供的智能和推理能力下模型能够涌现新的能力未来布局多模态ChatGPT开启智能终端时代AGI更进一步我们认为大模型向智能终端侧部署是模型应用的重要方向之一本次ChatGPT更新完整的语音和多模态识图能力率先在手机端实现而PC端的语音功能将被延后智能终端对多模态的支持能力优势开始显现从OpenAI官方介绍视频和文档看多模态ChatGPT已能够较为全面的覆盖用户的生活和工作场景未来随着模型多模态能力的迭代完善或能赋能机器人汽车等更加复杂的智能终端AGI更进一步风险提示宏观经济波动技术进步不及预期本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1计算机图表1多模态ChatGPT图解耳机按钮可以启动ChatGPT语音对话功能支持5种音色选择上传图片时支持框选需要ChatGPT聚焦的对象部分ChatGPT将在推理中充分考虑该部分对象文本图像多模态prompt资料来源OpenAI官网华泰研究图表2提及公司列表公司代码公司简称GOOGLUS谷歌未上市OpenAI资料来源Bloomberg华泰研究风险提示宏观经济波动若宏观经济波动产业变革及新技术的落地节奏或将受到影响宏观经济波动还可能对AI投入产生负面影响从而导致整体行业增长不及预期技术进步不及预期若AI技术和大模型技术进步不及预期或将对相关的行业落地情况产生不利影响本报告内容均基于客观信息整理不构成投资建议免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2计算机免责声明分析师声明本人谢春生兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3计算机香港-重要监管披露华泰金融控股香港有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员有关重要的披露信息请参华泰金融控股香港有限公司的网页httpswwwhtsccomhkstockdisclosure其他信息请参见下方美国-重要监管披露美国在美国本报告由华泰证券美国有限公司向符合美国监管规定的机构投资者进行发表与分发华泰证券美国有限公司是美国注册经纪商和美国金融业监管局FINRA的注册会员对于其在美国分发的研究报告华泰证券美国有限公司根据1934年证券交易法修订版第15a-6条规定以及美国证券交易委员会人员解释对本研究报告内容负责华泰证券美国有限公司联营公司的分析师不具有美国金融监管FINRA分析师的注册资格可能不属于华泰证券美国有限公司的关联人员因此可能不受FINRA关于分析师与标的公司沟通公开露面和所持交易证券的限制华泰证券美国有限公司是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司任何直接从华泰证券美国有限公司收到此报告并希望就本报告所述任何证券进行交易的人士应通过华泰证券美国有限公司进行交易美国-重要监管披露分析师谢春生本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员董事或顾问分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益本披露中所提及的相关人士包括FINRA定义下分析师的家庭成员分析师根据华泰证券的整体收入和盈利能力获得薪酬包括源自公司投资银行业务的收入华泰证券股份有限公司其子公司和或其联营公司及或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券股份有限公司其子公司和或其联营公司及或其高级管理层董事和雇员可能会持有本报告中所提到的任何证券或任何相关投资头寸并可能不时进行增持或减持该证券或投资因此投资者应该意识到可能存在利益冲突评级说明投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力含此期间的股息回报相对基准表现的预期A股市场基准为沪深300指数香港市场基准为恒生指数美国市场基准为标普500指数具体如下行业评级增持预计行业股票指数超越基准中性预计行业股票指数基本与基准持平减持预计行业股票指数明显弱于基准公司评级买入预计股价超越基准15以上增持预计股价超越基准515持有预计股价相对基准波动在-155之间卖出预计股价弱于基准15以上暂停评级已暂停评级目标价及预测以遵守适用法规及或公司政策无评级股票不在常规研究覆盖范围内投资者不应期待华泰提供该等证券及或公司相关的持续或补充信息免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4计算机法律实体披露中国华泰证券股份有限公司具有中国证监会核准的证券投资咨询业务资格经营许可证编号为91320000704041011J香港华泰金融控股香港有限公司具有香港证监会核准的就证券提供意见业务资格经营许可证编号为AOK809美国华泰证券美国有限公司为美国金融业监管局FINRA成员具有在美国开展经纪交易商业务的资格经营业务许可编号为CRD298809SEC8-70231华泰证券股份有限公司南京北京南京市建邺区江东中路228号华泰证券广场1号楼邮政编码210019北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层邮政编码100032电话862583389999传真862583387521电话861063211166传真861063211275电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom深圳上海深圳市福田区益田路5999号基金大厦10楼邮政编码518017上海市浦东新区东方路18号保利广场E栋23楼邮政编码200120电话8675582493932传真8675582492062电话862128972098传真862128972068电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom华泰金融控股香港有限公司香港中环皇后大道中99号中环中心58楼5808-12室电话852-3658-6000传真852-2169-0770电子邮件researchhtsccomhttpwwwhtsccomhk华泰证券美国有限公司美国纽约公园大道280号21楼东纽约10017电话212-763-8160传真917-725-9702电子邮件Huataihtsc-uscomhttpwwwhtsc-uscom版权所有2023年华泰证券股份有限公司免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5