高通、华为实现AI大模型在终端的轻量化部署，关注边/端侧算力机会
　　3月2日，高通在MWC 2023大会发布全球首个运行在Android手机上的Stable Diffusion终端侧演示，Stable Diffusion模型参数超过10亿，高通利用其AI软件栈对模型进行量化、编译和硬件加速优化，使其成功在搭载第二代骁龙8移动平台的手机上运行。此外，华为新一代P60系列手机将于5月上线智慧搜图功能，该功能通过对模型进行小型化处理，实现其在端侧轻量化应用。我们认为模型压缩技术是实现AI大模型在边/端部署的核心技术。当前，谷歌、微软、腾讯等厂商在该领域均有布局，将加速AI技术与智能终端融合，国内SoC设计公司有望深度受益。
　　模型压缩技术：有效降低推理算力需求，助力大模型的边/端侧部署
　　模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求：1）量化：将浮点计算转成低比特定点计算；2）网络剪枝：去除神经网络中冗余的通道、神经元节点等；3）知识蒸馏：将大模型作为教师模型，用其输出训练性能接近、结构更简的学生模型。以清华大学唐杰教授团队2022年8月发布的1300亿参数模型GLM-130B为例，原模型支持在一台A100（40G8）或V100（32G8）服务器上进行推理，而将模型量化至INT4精度后，相较INT8精度其所需GPU内存降低50%，且可在一台4×RTX 3090（24G）或8×RTX 2080Ti（11G）服务器上进行推理。
　　全球洞察：谷歌等已将模型压缩技术紧密结合移动端模型部署框架/工具
　　上世纪学术界率先提出网络剪枝技术，并一直引领模型压缩技术的突破。业界的发展紧随其后，并进一步将模型压缩技术集成至移动端模型部署框架/工具，主要参与者包括：1）深度学习框架厂商：谷歌（MLKit）、Meta（PyTorchMobile）；2）硬件厂商：英伟达（TensorRT）、英特尔（NNCF）、高通（AIMET）等；以及3）云服务厂商：微软（ONNXRuntime）等。以谷歌2018年推出的MLKit为例，核心功能Learn2Compress模型压缩技术结合网络剪枝、量化以及知识蒸馏三项技术，可实现在CIFAR-10图像分类测试任务中生成较NASNet尺寸缩小94倍的轻量化模型，且仍保持90%以上精度。
　　国内现状：互联网厂商引领发展，国内SoC设计企业有望受益
　　腾讯、百度为代表的国内互联网厂商在模型压缩技术上也取得长足进展。2018年腾讯推出全球首款自动化深度学习模型压缩框架PocketFlow，2022年百度开源的文心ERNIE-Tiny在线蒸馏方案可得到参数规模仅为原模型0.02%且效果相当的轻量级模型。我们认为伴随模型压缩技术发展，AI将加速与终端设备融合应用，国内相关领域布局公司包括：晶晨股份（机顶盒/电视/音箱SoC），全志科技（国内音箱SoC龙头），瑞芯微（AIOTSoC芯片）、恒玄科技（可穿戴蓝牙音频SoC）、炬芯科技（智能音频SoC）、乐鑫科技（国内Wi-Fi MCU龙头）、中科蓝讯（可穿戴蓝牙音频SoC）等。
　　风险提示：中美贸易摩擦加剧风险；AI及技术落地不及预期；本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。
　　

研究报告全文：证券研究报告电子关注AI大模型在终端侧的轻量化应用华泰研究电子增持维持2023年4月15日中国内地专题研究研究员黄乐平PhD高通华为实现AI大模型在终端的轻量化部署关注边端侧算力机会SACNoS0570521050001lepinghuanghtsccomSFCNoAUZ066852365860003月2日高通在MWC2023大会发布全球首个运行在Android手机上的StableDiffusion终端侧演示StableDiffusion模型参数超过10亿高通利研究员张皓怡用其AI软件栈对模型进行量化编译和硬件加速优化使其成功在搭载第SACNoS0570522020001zhanghaoyihtsccom二代骁龙移动平台的手机上运行此外华为新一代系列手机将于8621289722288P605月上线智慧搜图功能该功能通过对模型进行小型化处理实现其在端侧轻研究员陈旭东量化应用我们认为模型压缩技术是实现AI大模型在边端部署的核心技术SACNoS0570521070004chenxudonghtsccom当前谷歌微软腾讯等厂商在该领域均有布局将加速AI技术与智能SFCNoBPH392862128972228终端融合国内SoC设计公司有望深度受益联系人陈钰SACNoS0570121120092chenyu019111htsccom模型压缩技术有效降低推理算力需求助力大模型的边端侧部署862128972228模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求1量化将浮点计算转成低比特定点计算2网络剪枝去行业走势图除神经网络中冗余的通道神经元节点等3知识蒸馏将大模型作为教师模型用其输出训练性能接近结构更简的学生模型以清华大学唐杰教电子沪深300授团队2022年8月发布的1300亿参数模型GLM-130B为例原模型支持17在一台A10040G8或V10032G8服务器上进行推理而将模型量化至精度后相较精度其所需内存降低且可在一8INT4INT8GPU50台4RTX309024G或8RTX2080Ti11G服务器上进行推理110全球洞察谷歌等已将模型压缩技术紧密结合移动端模型部署框架工具19上世纪学术界率先提出网络剪枝技术并一直引领模型压缩技术的突破业Apr-22Aug-22Dec-22Apr-23界的发展紧随其后并进一步将模型压缩技术集成至移动端模型部署框架资料来源Wind华泰研究工具主要参与者包括1深度学习框架厂商谷歌MLKitMetaPyTorchMobile2硬件厂商英伟达TensorRT英特尔NNCF高通AIMET等以及3云服务厂商微软ONNXRuntime等以谷歌2018年推出的MLKit为例核心功能Learn2Compress模型压缩技术结合网络剪枝量化以及知识蒸馏三项技术可实现在CIFAR-10图像分类测试任务中生成较NASNet尺寸缩小94倍的轻量化模型且仍保持90以上精度国内现状互联网厂商引领发展国内SoC设计企业有望受益腾讯百度为代表的国内互联网厂商在模型压缩技术上也取得长足进展2018年腾讯推出全球首款自动化深度学习模型压缩框架PocketFlow2022年百度开源的文心ERNIE-Tiny在线蒸馏方案可得到参数规模仅为原模型002且效果相当的轻量级模型我们认为伴随模型压缩技术发展AI将加速与终端设备融合应用国内相关领域布局公司包括晶晨股份机顶盒电视音箱SoC全志科技国内音箱SoC龙头瑞芯微AIOTSoC芯片恒玄科技可穿戴蓝牙音频SoC炬芯科技智能音频SoC乐鑫科技国内Wi-FiMCU龙头中科蓝讯可穿戴蓝牙音频SoC等风险提示中美贸易摩擦加剧风险AI及技术落地不及预期本研报中涉及到未上市公司或未覆盖个股内容均系对其客观公开信息的整理并不代表本研究团队对该公司该股票的推荐或覆盖免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1电子图表1高通AI软件栈资料来源高通中国官网华泰研究图表2StableDiffusion在搭载第二代骁龙8移动平台的手机上根据文本提示生成的图像资料来源高通官网华泰研究图表3HUAWEIP60系列带来基于多模态大模型的智慧搜图功能资料来源华为官网华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2电子图表4模型压缩主要三种方式资料来源华为云官网华泰研究图表5GLM-130B模型量化基准测试表现GLM-130BGPT-3模型精度FP16INT8INT4FP16MMLUacc447544714480439LAMBADAacc802180217947762PileapartBPB063406380641074注表示该基准测试得分越高模型性能越好表示改基准测试得分越低模型性能越好资料来源清华大学唐杰教授团队GLM-130BANOPENBILINGUALPRE-TRAINEDMODEL202210华泰研究图表6SparseGPT将OPT-175B压缩至不同稀疏水平的表现图表7SparseGPT将BLOOM-176B压缩至不同稀疏水平的表现注Perplexity困惑度是语言模型性能衡量指标数值越低表明模型越好注Perplexity困惑度是语言模型性能衡量指标数值越低表明模型越好资料来源EliasFrantarDanAlistarhSparseGPTMassiveLanguageModels资料来源EliasFrantarDanAlistarhSparseGPTMassiveLanguageModelsCanbeAccuratelyPrunedinOne-Shot20233华泰研究CanbeAccuratelyPrunedinOne-Shot20233华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3电子图表8CPU下文心ERNIE30轻量级模型时延与效果图图表9GPU下文心ERNIE30轻量级模型时延与效果图资料来源百度飞浆官网华泰研究资料来源百度飞浆官网华泰研究图表10全球主要厂商的代表模型压缩技术框架厂商模型压缩技技术框架初始推出时间模型压缩效果英伟达TensorRT2017年2021年推出TensorRT82可实现FP16和INT8优化将推理速度提高6倍阿里巴巴PAI2017年包含多种量化压缩技术其中离线量化相关策略支持随机稀疏压缩与训练后量化技术叠加使用达到60稀疏度时叠加INT8量化压缩比可达66倍左右谷歌MLKitLearn2Compress模型压缩技术2018年ImageNet任务方面Learn2Compress的模型大小仅为Inceptionv3基准的122MobileNetv1基准的14准确度下降比例仅为46-7腾讯AILabPocketFlow框架2018年在CIFAR-10数据集上PocketFlow以ResNet-56作为基准模型进行压缩优化实现25倍加速下分类精度损失0433倍加速下精度损失07METAPyTorchMobile框架2018年--微软ONNXRuntime2018年--华为TinyBERT轻量化技术2019年压缩模型TinyBERT参数量仅为原始BERT模型的13推断加速达到9倍在自然语言处理标准评测GLUE上获得原始BERT模型96的效果英特尔NNCF2019年--百度文心大模型ERNIE-Tiny轻量化技术2019年2022年开源的文心ERNIE-Tiny在线蒸馏方案模型参数压缩率可达9998压缩版模型仅保留002参数规模就能与原有模型效果相当高通高通AI软件栈AIMET2020年将MobilNetv2ResNet50DeepLabv3模型从FP32格式量化压缩至INT8格式模型精度损耗均小于1资料来源各公司官网华泰研究图表11边端算力相关公司截止至2023年4月14日市值PEPBPSEPSGrowth股价变动代码公司名称股价百万元2023E2024E2023E2024E2023E2024E2023E2024E5D1MYTD688608CH恒玄科技1691020292877655993293131102857887567-98173483603893CH瑞芯微95874005175595094117299214111044762484-5965393688099CH晶晨股份917438096352625525964915234104703820291301688049CH炬芯科技4432540773074621294277903697444581-14137638300458CH全志科技362022832670652796776121214992588270-13326778688018CH乐鑫科技129591043155203880513457606469935423-12448437688332CH中科蓝讯7490898838742598236216642485411491-13132462资料来源Wind预期华泰研究风险提示1中美贸易摩擦风险若中美贸易摩擦加剧将导致我国AI行业上中下游厂商进出口受阻中国上述厂商的发展将受到进一步的限制导致相关公司业绩难以释放2AI及技术落地不及预期虽然AI技术加速发展但由于成本落地效果等限制相关技术落地节奏可能不及我们预期本研报中涉及到未上市公司或未覆盖个股内容均系对其客观公开信息的整理并不代表本研究团队对该公司该股票的推荐或覆盖免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4电子免责声明分析师声明本人黄乐平张皓怡陈旭东兹证明本报告所表达的观点准确地反映了分析师对标的证券或发行人的个人意见彼以往现在或未来并无就其研究报告所提供的具体建议或所表迖的意见直接或间接收取任何报酬一般声明及披露本报告由华泰证券股份有限公司已具备中国证监会批准的证券投资咨询业务资格以下简称本公司制作本报告所载资料是仅供接收人的严格保密资料本报告仅供本公司及其客户和其关联机构使用本公司不因接收人收到本报告而视其为客户本报告基于本公司认为可靠的已公开的信息编制但本公司及其关联机构以下统称为华泰对该等信息的准确性及完整性不作任何保证本报告所载的意见评估及预测仅反映报告发布当日的观点和判断在不同时期华泰可能会发出与本报告所载意见评估及预测不一致的研究报告同时本报告所指的证券或投资标的的价格价值及投资收入可能会波动以往表现并不能指引未来未来回报并不能得到保证并存在损失本金的可能华泰不保证本报告所含信息保持在最新状态华泰对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司不是FINRA的注册会员其研究分析师亦没有注册为FINRA的研究分析师不具有FINRA分析师的注册资格华泰力求报告内容客观公正但本报告所载的观点结论和建议仅供参考不构成购买或出售所述证券的要约或招揽该等观点建议并未考虑到个别投资者的具体投资目的财务状况以及特定需求在任何时候均不构成对客户私人投资建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素对依据或者使用本报告所造成的一切后果华泰及作者均不承担任何法律责任任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效除非另行说明本报告中所引用的关于业绩的数据代表过往表现过往的业绩表现不应作为日后回报的预示华泰不承诺也不保证任何预示的回报会得以实现分析中所做的预测可能是基于相应的假设任何假设的变化可能会显著影响所预测的回报华泰及作者在自身所知情的范围内与本报告所指的证券或投资标的不存在法律禁止的利害关系在法律许可的情况下华泰可能会持有报告中提到的公司所发行的证券头寸并进行交易为该公司提供投资银行财务顾问或者金融产品等相关服务或向该公司招揽业务华泰的销售人员交易人员或其他专业人士可能会依据不同假设和标准采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和或交易观点华泰没有将此意见及建议向报告所有接收者进行更新的义务华泰的资产管理部门自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策投资者应当考虑到华泰及或其相关人员可能存在影响本报告观点客观性的潜在利益冲突投资者请勿将本报告视为投资或其他决定的唯一信赖依据有关该方面的具体披露请参照本报告尾部本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布的机构或人员也并非意图发送发布给因可得到使用本报告的行为而使华泰违反或受制于当地法律或监管规则的机构或人员本报告版权仅为本公司所有未经本公司书面许可任何机构或个人不得以翻版复制发表引用或再次分发他人无论整份或部分等任何形式侵犯本公司版权如征得本公司同意进行引用刊发的需在允许的范围内使用并需在使用前获取独立的法律意见以确定该引用刊发符合当地适用法规的要求同时注明出处为华泰证券研究所且不得对本报告进行任何有悖原意的引用删节和修改本公司保留追究相关责任的权利所有本报告中使用的商标服务标记及标记均为本公司的商标服务标记及标记中国香港本报告由华泰证券股份有限公司制作在香港由华泰金融控股香港有限公司向符合证券及期货条例及其附属法律规定的机构投资者和专业投资者的客户进行分发华泰金融控股香港有限公司受香港证券及期货事务监察委员会监管是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司在香港获得本报告的人员若有任何有关本报告的问题请与华泰金融控股香港有限公司联系免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5电子香港-重要监管披露华泰金融控股香港有限公司的雇员或其关联人士没有担任本报告中提及的公司或发行人的高级人员晶晨股份688099CH华泰金融控股香港有限公司其子公司和或其关联公司实益持有标的公司的市场资本值的1或以上晶晨股份688099CH华泰金融控股香港有限公司其子公司和或其关联公司在本报告发布日担任标的公司证券做市商或者证券流动性提供者有关重要的披露信息请参华泰金融控股香港有限公司的网页httpswwwhtsccomhkstockdisclosure其他信息请参见下方美国-重要监管披露美国在美国本报告由华泰证券美国有限公司向符合美国监管规定的机构投资者进行发表与分发华泰证券美国有限公司是美国注册经纪商和美国金融业监管局FINRA的注册会员对于其在美国分发的研究报告华泰证券美国有限公司根据1934年证券交易法修订版第15a-6条规定以及美国证券交易委员会人员解释对本研究报告内容负责华泰证券美国有限公司联营公司的分析师不具有美国金融监管FINRA分析师的注册资格可能不属于华泰证券美国有限公司的关联人员因此可能不受FINRA关于分析师与标的公司沟通公开露面和所持交易证券的限制华泰证券美国有限公司是华泰国际金融控股有限公司的全资子公司后者为华泰证券股份有限公司的全资子公司任何直接从华泰证券美国有限公司收到此报告并希望就本报告所述任何证券进行交易的人士应通过华泰证券美国有限公司进行交易美国-重要监管披露分析师黄乐平张皓怡陈旭东本人及相关人士并不担任本报告所提及的标的证券或发行人的高级人员董事或顾问分析师及相关人士与本报告所提及的标的证券或发行人并无任何相关财务利益本披露中所提及的相关人士包括FINRA定义下分析师的家庭成员分析师根据华泰证券的整体收入和盈利能力获得薪酬包括源自公司投资银行业务的收入晶晨股份688099CH华泰证券股份有限公司其子公司和或其联营公司实益持有标的公司某一类普通股证券的比例达1或以上晶晨股份688099CH华泰证券股份有限公司其子公司和或其联营公司在本报告发布日担任标的公司证券做市商或者证券流动性提供者华泰证券股份有限公司其子公司和或其联营公司及或不时会以自身或代理形式向客户出售及购买华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券研究所覆盖公司的证券衍生工具包括股票及债券包括衍生品华泰证券股份有限公司其子公司和或其联营公司及或其高级管理层董事和雇员可能会持有本报告中所提到的任何证券或任何相关投资头寸并可能不时进行增持或减持该证券或投资因此投资者应该意识到可能存在利益冲突评级说明投资评级基于分析师对报告发布日后6至12个月内行业或公司回报潜力含此期间的股息回报相对基准表现的预期A股市场基准为沪深300指数香港市场基准为恒生指数美国市场基准为标普500指数具体如下行业评级增持预计行业股票指数超越基准中性预计行业股票指数基本与基准持平减持预计行业股票指数明显弱于基准公司评级买入预计股价超越基准15以上增持预计股价超越基准515持有预计股价相对基准波动在-155之间卖出预计股价弱于基准15以上暂停评级已暂停评级目标价及预测以遵守适用法规及或公司政策无评级股票不在常规研究覆盖范围内投资者不应期待华泰提供该等证券及或公司相关的持续或补充信息免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6电子法律实体披露中国华泰证券股份有限公司具有中国证监会核准的证券投资咨询业务资格经营许可证编号为91320000704041011J香港华泰金融控股香港有限公司具有香港证监会核准的就证券提供意见业务资格经营许可证编号为AOK809美国华泰证券美国有限公司为美国金融业监管局FINRA成员具有在美国开展经纪交易商业务的资格经营业务许可编号为CRD298809SEC8-70231华泰证券股份有限公司南京北京南京市建邺区江东中路228号华泰证券广场1号楼邮政编码210019北京市西城区太平桥大街丰盛胡同28号太平洋保险大厦A座18层邮政编码100032电话862583389999传真862583387521电话861063211166传真861063211275电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom深圳上海深圳市福田区益田路5999号基金大厦10楼邮政编码518017上海市浦东新区东方路18号保利广场E栋23楼邮政编码200120电话8675582493932传真8675582492062电话862128972098传真862128972068电子邮件ht-rdhtsccom电子邮件ht-rdhtsccom华泰金融控股香港有限公司香港中环皇后大道中99号中环中心58楼5808-12室电话852-3658-6000传真852-2169-0770电子邮件researchhtsccomhttpwwwhtsccomhk华泰证券美国有限公司美国纽约公园大道280号21楼东纽约10017电话212-763-8160传真917-725-9702电子邮件Huataihtsc-uscomhttpwwwhtsc-uscom版权所有2023年华泰证券股份有限公司免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7