研究报告全文：2022年12月19日证券研究报告计算机组计算机行业研究买入维持评级买入行业深度研究市场数据人民币深度学习算法发展从多样到统一市场优化平均市盈率1890国金计算机指数1734沪深300指数3954投资建议上证指数3168行业策略深度学习的三要素包括算法数据和算力本文主要对算法的演深证成指11295进历程进行了回顾认为深度学习底层算法被统一为Transformer之后发展中小板综指11959放缓而算法的行业落地应用大数据的生成与处理高算力芯片成为重点发展方向推荐组合建议关注受益于人工智能算法进步并能成功实现商业化应用的2210海康威视科大讯飞中科创达商汤科技等公司以及关注可提供大算力2046AI芯片的海光信息等公司1881行业观点1717神经网络的发展以Relu激活函数的提出为分水岭可分为浅层神经网络和1552深度学习两个阶段浅层神经网络阶段最重要的任务是解决梯度不稳定的问1388题在这个问题未被妥善解决之前神经网络受限于激活函数梯度过大或过小以及神经元全连接对高算力的要求因此应用性能不佳而属于非神经211220220320220620220920网络的支持向量机SVM是当时解决人工智能模式识别的主流方法过去10年深度学习经历了从多样化发展到融合统一的阶段深度学习时国金行业沪深300代的开启依托于2011年Relu激活函数被提出梯度消失问题被大幅缓解此后深度学习算法和应用的发展均突飞猛进最初卷积神经网络CNN通过对高层次特征的提取和压缩擅长图像分类等任务循环神经网络相关报告RNN通过对时序信息的提取擅长文字语音识别和理解等任务1高职院校教育新基建投资指南-教育信息2017年Transformer的提出让深度学习进入了大模型时代2020年Vision化行业深度报告20221214Transformer的提出让深度学习进入了多模态时代由于Transformer在大2重磅车型放量智能驾驶渗透率持续提数据并行计算方面具备优势且训练数据增长后对模型精度提升明显自此升-智能汽车8月月报2022913各模态和各任务底层算法被统一为Transformer架构3基本面拐点向上龙头布局正当时-深度学习底层算法发展放缓数据无监督学习数据生成以及高算力芯片成2022-09-01行业中202291为行业发展的重点方向目前深度学习算法主要是基于Transformer骨干网4畅享新四化龙头布局时-计算机络来进行分支网络的创新如OpenAI在多模态主干网络CLIP的基础上引2022年中期策略2022614入扩散模型即训练出能完成语义图像生成和编辑的DALLE2引发5金融科技板块21年报及22Q1梳理-AIGC浪潮在GPT-3模型基础上引入了人类反馈强化学习方法RLHF2022-05-03行202254训练出InstructGPT模型并据此发布了对话机器人ChatGPT引起了互联网用户的注意但随着基本完成底层算法统一之后整个行业Transformer底层算法发展速度开始放缓静待骨干网络的下一次突破同时基于Transformer对大数据的需求催生了无监督学习高算力芯片的发展风险提示海外基础软硬件使用受限骨干网络创新放缓应用落地不及预期王倩雯分析师SAC执业编号S1130522080001wangqianwengjzqcomcn孟灿分析师SAC执业编号S1130522050001mengcangjzqcomcn-1-敬请参阅最后一页特别声明行业深度研究内容目录1感知机第一个神经网络42多层感知机与BP算法神经网络的再兴起421多层感知机解决了多元分类问题422BP算法神经网络训练的基本算法53浅层神经网络在多应用领域各自演进631图像识别领域卷积机制提取图像空间特征632自然语言处理领域循环机制提取语言时序特征633支持向量机深度学习出现之前的主流算法74梯度消失问题的解决使神经网络向深层迈进841逐层无监督是深度学习的初次探索842ReLu激活函数的提出开启了深度学习时代85Transformer统一了各任务底层算法开启多模态和大模型时代96探索多模态主干网络117探索Transformer时代的分支网络1271AIGC领域多模态Transformer扩散模型1272对话机器人ChatGPT语言Transformer强化学习模型138小结及投资建议139风险提示14图表目录图表1感知机二元分类过程4图表2数据的线性可分性4图表3多层感知机通过引入隐藏层进行多元分类5图表4梯度消失使神经网络无法正常训练5图表5卷积神经网络典型结构6图表6卷积的实质是提取关键特征6图表7RNN同时接受当前时刻输入与上一时刻输出的信息7图表8感知机与支持向量机目标函数不同7图表9在深度学习之前支持向量机是解决人工智能任务的主流方法7图表10逐层无监督BP有监督解决梯度消失问题8图表11Sigmoid和tanh函数存在梯度过大过小问题9图表12残差学习进一步缓解了梯度消失问题9图表13Transformer示意图10图表14GPT系列模型参数呈指数级增长10图表15ViT模型将图像当作文本进行处理10图表16每层SwinTransformer之间进行了类似CNN的patchmerging11图表17CLIP多模态网络采用图像-文本联合训练11-2-敬请参阅最后一页特别声明行业深度研究图表18目前主流的多模态主干网络12图表19扩散模型的前向扩散和反向生成过程12图表20DDPM在AIGC领域的前沿成果13图表21强化学习模型示意13图表22神经网络各发展阶段经典模型梳理14-3-敬请参阅最后一页特别声明行业深度研究深度学习的三要素包括算法数据和算力本文主要对算法的演进过程进行了回顾认为过往神经网络的发展以Relu激活函数的提出为分水岭分为浅层神经网络和深度学习两个阶段在浅层神经网络阶段最重要的任务就是解决梯度不稳定的问题在这个问题未被妥善解决之前神经网络应用性能不佳而属于非神经网络的支持向量机算法SVM是解决人工智能模式识别的主流方法2011年Relu激活函数被提出梯度消失问题被大幅缓解之后神经网络进入深度学习时代算法和应用的发展均突飞猛进最初CNNRNN等模型在不同的模态和任务中均各有擅长2017年Transformer的提出让深度学习进入了大模型时代2020年VisionTransformer的提出让深度学习进入了多模态时代自此多模态和多任务底层算法被统一为Transformer架构目前深度学习算法主要是基于Transformer骨干网络进行分支网络的创新如引入扩散模型强化学习等方法整个行业算法发展速度放缓静待骨干网络的下一次突破下文我们将对各发展阶段的经典模型进行回顾1感知机第一个神经网络感知机由Rosenblatt在1958年提出是神经网络发展的起点感知机是一个单层的神经网络模型由输入值权重求和函数及激活函数三部分组成整个模型对输入值进行有监督学习权重部分是可训练参数将对应输入与权重相乘求和得到的求和值与常数比对判断是否触发激活函数最终依据输出的0-1信号判断图像类别感知机提出了用神经网络模型解决人工智能任务但作为神经网络模型的开山之作还存在以下问题1受阶跃激活函数限制感知机只能输出0或1因此只能进行二元分类2感知机只能处理线性可分数据无法处理线性不可分的数据而线性不可分数据是现实世界中的常态该严重缺陷由Minsky于1969年提出扼杀了人们对感知机的兴趣也由此导致了神经网络领域研究的长期停滞图表1感知机二元分类过程图表2数据的线性可分性来源AI与强化学习公众号国金证券研究所来源PaddleEdu国金证券研究所2多层感知机与BP算法神经网络的再兴起21多层感知机解决了多元分类问题20世纪80年代多层感知机MLP被提出模型由输入层输出层和至少一层的隐藏层构成是一种全连接神经网络即每一个神经元都会和上下两层所有的神经元相连接各隐藏层中的神经元可接收相邻前序隐藏层中神经元传递的信息经过加工处理后将信息输出到后续隐藏层中的神经元-4-敬请参阅最后一页特别声明行业深度研究由于隐藏层丰富了神经网络的结构增强了神经网络的非线性表达能力感知机的线性不可分问题得以解决因而神经网络再次迎来兴起图表3多层感知机通过引入隐藏层进行多元分类来源DeepAI国金证券研究所相较感知机多层感知机主要进行了如下改进1解决了感知机的二元分类问题引入隐藏层并采用非线性激活函数Sigmoid代替阶跃函数使得神经网络可以对非线性函数进行拟合2可进行多元分类任务多层感知机拓宽了输出层宽度多层感知机的发展受到算力限制由于多层感知机是全连接神经网络所需算力随着神经元的增加呈几何增长而在算力相对匮乏20世纪80年代算力瓶颈阻碍了多层感知机的进一步发展22BP算法神经网络训练的基本算法1986年Hinton提出了一种适用于多层感知机训练的反向传播算法BP算法至今仍是神经网络训练的主流算法BP算法的核心思想为将输出值与标记值进行比较误差反向由输出层向输入层传播在这个过程中利用梯度下降算法对神经元的权重进行调整BP算法最大的问题在于梯度不稳定由于当时SigmodTanh作为非线性激活函数应用广泛而这两种激活函数都存在一定范围内梯度过大或过小的问题神经网络停留在浅层时连乘次数少梯度较为稳定而当神经网络向深层迈进梯度的不稳定性加剧使得深层神经网络无法正常训练因此有效缓解梯度不稳定现象是神经网络向深层次迈进前必须解决的问题图表4梯度消失使神经网络无法正常训练来源ScienceProg深度学习与图网络公众号国金证券研究所-5-敬请参阅最后一页特别声明行业深度研究3浅层神经网络在多应用领域各自演进多层感知机的出现奠定了神经网络的基本结构也使得神经网络的应用范围不再局限于图像识别而是向自然语言处理语音识别等其他领域拓展由于各个领域的任务具有不同特点神经网络产生了众多分支模型这一阶段分支网络探索各自领域的任务特点通过机制创新使神经网络获得对应的特征提取能力31图像识别领域卷积机制提取图像空间特征人类在进行图像识别时能够从细小的特征推理得知事物的全貌即窥一斑而见全豹在多层感知机时代由于二维图像被转化为一维向量后输入模型因此丢失了图像的空间特征信息为了使神经网络获得从特征到全局的图像识别能力卷积神经网络应运而生1998年LeNet卷积神经网络CNN首次应用于图像分类CNN通过多个卷积层对特征进行提取和压缩得到较为可靠的高层次特征最终输出的特征可应用于图像分类等任务LeNet网络由卷积层池化层和全连接层构成1卷积层通过在输入图像上滑动卷积核进行卷积操作提取关键特征卷积核的尺寸比输入图像小得多无需像多层感知机一样学习完整图片信息2池化层对特征进行约减从而提取主要特征比如将卷积层的输出划分为若干矩形区域取各区域的平均值或最大值从而简化网络计算复杂度3全连接层对提取到的特征进行汇总将多维的特征映射为二维输出图表5卷积神经网络典型结构图表6卷积的实质是提取关键特征来源DiveintoDeepLearningAstonZhang等2021国金证券研究所来源NVIDIA国金证券研究所相较多层感知机卷积神经网络具备以下优点1计算量减少神经元只与对应的部分局部连接2图像识别能力增强利用卷积思想使神经网络具备了局部特征提取能力3平移不变性由于卷积核会在输入图像上滑动所以无论被检测物体在图片哪个位臵都能被检测到相同的特征32自然语言处理领域循环机制提取语言时序特征人类在进行文字阅读语音识别时不仅会关注当前看到听到的词句还会联系上下文进行辅助理解在多层感知机时代所有的输入彼此独立模型仅针对当前词句进行训练而不关注前后信息造成了时序信息的丢失为了使神经网络获得时序信息提取能力1986年循环神经网络RNN被提出将循环思想引入神经网络在RNN中每个神经元既接受当前时刻输入信息也接受上一时刻神经元的输出信息使神经网络具备了时序特征提取能力-6-敬请参阅最后一页特别声明行业深度研究图表7RNN同时接受当前时刻输入与上一时刻输出的信息来源Python与机器智能公众号国金证券研究所相较多层感知机循环神经网络具备以下优点1可处理文本语音等时序相关的信息2计算量大大降低在循环神经网络进行训练时参数WUV是共享的这减少了训练所需的计算量33支持向量机深度学习出现之前的主流算法支持向量机SVM是传统机器学习中最重要的分类算法之一作为有监督的分类器其核心思想与感知机类似但对目标函数进行了改进感知机目标函数错误分类点到超平面的距离之和最小化支持向量机目标函数支持向量距离超平面最近的正反例到超平面的距离最大化图表8感知机与支持向量机目标函数不同来源人工智能技术公众号AI与强化学习公众号国金证券研究所支持向量机的思想最早在1963年由Vapnik等人提出在90年代经过多次模型和算法改进能够解决感知机的线性不可分和多元分类等缺陷并可应用于人体动作识别人脸识别文本识别生物信息学等领域图表9在深度学习之前支持向量机是解决人工智能任务的主流方法时间理论提出者理论内容1963年Vapnik等在解决模式识别问题时提出支持向量方法1971年Kimeldor等构造基于支持向量构建核空间的方法可用于解决线性不可分问题1987年Yang等将支持向量方法用于人体动作识别最高准确度达9605提出Chunking的块算法正式命名为支持向量机并将其1995年Vapnik等用于手写数字识别-7-敬请参阅最后一页特别声明行业深度研究1996年Blanz等将SVM用于物体识别1996年Schmidt等将SVM用于说话人识别1997年Osuna等提出分解算法并将SVM用于人脸识别1997年Joachims将SVM用于文本识别1998年Weston等构造多值分类模型可用SVM处理多元分类任务1999年Golub等将SVM应用于基因表达微阵列数据分类来源AtutorialonsupportvectormachinesforpatternrecognitionBurges等1998MolecularclassificationofcancerclassdiscoveryandclasspredictionbygeneexpressionmonitoringGolub等1999电子与信息学报公众号声振之家公众号国金证券研究所由于支持向量机方法基本上不涉及概率测度及大数定律具有更严格的理论和数学基础因而拥有泛化能力强收敛到全局最优维数不敏感等优点作为与神经网络并行的方法流派在深度学习出现之前支持向量机一度拥有更高的精度是解决人工智能任务的主流方法支持向量机的最大瓶颈在于不适合进行多维度和大样本训练其本质是借助二次规划获得最优解当样本量过大时会极大增加机器内存和运算时间4梯度消失问题的解决使神经网络向深层迈进41逐层无监督是深度学习的初次探索2006年深度学习之父Hinton提出了一种梯度消失问题的解决方法是深度学习的初次探索Hinton的解决方法分为两步1逐层无监督即先通过无监督学习逐层初始各神经元的参数而BP算法的初始参数为随机赋予使各神经元的参数较为接近最优值这一步极大地缓解了梯度消失问题2通过BP算法进行有监督学习得到神经网络的最优参数Hinton的论文发表之后深度学习方法在学术界引起了巨大的反响但由于此时模型的应用表现较为一般因此深度学习的浪潮未向产业界蔓延图表10逐层无监督BP有监督解决梯度消失问题来源AFastLearningAlgorithmforDeepBeliefNetsHinton等2006国金证券研究所42ReLu激活函数的提出开启了深度学习时代2011年ReLu激活函数被提出该激活函数的优点为1具有更好的非线性拟合能力缓解梯度消失问题2具有稀疏激活性去掉了无关的噪声能够更好地挖掘相关特征且提升训练速度导数为0或1非常简单ReLu激活函数被提出后2011年微软首次将深度学习应用于语音识别使得-8-敬请参阅最后一页特别声明行业深度研究识别词错误率稳定降低了2030在产业界引起轰动2012年Hinton及其学生提出AlexNet自此奠定了深度学习的经典训练范式AlexNet采用了经典的CNN网络结构使用ReLu激活函数对输入值进行有监督学习摒弃了此前的逐层无监督方法并采用GPU对训练进行加速由于AlexNet将ImageNet数据集上图像分类的错误率由26降至15此后5年学术界均沿用AlexNet的范式进行深度学习训练同时由于错误率大幅降低产业界开启了深度学习的应用图表11Sigmoid和tanh函数存在梯度过大过小问题图表12残差学习进一步缓解了梯度消失问题来源PaddleEdu国金证券研究所来源DeepResidualLearningforImageRecognitionKaimingHe等2016国金证券研究所2016年何恺明等人提出ResNet使得神经网络可以对残差进行学习更好地缓解了梯度消失问题也让ResNet的神经网络深度高达152层由于残差学习能很好地缓解梯度消失问题在之后的Transformer架构中也得以沿用5Transformer统一了各任务底层算法开启多模态和大模型时代2017年Google将注意力机制引入神经网络提出了新一代深度学习底层算法Transformer由于Transformer在物体分类语义理解等多项任务准确率超过CNNRNN等传统算法且能应用于CVNLP等多个模态因而Transformer的提出使得多任务多模态的底层算法得到统一与CNNRNN相比3种模型的算法复杂程度差异不大Transformer的主要优势在于1可并行计算减少训练时间便于处理大数据Transformer用位臵编码的方式代替了RNN的词句逐个输入循环迭代因此可以采用并行计算加速训练2加强了神经网络对时序特征的提取无论两个词相隔多远都能捕捉到彼此之间的依赖关系-9-敬请参阅最后一页特别声明行业深度研究图表13Transformer示意图来源AttentionIsAllYouNeedAshishVaswani等2017国金证券研究所由于在处理大数据方面具备显著优势Transformer的出现开启了深度学习的大模型时代如OpenAI发布的GPT-3该模型在多个任务中都取得了第一的成绩而其在算法结构上与前代的GPTGPT-2没有明显差别最大的区别是采用海量数据进行模型训练生动地诠释了大就是好的理念图表14GPT系列模型参数呈指数级增长模型名称发布时间参数量亿训练数据大小GB算力消耗pfs-dayGPT2018年6月1175096GPT-22019年2月1540784GPT-32020年5月1750450003640来源OntheComparabilityofPre-trainedLanguageModelsMatthias等2020国金证券研究所2020年Google提出VisionTransformerViT以解决计算机视觉问题这标志着自然语言处理计算机视觉两个最重要的深度学习领域实现了底层算法的统一ViT的核心思想是把图像当作文本处理即将完整的图像划分为若干各个小块把各个小块视为词语把各个小块构成的完整图像视为语句在此基础之上进行神经网络训练图表15ViT模型将图像当作文本进行处理来源AnImageisWorth16x16WordsTransformersforImageRecognitionatScaleDosovitskiy等2020国金证券研究所-10-敬请参阅最后一页特别声明行业深度研究相较CNNViT在计算机视觉领域任务处理的优点在于1计算量降低注意力机制的引入使得神经网络可以将有限算力应用于关键信息降低了计算量提升了神经网络的性能2关注全局信息ViT不仅能对局部特征进行提取还关注各个小块之间的空间依赖关系能够依靠多个局部特征之间的空间关系辅助推理使得神经网络智能程度得到显著提升相较CNNViT在计算机视觉领域任务处理的缺点在于1需要更大的训练样本Transformer相较CNN缺少一定的平移不变性和局部感知性因而需要更大的训练样本获得对局部特征的学习在ImageNet-21kJFT-300M等大数据集之中ViT较ResNet准确性更高2021年SwinTransformer的提出很好地弥合了上述问题成为目前通用的骨干网络与ViT始终进行1616patch的全局建模不同每层SwinTransformer模块之间进行了类似于CNN池化层的PatchMerging降采样操作用于缩小分辨率有效地降低了模型的计算复杂度目前SwinTransformer在图像分类语义分割目标识别等领域均刷新了最优记录图表16每层SwinTransformer之间进行了类似CNN的patchmerging来源SwinTransformerHierarchicalVisionTransformerusingShiftedWindowsZeLiu等2021国金证券研究所6探索多模态主干网络ViT开启多模态时代之后学术界开始尝试使用图像以及其对应的文本信息对神经网络进行训练以增强神经网络的理解能力2021年1月OpenAI发布了图像和文本并行的大规模多模态模型CLIP该模型在超过4亿的图像-文本对上进行训练优点在于使神经网络不仅关注特征之间的空间联系而且还会关注特征之间的语义联系使得神经网络对图像的理解能力迈向新高度图表17CLIP多模态网络采用图像-文本联合训练来源OpenAI国金证券研究所-11-敬请参阅最后一页特别声明行业深度研究现阶段的多模态神经网络主要面向计算机视觉领域还无法完成机器翻译阅读理解等经典自然语言处理任务其主要目的是通过引入文本信息帮助神经网络更好地完成传统视觉任务并且使神经网络能够处理图文检索语义图像生成语义图像编辑等跨模态任务拓宽深度学习能够面向的下游领域图表18目前主流的多模态主干网络公司发布时间模型名称多模态任务OpenAI2021年1月CLIP图文检索地理定位视频动作识别微软2021年8月BEiT-3视觉推理视觉问答图像描述图文检索来源OpenAI微软国金证券研究所7探索Transformer时代的分支网络Transformer统一了多模态多任务的骨干网络这也使得其分支网络数量相对较少往往是Transformer其他现有算法的形式学术界算法创新速度放缓71AIGC领域多模态Transformer扩散模型人工智能生成内容AIGC是指由人工智能进行创意创作主要包括文学创作代码生成图像生成视频生成等其中文学创作和代码生成属于单一模态任务难度较低基于Transformer主干网络建立的大规模语言模型即可较好地适应这类任务而图像生成视频生成等任务难度较高仅靠Transformer主干网络难以很好地完成任务因而催生出一批由Transformer与其他现有算法结合而成的分支网络扩散模型是一种图像生成方法其核心思想是污染与重构扩散模型最早提出于2015年2020年Ho等人在原模型基础上进行了简化和建模方式改进提出DDPM模型目前DDPM是扩散模型应用的主流版本扩散模型在训练时包括前向扩散和反向生成过程两个阶段在前向扩散过程中高斯噪音被逐步添加至图像中直到图像成为完全随机噪声在反向生成过程中模型在每一个时间节点对噪声的概率分布进行预测并尝试重构图像相较GAN而言扩散模型训练更加稳定且能生成更加多样的样本缺点是训练和推理速度较慢图表19扩散模型的前向扩散和反向生成过程来源TowardsDataScience国金证券研究所2022年4月OpenAI基于多模态主干网络CLIP结合扩散模型方法训练得到了新一代图像生成模型DALLE2该模型能够完成语义图像生成语义图像编辑图像风格迁移等多种任务而用户无需任何计算机知识仅需输入简短文字即可完成图像生成-12-敬请参阅最后一页特别声明行业深度研究图表20DDPM在AIGC领域的前沿成果公司发布时间模型名称多模态任务OpenAI2022年4月DALLE2语义图像生成Google2022年8月PromttoPromt语义图像编辑Meta2022年9月Makeavideo语义视频生成编辑图像视频生成来源OpenAIGoogleMeta国金证券研究所72对话机器人ChatGPT语言Transformer强化学习模型强化学习最早出现于20世纪60年代核心思想是奖励机制使模型能够根据所处环境做出最优决策Google研发的著名围棋人工智能AlphaGoZero便是基于强化学习方法训练得到的图表21强化学习模型示意来源清华大数据软件团队公众号国金证券研究所2022年11月30日OpenAI对外发布新一代对话机器人ChatGPT这是一个基于InstructGPT模型能通过与人类互动进行强化学习的语言网络相较GPT-3InstructGPT的参数量更小但引入了人类反馈强化学习RLHF的方法RLHF是强化学习的一种其核心思想是将人类提供的范例作为学习目标当神经网络输出的内容接近范例时给予神经网络奖励RLHF的另一优点是能够帮助模型后续迭代升级随着ChatGPT免费开放给公众使用广大用户形成的对话资料在经过数据处理后将成为最好的训练数据助力模型智能水平进一步提升8小结及投资建议深度学习的三要素包括算法数据和算力本文主要对算法的演进过程进行了回顾认为过往神经网络的发展以Relu激活函数的提出为分水岭分为浅层神经网络和深度学习两个阶段在浅层神经网络阶段最重要的任务就是解决梯度不稳定的问题在这个问题未被妥善解决之前神经网络应用性能不佳而属于非神经网络的支持向量机算法SVM是解决人工智能模式识别的主流方法2011年Relu激活函数被提出梯度消失问题被大幅缓解之后神经网络进入深度学习时代算法和应用的发展均突飞猛进最初CNNRNN等模型在不同的模态和任务中均各有擅长2017年Transformer的提出让深度学习进入了大模型时代2020年VisionTransformer的提出让深度学习进入了多模态时代自此多模态和多任务底层算法被统一为Transformer架构目前深度学习算法主要是基于Transformer骨干网络进行分支网络的创新如引入扩散模型强化学习等方法催生出AIGCChatGPT等应用热点但随着Transformer基本完成底层算法统一之后整个行业底层算法发展速度放缓静待骨干网络的下一次突破同时基于Transformer对大数据的需求催生了无监督学习高算力芯片的发展-13-敬请参阅最后一页特别声明行业深度研究图表22神经网络各发展阶段经典模型梳理时代模型时间核心思想优点缺点通过激活函数进行二无法处理多维线性不可感知机1958年神经网络发展的起点元分类分的数据引入隐藏层及非线性对算力要求高可拟合非线性函数处理多层感知机1980s激活函数处理多元所有输入彼此独立缺多元分类任务分类任务失时间和空间信息每个神经元既接受当解决了时序信息的丢失问浅层前时刻的输入信息准确率待提升尤其是RNN1986年题神经也接受上一时刻神经图像处理表现不佳计算量大大降低网络元的输出信息时代通过多个卷积层对特解决了空间信息的丢失问准确率待提升尤其是LeNet1998年征进行提取和压缩题NLP表现不佳得到高层次特征计算量大大降低用逐层无监督初始化BP算法有监督学习CNN-2006年缓解梯度消失问题实际应用表现一般的方法解决梯度消失的问题CNNReLu激活函梯度消失问题大大缓解AlexNet2012年数输入值有监督学准确率更高NLP表现不佳习GPU训练训练速度提升开启了大模型时代可并缺少平移不变性和局部引入注意力机制对行处理大数据训练时间感知性需要更大的训-2017年信息赋予不同的权重减少练样本加强了对时序特征的提取不能处理图像识别问题深度分割图像当作文本处开启了多模态时代学习ViT2020年需要更大的训练样本理计算量降低时代Trans-前向逐步添加高斯噪former音在反向生成过程模型稳定数据生成更加DDPM2020年训练和推理速度慢中对噪声的概率分布多样进行预测相较GPT-3参数量更小Instruct与人类互动进行强化准确率待提升目前仍2021年训练数据更真实输出接GPT学习未通过图灵测试近人类思维来源DiveintoDeepLearningAstonZhang等2021AtutorialonsupportvectormachinesforpatternrecognitionBurges等1998AFastLearningAlgorithmforDeepBeliefNetsHinton等2006DeepResidualLearningforImageRecognitionKaimingHe等2016AttentionIsAllYouNeedAshishVaswani等2017AnImageisWorth16x16WordsTransformersforImageRecognitionatScaleDosovitskiy等2020SwinTransformerHierarchicalVisionTransformerusingShiftedWindowsZeLiu等2021DeepAIPaddleEdu机器之心公众号新智元公众号深度人工智能公众号AI观察室公众号AI有道公众号易智瑞公众号腾讯云开发者公众号国金证券研究所投资建议建议关注受益于人工智能算法进步并能成功实现商业化应用的海康威视大华股份科大讯飞中科创达商汤科技四维图新虹软科技等公司以及关注可提供大算力AI芯片的海光信息寒武纪等公司9风险提示海外基础软硬件使用受限若因国际关系等原因高算力GPU等基础硬件或计算框架等基础软件使用受限可能会对国内人工智能算法应用产生影响骨干网络创新放缓目前Transformer成为深度学习骨干网络算法创新基本是基于Transformer做分支网络创新整体创新放缓且Transformer本身作为骨干网络在处理部分任务时有一定局限性若骨干网络创新放缓可能部分任务解决进程会放缓应用落地不及预期若相关应用公司不能找到人工智能算法较好的商业应用落地场景或相关-14-敬请参阅最后一页特别声明行业深度研究场景客户没有较强的付费意愿可能算法应用落地会不及预期-15-敬请参阅最后一页特别声明行业深度研究公司投资评级的说明买入预期未来612个月内上涨幅度在15以上增持预期未来612个月内上涨幅度在515中性预期未来612个月内变动幅度在-55减持预期未来612个月内下跌幅度在5以上行业投资评级的说明买入预期未来36个月内该行业上涨幅度超过大盘在15以上增持预期未来36个月内该行业上涨幅度超过大盘在515中性预期未来36个月内该行业变动幅度相对大盘在-55减持预期未来36个月内该行业下跌幅度超过大盘在5以上-16-敬请参阅最后一页特别声明行业深度研究特别声明国金证券股份有限公司经中国证券监督管理委员会批准已具备证券投资咨询业务资格本报告版权归国金证券股份有限公司以下简称国金证券所有未经事先书面授权任何机构和个人均不得以任何方式对本报告的任何部分制作任何形式的复制转发转载引用修改仿制刊发或以任何侵犯本公司版权的其他方式使用经过书面授权的引用刊发需注明出处为国金证券股份有限公司且不得对本报告进行任何有悖原意的删节和修改本报告的产生基于国金证券及其研究人员认为可信的公开资料或实地调研资料但国金证券及其研究人员对这些信息的准确性和完整性不作任何保证本报告反映撰写研究人员的不同设想见解及分析方法故本报告所载观点可能与其他类似研究报告的观点及市场实际情况不一致国金证券不对使用本报告所包含的材料产生的任何直接或间接损失或与此有关的其他任何损失承担任何责任且本报告中的资料意见预测均反映报告初次公开发布时的判断在不作事先通知的情况下可能会随时调整亦可因使用不同假设和标准采用不同观点和分析方法而与国金证券其它业务部门单位或附属机构在制作类似的其他材料时所给出的意见不同或者相反本报告仅为参考之用在任何地区均不应被视为买卖任何证券金融工具的要约或要约邀请本报告提及的任何证券或金融工具均可能含有重大的风险可能不易变卖以及不适合所有投资者本报告所提及的证券或金融工具的价格价值及收益可能会受汇率影响而波动过往的业绩并不能代表未来的表现客户应当考虑到国金证券存在可能影响本报告客观性的利益冲突而不应视本报告为作出投资决策的唯一因素证券研究报告是用于服务具备专业知识的投资者和投资顾问的专业产品使用时必须经专业人士进行解读国金证券建议获取报告人员应考虑本报告的任何意见或建议是否符合其特定状况以及若有必要咨询独立投资顾问报告本身报告中的信息或所表达意见也不构成投资法律会计或税务的最终操作建议国金证券不就报告中的内容对最终操作建议做出任何担保在任何时候均不构成对任何人的个人推荐在法律允许的情况下国金证券的关联机构可能会持有报告中涉及的公司所发行的证券并进行交易并可能为这些公司正在提供或争取提供多种金融服务本报告并非意图发送发布给在当地法律或监管规则下不允许向其发送发布该研究报告的人员国金证券并不因收件人收到本报告而视其为国金证券的客户本报告对于收件人而言属高度机密只有符合条件的收件人才能使用根据证券期货投资者适当性管理办法本报告仅供国金证券股份有限公司客户中风险评级高于C3级含C3级的投资者使用本报告所包含的观点及建议并未考虑个别客户的特殊状况目标或需要不应被视为对特定客户关于特定证券或金融工具的建议或策略对于本报告中提及的任何证券或金融工具本报告的收件人须保持自身的独立判断使用国金证券研究报告进行投资遭受任何损失国金证券不承担相关法律责任若国金证券以外的任何机构或个人发送本报告则由该机构或个人为此发送行为承担全部责任本报告不构成国金证券向发送本报告机构或个人的收件人提供投资建议国金证券不为此承担任何责任此报告仅限于中国境内使用国金证券版权所有保留一切权利上海北京深圳电话021-60753903电话010-66216979电话0755-83831378传真021-61038200传真010-66216793传真0755-83830558邮箱researchshgjzqcomcn邮箱researchbjgjzqcomcn邮箱researchszgjzqcomcn邮编201204邮编100053邮编518000地址上海浦东新区芳甸路1088号地址中国北京西城区长椿街3号4层地址中国深圳市福田区中心四路1-1号紫竹国际大厦7楼嘉里建设广场T3-2402-17-敬请参阅最后一页特别声明