投资要点:
　　机器学习类量化策略效果较好但无法直观理解
　　在前期的报告中，我们构建了利用卷积神经网络进行自动化特征抽取并通过全连接层输出分类结果的非线性择时模型，并在指数择时的场景下取得了良好的结果。但深度模型的预测过程往往被人看作是一个黑箱（Blackbox），本文将通过构建机器学习的可解释性框架从定量的角度解释机器学习策略的内在逻辑。
　　引入可解释性框架对机器学习策略进行可解释性分析，深入理解策略收益来源
　　机器学习模型的可解释性一直是学术界研究的重要方向，但模型的效果和可解释性却难以权衡。例如，深度学习模型往往效果最为突出，但无法直观理解。本文介绍了当前已有的解释性框架及原理，并尝试使用SHAP框架对择时策略进行可解释性分析。
　　SHAP框架适用范围较广，能够解释特征输入如何影响预测值
　　SHAP框架的核心是计算特征的Shapley值，该值衡量了特征对于预测结果的贡献。通过特征的Shapley值进行分析可以判断在一次或多次预测过程中输入特征的重要程度，从而得到因子对于资产收益率的非线性相关性关系，相比于因子的IC值，因子的Shapley值信息含量更高。
　　风险提示
　　模型基于对历史数据统计，仅作为投资参考。
　　

研究报告全文：仅供机构投资者使用证券研究报告量化研究报告TableDate2022年12月20日机器学习策略的TableTitle可解释性分析TableTitle2机器学习研究系列之五评级及分析师信息TableAuthor证券分析师王祥宇投资要点TableSummarySACNOS1120520080004机器学习类量化策略效果较好但无法直观理解证券分析师杨国平在前期的报告中我们构建了利用卷积神经网络进行自动化特SACNOS1120520070002征抽取并通过全连接层输出分类结果的非线性择时模型并在指数择时的场景下取得了良好的结果但深度模型的预测过程研究助理周游往往被人看作是一个黑箱Blackbox本文将通过构建机器学邮箱zhouyou2hx168comcn习的可解释性框架从定量的角度解释机器学习策略的内在逻辑引入可解释性框架对机器学习策略进行可解释性分析深入理解策略收益来源机器学习模型的可解释性一直是学术界研究的重要方向但模型的效果和可解释性却难以权衡例如深度学习模型往往效果最为突出但无法直观理解本文介绍了当前已有的解释性框架及原理并尝试使用SHAP框架对择时策略进行可解释性分析SHAP框架适用范围较广能够解释特征输入如何影响预测值SHAP框架的核心是计算特征的Shapley值该值衡量了特征对于预测结果的贡献通过特征的Shapley值进行分析可以判断在一次或多次预测过程中输入特征的重要程度从而得到因子对于资产收益率的非线性相关性关系相比于因子的IC值因子的Shapley值信息含量更高风险提示138406模型基于对历史数据统计仅作为投资参考请仔细阅读在本报告尾部的重要法律声明1证券研究报告量化研究报告正文目录1机器学习模型的可解释性311可解释性的定义312可解释性的重要性313统计学习模型解释性较好414机器学习模型的解释性框架52卷积神经网络择时策略的可解释性分析821择时策略设计思路822择时策略的构建和评估1023基于SHAP框架的策略解释性分析153总结174风险提示18图表目录图1可解释性方法分类维度6图2一个使用LIME方法进行解释的例子7图3第5次买入交易的特征重要性排名13图4第10次买入交易的特征重要性排名13图5第15次买入交易的特征重要性排名13图6第20次买入交易的特征重要性排名13图7择时策略累计收益14图8择时策略累计超额收益率14图9模型ROC曲线图14图10模型PR曲线图14图11SHAP全局特征解释图15图12SAR与CCI特征交互图16图13CMO与SIGNALMACD特征交互图16图14CMO与CCI特征交互图16图15SAR与SIGNALMACD特征交互图16图16特征重要性排名17表1技术指标及其含义9表2随机断开输入神经元比例对回测结果的影响10表3单个训练批次样本数对回测结果的影响11表4训练批次对回测结果的影响11表5优化器学习率对回测结果的影响11表6择时策略回测结果12表7技术指标的权重值16请仔细阅读在本报告尾部的重要法律声明2证券研究报告量化研究报告1机器学习模型的可解释性在当前时间节点机器学习模型的应用范围已经非常广泛在金融教育医疗交通建筑等众多领域都展现了其强大的表示和学习能力然而机器学习模型决策过程的不透明性和日益增长的复杂性给实际应用带来了一定的安全性隐患和局限让用户对模型的决策结果缺乏信任度为了克服机器学习方法的局限性有研究人员开始进行机器学习模型可解释的研究本节我们主要介绍可解释机器学习的基本理论包含可解释性的定义重要性可解释的模型和可解释的机器学习方法11可解释性的定义可解释性interpretability是指以可理解的术语understandableterms向人类提供解释explanations的能力可理解的术语指的是构成解释的基本单元对不同领域模型的解释需要建立在不同的领域知识上解释是指用某种语言来描述或注解机器学习的决策机制理想情况下应该用数学符号或者逻辑规则这样的语言是最清晰但实际上因为可能需要一定的先验知识才能看懂这些解释语言所以可解释性并不要求必须使用这样严谨的表示只需要一些能够进行解释的关键元素因此这是可以用来对现有研究进行分类的重要角度GoogleBrain的BeenKim提出了一个模型可解释性的定义argmaxQEModelHumanDataTaskE其中Q是一个解释性的评价方程E是实现可解释性的具体方法整个过程就是让我们寻求这样一种解释方法该方法使得给定特定的数据Data和针对于某种特定的任务Task特定经验的人群Human拥有对于特定的模型Model最大程度上的理解12可解释性的重要性机器学习作为人工智能技术的重要分支已经广泛应用在包含金融等多个场景中成为大数据与人工智能时代的基础能力而随着机器学习发展和应用的深入模型可解释性的问题也越来越被公众关注2021年出台的个人信息保护法要求自动化决策应当保证决策的透明度和结果公平公正不得在交易条件上实行不合理的差别待遇通过自动化决策方式做出对个人权益有重大影响的决定个人有权要求个人信息处理者予以说明机器学习模型通常会以可解释性为代价来换取更强大的预测能力但有的时候人们除了希望知道模型的预测结果也想知道模型为什么会做出这种预测特别是在与人类自身生命财产安全息息相关的领域比如金融医疗等了解了缘由才能更确信结果的正确性才能相信模型在部署后会以合理的方式运行因此对机器学习模型进行深入剖析解释其决策原理是必要的佐以专家知识印证达到对模型高可靠性的要求随着我国金融行业的国际化程度越来越高金融业务越来越深入老百姓的日常生活而监管政策也日趋审慎监管标准日渐提高因此各方对常见人工智能ArtificalIntelligenceAI黑盒模型的透明度模型可解释性的需求变得极其迫切请仔细阅读在本报告尾部的重要法律声明3证券研究报告量化研究报告金融业务不仅需要AI提供准确的预测结果更要打开黑盒向人类展示出其中的数据要素神经网络的推理逻辑和决策原因让人类做出更准确的选择这需要的正是具有可解释性的能提供充分信息的有效决策辅助的AI系统因此如何实现黑盒模型的可解释从而更好的平衡模型的性能和可解释性成为金融行业能否广泛采用机器学习技术的重要考量在投资策略设计过程中模型的可解释性尤为关键机器学习量化策略相比于传统的线性多因子模型其非线性能力使得策略在回测过程中的良好表现也可能意味着数据挖掘过拟合虽然在理论上我们有比较多的手段来减少过拟合比如正则化交叉验证在深度模型中我们可以使用DropoutEarlyStopping等方法来减少过拟合但是如果我们无法对模型进行解释那么我们对于策略的预期表现就很难有一个先验估计只能通过风控系统来控制策略的预期风险因此当前线性模型仍然是量化策略的主流传统的统计学习模型往往解释性较好下一节中我们将介绍统计学习模型的可解释性13统计学习模型解释性较好实现可解释性的最简单方法是只使用创建可解释模型的算法子集线性回归逻辑回归和决策树是常用的可解释模型虽然这些方法本身具有可解释性但由于这些方法学习的关系有限在预测方面受到了一些限制因此还需要更强大的模型来对任务进行预测但这些可解释的模型会为一些可解释的机器学习方法提供帮助131线性回归模型LinearRegression线性回归模型将目标预测为特征输入的加权和而所学习关系的线性使解释变得容易统计学家计算机科学家以及其他解决定量问题的人长期以来都使用线性回归模型线性模型可用于建模回归目标y对某些特征x的依赖性由于学到的关系是线性的实例的预测结果011是其p个特征的加权和参数j表示要学习的特征权重或系数其中第一项0称为截距不与特征相乘表示误差即预测结果与真实结果之间的差假设这些误差服从独立的正态分布我们可以通过TT1极大似然估计得到参数的OLS估计为XXXy132逻辑回归模型LogisticRegression逻辑回归模型建模有两个可能结果的概率分类问题它是线性回归模型针对分类问题的的扩展分类的解决方案是逻辑回归逻辑回归不是拟合直线或超平面而是使用逻辑函数将线性方程的输出挤压到0和1之间逻辑函数定义为1由于逻辑回归的结果是0到1之间的概率逻辑回归中权1重的解释不同于线性回归权重不再线性地影响概率加权和由逻辑函数转换为概率因此需要为解释重新构造方程以便只有线性项在公式的右边通过变换得到公1式1进而得到110111这样得到了一个简单的特征权重可以解释为一个特征改变1个单位将会使几率比oddsratio改变也可以解释为特征改变1个单位会增加对数几率比logoddsratio相应权重的值133决策树模型DecisionTree请仔细阅读在本报告尾部的重要法律声明4证券研究报告量化研究报告线性回归和逻辑回归在特征与结果之间的关系为非线性或特征交互的情况下会失败因此有了决策树DecisionTree基于树的模型根据特征中的某些截断值多次数据分割Split通过分割可以创建数据集的不同子集每个实例都属于一个子集最后的子集称为终端Terminal或叶节点LeafNodes中间的子集称为内部节点InternalNodes或分裂节点SplitNodes为了预测每个叶节点的结果使用该节点中训练数据的平均结果树模型可用于分类和回归解释很简单从根节点开始转到下一个节点而边表明要查看的子集一旦到达叶节点该节点将表明预测的结果所有边通过AND连接解释可以为如果特征x比阈值c小大AND那么预测结果就是节点y中实例的平均值134统计学习模型的可解释性还有一些可解释的模型如决策规则RuleFit朴素贝叶斯分类器k-最近邻等上述这些统计模型的解释性较好主要的原因是这些模型的输入特征与预测值通过确定的函数映射YfX得到通过在函数簇ffRR为多维实数空U间中选取特定的函数映射选择特定的通过计算argmaxUX其中为可知效用函数也对应了模型结构我们可以预期特征对于预测结果的影响但在深度模型中f是通过误差反向传播并通过梯度下降得到的局部最优解深度模型的为不可知效用函数我们无法通过影响效用函数来影响模型的结构和输出结果但这并不意味着我们无法对深度模型进行解释我们仍然可以通过描述性统计的方法对深度模型的输入特征对于结果的影响进行归纳描述从而间接地解释特定结构深度模型的特性在下一节中本文将介绍现有的机器学习模型解释框架14机器学习模型的解释性框架141可解释性方法分类分类机器学习可解释性的方法有很多大致从三个维度分类可解释性方法第一个维度有两类方法主动解释activeinterpretability和被动解释passiveinterpretability这个维度根据可解释性方法是否需要改变网络架构或优化过程来划分现有的方法被动解释过程基于训练好的网络待解释的模型权重都已从训练集学习之后被动解释方法试图提取逻辑规则或提取一些可理解的模式相比之下主动解释方法需要在训练之前对原黑盒模型进行一些更改例如引入额外的网络结构或修改训练过程这些修改可以使网络变得更容易解释最常见的情况是在损失函数中增加一个正则化项第二个维度通过考察解释产生的途径来分类可解释性方法可从这个维度可以看出可解释性方法解释清晰程度的差异第二维度的方法有四种规则提取隐含语义特征归因和举例解释逻辑规则提供了最明确的解释而其他类型的解释可能是隐含的例如显著图本身只是特定输入之上的一层覆盖通过查看显著性图人们构造了一个解释模型之所以做出这种预测是因为它把注意力集中在这个具有高度影响力的部分输入上最后一个维度这种局部解释与全局解释的分类在目前的文献中比较普遍其中全局可解释性意味着能够理解一个模型的整体决策逻辑局部可解释性侧重于对个体预测的解释局部解释通常利用目标输入例如特征值梯度处的信息但是全请仔细阅读在本报告尾部的重要法律声明5证券研究报告量化研究报告局解释试图推广到尽可能广泛的输入例如规则学习中的顺序覆盖特征重要性排序的边际贡献图1可解释性方法分类维度资料来源华西证券研究所基础的解释性框架主要有PartialDependencePlotPDP是最简单的解释模型通过将特定一个特征与预测值绘制到平面上观察不同特征值对应的预测值的分布PDP方法能够直观地展示出单一特征的平均边际变化IndividualConditionalExpectationICE与PDP方法类似但ICE会显示每个实例的情况ICE方法可以帮助解释一个特定的特征改变时模型的预测会怎么变化PermutedFeatureImportancePFI通过打乱特征的值后模型预测值的误差变化来衡量特征的重要性简单理解就是如果某一个特征的值被打乱shuffle后模型的预测误差显著增加那么该特征是重要的如果预测误差没有显著变化那么该特征重要性较低上述方法主要是基于预测值对于给定特征的值变化的影响来判断特征的重要性较为直观和基础下面本文介绍相对复杂的两类模型LIME框架和SHAP框架LIME是基于可解释性模型局部近似的方法来判断模型的特性SHAP框架是基于样本的预测贡献来判断单个样本和特征的贡献来判断特征对于模型预测的重要性142LIME解释框架LIMELocalInterpretableModel-AgnosticExplanations是一个比较流行的方法其主要思想是利用可解释性模型如线性模型决策树来局部近似目标黑盒模型的预测LIME不改变模型内部通过对输入进行轻微的扰动探测黑盒模型的输出发生何种变化根据这种变化在兴趣点原始输入训练一个可解释性模型LIME是黑盒模型的局部近似而不是全局近似LIME的数学表示为xargminLfgxggG请仔细阅读在本报告尾部的重要法律声明6证券研究报告量化研究报告其中f是待解释的原黑盒模型g是训练的可解释性模型x是定义的x的邻域Lfgx是损失函数度量在x定义的区域内g在近似f的过程中的不忠诚度g是模型g的复杂度如图2所示是一个非线性的复杂模型蓝粉背景的交界为决策函数选取关注的样本点如图粗线的红色十字叉为关注的样本点X定义一个相似度计算方式以及要选取的K个特征来解释在该样本点周围进行扰动采样细线的红色十字叉按照它们到X的距离赋予样本权重用原模型对这些样本进行预测并训练一个线性模型虚线在X的附近对原模型近似这样就可以使用LIME对复杂模型进行局部解释图2一个使用LIME方法进行解释的例子资料来源华西证券研究所143SHAP解释框架Shapley值是由Shapley在1953年基于博弈论提出的一种方法可以通过假设实例的每个特征值是游戏中的玩家来解释预测其中预测是总支出它告诉我们如何在特征之间公平地分配总支出Shapley值是所有可能的联盟coalition中特征值的平均边际贡献Shapley值是通过S中玩家的值函数定义的每个特征值的Shapley值是其对总支出预测的贡献在所有可能的特征值组合上加权和求和11其中S是模型中使用的特征的子集是要解释的实例的特征值的向量是特征的数量是对集合S中的特征值的预测它是在集合S中未包含的特征上边缘化Shapley值是唯一满足效益性Efficiency对称性Symmetry虚拟性Dummy和可加性Additivity的归因方法这些性质一起可以视为公平支出的定义SHAPSHapleyAdditiveExPlanations是一种解释个体预测的方法SHAP基于博弈论上的最佳Shapley值SHAP之所以单独作为一个方法而不是Shapley值方法的子类是两个原因首先SHAP的作者提出了KernelSHAP这是一种基于核的代理方法可根据局部代理模型对Shapley值进行估算还提出了TreeSHAP这是一种基于树的模型的有效估计方法其次SHAP带有许多基于Shapley值聚合的全局解释方法SHAP的目标是通过计算每个特征对预测的贡献来解释实例的预测SHAP解释方法根据联盟博弈理论计算Shapley值数据实例的特征值充当联盟中的参与者请仔细阅读在本报告尾部的重要法律声明7证券研究报告量化研究报告Shapley值告诉我们如何在特征之间平均分配总支出即预测玩家可以是单个特征值例如表格数据玩家也可以是一组特征值例如为了解释图像可以将像素分组为超像素并将预测分布在超像素之间SHAP带来的一项创新是Shapley值的解释表示为一种可加的特征归因方法即线性模型这将LIME和Shapley值联系起来SHAP的计算公式为012卷积神经网络择时策略的可解释性分析21择时策略设计思路211策略设计卷积神经网络具有共享局部视野权值共享等特点它只需要让每个神经元对局部进行感知更高层的神经元再来综合局部信息以得到更高级的信息从而有效减少参数数量此外一个卷积核可以在所有位置使用相同的参数提取特征使模型的学习过程更加高效建模过程为采用32数据划分模式训练模型即将60的数据作为训练数据剩余40的数据作为测试数据选取一些重要的技术指标因子作为特征变量涨跌趋势涨为1跌为0作为二元响应变量模型训练完成后得到估计的参数利用卷积神经网络模型对沪深300指数预测得出涨跌趋势作为买卖信号在回测阶段用以检验卷积神经网络用于沪深300指数技术指标预测分析中的精度212预测变量设计做预测是基于未来数据和历史数据存在类似的规律假设基于卷积神经网络的基本原理可以构造预测的基本方法即准备测试数据利用训练好的模型实现预测利用FindOptimalCutoff函数计算测试阶段模型的阈值预测结果大于阈值视为涨预测结果小于阈值视为跌可以根据此预测结果来判断交易行为下一节本文将利用SHAP框架对模型预测的涨跌情况进行解释性分析213数据及参数选择关于数据集的选取我们使用沪深300指数000300的日数据来进行模型的训练和测试卷积神经网络模型的参数主要包括三部分一个是卷积神经网络本身的参数配置一个是输入给模型的特征变量的选择一个是模型的输出变量即响应变量的选择模型关键参数选择如下1随机断开输入神经元比例dropoutdropout是一种正则化方法用来调节将部分神经网络单元暂时从网络中筛选出去的概率减少神经网络单元的同时也减请仔细阅读在本报告尾部的重要法律声明8证券研究报告量化研究报告少了神经元节点之间的互相依赖性增强了神经网络在样本外进行测试时的泛化能力有效避免模型过拟合这里我们将dropout设置为001632单个训练批次样本数batchsizebatchsize是每次训练模型时训练样本的大小利用DataLoader方法加载训练数据batchsize参数配合shuffle参数可以随机打乱数据集的元素在对卷积神经网络进行训练时此参数被设置为203训练批次epochs单次epochs指的是将所有的训练数据多个batchsize大小的数据输入网络进行一次完整的计算此参数的设置会较大地影响模型的训练精度和训练时间在对卷积神经网络进行训练时此参数被设置为554学习率lr神经网络训练过程中根据次训练完成后数据前向传播的结果计算损失函数再由损失函数根据梯度下降法更新每一个网络参数在参数更新过程中使用学习率lr定义每次参数更新的幅度学习率决定着目标函数能否收敛到局部最小值以及何时收敛到最小值这里我们将lr设置为0002445损失函数lossfunc这里使用交叉熵函数CrossEntropyLoss作为卷积神经网络模型的损失函数6优化器opt优化器的目的是使损失函数最小化在所有神经网络优化器中Adam是最为常用的优化器这里设置优化器为Adam对应的学习率lr设置为000244特征变量选择股票技术指标着重于对一般经济情况以及各个公司的经营管理状况行业动态等因素进行分析来衡量股价的高低技术指标属于统计学的范畴一切以数据来论证股票趋向买卖等技术指标能够在一定程度上帮助投资者判断股市的当前行情寻找行情的转折点这里卷积神经网络的特征变量选取的是14个股票相关的技术指标它们分别是BollingerUpperBandsBollingerLowBandsWMAEMASARCCICMODXSIGNALMACDMOMROCRSIADXATR表1对它们做出了相应解释表1技术指标及其含义技术指标含义布林线上轨布林线是指利用统计原理求出股价的标准差及其信赖区BollingerUpp间从而确定股价的波动范围及未来走势利用波带显示股价的安全高低erBands价位布林线指标中的上中下轨线所形成的股价信道随着股价的上下波动而变化股价信道的上轨是显示股价安全运行的最高价位布林线下轨布林线是指利用统计原理求出股价的标准差及其信赖区BollingerLow间从而确定股价的波动范围及未来走势利用波带显示股价的安全高低Bands价位布林线指标中的上中下轨线所形成的股价信道随着股价的上下波动而变化股价信道的下轨是显示股价安全运行的最低价位移动加权平均度量一段时间内的股票价格的加权移动平均反映市场趋WMA势和价格倾向EMA指数平均线体现股价对均线的影响抛物线指标属于价格与时间并重的指标通过对股票价格振幅及时间的SAR分析研究随时设立停损点以观察股票卖出时机顺势指标度量股票价格变化与平均股票价格变化差主要识别超买和超CCI卖信号CMO钱德动量摆动指标计算所有最近收益之和与所有最近损失之和的差请仔细阅读在本报告尾部的重要法律声明9证券研究报告量化研究报告动向指标分析股票价格在上升及下跌过程中供需关系的均衡点对股价趋DX势做出判断平滑异同移动平均线识别趋势变化以形成买入与卖出信号找到买卖SIGNALMACD信号的拐点MOM动量度量股票价格的涨跌速率正值表示向上趋势负值表示向下趋势ROC变动率指标衡量当前价格与过去价格之间的比显示价格变动速度相对强弱指数通过收盘价连续向上与连续向下运动的比值反映资产价格RSI的力度或速度从而衡量市场繁荣程度ADX平均趋向指数反应趋向变动程度即描述趋势的强弱真实波动幅度均值取一定时间周期内股价波动幅度的移动平均值来显示ATR股票市场变化率主要用于研判买卖时机资料来源华西证券研究所响应变量选择本实验卷积神经网络的响应变量选取的是股票的涨跌趋势1代表上涨0代表下跌涨跌的衡量标准是涨跌幅的正负涨跌幅为正表示股票上涨反之表示下跌根据对股票涨跌趋势的预测结果来判断股票的交易形式已知理性的投资者选择投资标的与投资组合的主要目的为在固定所能承受的风险下追求最大的报酬或在固定的预期报酬下追求最低的风险夏普比率是一个衡量基金风险与收益关系的指标最大回撤率是用来描述买入产品后可能出现的最糟糕的情况它们是衡量股票投资风险的重要指标这里主要以夏普比率和最大回撤率两个指标来衡量交易结果22择时策略的构建和评估Vanston和Finnie在股市预测研究中得出结论长期的预测模型应使用基本指标短期的预测模型如采用日预测模型应侧重于技术指标这是由于基本面数据具有滞后性的特点我们这里主要是预测股票的日涨跌趋势选择14项技术指标作为特征变量以收盘价的涨跌作为响应变量利用卷积神经网络对股票的涨跌趋势进行预测221超参数选取1调整随机断开输入神经元比例dropout该参数表示在卷积神经网络训练的过程中将部分神经网络单元暂时筛选出去的概率可减小模型发生过拟合及性能过低的可能性这里在研究dropout对回测结果的影响时使其在数组00150016300170018中分别进行取值以夏普比率最大回撤率交易胜率作为评价指标研究结果如表2所示表2随机断开输入神经元比例对回测结果的影响随机断开输入神经元比例夏普比率最大回撤率胜率00150662056610016307115536300170601693570018036297957资料来源华西证券研究所请仔细阅读在本报告尾部的重要法律声明10证券研究报告量化研究报告从表2可以看出随机断开输入神经元比例的小范围变化会对回测结果产生较大影响说明模型对dropout参数较为敏感本策略将dropout设置为001632调整单个训练批次样本数batchsize本策略使用DataLoader方法加载训练数据单次epoch下将训练数据划分为多个batchsize大小的子集分别对模型进行训练初始时将batchsize设置为20然后通过将其增加至35来研究batchsize大小对回测结果的影响在epochs设置为55的情况下研究结果如表3所示表3单个训练批次样本数对回测结果的影响每次训练模型的样本数夏普比率最大回撤率胜率2007101553063250060452706530014037800673504203424071资料来源华西证券研究所从表3可以看出batchsize设置为20可以获得较好的回测结果随着batchsize逐渐增大回测结果在夏普比率最大回撤率上都有不同程度的下降所以本策略将batchsize设置为203调整训练批次epochs参数epochs代表训练模型时的迭代次数它的设置会较大地影响模型的训练精度和训练时间epochs的变化对回测结果的影响如表4所示表4训练批次对回测结果的影响训练批次夏普比率最大回撤率胜率40-01544915345-0163583615000841735855071155363资料来源华西证券研究所从表4看出训练批次设置为55可以获得较好的回测结果而且随着训练批次减少回测结果的变化幅度较大说明模型对epochs参数较为敏感本策略将训练批次epochs设置为554调整优化器的学习率lr学习率lr决定了模型学习过程中每次参数更新的幅度决定着目标函数能否收敛到局部最小值以及何时收敛到最小值在损失函数设置为CrossEntropyLoss优化器设置为Adam的情况下研究lr的变化对回测结果的影响研究结果如表5所示表5优化器学习率对回测结果的影响学习率夏普比率最大回撤率胜率0002306720336000024407115536300030692289580004056177251资料来源华西证券研究所从表5可以看出学习率的小范围变化会对回测结果产生一定程度的影响学习率设置为000244可以获得相对较好的回测结果所以本策略将lr设置为000244请仔细阅读在本报告尾部的重要法律声明11证券研究报告量化研究报告222回测结果32的数据划分训练模式的实现过程是将60的数据用来训练40的数据用来测试在测试阶段利用FindOptimalCutoff函数计算模型的阈值预测结果大于阈值视为涨预测结果小于阈值视为跌根据此结果来决定回测阶段的交易行为从表6可以看出这种训练方式可以获得较高的夏普比率较低的最大回撤率同时年化收益率为2147总收益率为13664胜率为63交易次数为43次图7和图8展示了累计收益和超额收益率表6择时策略回测结果夏普比率年化收益率总收益率最大回撤胜率交易次数择时策略07121471366315536343基准0248525423467----资料来源华西证券研究所为了观察在实现买入操作时是哪些特征在发挥主要作用从43次交易中取出第5次第10次第15次第20次的买入交易分析对应的前十个特征排名通过图3可以看出决定第5次买入交易的特征主要是CMOCCI和SAR指标CMO是钱德动量摆动指标它计算所有最近收益之和与所有最近损失之和的差CCI是顺势指标它可以度量股票价格变化与平均股票价格变化差主要识别超买和超卖信号SAR是抛物线指标属于价格与时间并重的指标通过对股票价格振幅及时间的分析研究随时设立停损点以观察股票卖出时机通过图4和图5可以看出第10次买入交易和第15次买入交易同样是CMOSARCCI指标起了决定性作用而第20次买入交易中除了SAR指标之外SIGNALMACD和UpperBands指标重要性较强SIGNALMACD是平滑异同移动平均线可以识别趋势变化以形成买入与卖出信号找到买卖信号的拐点UpperBands是布林线上轨反映了股价信道随着股价的上下波动发生变化的情况请仔细阅读在本报告尾部的重要法律声明12证券研究报告量化研究报告图3第5次买入交易的特征重要性排名图4第10次买入交易的特征重要性排名资料来源华西证券研究所资料来源华西证券研究所图5第15次买入交易的特征重要性排名图6第20次买入交易的特征重要性排名资料来源华西证券研究所资料来源华西证券研究所请仔细阅读在本报告尾部的重要法律声明13证券研究报告量化研究报告图7择时策略累计收益图8择时策略累计超额收益率资料来源华西证券研究所资料来源华西证券研究所223模型评估ROC曲线是非常重要和常见的统计分析方法在机器学习领域用来评判分类检测结果的好坏AUC值表示ROC曲线下的面积其物理意义可以表示为随机给定一正一负两个样本将正样本排在负样本之前的概率因此AUC值越大表示模型区分能力越强分类效果越好精确率和召回率是衡量模型分类结果的两个比较直观的指标AUPRC值表示精确召回曲线下的面积在评估不平衡数据的分类结果上具有一定优势AUPRC值越大表示模型分类效果越好图9模型ROC曲线图图10模型PR曲线图资料来源华西证券研究所资料来源华西证券研究所ROC曲线下的面积AUC可以评价分类器的分类效果AUC值越大分类效果越好当AUC05时分类器的表现等同于随机猜测当05AUC1时分类器性能优于随机猜测当AUC05时分类器的表现比随机猜测还差从图9的ROC曲线以及计算的AUC值为08080说明CNN模型预测结果的准确率高性能较好同时图10的精确召回曲线以及计算的AUPRC值为08178进一步说明了CNN模型在预测沪深300股票涨跌趋势上的优势请仔细阅读在本报告尾部的重要法律声明14证券研究报告量化研究报告23基于SHAP框架的策略解释性分析如图11所示将指标在样本点上的取值大小采用不同颜色来表示以红色显示的样本点代表指标在该样本上取值较高蓝色样本点代表指标在样本上取值较低每个特征的图形由集合中所有的样本点构成以SHAP值取零为中间分界线对于处在左侧的样本点该特征对于对应样本点的SHAP值为负特征取定该样本点对应值时对股票涨跌趋势的预测有负向贡献处在右侧样本点则特征取定对应值时对股票涨跌趋势的预测有正向贡献因此有正向贡献的指标应该呈现出左边蓝色中间紫色和右边红色的图像负向贡献的指标则呈现出左红中紫右蓝的图像根据图11可以看出CMOSARCCISIGNALMACD等特征对模型影响较为显著技术指标CMO和SIGNALMACD为有负向贡献的关联指标取值越高模型越有可能预测出股票跌的趋势SAR和CCI为有正向贡献的关联指标取值越高模型越有可能预测出股票涨的趋势图11SHAP全局特征解释图资料来源华西证券研究所图12131415给出了SHAP特征依赖图分别选取对模型影响显著的CMOSARCCI和SIGNALMACD四个特征绘制SHAP特征依赖图已知SAR和CCI均为正向贡献指标图12表示SAR和CCI之间的相互关系以及它们的变化对股票涨跌趋势的影响可以发现当SAR值较高时CCI指标值越大SHAP交互值越高此时股票越有可能呈现出涨的趋势已知CMO和SIGNALMACD均为负向贡献指标图13表示CMO和SIGNALMACD之间的相互关系以及它们的变化对股票涨跌趋势的影响可以发现当CMO值较高时SIGNALMACD指标值越小SHAP交互值越高当CMO值较低时SIGNALMACD指标值越大SHAP交互值越低此时股票越有可能呈现出跌的趋势已知CMO和CCI分别为负向和正向贡献指标图14表示CMO和CCI之间的相互关系以及它们的变化对股票涨跌趋势的影响可以发现当CMO值较高时CCI值越低SHAP交互值越高此时股票越有可能呈现出涨的趋势请仔细阅读在本报告尾部的重要法律声明15证券研究报告量化研究报告已知SAR和SIGNALMACD分别为正向和负向贡献指标图15表示SAR和SIGNALMACD之间的相互关系以及它们的变化对股票涨跌趋势的影响可以发现当SAR值较高时SIGNALMACD值越高SHAP交互值越高此时股票越有可能呈现出涨的趋势图12SAR与CCI特征交互图图13CMO与SIGNALMACD特征交互图资料来源华西证券研究所资料来源华西证券研究所图14CMO与CCI特征交互图图15SAR与SIGNALMACD特征交互图资料来源华西证券研究所资料来源华西证券研究所图16给出了策略的特征重要性排名表7给出了14个技术指标的具体权重值对股票涨跌趋势影响较为显著的特征依然是CMOSARCCI和SIGNALMACDCMO是钱德动量摆动指标属于动量指标之一权重值为58933它计算所有最近收益之和与所有最近损失之和的差可以用来寻找极度超买和极度超卖的条件与股票涨跌趋势的相关性最强SAR是抛物线指标属于价格与时间并重的指标权重值为55750通过对股票价格振幅及时间的分析研究随时设立停损点以观察股票卖出时机CCI顺势指标度量股票价格变化与平均股票价格变化差对股票涨跌趋势也有一定程度的影响权重值为20124SIGNALMACD是平滑异同移动平均线可以识别股票趋势变化以形成买入与卖出信号找到买卖信号的拐点权重值为15427表7技术指标的权重值请仔细阅读在本报告尾部的重要法律声明16证券研究报告量化研究报告BollingerUpperBandsBollingerLowBandsWMAEMASARCCICMO11419054260996103806557502012458933DXSIGNALMACDMOMROCRSIADXATR11434154271207414960135540303908142资料来源华西证券研究所图16特征重要性排名资料来源华西证券研究所3总结机器学习模型的性能与其可解释性往往难以权衡传统的统计学习模型可解释性较好但预测性能欠佳深度模型准确度好于统计学习模型但可解释性较差在许多领域例如医疗金融等领域对模型的可解释性要求较高在这些领域模型的性能和可解释性同样重要因此对模型可解释性的分析是学术界和工业界共同关注的重点根据定义模型可解释性应当是在特定数据特定模型下具有某些经验的人对于模型的最大理解一般而言模型的可解释性根据模型的构建过程可分为模型构建前的可解释性模型的可解释性事后模型的可解释性目前研究的重点是事后模型的可解释性或者称为对黑盒模型的解释例如对深度模型的事后解释从解释性框架的方法来分类的话主要分为基于特征的方法和基于可解释模型代替的方法前者主要有PDPICEPFISHAP等方法后者主要包括GSGlobalSurrogate和LIME方法其中GS方法通过训练一个与黑盒模型全局近似的可解释模型而LIME方法则关注输入兴趣点的局部可解释近似请仔细阅读在本报告尾部的重要法律声明17证券研究报告量化研究报告SHAP框架是本文着重探讨的方法因为SHAP框架适用范围更广相比于LIME方法和简单的基于特征的预测值条件分布的方法PDPPFI方法等SHAP方法结果更全面更稳定在分析利用卷积神经网络构建的策略的过程中我们得到不同的技术因子对于预测结果的影响并分析了不同的交易决策样本中不同的技术因子对于交易决策的贡献机器学习的可解释性一直是学术界和工业界的热门研究方向在量化策略的设计过程中因子设计和因子组合的可解释性同样重要这涉及到风险控制和收益归因等重要步骤在量化策略的可解释性分析领域还有很多工作可以做4风险提示模型基于对历史数据统计仅作为投资参考TableAuthorInfo请仔细阅读在本报告尾部的重要法律声明18证券研究报告量化研究报告分析师承诺作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力保证报告所采用的数据均来自合规渠道分析逻辑基于作者的职业理解通过合理判断并得出结论力求客观公正结论不受任何第三方的授意影响特此声明评级说明投资公司评级标准说明评级买入分析师预测在此期间股价相对强于上证指数达到或超过15以报告发布日后的6个增持分析师预测在此期间股价相对强于上证指数在515之间月内公司股价相对上证中性分析师预测在此期间股价相对上证指数在-55之间指数的涨跌幅为基准减持分析师预测在此期间股价相对弱于上证指数515之间卖出分析师预测在此期间股价相对弱于上证指数达到或超过15行业评级标准以报告发布日后的6个推荐分析师预测在此期间行业指数相对强于上证指数达到或超过10月内行业指数的涨跌幅中性分析师预测在此期间行业指数相对上证指数在-1010之间为基准回避分析师预测在此期间行业指数相对弱于上证指数达到或超过10华西证券研究所地址北京市西城区太平桥大街丰汇园11号丰汇时代大厦南座5层网址httpwwwhx168comcnhxzqhxindexhtml请仔细阅读在本报告尾部的重要法律声明19证券研究报告量化研究报告华西证券免责声明华西证券股份有限公司以下简称本公司具备证券投资咨询业务资格本报告仅供本公司签约客户使用本公司不会因接收人收到或者经由其他渠道转发收到本报告而直接视其为本公司客户本报告基于本公司研究所及其研究人员认为的已经公开的资料或者研究人员的实地调研资料但本公司对该等信息的准确性完整性或可靠性不作任何保证本报告所载资料意见以及推测仅于本报告发布当日的判断且这种判断受到研究方法研究依据等多方面的制约在不同时期本公司可发出与本报告所载资料意见及预测不一致的报告本公司不保证本报告所含信息始终保持在最新状态同时本公司对本报告所含信息可在不发出通知的情形下做出修改投资者需自行关注相应更新或修改在任何情况下本报告仅提供给签约客户参考使用任何信息或所表述的意见绝不构成对任何人的投资建议市场有风险投资需谨慎投资者不应将本报告视为做出投资决策的惟一参考因素亦不应认为本报告可以取代自己的判断在任何情况下本报告均未考虑到个别客户的特殊投资目标财务状况或需求不能作为客户进行客户买卖认购证券或者其他金融工具的保证或邀请在任何情况下本公司本公司员工或者其他关联方均不承诺投资者一定获利不与投资者分享投资收益也不对任何人因使用本报告而导致的任何可能损失负有任何责任投资者因使用本公司研究报告做出的任何投资决策均是独立行为与本公司本公司员工及其他关联方无关本公司建立起信息隔离墙制度跨墙制度来规范管理跨部门跨关联机构之间的信息流动务请投资者注意在法律许可的前提下本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易也可能为这些公司提供或者争取提供投资银行财务顾问或者金融产品等相关服务在法律许可的前提下本公司的董事高级职员或员工可能担任本报告所提到的公司的董事所有报告版权均归本公司所有未经本公司事先书面授权任何机构或个人不得以任何形式复制转发或公开传播本报告的全部或部分内容如需引用刊发或转载本报告需注明出处为华西证券研究所且不得对本报告进行任何有悖原意的引用删节和修改请仔细阅读在本报告尾部的重要法律声明20