摘要：
　　分解算法（EMD和CEEMDAN）能根据信号特点自适应地将信号分解成一组具有物理意义的IMF分量的线性组合，非常适合非线性、非平稳信号分析。深度学习算法（LSTM和GRU）对复杂序列中长期依赖关系有较强的提取能力。因此，本文将两者结合来探究高精度时序预测的可能性。
　　为测试模型的有效性和泛化能力，本文在CU、IF和T三种期货合约上进行了测试。在三个品种的预测中，2最高可提升10%以上，三个品种的最佳方向准确率均达到60%以上，我们发现在分解算法将价格序列分解成IMF分量组合后，可以不简单依靠T检验对序列进行高频、低频和趋势项的分类加和，将IMF分量依次组合求得最优组合方式能强化深度学习模型的学习能力。同时，通过剔除少量高频IMF分量对高频序列进行去噪可以再次增强优化效果。
　　此外，我们还发现虽然EMD和CEEMDAN均能对深度学习算法进行优化，但优化效果不一定，CEEMDAN的优化效果不一定强于EMD。同时，重组去噪后的GRU模型并非绝对优于重组去噪后的LSTM模型。
　　风险提示：本报告中所涉及的算法和模型应用仅为回溯举例，并不构成推荐建议。
　　

研究报告全文：中信期货研究商品量化专题报告时序预测系列一投资咨询业务资格基于分解算法和深度学习的预测建模研究证监许可2012669号报告要点本次报告将分解算法EMD和CEEMDAN和深度学习算法LSTM和GRU分别组合对日度收盘价进行单步预测发现价格经分解算法分解重组后可提升深度学习时序预测的有效性若将分解后的高频序列进行去噪可以进一步强化预测模型的有效性摘要分解算法EMD和CEEMDAN能根据信号特点自适应地将信号分解成一组具有物理意义的IMF分量的线性组合非常适合非线性非平稳信号分析深度学习算法LSTM和商品量化组研究员GRU对复杂序列中长期依赖关系有较强的提取能力因此本文将两者结合来探究高精蒋可欣FRMjiangkexinciticsfcom度时序预测的可能性从业资格号F03098078投资咨询号Z0018262为测试模型的有效性和泛化能力本文在CUIF和T三种期货合约上进行了测试在三个品种的预测中2最高可提升10以上三个品种的最佳方向准确率均达到60以上我们发现在分解算法将价格序列分解成IMF分量组合后可以不简单依靠T检验对序列进行高频低频和趋势项的分类加和将IMF分量依次组合求得最优组合方式能强化深度学习模型的学习能力同时通过剔除少量高频IMF分量对高频序列进行去噪可以再次增强优化效果此外我们还发现虽然EMD和CEEMDAN均能对深度学习算法进行优化但优化效果不一定CEEMDAN的优化效果不一定强于EMD同时重组去噪后的GRU模型并非绝对优于重组去噪后的LSTM模型风险提示本报告中所涉及的算法和模型应用仅为回溯举例并不构成推荐建议重要提示本报告难以设置访问权限若给您造成不便敬请谅解我司不会因为关注收到或阅读本报告内容而视相关人员为客户市场有风险投资需谨慎商品量化专题报告目录摘要1一引言4二EMD和CEEMDAN的基本原理和方法5一EMD5二CEEMDAN7二LSTM和GRU网络的内部结构和工作原理8一LSTM神经网络8二GRU神经网络12三组合模型构建14一IMF重组14二组合模型建模流程14三LSTM和GRU网络的计算图结构和训练方法选择16四预测结果分析17一数据选择和处理17二预测结果评价指标18三预测结果展示和分析19六结论与展望25参考文献26免责声明27图表目录图表1CU主力合约价格走势和EMD分解过程6图表2CEEMDAN的更迭流程7图表3CU主力合约价格走势和CEEMDAN分解过程8图表4单个RNN神经元结构和展开形式9图表5LSTM神经元结构9图表6Sigmoid函数图像10图表7Tanh函数图像11图表8GRU神经元结构12图表9组合模型的流程15图表10LSTMGRU网络的计算图结构16图表11CU分解后各频率序列LSTM模型预测效果比较19图表12CU经EMD分解高频序列模型预测结果展示19图表13CU经EMD分解后高频序列模型预测效果比较20图表14CU经CEEMDAN分解各序列LSTM模型预测效果比较20图表15CU经CEEMDAN分解高频序列模型预测结果展示21图表16CU各类模型预测结果展示21227商品量化专题报告图表17CU各类模型预测效果比较22图表18IF各类模型预测结果展示23图表19IF各类模型预测效果比较23图表20T模型各类预测结果展示24图表21T模型各类预测效果比较24327商品量化专题报告一引言中国金融市场是一个受多种社会因素驱动的非线性复杂系统价格时间序列通常具有显著非平稳非线性和高噪音的复杂特性当前市场时序的预测模型主要有三类分别为1技术分析法以道氏理论为基础认为股价基本走势与市场波动趋势趋同2统计建模方法依据严谨的统计学理论对价格时序进行预测建模3利用机器学习方法对金融时序进行预测建模技术分析法比较直观计算简单但其信号延迟严重所产生的买卖信号不确定性过高在短期预测中效果不佳统计建模方法的预测结果在统计意义上可靠但其优势体现在处理线性数据上需要严格的基础假设实操性较弱机器学习方法不需要满足统计假设对非线性时间序列有着更高的预测精度目前常用的机器学习方法包括决策树支持向量机SVM和神经网络等其中神经网络的学习机制使其拥有强大的学习能力和非线性拟合能力因此被广泛运用到价格时序预测中近年来传统的神经网络过拟合和泛化能力弱的问题被越来越多的学者验证随着大数据技术的提高深度学习技术受到了国内外学者的广泛关注和传统的神经网络相比深度学习模型层数更多特征提取能力更强然而金融市场是一个受多重因素影响的复杂系统随机性过多即便使用了循环神经网络RNN和卷积神经网络CNN等为代表的深度学习技术预测精度仍未得到充分开发单个技术难以充分挖掘并刻画复杂金融市场中的多维量价变化规律为克服依靠单一方法建模的局限性融合计量手段信号处理和机器学习的组合模型因其稳定的预测性能得到了广泛关注因此本次时序预测系列研究从信号分析和深度学习这两块展开先通过各类信号分析方法对时序进行分解再运用深度学习方法对分解后的分量分别进行预测本篇为本系列的第一个课题将对融合了分解算法和深度学习的组合模型进行讨论分为四大部分第一部分将介绍经验模态分解EMD及其后续优化算法自适应噪音的完整集成经验模态分解CEEMDAN的基本原理和方法第二部分将介绍LSTM神经网络和GRU神经网络的内部结构和工作原理第三部分是针对各分解算法和深度学习的复合模型构建第四部分是对各复合模型预测效果的对比分析此外本系列虽以金融和商品期货为回测标的但模型使用范围不限于期货也可用于股票及其他适合的金融产品427商品量化专题报告二EMD和CEEMDAN的基本原理和方法一EMDEMD在1998年由美裔科学家Huang提出它是一种数据驱动自适应时频分析方法目前主要的时频分析方法有短时傅里叶变化和小波变换等但它们都更适用于平稳序列在实际使用时会经常失效而EMD能根据信号特点自适应地将信号分解成一组具有物理意义的固有模态函数IMF的线性组合且分解的最终函数彼此之间是正交的因此比较适合非线性非平稳信号分析如公式1所示信号经过EMD可表示成从高频到低频的IMF分量的线性组合其中是第i个IMF分量不包含信号的振荡模态只是反映信号的变化趋势公式11IMF的计算过程主要分为3步1找出信号的各个局部极大值局部极大值的定义为时间序列中的某个时刻的值其前一时刻的值不比它大后一时刻的值也不比它大然后用三阶样条函数进行插值得到上包络曲线同理可以得到下包络曲线2对每个时刻的和取平均得到瞬时平均值mt2公式23用原信号减去瞬时平均值得到类距平值系列公式3若中极值点的数目和跨零点的数目相等或至多只差一个并且各个瞬间平均值都等于零令否则以作为原始信号并返回步骤1重复以上步骤直至满足IMF函数要求的要求求出IMF函数为止然后用原信号减去得到剩余值序列公式4若是一个单调函数把作为趋势项令同时停止迭代否则以作为原信号返回步骤1重复以上过程这样一个流程就是527商品量化专题报告EMD的分解流程我们CU主力合约2011年1月1日至2022年12月31日的日频数据为例直观地感受一下分解流程图表1中的第一幅图为IF主力合约的价格走势其余图对应了EMD分解过程由图表1可知该价格时序可以由7个固有模态函数和一个趋势项组成原本振荡向下的价格时序最终被分解成一个单调向下的序列图表1CU主力合约价格走势和EMD分解过程资料来源同花顺iFind中信期货研究所虽然EMD具有自适应性的特点且不用选择基函数和传统的时频信号分析技术相比分解非平稳非线性时序的优势明显但存在严重的模态混叠现象因此相关学者针对这个问题提出了优化算法EEMD该方法通过在使用EMD方法之前在原序列中加入白噪音序列以促进抗混分解能有效的抑制混叠现象那模态混叠是怎么产生的呢我们在EMD分解过程中首先需要确定信号的局部极值点然后用三次样条线将所有的局部极大值和极小值点分别连接起来形成上下包络曲线再由上下包络曲线得到均值曲线在求包络曲线的过程中若信号中存在异常事件时会影响极值点的选取使极值点分布不均匀从而导致求取的包络为异常事件的局部包络和真实信号包络的组合经该包络计算出的均值再筛选出的IMF分量就包含了信号的固有模式和异常事件或者包含了627商品量化专题报告相邻特征时间尺度的固有模式从而产生了模态混叠现象模态混叠现象具体表现为1不同的特征频率出现在同一IMF分量中2不同的IMF分量中存在相近的特征频率价格时序中的异常事件通常有间断信号和脉冲干扰等通过在初始信号中加入白噪音可以平滑异常事件但很快国内外学者发现EEMD对原序列添加的白噪音仍有可能在多次平均后影响分解产生的子序列从而影响子序列的预测精度为了抑制这个问题带来的影响专家又提出了新一版的分解方法CEEMDAN二CEEMDANCEEMDAN由Torres在2011年提出EEMD是直接在原始信号上添加白噪音然后进行EMD分解并对相对应的IMF直接求平均而CEEMDAN不仅在原始信号上添加噪音在每求完一阶IMF分量后会重新给残值加入白噪音具体更迭流程见图表2图表2CEEMDAN的更迭流程资料来源中信期货研究所从图表2中可以发现CEEMDAN在每一次迭代中都会对IMF进行求平均已知白噪音的均值为零这样可以有效地抑制白噪音从高频到低频的转移传递问727商品量化专题报告题且CEEMDA是在每次分解后加入白噪音它不用像EEMD在原信号上加很多次噪音因此它的计算速度得到了提高同样以IF主力合约的价格序列为例进行分解图表3展示了CEEMDAN的分解过程图表3CU主力合约价格走势和CEEMDAN分解过程资料来源同花顺iFind中信期货研究所时序按CEEMDAN可分解成5个IMF函数和一个趋势项与EMD和EEMD相比CEEMDAN分解后的成分量变少且各分量区别更大分解结果更优最近两年大多数时序预测的研究也都是利用了CEEMDAN来对时序进行分解处理二LSTM和GRU网络的内部结构和工作原理一LSTM神经网络循环神经网络RNN已被广泛应用于语音识别等多领域中序列数据的建模过程图表4展示了RNN按时间展开的链式结构在这个循环结构中主体结构A通过读取输入层信息以及模型的上一时刻状态来更新自身状态因1此RNN能从之前的输入信息中获取有效信息具有记忆功能从而被应用于时序预测领域827商品量化专题报告图表4单个RNN神经元结构和展开形式资料来源中信期货研究所然而由于长期依赖问题原始RNN隐藏单元的权重对网络的训练影响较大会引起梯度消失和梯度爆炸现象换一句话说随着时间的推移RNN会忘记较长时间之前的信息在一开始就遗漏重要信息因此RNN只具有短时记忆为了改善这个问题LSTM由HochreiterSchmidhuber在1997年被提出随着2012年后深度学习的兴起LSTM的框架得到了近一步的优化并在多个领域得到应用图表5LSTM神经元结构927商品量化专题报告资料来源中信期货研究所图表5展示了LSTM神经网络记忆单元的基本结构和传统RNN相比LSTM在保留了状态向量的基础上增加了能够保存长期状态的记忆状态向量单元状态同时引入了由遗忘门输入门和输出门组成的门控机制来控制序列信息的遗忘与更新我们先依次看一下每个门的逻辑和作用首先是遗忘门LSTM通过遗忘门判断从当前状态中移除哪些信息读取和按公式7计算1即可得出遗忘门向量公式7图表6Sigmoid函数图像资料来源中信期货研究所1其中激活函数表示sigmoid函数图表6展示了1sigmoid函数的图像sigmoid函数是生物学中常见的S型函数它的值域范围为01与概率值的范围相对应经常被运用到神经网络中作为激活函数因1027商品量化专题报告此遗忘门向量的每个元素都位于01范围内0表示完全不通过1表示完全通过然后是输入门输入门被用来判断哪些新信息会被更新到单元状态中由一个sigmoid层和一个tanh层组成输入门中的sigmoid层决定了需要更新的值如公式8所示通过线性变换和激活函数得到向量而tanh层则是为了创造出新的单元状态具体计算过程见公式91公式81公式9图表7Tanh函数图像资料来源中信期货研究所其中公式9中的tanh函数tanh也是一种激活函数图表7展示了它的图像它的取值范围为-11有类似对数据去中心化的效果sigmoid函数取值范围为01更适用于二分类任务而tanh函数取值范围更加多样在深度网络训练中模型的收敛速度会更优因此在此处使用tanh函数通过遗忘门和输入门我们已知需要对信息做出怎么样的处理接下来一步就是实现这些处理如公式10所示同时对应了图表5中最上端的那条水平线将1127商品量化专题报告旧单元状态1和遗忘门向量相乘来丢弃需要丢弃的信息再加上以此向单元状态中添加需要更新的信息最终得到新的单元状态1公式10公式111公式12最后就是输出门通过输出门来确定输出什么信息如公式11和12所示在输出门中先通过sigmoid层确定输出什么信息再使用tanh层对刚得出的新单元状态进行处理最后将两者相乘得出最终输出信息复杂的神经元结构使得LSTM网络可以有效处理复杂的长期时序动态依赖关系但也是因为复杂的结构使得LSTM在具体使用时过于繁琐近年来众多学者提出了多种基于LSTM网络的变体其中GRU网络就是最成功的变体之一研究表明GRU结构更加简洁且保持和LSTM相似的预测效果二GRU神经网络GRU神经网络由Cho等人在2014年提出和LSTM相比GRU将三个门遗忘门输入门和输出门转变为两个门更新门和重置门同时将LSTM的单元状态和输出合并为一个状态图表8GRU神经元结构1227商品量化专题报告资料来源中信期货研究所如图表8所示GRU网络只有两个输入值此刻输入信息和上一刻GRU输出值和一个输出值此刻GRU输出值现在我们看一下GRU网络中两个1门的作用整体上理解公式13到16可以发现更新门是原本LSTM网络中遗忘门和输入门的的结合决定了和中有多少信息需要传递到当前隐藏状态1中而重置门决定了上一时刻隐藏状态中有多少信息流入此刻的候选隐1藏状态中如公式16所示GRU网络通过1对上一刻的隐藏状态1选择性遗忘同时通过对此刻的候选隐藏状态选择性记忆公式1311公式14tanh1公式151327商品量化专题报告1公式161简化的门控结构使GRU网络的参数更少训练速度加快同时在很多情况中预测效果更优于LSTM网络三组合模型构建在上文中各种分解算法和相关深度学习网络都得到了详细介绍为了探究分解算法和深度学习的融合效果本文选取EMD和CEEMDAN算法与LSTM网络和GRU网络各自组合形成组合模型并进行测试一IMF重组在分解算法的介绍中我们有提到原始序列经分解算法分解后会得到相应不同频率的IMF分量和一个趋势项为了降低组合模型的繁琐程度我们将各IMF分量求均值进行t检验并重组从而将IMF分量分为高低频两个子序列结合最初的趋势项原始序列就可以被重组成高频分量低频分量和趋势项具体步骤如下1将IMF1记为指标1IMF1IMF2为指标2以此类推分别计算各指标的均值和标准差2给定显著性水平为005对刚刚得出的均值进行显著区别于0的t检验其中t检验统计量为0公式1713若指标i为第一个均值显著不等于0的IMF则将IMF1至IMFi-1加和得到原始序列的高频子序列将IMFi至IMFn加和得到原始序列的低频子序列并将分解剩余的作为原始序列的趋势项二组合模型建模流程图表9为组合模型的建模流程模型主要包含三个部分第一部分是通过EMD和CEEMDAN算法将原始序列分解为多个IMF序列和残差序列第二个部分是按照上文所述将各分量进行高低频和趋势项进行重组第三部分是运用LSTM1427商品量化专题报告和GRU网络将重组后的子序列作为模型的输入数据进行训练预测具体步骤如下图表9组合模型的流程资料来源中信期货研究所1运用EMD和CEEMDAN将原始序列st分解为多个IMF序列和残差2按上文所述根据t检验将原始序列st重组为高频分量低频分量和趋势项3针对重组后的高频分量低频分量和趋势项分别进行LSTM和GRU训练预测1527商品量化专题报告4利用深度学习预测得出各序列的预测值然后将预测值相加得到原始序列的最终预测值三LSTM和GRU网络的计算图结构和训练方法选择图表10展示了本文构建的深层LSTMGRU神经网络计算图结构虚线方框内为神经网络结构本文构建的深层网络的主体结构包括两层LSTMGRU神经层和两层全连接层参考过去文献将两个隐藏层的神经元个数设置为88Batch-size设置为64模型迭代次数设置为100为了缓解过拟合问题提高模型的泛化能力在每层LSTMGRU神经层后加入Dropout层其中失活率设置为02本文采用Mini-Batch方法训练LSTM网络选取均方误差MSE作为损失函数为了提高训练收敛速率采用Adam作为优化器进行优化训练同时使用早停机制当连续5次迭代轮次的损失值出现增加时停止训练本文采用的是循环预测建模方式步长设置为30即以最近30个交易日的数据预测下一个交易日的收盘价最后本文是基于Python语言环境以PyTorch作为深度学习框架进行训练和预测图表10LSTMGRU网络的计算图结构1627商品量化专题报告资料来源中信期货研究所四预测结果分析一数据选择和处理本文选取沪铜期货主力合约为主要测试标的同时为了充分测试模型单步预测的泛化能力选取沪深300股指期货和十年期国债期货主力合约为代表进行测试考虑到上市时间沪铜期货和沪深300股指期货数据集选用的时间范1727商品量化专题报告围均为2011年1月1日至2022年12月31日每个合约共2917行数据十年期国债期货数据集选用时间为2015年3月20日至2022年12月31日共1898行数据将数据集划分为训练集验证集和测试集其中切割比率为080101所有测试均使用日频数据选取各主力合约的收盘价作为模型的输入特征时序分解后不同序列大小差别较大为缓解不同量纲带来的影响提高模型训练效率对数据进行Z-score标准化处理转换公式如下公式18其中为原始数据的均值为原始数据的标准差将归一化后的数据输入模型模型转变为对归一化后的收盘价的预测所以需要对预测值进行去归一化处理来得到最终的预测结果二预测结果评价指标本文选用R-平方2均方根误差RMSE平均绝对误差MAE和方向正确率DA四种误差评价指标对模型预测性进行评估四种指标的计算公式如下221公式1219112公式2011公式21111111100公式2212其中为真实值为预测值为真实值的平均值m为序列长度用来衡量模型的拟合优度越接近1表明模型拟合程度越好RMSE和MAE用来衡量真实值和预测值间的偏差值越小表明预测误差越小DA衡量了模型在序列方向上的准确性值越高代表方向准确率越高1827商品量化专题报告三预测结果展示和分析首先我们将CU的收盘价通过EMD和CEEMDAN进行分解并重组形成各自的高低频和趋势序列利用已建立的LSTM模型对各序列进行预测经EMD和CEEMDAN分解后发现低频序列中IMF分量较少甚至没有因此将低频序列和趋势项合并考虑如图表11所示经模型预测后发现模型对纯趋势项的学习能力较弱因此需测试后对IMF分量进行重新重组同时高频序列中含有大量无序噪音预测精度难以提升因此尝试通过剔除噪音含量过多的IMF分量来对高频序列进行优化图表11CU分解后各频率序列LSTM模型预测效果比较序列名称EMD高频序列8866123109903124913EMD低频序列99643051728587381EMD趋势项-16548206368179135034EMD低频序列趋势项986345457405142007CEEMDAN高频序列9133107957850945017CEEMDAN低频序列99194552843052519CEEMDAN趋势项-90728611546411148264035CEEMDAN低频序列趋势序列16873532212376005848资料来源同花顺iFind中信期货研究所如图表11所示经EMD分解后的低频序列和趋势项的组合序列预测模型的2已经达到9863预测效果已经比较优异因此不对此组合序列进行重新重组直接对高频序列进行去噪优化图表12CU经EMD分解高频序列模型预测结果展示1927商品量化专题报告高频序列高频序列预测值高频序列-IMF1高频序列-IMF1-IMF2高频序列-IMF1-IMF2-IMF3100005000017611319253137434955677379859197139217103109115121127133145151157163169175181187193199205211223229235241247253259265271277283289-5000-10000-15000资料来源同花顺iFind中信期货研究所图表13CU经EMD分解后高频序列模型预测效果比较序列名称高频序列8866123109903124913高频序列-IMF1936991809677146090高势序列-IMF1-IMF2939290117651896194高势序列-IMF1-IMF2-IMF39101109639801535779资料来源同花顺iFind中信期货研究所图表12和13展示了通过剔除相应高频IMF分量后高频序列模型的预测结果可以发现剔除IMF1和剔除IMF1IMF2可以显著提高模型的拟合效果2提升了5以上RMSE和MAE也都缩小了25以上剔除IMF1IMF2的优化效果稍许优于剔除IMF1因此选择剔除IMF1和IMF2两个分量来形成高频序列模型的新的输入特征图表11也展示了CU经CEEMDAN分解后各序列模型的预测效果可以发现趋势项的预测效果很差因此需要对IMF分量进行重新重组图表14CU经CEEMDAN分解各序列LSTM模型预测效果比较序列名称低频趋势序列趋势IMF712773543182595246159低频趋势序列趋势IMF7IMF690871409061146202353低频趋势序列趋势IMF7IMF6IMF5956896928784282803低频趋势序列趋势IMF7IMF6IMF5IMF49370122208847183356高势序列IMF1IMF2IMF3IMF44491100468750215709高势序列IMF2IMF3IMF4750767581514936436高频序列IMF3IMF4779163617494916782高频序列IMF45024964007273960902027