★研究背景：
　　波动率的预测一直是金融市场中（尤其是期权投资领域）非常关注的课题。本报告分别从数据端和模型端两个角度，引入舆情数据和机器学习模型，优化波动率预测的准确率。
　　★模型选择：
　　多元回归模型：本报告采用OLS、Lasso和Ridge作回归分析模型，其中Lasso和Ridge是在OLS最小化残差平方和的基础上分别加入了L1和L2范数的惩罚项。自回归模型：采用GARCH（广义条件异方差模型）对波动率时间序列进行自回归建模。深度学习模型：LSTM是基于RNN改进的具有记忆长短期信息的能力的神经网络，更加善于处理具有较长周期时序关系依赖的数据。舆情分析：基于贝叶斯模型进行文本的情感分类，通过中文语义分析库SnowNLP完成。
　　★模型结果：
　　价量数据的多元回归周度（5日）和日度（1日）正确率为：64.16%和65.05%；GARCH模型周度（5日）和日度（1日）正确率为：65.80%和62.93%；价量数据的LSTM模型周度（5日）和日度（1日）正确率为：70.73%和67.08%；补充舆情数据后多元回归周度正确率为：63.95%；补充舆情数据后LSTM周度正确率为：67.17%。LSTM表现最好，回归模型中Lasso优于OLS和Ridge，GARCH模型随参数敏感性较大；舆情数据自身具有一定预测能力，却无法为价量数据提供增益信息。上述模型预测效果均未在样本外出现明显衰减。
　　★风险提示：
　　市场风格的切换会造成特征有效性发生变化，导致模型效果下降。

研究报告全文：深度报告金融工程期权策略专题六股指波动率预测舆情分析深度学习能否战胜传统计量模型TableRank王冬黎高级分析师金融工程报告日期2022年12月15日TableAnalyser从业资格号F3032817投资咨询号Z0014348Tel8621-63325888-3975Ta研bl究e背Su景mmaryEmaildongliwangorientfuturescom波动率的预测一直是金融市场中尤其是期权投资领域非常关注的课题本报告分别从数据端和模型端两个角度引入舆情数据和机器学习模型优化波动率预测的准确率联系人谢怡伦分析师从业资格号F03091687模型选择Tel8621-63325888-1585多元回归模型本报告采用OLSLasso和Ridge作回归分析金模型其中Lasso和Ridge是在OLS最小化残差平方和的基础Emailyilunxieorientfuturescom融上分别加入了L1和L2范数的惩罚项自回归模型采用GARCH广义条件异方差模型对波动率时间序列进行自回工归建模深度学习模型LSTM是基于RNN改进的具有记忆相Ta关ble报R告eport程长短期信息的能力的神经网络更加善于处理具有较长周期时序关系依赖的数据舆情分析基于贝叶斯模型进行文本期权策略专题五基于择时的的情感分类通过中文语义分析库SnowNLP完成波动率做空以及Delta动态对冲模型结果衍生品量化对冲系列三期权对冲策略组合实证研究价量数据的多元回归周度5日和日度1日正确率为6416和6505GARCH模型周度5日和日度1日正确率为6580和6293价量数据的LSTM模型周度5日和日度1日正确率为7073和6708补充舆情数据后多元回归周度正确率为6395补充舆情数据后LSTM周度正确率为6717LSTM表现最好回归模型中Lasso优于OLS和RidgeGARCH模型随参数敏感性较大舆情数据自身具有一定预测能力却无法为价量数据提供增益信息上述模型预测效果均未在样本外出现明显衰减风险提示市场风格的切换会造成特征有效性发生变化导致模型效果下降重要事项本报告版权归上海东证期货有限公司所有未获得东证期货书面授权任何人不得对本报告进行任何形式的发布复制本报告的信息均来源于公开资料我公司对这些信息的准确性和完整性不作任何保证也不保证所包含的信息和建议不会发生任何变更我们已力求报告内容的客观公正但文中的观点结论和建议仅供参考报告中的信息或意见并不构成交易建议投资者据此做出的任何投资决策与本公司和作者无关有关分析师承诺见本报告最后部分并请阅读报告最后一页的免责声明深度报告2022-12-15目录1研究背景52数据53回测框架74多元回归841多元回归模型9411OLS9412Lasso9413Ridge10414样本数量不足情况下的讨论1042多元回归结果分析1043样本外135GARCH1451模型介绍1452模型结果分析1553样本外176LSTM1861模型介绍1862模型结果分析1963样本外217舆情分析2271模型介绍2272数据2273结果分析258舆情数据数据扩充2581多元回归2782多元回归样本外27行业83LSTM28研究84LSTM样本外299总结292期货研究报告深度报告2022-12-15图表目录图表1价量因子5图表2上证50历史波动率7图表3滚动回归框架8图表4多元回归预测11图表5多元回归预测结果5日11图表6不同回看周期下多元回归结果5日11图表7不同回看周期下多元回归结果1日12图表8不同预测周期结果固定回看周期为120天12图表9多元回归样本外表现13图表10多元回归样本外预测结果5日13图表11多元回归样本外预测结果1日14图表12GARCH模型表现15图表13GARCH模型回测结果5日15图表14GARCH模型回测结果1日16图表15GARCH模型样本外表现17图表16GARCH模型样本外回测结果5日17图表17GARCH模型样本外回测结果1日18图表18RNN模型原理18图表19LSTM模型回测结果5日19图表20LSTM模型回测表现20图表21LSTM模型回测结果1日20图表22LSTM模型样本外表现21图表23LSTM模型样本外回测结果5日21图表24LSTM模型样本外回测结果1日21图表25舆情数据举例22图表26舆情数据情感评分23图表27舆情数据梳理23图表28波动率VS情绪指标MA524图表29舆情数据回归结果25图表30舆情数据样本外回归结果25图表31因子相关性26图表32价量舆情数据多元回归回测结果27图表33价量舆情数据多元回归样本外回测结果273期货研究报告深度报告2022-12-15图表34价量舆情数据LSTM表现28图表35价量舆情数据LSTM回测结果28图表36价量舆情数据LSTM样本外表现29图表37价量舆情数据LSTM回测结果294期货研究报告深度报告2022-12-151研究背景波动率的预测一直是金融市场中非常关注的课题无论是资产定价风险管理还是在构建投资组合的过程中对市场波动率的估计占据着十分重要的位置在期权市场上一种被广泛采纳的波动率估计方式是利用期权价格倒推出来的隐含波动率作为对未来市场波动率的估计然而受限于国内期权市场起步较晚市场上容易出现了很多非理性的交易行为造成期权价格的非理性偏差故由此所推出的隐含波动率无法公允地反应市场的未来波动率本报告采用的方式是基于波动率的历史数据通过对历史价量数据以及舆情数据进行建模以预测未来的市场波动率走势当然这种波动率估计方式也存在一定弊端一方面容易出现模型过拟合的风险出现另一方面基于历史数据建模的先验假设是历史会不断重演针对过拟合的问题本报告通过区分样本内和样本外数据进行优化基于样本内数据建模再利用样本外数据验证以此来降低模型过拟合的风险针对历史重演的质疑本报告会对波动率数据进行平稳性检验相较于纯粹的市场价格数据波动率数据更趋于平稳故可以认为其历史重演的概率更高2数据在多元回归以及LSTM部分选取上证50ETF的价量数据作为模型的输入因子包括开盘价最高价收盘价成交量等共计20个价量因子在基础价量数据的基础上计算其多日滚动均值以扩充其时序上的信息同时计算其偏度和峰度以加入数据的统计特征图表1价量因子highclosevolma60skew20numtradeslowreturnvolma5kurt20opentotalturnoverma5volma20skew60volumeiopvma20volma60kurt60资料来源东证衍生品研究院5期货研究报告深度报告2022-12-15而在舆情分析部分梳理财经软件上股民的评论数据作为输入因子本报告统计了每一天的发帖数量阅读数量帖子情绪指标等数据作为模型的情绪因子图表2情感因子发帖数量阅读数量评论数量总情感得分平均阅读数平均评论数平均情感得分资料来源东证衍生品研究院本报告基于上证50ETF的5min数据的对数价格利用无模型方法计算出t-1到t时刻的已实现波动率以此来作为标的历史波动率的估计首先需要计算每天的对数收益率其中为时间间隔当t取整数时则表示日间价格对数收益率有而日内价格对数收益率向量可以表示为日内对数收益率与日间对数收益率存在以下关系由于本报告取5min级别价格数据每天共有48的数据由上述公式以及已实现波动率的定义可以得到由上式可以计算得到第t日的已实现波动率6期货研究报告深度报告2022-12-15图表3上证50已实现波动率资料来源东证衍生品研究院上图考察了从2015年初至2022年8月的上证50的波动率水平其历史中枢为1590可以看到长期来看波动率数据围绕着中枢进行震荡而当极端行情时波动率则会迅速攀升至较高水平而后快速回落通过上图可以较为直观地发现波动率序列相对平稳为验证这一猜想下面对其进行单位根检验其ADF检验统计量为-4544t值P值为000016在999590不同置信区间下临界的ADF检验值分别为-34339-28631-25676不难发现t统计量明显小于各个置信区间下的ADF检验值且P值明显小于给定的显著水平十分接近于0故拒绝原假设认为该波动率序列为平稳序列3回测框架本报告首先依据多元回归进行滚动回归预测OLS普通最小二乘法多元回归的原理为最优拟合曲线使得各点到直线的距离的平方和残差平方和RSS最小而Lssso和Ridge回归则是在OLS的基础上加入了L1和L2正则惩罚项7期货研究报告深度报告2022-12-15本报告采用滚动回归的方式进行回测以尽可能模拟真实预测环境以周度预测为例首先设置相应的滚动回归窗口长度N对每一天T都截取T-N到T时间段的基本面数据由于为周度预测需要对价量数据进行5天的移动处理所以实际可用数据点为N-5天内的数据随后根据训练模型得到一列预测值再根据预测值与真实值的比较去构造回测模型LSTM模型和舆情分析部分的回归方式与多元回归一致均采用滚动回归的方式图表4滚动回归框架资料来源东证衍生品研究院4多元回归在这一部分通过多元回归检验股指的价量数据对波动率的预测能力此处所采用的的OLSLassoRidge模型均是传统的多元线性回归模型其基础形式如下yi1xi12xi2kxiki其中xi1xi2xik表示个体i的k个自变量yi为个体i的因变量而12k为系数矩阵多元回归的逻辑是通过约束条件对12k进行参数估计由此即可以得到回归方程无论是OLS还是Lasso和Ridge回归其参数估计的核心思想都22是一致的即残差平方和最小化minyiyiminei稍有差异的是Lasso回归和Ridge回归在OLS的基础上分别加入了L1和L2范式的惩罚项所以这三个回归模型的参数估计的约束条件分别为2OLSminei8期货研究报告深度报告2022-12-152Lassominei122Ridgeminei241多元回归模型411OLS22前文提到OLS模型的约束方程为minyiyiminei其中eiyiyi表示实际值和估计值之间的差值即估计误差故该约束方程的意义是求得一组系数矩阵12k使得所有点的误差平方之和最小得到的参数估计方程为XX1XyOLS模型可以有效解决基础的多元线性回归问题然而在实际建模过程中自变量xi1xi2xik的数据质量不一定能够满足OLS回归的条件通过OLS的参数估计方程可以得到若XX不是满秩的则不存在该项的逆矩阵对应到实际问题当中若样本个数小于待估参数数量则无法进行OLS回归此外若自变量xi1xi2xik存在多重共线性的问题同样会导致XX几乎不可逆为应对上述问题在OLS的基础上引入相应的惩罚项即Lasso回归和Ridge回归412LassoLasso回归在残差平方和最小化的基础上加入了L1范数的惩罚项使得约束方程变为k22mineiminyiyiu1u1k不难发现u是绝对值的形式在零点除不可导故不具有解析解但可以使用u1梯度下降法求解9期货研究报告深度报告2022-12-15Lasso回归的最大特点是其可以产出稀疏的系数矩阵即使得一些不重要的回归系数缩减为0起到删除部分变量的作用413RidgeRidge回归在残差平方和最小化的基础上加入了L2范数的惩罚项使得约束方程变为22k22mineiminyiyiu2u1该方程解析解为XXI1Xy可以发现L2范数惩罚项使得XX项变成了XXI保证了该项满秩并且可逆但由于惩罚项的引入使得回归系数的估计不再无偏故Ridge通过放弃参数估计的无偏性降低精度的方式解决病态矩阵的回归问题414样本数量不足情况下的讨论当样本长度小于自变量数量时多元回归的参数估计方程XX1Xy是无法进行求解的原因在于XX不满秩故无法求可逆矩阵此时可以采用求解伪逆矩阵的方式进行参数估计方程的求解其形式如下pinvXXX1X本报告在建模过程中若遇到样本长度不够的情况均采用此方法进行求解42多元回归结果分析下图展示的是利用250个交易日作为回看周期时OLSLasso和Ridge回归的结果大体的趋势上三个模型均能够很好地预测波动率的走势然而OLS和Ridge会在某些时段出现异常值小于0的情况出现潜在原因可能是自变量数量较大导致出现一定程度的多重共线性而OLS和Ridge在模型层面并不会剔除冗余因子因此当共线性因子系数大批量出现负数情况下会导致最终拟合结果出现波动率为负的情况相较之下Lasso回归由于产出结果为稀疏系数矩阵通过赋予0系数的方式可以有效剔除部分变量故Lasso回归的结果没有出现异常现象10期货研究报告深度报告2022-12-15图表5多元回归预测资料来源东证衍生品研究院图表6多元回归预测结果5日OLSLASSORIDGEMAE006080052700618MSE001040007400131RMSE010190085801143胜率061420630606149资料来源东证衍生品研究院从整体误差的角度Lasso回归的预测能力更强从胜率方面来看Lasso回归对波动率的预测可以达到63可以认为具有较为显著的预测能力相比较之下OLS和Ridge的正确率略低为61图表7不同回看周期下多元回归结果5日OLSLASSORIDGE10天07107054860492520天05691057870473360天061350631305527120天057390641605739250天061420630606149资料来源东证衍生品研究院11期货研究报告深度报告2022-12-15考虑到不同回看周期设置下预测结果可能出现较大差异本文同样回测了在不同尺度的回看周期下各个线性回归模型的预测能力此处以胜率作为主要的参考指标不难发现OLS对参数的敏感性较强在回看周期为10天时胜率最高达到7107而随着回看周期的拉长OLS模型的胜率呈现并无明显规律的变化总体而言胜率在60附近出现较大幅度震荡相较之下Lasso和Ridge模型随着回看周期的拉长模型胜率逐渐趋于稳定这其中Lasso回归的效果明显好于Ridge当回看周期较短时小于等于20天时Ridge回归的胜率不足50而随着回看周期不断变长Ridge的胜率可以达到超过60的水平相较之下Lasso在回看周期较短的情况下依然可以达到约55的胜率而随着回看周期进一步拉长其胜率维持在63左右上文的回测过程均对波动率进行周度级别的回测考虑到模型数据样本均为日度数据同样也可以进行日度级别的波动率预测下图考虑在日度预测框架下各多元回归模型的正确率如何图表8不同回看周期下多元回归结果1日OLSLASSORIDGE10天07025063680597120天06026066350610160天061560653906252120天063000650506430250天065320645006607资料来源东证衍生品研究院相较于周度级别的预测日度级别波动率预测准确率并无显著变化其中OLS和Ridge模型的能力略有提升日度级别预测下OLS和Ridge在不同回看周期下均能够给出超过60的预测正确率进一步地固定回看周期为120天考察不同预测周期下模型的预测能力如何变化图表9不同预测周期结果固定回看周期为120天1日2日3日4日5日10日20日mae00413004560048400513005400061300711mse00044000580006500073000830010200137rmse00663007630080300857009090101101172胜率06505064640634706477064230645006354资料来源东证衍生品研究院数据显示各项指标随预测周期变长而不断下降也就意味着模型对远期波动率的预测能力小于对近期波动率的预测能力这一点也是符合直观预期的对于跨度周期越长的指标预测模型预测能力难免预测衰减12期货研究报告深度报告2022-12-1543样本外本报告预留了2021你1月至2022年8月的数据作为样本外数据对模型进行进一步验证选取回看周期为120天的数据进行比对整体效果相较于样本内数据非但没有下降反而存有一定程度的增长说明模型在样本外依旧有效需要说明的是根据前述分析在不同回看周期下当参数设置为120天时模型整体的预测能力较强故在样本外检验部分统一以回看周期为120天作为参数设置并且在后续的分析过程中若无特殊说明均以120天作为回看周期图表10多元回归样本外表现资料来源东证衍生品研究院图表11多元回归样本外预测结果5日OLSLASSORIDGEMAE005100040900517MSE000470003100048RMSE006880056000696胜率063050684806202资料来源东证衍生品研究院13期货研究报告深度报告2022-12-15上表展示了样本外模型的表现情况与样本内的表现对比模型整体预测能力非但没有显著衰减反而有一定提升首先对于样本内模型的参数设置并没有过多调参的操作唯一的参数就是回看周期的设置故在一定程度上避免了过拟合的情况出现其次模型在市场波动加剧时的预测能力显著下降而2021初至2022年8月这一时间段市场整体的波动率较为平稳所以造成了样本外表现好于样本内的现象最后观察图像可以发现与样本内一样OLS和Ridge在某些时段会出现异常值比如在2022年6月初OLS和Ridge模型均给出了接近于0的预测值明显与真实数据不符相较之下Lasso的预测值更为准确图表12多元回归样本外预测结果1日OLSLASSORIDGEMAE003910034400383MSE000250002100025RMSE005040046100497胜率067960677006667资料来源东证衍生品研究院相似地上图考察了日度级别预测再样本外的准确率把回看周期同样设置为120天数据显示多元回归模型在样本外表现并未出现衰减甚至相较于样本内存在一定提升这一现象的潜在原因在前一段已进行分析此外相较于周度预测的正确率在样本外日度预测正确率并无显著区别三个回归模型的正确率均落在67左右5GARCH51模型介绍GARCH模型作为ARCH模型的推广被广泛用于金融时间序列数据的建模过程中ARCH模型的实质是使用残差平方序列的q阶移动平移拟合当期异方差函数值由于移动平均模型具有自相关系数q阶截尾性所以ARCH模型实际上只适用于异方差函数短期自相关系数但是在实践中有些残差序列的异方差函数是具有长期自关性这时使用ARCH模型拟合异方差函数将会产生很高的移动平均阶数增加参数估计的难度并最终影响ARCH模型的拟合精度为了修正个问题提出了广义自回归条件异方差模型这个模型简记为GARCHpqGARCH模型实际上就是在ARCH的基础上增加考虑异方差函数的p阶自回归性而形成它可以有效的拟合具有长期记忆性的异方差函数相较于利用权益市14期货研究报告深度报告2022-12-15场的价量数据对波动率进行多元回归GARCH模型是金融界更为常用的对金融时序数据进行建模的模型pa222GARCHtitijtji1j152模型结果分析图表13GARCH模型表现资料来源东证衍生品研究院图表14GARCH模型回测结果5日10天20天60天120天250天mae0031100383004980056000684mse0002700049000820009600132rmse0051800703009030097901148胜率0801007565067850658006231资料来源东证衍生品研究院GARCH模型的预测效果整体优于多元回归且由于该模型的预测周期为5天故随着回看周期逐渐拉长预测准确率逐步降低回看时间越长预测值越接近于长期均15期货研究报告深度报告2022-12-15值当回看周期为10天时模型预测准确率达到惊人的80以上随着回看周期逐步拉长到250天模型准确率逐步稳定在62图表15GARCH模型回测结果1日10天20天60天120天250天mae0035200437005080056200685mse0003800065000820009500132rmse0061900804009040097201150胜率0731206936065250629305985资料来源东证衍生品研究院为了进一步验证GARCH在不同周期下的预测能力同样对未来一天的波动率进行预测比较可得日度预测的准确率相较于周度预测在不同回看天数下全面下滑无论是10日回看周期还是250日回看周期可以发现日度准确率下降3-7不等这一点与之前在多元回归模型中观察到的现象是不一样的为进一步检验该现象固定回看天数为120天讨论在不同预测周期下模型的效果数据表明对于各个误差指标随着预测周期逐渐拉长误差逐渐变大这一现象与多元回归结果是一致的但是对于胜率这一指标而言并未呈现出明显的规律性变化图表16GARCH不同预测周期结果固定回看周期为120天1日2日3日4日5日10日20日mae00562005610056000560005600056000574mse00095000950009500096000960009900112rmse00972009740097500977009790099501059胜率06293066620643606505065800697007038资料来源东证衍生品研究院16期货研究报告深度报告2022-12-1553样本外图表17GARCH模型样本外表现资料来源东证衍生品研究院图表18GARCH模型样本外回测结果5日10天20天60天120天250天mae0026700312003620039000391mse0001300018000260002900029rmse0036000427005060053600536胜率0821707881071320692506848资料来源东证衍生品研究院同样选取2021年1月至2022年8月的数据作为样本外数据对模型进行进一步检验由于在使用样本内数据建模时并未过度调参故在样本外模型表现并未出现衰减且与样本内情况一样回看天数越短模型胜率越高随着回看周期逐步拉长到250天模型准确率逐步稳定在6817期货研究报告深度报告2022-12-15图表19GARCH模型样本外回测结果1日10天20天60天120天250天mae0029900339003720039300393mse0001600023000270002900029rmse0040400481005190053900538胜率0754507132070030689906822资料来源东证衍生品研究院对于日度预测而言其样本外表现同样未出现衰减且其与周度预测准确率的差距在样本外得到缩小虽然在回看周期较小时10天和20天日度准确率仍低于周度准确率7左右而在回看周期较长时60天120天和250天日度预测准确率与周度预测准确率相近6LSTM61模型介绍LSTM长短期记忆网络是在传统循环神经网络RNN的基础上为解决梯度爆炸问题而进行的优化RNNRecurrentNeuralNetwork又称循环神经网络是一类用于处理序列数据的神经网络基础的神经网络包括输入层隐藏层输出层并通过激活函数控制输出层与层之间通过权值连接而RNN在此基础上对层之间的神经元也建立了权连接基于此RNN便具有了记忆功能图表20RNN模型原理资料来源东证衍生品研究院18期货研究报告深度报告2022-12-15上图显示U是输入层到隐藏层的权重矩阵V是隐藏层到输出层的权重矩阵循环神经网络中隐藏层的值S不仅仅取决于当前这次的输入X还取决于上一次隐藏层的值S权重矩阵W就是隐藏层上一次的值作为这一次的输入的权重因此RNN网络对上一时刻的隐藏层具有记忆功能期权方面帮助大型金融机构优化期权对冲方案针对市场主流的期权对冲策略进行实证研究同时研发期权相关套利策略以协助私募基金提升期权策略表现然而传统的RNN会遇到的一个问题是后面时间的节点对于前面十点节点的感知力下降于是在RNN记忆模型中再加入遗忘门输入门和输出门使得可以记忆更加长期的信息这就是LSTM长短期记忆模型LSTM是一种特殊的RNN模型遗忘门forgetgate在LSTM中一定的概率控制是否遗忘上一层的隐藏细胞状态输入门inputgate负责处理当前序列位置的输入确定什么样的新信息被存放在细胞状态中输出门outputgate则对更新后的细胞状态进行输出62模型结果分析图表21LSTM模型回测结果5日线性回归LSTM效果提升LassoMAE00455005271364MSE0006700074895RMSE0081800858458胜率07073063061215资料来源东证衍生品研究院本部分使用回看周期为120天的价量数据作为LSTM模型的输入数据得到的结果显著好于线性回归模型以表现最好的线性模型Lasso回归作为参考在各个评价指标下LSTM均明显好于Lasso回归模型胜率方面周度胜率达到了7073具有较强的预测能力19期货研究报告深度报告2022-12-15图表22LSTM模型回测表现资料来源东证衍生品研究院图表23LSTM模型回测结果1日线性回归LSTM效果提升LassoMAE0043300413-506MSE0006200044-4089RMSE0078700663-1870胜率0670806505312资料来源东证衍生品研究院在日度级别的预测上LSTM准确率出现一定程度提升然而却依然小幅由于线性回归下的日度预测这一现象与前文的观察一致20期货研究报告