深度学习近年的迅猛发展不断为金融市场提供优秀模型，相关模型也以其优异的拟合预测能力为金融，商品标的的交易提供交易信号，本篇报告阶段性的剖析Seq2Seq以及当下比较火热的Transformer模型构建要点，基于以上模型我们对标的的价格进行单步以及多步预测。基于预测结果我们应用简单的交易逻辑进行回测其中，螺纹钢，Brent原油以及PTA表现相对较好，达到年化收益率30%以上。但后期交易算法需进行额外优化。

研究报告全文：中信期货研究量化研究报告深度学习期货择时模型优化及应用投资咨询业务资格报告要点证监许可2012669号订单簿一定程度上既能反映市场的微观结构又能为投资者对未来价格变动预中信期货商品指数走势测提供信息基础本篇报告在基于上篇报告CNNLSTM模型进一步应用Seq2Seq以中信期货十年期国债期货指数115中信期货沪深300股指期货指数240中信期货商品指数及Transformer模型对标的数据进行单步以及多步预测平均未来20-30交易日拟合113220200准确率维持在80左右鉴于订单簿数据的可得性报告后期选取国内外典型期货品111180109种并应用其行情数据进行择时预测价格预测在螺纹钢brent原油等产上品拟合160107140较好105120103100摘要2020-09-072020-09-212020-10-132020-10-272020-11-102020-11-242020-12-082020-12-222021-01-062021-01-202021-02-032021-02-242021-03-102021-03-242021-04-082021-04-222021-05-112021-05-252021-06-082021-06-232021-07-07深度学习近年的迅猛发展不断为金融市场提供优秀模型相关模型也以其优异的拟合预测能力为金融商品标的的交易提供交易信号本篇报告阶段性的剖析Seq2Seq以及当商品量化组研究员下比较火热的Transformer模型构建要点基于以上模型我们对标的的价格进行单步以及蒋可欣FRMjiangkexinciticsfcom多步预测基于预测结果我们应用简单的交易逻辑进行回测其中螺纹钢Brent原油以从业资格号F03098078及PTA表现相对较好达到年化收益率30以上但后期交易算法需进行额外优化投资咨询号Z0018262本篇报告主要分为四大板块1报告将先对Seq2Seq模型注意力机制以及Transformer模型进行细致拆解讲述算法和模型背后原理2继续上篇报告深度学习模型对限价订单簿的择时策略的优化优化过后Seq2Seq模型以及基于注意力机制的模型不仅对下期mid-priceweightedaveragebid-askprice的预测准确率达到80同时对滞后多期价格预测均能起到较好的预测结果3相较于限价订单簿数据的可得性我们将Transformer模型应用到部分期货品种的价格预测中模型经过近100轮训练基本都可以达到较好的拟合效果在螺纹钢Brent原油等产品中得到较好的拟合值其中螺纹钢未来20交易日的价格曲线拟合真实价格线的相关性达到904基于上述模型所得到的预测结果我们将预测得到的价格数据进行简单的交易逻辑回测其中螺纹钢PTA年化收益率均超过30风险提示1模型参数失效2模型过拟合重要提示本报告难以设置访问权限若给您造成不便敬请谅解我司不会因为关注收到或阅读本报告内容而视相关人员为客户市场有风险投资需谨慎量化研究报告目录摘要1一Seq2Seq模型及Attention机制3一模型组成3二Encoder-Decoder模型3三Attention机制4四Seq2Seq模型下订单簿择时模型表现汇总4五Seq2Seq-Attention模型下表现汇总6二Transformer模型拆解及构建要点7一Transformer模型组件解读8二订单簿Transformer模型下表现汇总11三Transformer模型行情预测表现12一模型价格结果拟合解读14二模型后续应用14四部分期货品种回测结果展示14五总结展望16一模型优化总结16二后期研究方向及适用性分析16免责声明17图表目录图表1Seq2Seq模型逻辑框架3图表2Attention机制在Seq2Seq模型中嵌入方式4图表3SeqSeq模型表现汇总5图表4SeqSeqAttention模型表现汇总6图表5Transformer模型架构图7图表6PositionalEmbedding可视化例子10图表7Transformer模型表现汇总11图表8Transformer行情预测结果汇总13图表9部分产品回测逻辑图14图表10部分产品回测结果汇总15217量化研究报告一Seq2Seq模型及Attention机制一模型组成承接上篇报告Sequence2Sequence模型是一类特殊的循环神经网络架构现实生活中该模型通常被用来但不限于此解决复杂的语言问题如机器翻译问题回答创建聊天机器人文本总结等以经典的机器翻译过程为代表的场景中输入是一系列的词而输出是翻译后的一系列词而在订单簿择时模型的相关预测中输入为BatchsizeTimeintervalDimension维度的高维向量经神经网络编译后并解码后按顺序预测未来时间价格货价格变动该模型的顶层架构为Encoder-Decoder模型该模型由两个LSTM网络叠加而成第一个LSTM网络为Encoder编码器输入数据经过编码器后输入为负责将输入的序列信息转化为预先设置好维度的一组编码第二个LSTM网络为Decoder解码器负责将已经编译好的这组编码转化为对未来序列信息的预测Seq2Seq模型相较于上篇报告所提到的所有模型有明显优势在于该模型不仅可以预测未来时刻价格点的预测结果涨跌或价格同时可以在预测时生成其他模型所无法比拟的价格序列即多点价格预测该原理来自于解码器在生成未来价格序列时也会用到前一时刻点所预测的价格数据即11图表1Seq2Seq模型逻辑框架资料来源李沐深度学习二Encoder-Decoder模型Encoder-decoder模型也可以称为seq2seq它是为了应对RNN中无法满足不等长序列的输入输出而产生的一个RNN变种Encoder-decoder是深度学习中非常常见的一个模型框架比如无监督算法的auto-encoder就是用编码的结构设计并训练的再比如神经网络机器翻译NMT模型往往就是LSTM-LSTM的编码-解码框架准确的说Encoder-decoder并不是一个具体的模型而是一类框架Encoder317量化研究报告和Decoder部分可以是任意的文字语音图像视频数据模型可以采用CNNRNNBiRNNLSTMGRU等等其中encoder对数据进行编码decoder对encoder生成的编码进行解码资料来源于知乎三Attention机制注意力顾名思义是关注点所汇聚的部分注意力机制attentionmechanism是人工神经网络中一种模仿认知注意力的技术这种机制可以增强神经网络输入数据中某些部分的权重同时减弱其他部分的权重以此将网络的关注点聚焦于数据中最重要的一小部分深度学习中的注意力机制则是通过QQuery查询Kkey键VValue值三个矩阵来实现举一个很简单的例子类比推荐系统来说在零食推荐时Q代表某个人对口味的喜好信息比如籍贯年龄性别等K代表零食的类别比如口味质感等V代表待推荐的零食品牌通过求解K和Q在某个线性空间的相似度得出V中各个类别的数值关注度的大小在报告所列举的订单簿的例子中querykey和value的每个属性虽然在不同的空间其实他们是有一定的潜在关系的也就是说通过某种变换可以使得三者的属性在一个相近的空间中具体模型构建细节将在后面章节详细展开Attention机制在Seq2Seq模型中同样可以发挥作用具体过程如下图所示当编码器Encoder下同获得输入数据时同时产生hidden-state以及context向量在hidden-state向量进入解码器Decoder之前先对各个时期产生的隐状态进行注意力机制的计算具体入下图右侧当解码器同时获得之前所有时刻包含的信息之外还获得了额外的信息让模型自行学习应该关注过去多长时间的信息图表2Attention机制在Seq2Seq模型中嵌入方式资料来源李沐深度学习四Seq2Seq模型下订单簿择时模型表现汇总总体来说在Seq2Seq模型下训练集以及验证集损失的收敛速度都有了一417量化研究报告定加快相较于消耗大量计算资源且不稳定的MLP和CNN模型来说Seq2Seq模型在50-150epochs下均有较明显收敛同时对价格涨跌预测的准确率也有大幅提升经过对比可以发现模型在训练到50epochs左右呈现最佳收敛结果且模型在价格涨跌的准确率上基本稳定在80左右的准确率因此可以在短期内保证较高的胜率高频客户需额外注意频繁调仓导致的成本损失图表3SeqSeq模型表现汇总滞后一期滞后二期滞后三期滞后四期滞后五期ConfusionMatrix准确率汇总滞后阶数总体上涨振荡下跌涨跌滞后一期079595071260834006064滞后二期070360063940768904991滞后三期071675070650780705562滞后四期073064075920796906021滞后五期073788077390838706323资料来源中信期货研究所517量化研究报告五Seq2Seq-Attention模型下表现汇总在Seq2Seq模型中加入注意力机制后模型在准确率上有小幅提升相反在收敛速度上却存在小幅下降的情况模型训练集-验证集收敛情况上看模型在120epochs左右呈现最佳收敛状态且相应的loss相较于单一的Seq2Seq模型并未有明显提升模型准确率有小幅下降图表4SeqSeqAttention模型表现汇总滞后一期滞后二期滞后三期滞后阶数滞后四期滞后五期总体上涨振荡下跌涨跌滞后一期08031074200824006830滞后二期07196064020748606184滞后三期07224078090741206824滞后四期07136071020712707205滞后五期06858072960630207421资料来源中信期货研究所617量化研究报告二Transformer模型拆解及构建要点2017年Attentionisallyouneed介绍了一个具有广泛和不断增长的应用的分水岭神经网络架构但对之前的序列转导研究进行考察是非常有启发的这样做既可以获得背后的动机也可以获得使转化器发展的机器和技术z这就是著名的Transformer模型这篇论文的动机是机器翻译的问题这个问题可以表达如下我们从一个源序列01开始其中每个代表从源词汇中抽取的一个单独的词例如英语我们试图预测翻译成另一种语言的情况也就是由目标词汇组成的目标序列组成的目标序列如法语词汇从概率公式的角度可以理解为最大化目标函数以这种方式思考这个问题有利于用递归神经网络来解决这个问题这导致了最近机器翻译的大部分进展直到引入基于变形器的模型同理基于金融数据的时空特性以及我们的诉求基于历史信息对未来价格的预测基于以上原理原理构建的以循环神经网络为架构的transformer模型刚好适合解决此类问题下面的章节将更详细地描述Transformer的各个组成部分现在我们将从模型的的概述开始论文中的架构图如下所示图表5Transformer模型架构图717量化研究报告资料来源Attentionisallyouneed一Transformer模型组件解读如上图所示Transformer是一个Encoder-Decoder模型Encoder由N块组成而Decoder同样则由N块组成深入模型内部部分组件的功能明显区别与以往所构建的神经网络本部分将对不同组件进行解释1模型中的Attention根据论文所示这里的QKV代表QueryKeyValue矩阵其中QK维度统一KV则序列长度相同Softmax计算后得如下矩阵10817量化研究报告最后Attention矩阵表示为模型构建的Multi-headAttention模块即通过不同的线性变换得到不同的QKV三个矩阵1模型中的QKV选取研究员可根据自身经验选取不同矩阵作为尝试此模块的目的在于求解不同线性空间中QK相似程度每一行中除去本因子价格数据之外相对较大的Attention值即为模型重点关注因子价格数据2AddNormFeedforward模块在模型每个模块输出进入其他模块之前都要做Normalization模型这里接见了残差连接网络以及LayerNormalization目的在于首先它们有助于保持梯度平滑这对反向传播有很大帮助注意力是一个过滤器这意味着当它正常工作时它将阻止大部分试图通过它的东西这样做的结果是很多输入的小变化可能不会在输出中产生太大的变化如果它们碰巧落入被阻挡的通道第二个目的就是可以保持原始的输入序列Feedforward简而言之是一个全连接网络一方面可以过滤和提取更多的序列信息一方面可以控制输出维度3DecoderMasked-Attention模型预测时为确保模型准确性训练以及测试时模型时组预测本时刻时须确保模型不能接触到当前时刻之后的信息的数据这一点可以在计算Multi-headAttention矩阵式引入mask机制资料来源牛津大学917量化研究报告在矩阵之后加入mask矩阵在Softmax计算后序列信息之后的的值将全部变为零因此可以有效来自序列当天时点之后的信息4PositionalEmbedding所有数据在进入Encoder和Decoder之前需要进行位置信息编码不同于单纯的WordEmbedding这里采用的是positionalembedding这种编码信息不仅可以保证序列当前信息可以被提取同时可以提取当先序列价格信息和之前若干序列的相对信息目的在于计算相对位置信息的Attention值即一旦嵌入向量被投射到QKV向量中在生成期间将这些值添加到嵌入中就能提供嵌入向量之间有意义的距离图表6PositionalEmbedding可视化例子资料来源中信期货研究所1017量化研究报告二订单簿Transformer模型下表现汇总通过解读Seq2Seq加入Attention机制的Seq2Seq模型在订单簿数据上的表现结果该结果相对于普通的RNNCNN模型具有较好表现提升引入Transformer模型后结果如下图所示模型收敛速度较慢鉴于模型引入2N个代码模块相应的模型收敛速度较慢150epochs后仍然未能明显收敛但是相应的loss在逐步下降准确率也在逐步提升根据AttentionisAllYouNeed一文列述Transformer与其他模型相比虽然每一层的计算复杂度大致相同Transformer222但是由于Transformer每层之内的并行机制时间复杂度大大降低为1RNN为其中你为序列长度d为模型维度k为核大小由此可见相同空间复杂度的情况下Transformer的并行机制相对于RNNLSTM来讲具有极大优势图表7Transformer模型表现汇总1117量化研究报告滞后阶数涨跌总体上涨振荡下跌滞后一期08477084200801907830滞后二期08096083440792808184滞后三期07730078090729208024滞后四期07729071020779707540滞后五期07081072960732907591资料来源中信期货研究所三Transformer模型行情预测表现鉴于订完整单簿数据的可得性较低以及数据体量较大的问题商品量化团队将分析模型对仅有行情数据开盘价收盘价最高价最低价的期货品种进行分析汇总本部分将着重关注模型预测与实际价格的拟合程度品种选择上国内品种和国际品种两大类国内品种包括螺纹钢RB黄金AU原油SC甲醇MAPTATA以及国际品种Brent原油BZF以及铜HGF报告选取具有代表性的期货品种进行分析预测具体结果展示如下重要提示鉴于每份标的训练轮数随机RBBrent原油拟合表现较好原因部分来源于训练轮数超过250轮1217量化研究报告图表8Transformer行情预测结果汇总资料来源中信期货研究所1317量化研究报告一模型价格结果拟合解读我们判断预测的标准在预测值和真实值之间的相关性意义预测值和实际值之间的Rmse两个指标从可视化结果看PTABrent以及螺纹钢三者具有较好的相关性经计算得知相关性依次AU07322SC05940MA06477RB09451Brent092Copper07236PTA08477经过图像已经相关性分析可以看出即使某些品种在极端行情下出现日间的大幅跳涨以及大跌Transformer模型仍然可以比较好的拟合实际的价格曲线例如在2020-2022年能源市场极端行情下Transformer仍然可以有较好的趋势性预测二模型后续应用Transformer模型再择时模型上表现优异同时鉴于模型可以学习注意力进而专注在应该专注的部分因此后期Transformer模型在期货行业亦可进行资产配置的优化以及相关风险预警四部分期货品种回测结果展示经过对部分合约品种的预测我们得到了预测的价格数据本部分应用部分品种数据进行简单汇测回测逻辑若predictionprice1predictionprice则产生做多信号并以第二日开盘价做多若predictionprice1predictionprice则产生做空信号以第二日开盘价做空多空手数在1-3随机选择本次回测尚未设置滑点成本图表9部分产品回测逻辑图1417量化研究报告资料来源中信期货研究所经回测发现大部分回测品种生猪除外能够在简单的交易逻辑上产生正正向收益同时跑赢基准收益年化收益率经测算黄金994生猪1173甲醇146铜2009而螺纹钢和PTA的年化收益率均超过30虽然部分行情因素导致趋势性结果由此可以体现Transformer模型预测的准确程度微交易提供支持图表10部分产品回测结果汇总品种AnnualizedReturnMaximumDrawdownCalmarRatioSharpRatioRB3517207133PTA3319173112AU994145069081CU2017117102MA1522068072资料来源中信期货研究所1517量化研究报告五总结展望一模型优化总结在第一篇报告结果展示经过对基础多层感知机模型的逐步优化可以看出在限价订单簿上单独对空间和序列信息抽取都相较于单纯的维度变换模型在预测力上都有明显的提升但是在预测准确率的绝对值上都未达到理想效果本篇报告在上篇报告的基础上引入Seq2Seq模型结构在LSTM基础上加入注意力机制后是的模型可以自主学习和关注不定长间隔之前的信息由此在对订单簿价格的预测上有了更进一步的表现同时鉴于大部分交易者难以获得较为全面的订单簿数据实行CNN以及相关神经网络又困难我们有奖Transform而模型引入对行情数据的预测上就产出结果来看Transformer所预测出的价格序列较为优秀的拟合了行情数据其中对螺纹钢价格的拟合程度超过90二后期研究方向及适用性分析现阶段报告在特征提取以及神经网络模型的构造上仍然存在明显缺陷后期报告将着重从一下几个方面进行细致研究1模型现阶段着眼于对时序信息预测的准确程度对交易算法的研究有所欠缺为最大化预测模型的产出吗后期模型将着眼于对择时交易的单项优化2现有的深度学习模型训练成本相比其他模型的训练有更高的成本想要进行更高泛化预测能力需要更高的成本后期报告将在有条件的基础上进行部分模块的迁移学习3基于订单簿的研究还需涉及对订单簿交易模型的深入研究后期团队将引进新算法站在交易者和做市商双向角度优化交易结构以及策略4适用性上后期进一步优化的模型训练方式可以在交易信号生成以及标的风险管理预警上起到支撑作用具体应用需要深入研究5现有模型仅仅应用的是行情数据后期团队将加大因子的挖掘并将有效的因子输入模型网络为市场参与者提供更多有用信息1617量化研究报告免责声明除非另有说明中信期货有限公司拥有本报告的版权和或其他相关知识产权未经中信期货有限公司事先书面许可任何单位或个人不得以任何方式复制转载引用刊登发表发行修改翻译此报告的全部或部分材料内容除非另有说明本报告中使用的所有商标服务标记及标记均为中信期货有限公司所有或经合法授权被许可使用的商标服务标记及标记未经中信期货有限公司或商标所有权人的书面许可任何单位或个人不得使用该商标服务标记及标记如果在任何国家或地区管辖范围内本报告内容或其适用与任何政府机构监管机构自律组织或者清算机构的法律规则或规定内容相抵触或者中信期货有限公司未被授权在当地提供这种信息或服务那么本报告的内容并不意图提供给这些地区的个人或组织任何个人或组织也不得在当地查看或使用本报告本报告所载的内容并非适用于所有国家或地区或者适用于所有人此报告所载的全部内容仅作参考之用此报告的内容不构成对任何人的投资建议且中信期货有限公司不会因接收人收到此报告而视其为客户尽管本报告中所包含的信息是我们于发布之时从我们认为可靠的渠道获得但中信期货有限公司对于本报告所载的信息观点以及数据的准确性可靠性时效性以及完整性不作任何明确或隐含的保证因此任何人不得对本报告所载的信息观点以及数据的准确性可靠性时效性及完整性产生任何依赖且中信期货有限公司不对因使用此报告及所载材料而造成的损失承担任何责任本报告不应取代个人的独立判断本报告仅反映编写人的不同设想见解及分析方法本报告所载的观点并不代表中信期货有限公司或任何其附属或联营公司的立场此报告中所指的投资及服务可能不适合阁下我们建议阁下如有任何疑问应咨询独立投资顾问此报告不构成任何投资法律会计或税务建议且不担保任何投资及策略适合阁下此报告并不构成中信期货有限公司给予阁下的任何私人咨询建议深圳总部地址深圳市福田区中心三路8日卓越时代广场二期北座13层1301-130514层邮编518048电话400-990-8826传真075583241191网址httpwwwciticsfcom1717