人工智能系列之69：注意力机制应用于量化选股多类场景
　　注意力机制是近年来人工智能领域影响深远的创新之一，但以往应用于量化投资多局限在行情时间序列编码，本研究展示多种形式的注意力机制在量化选股各类场景的运用。分别测试：(1)任务间注意力：提取多任务学习中的任务间关系信息；(2)股票间注意力：Transformer学习截面因子的股票间关系；(3)时序注意力：ALSTM和Transformer编码因子时间序列。结果表明：(1)任务间注意力提升稳定；(2)股票间注意力提升主要体现在因子多头；(3)Transformer时序注意力提升主要体现在合成因子及放宽组合优化约束情景。注意力机制在多数场景有效，Attention is indeed all you need。
　　自注意力：权重再分配表征数据内部关系
　　注意力系数的本质是两个向量的归一化相似度。自注意力通过计算输入信息中各元素间的注意力系数作为权重，将其他元素的信息聚合到自身。因此，自注意力的本质是基于相似度的权重再分配，用来表征数据内部关系。只要涉及权重分配和关系信息表征，都有可能引入注意力结构，万物皆可Attention。计算自注意力的对象，在自然语言处理场景下，通常是一条文本内的各单词；而在因子选股场景下，既可以是一条时间序列内的各时刻，又可以是一个截面内的各股票，还可以是一组网络内的各模块。
　　任务间注意力胜在稳定；股票间注意力的提升体现在合成因子多头
　　在多任务学习的任务共享层和任务特异层间引入多头自注意力层，编码任务间关系；将任务共享层的MLP网络替换为Transformer编码器，利用注意力机制学习因子的股票间关系。对比多任务学习基线、任务间注意力和股票间注意力模型。任务间注意力模型的合成因子和指数增强组合回测表现有稳定提升，提升同时体现在每个子任务以及子任务集成上。股票间注意力模型的合成因子RankIC和Top组收益有提升，但指增组合只在部分子任务以及子任务集成上观察到优势。
　　时序注意力：Transformer优于ALSTM，放宽组合优化约束后提升明显
　　因子时间序列通常采用循环神经网络编码，将LSTM替换为ALSTM和Transformer，引入时序注意力编码时序信息。对比单任务学习基线和两类注意力模型。从合成因子评价指标看，LSTM和ALSTM接近，Transformer全面胜出，表明Transformer在编码时间序列上有显著优势。观察指增组合回测绩效，原始组合优化约束条件下基线模型较好，Transformer合成因子的优势难以体现在组合中；放宽约束条件后，以信息比率的下降为代价换取年化超额收益率的提升，Transformer优于LSTM和ALSTM。
　　模型集成：时序注意力提供较多增量信息，集成是“免费的午餐”
　　将基线模型和三类注意力模型的预测值等权集成。观察与基线模型相关性，任务间注意力>股票间注意力>时序注意力，时序注意力提供较多增量信息。合成因子RankIC均值、对冲收益高于全部子模型，指增组合年化超额收益率高于全部子模型，部分关键指标仅次于时序注意力模型。集成模型与基线模型累计RankIC差值稳定扩大，Top组年化收益从25.8%提升至28.6%，指增组合年化超额收益率从17.2%提升至18.2%，信息比率从2.79提升至3.00。总的来看，模型集成仍是“免费的午餐”，大概率可以提升模型性能。
　　风险提示：人工智能挖掘市场规律是对历史的总结，市场规律在未来可能失效。人工智能技术存在过拟合风险。深度学习模型受随机数影响较大。本文测试的选股模型调仓频率较高，假定以vwap价格成交，忽略其他交易层面因素影响。
　　

研究报告全文：证券研究报告金工Attentionisindeedallyouneed华泰研究研究员林晓明SACNoS0570516010001linxiaominghtsccom2023年8月22日中国内地深度研究SFCNoBPY4218675582080134研究员何康PhD人工智能系列之69注意力机制应用于量化选股多类场景SACNoS0570520080004hekanghtsccom注意力机制是近年来人工智能领域影响深远的创新之一但以往应用于量化SFCNoBRB318862128972039投资多局限在行情时间序列编码本研究展示多种形式的注意力机制在量化研究员李子钰选股各类场景的运用分别测试1任务间注意力提取多任务学习中的SACNoS0570519110003liziyuhtsccom任务间关系信息2股票间注意力Transformer学习截面因子的股票间关SFCNoBRV7438675523987436系3时序注意力ALSTM和Transformer编码因子时间序列结果表明1任务间注意力提升稳定2股票间注意力提升主要体现在因子多头华泰证券研究所分析师名录3Transformer时序注意力提升主要体现在合成因子及放宽组合优化约束情景注意力机制在多数场景有效Attentionisindeedallyouneed自注意力权重再分配表征数据内部关系注意力系数的本质是两个向量的归一化相似度自注意力通过计算输入信息中各元素间的注意力系数作为权重将其他元素的信息聚合到自身因此自注意力的本质是基于相似度的权重再分配用来表征数据内部关系只要涉及权重分配和关系信息表征都有可能引入注意力结构万物皆可Attention计算自注意力的对象在自然语言处理场景下通常是一条文本多类注意力集成与基线RankIC差值内的各单词而在因子选股场景下既可以是一条时间序列内的各时刻又可以是一个截面内的各股票还可以是一组网络内的各模块累计RankIC集成模型-基线模型累计加权RankIC集成模型-基线模型40任务间注意力胜在稳定股票间注意力的提升体现在合成因子多头3530在多任务学习的任务共享层和任务特异层间引入多头自注意力层编码任务25间关系将任务共享层的MLP网络替换为Transformer编码器利用注意20力机制学习因子的股票间关系对比多任务学习基线任务间注意力和股票15间注意力模型任务间注意力模型的合成因子和指数增强组合回测表现有稳10定提升提升同时体现在每个子任务以及子任务集成上股票间注意力模型0500的合成因子RankIC和Top组收益有提升但指增组合只在部分子任务以及子任务集成上观察到优势2013-01-042012-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-042011-01-04时序注意力Transformer优于ALSTM放宽组合优化约束后提升明显资料来源朝阳永续Wind华泰研究因子时间序列通常采用循环神经网络编码将LSTM替换为ALSTM和Transformer引入时序注意力编码时序信息对比单任务学习基线和两类多类注意力集成与基线指增超额净值注意力模型从合成因子评价指标看LSTM和ALSTM接近Transformer800集成模型超额收益最大回撤右轴30全面胜出表明Transformer在编码时间序列上有显著优势观察指增组合基线模型超额收益最大回撤右轴25600集成模型累计超额收益20回测绩效原始组合优化约束条件下基线模型较好Transformer合成因子基线模型累计超额收益的优势难以体现在组合中放宽约束条件后以信息比率的下降为代价换取4001510200年化超额收益率的提升Transformer优于LSTM和ALSTM500-5-200模型集成时序注意力提供较多增量信息集成是免费的午餐-10将基线模型和三类注意力模型的预测值等权集成观察与基线模型相关性-400-15任务间注意力股票间注意力时序注意力时序注意力提供较多增量信息2021-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042022-01-042023-01-04合成因子RankIC均值对冲收益高于全部子模型指增组合年化超额收益2011-01-04率高于全部子模型部分关键指标仅次于时序注意力模型集成模型与基线注回测期2011-01-04至2023-07-31基准为中证500模型累计RankIC差值稳定扩大Top组年化收益从258提升至286资料来源朝阳永续Wind华泰研究指增组合年化超额收益率从172提升至182信息比率从279提升至300总的来看模型集成仍是免费的午餐大概率可以提升模型性能风险提示人工智能挖掘市场规律是对历史的总结市场规律在未来可能失效人工智能技术存在过拟合风险深度学习模型受随机数影响较大本文测试的选股模型调仓频率较高假定以vwap价格成交忽略其他交易层面因素影响免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1金工研究正文目录导言4注意力在因子选股中的多种表现形式5注意力系数归一化相似度5自注意力权重再分配表征数据内部关系5多头自注意力多组参数衡量相似度6场景一任务间注意力7场景二股票间注意力7图注意力网络7Transformer7时序注意力9方法10结果12任务间注意力和股票间注意力12合成因子和指增组合指标13合成因子Top组相对净值13指数增强组合超额净值14时序注意力15原始组合优化约束条件15放宽组合优化约束条件17多类注意力集成18总结20参考文献21风险提示21图表目录图表1Self-Attention示意图5图表2Multi-HeadAttention示意图6图表3多任务学习左和任务间注意力右网络结构示意图7图表4截面因子Transformer网络结构示意图8图表5因子时间序列LSTM左和ALSTM右网络结构示意图9图表6因子时间序列Transformer网络结构示意图9图表7主要测试模型和相关参数10图表8选股模型构建方法10图表9选股模型使用的42个因子11图表10任务间注意力和股票间注意力合成因子评价指标回测期2011-01-04至2023-07-3112图表11任务间注意力和股票间注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证500免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2金工研究12图表12任务间注意力和股票间注意力RankIC均值13图表13任务间注意力和股票间注意力多头加权RankIC均值13图表14任务间注意力和股票间注意力信息比率13图表15任务间注意力和股票间注意力超额收益Calmar比率13图表16任务间注意力和股票间注意力10日预测Top组相对净值13图表17任务间注意力和股票间注意力20日预测Top组相对净值13图表18任务间注意力和股票间注意力10日预测与20日预测集成Top组相对净值14图表19任务间注意力和股票间注意力10日预测组合超额净值14图表20任务间注意力和股票间注意力20日预测组合超额净值14图表21任务间注意力和股票间注意力10日预测与20日预测集成组合超额净值14图表22时序注意力合成因子评价指标回测期2011-01-04至2023-07-3115图表23原始约束条件下时序注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证50015图表24放宽约束条件下时序注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证50015图表25原始约束条件下时序注意力合成因子评价指标15图表26原始约束条件下时序注意力指增组合回测指标16图表27时序注意力Top组相对净值16图表28原始约束条件下时序注意力组合超额净值16图表29放宽组合优化约束条件17图表30放宽约束条件下时序注意力指增组合回测指标17图表31放宽约束条件下时序注意力组合超额净值17图表32子模型截面预测值相关系数均值18图表33指增组合日超额收益相关系数18图表34集成模型合成因子评价指标回测期2011-01-04至2023-07-3118图表35集成模型指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证50018图表36集成模型与基线模型累计RankIC差值19图表37集成模型超额收益表现回测期2011-01-04至2023-07-31基准为中证50019免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3金工研究导言注意力Attention是近年来人工智能领域影响深远的创新之一以自注意力为基础的Transformer是GPT等自然语言模型的核心结构同时逐渐取代了CNN在计算机视觉的统治地位注意力为何能在各领域实现模型性能上的提升注意力的本质是权重分配模拟人类视觉原理使得网络加工信息时关注重要部分忽略次要部分实现更准确的信息提取自注意力Self-Attention是使用较广泛的注意力实现形式自注意力通过计算输入信息中各元素间的相似度作为权重将其他元素的信息聚合到自身元素自注意力使得模型在处理单个元素时同时考虑全局信息这里元素的定义取决于具体场景1自然语言处理中元素可以是单个样本语句中的不同单词2图像处理中元素可以是单个样本图片中的不同像素3图结构分析建模中元素可以是图结构中的不同样本4多任务学习中元素可以是不同任务只要涉及权重分配都有可能引入注意力结构万物皆可Attention量化投资实践中注意力的使用却并未如其他领域那么普遍业内当前对注意力的应用主要集中在1使用ALSTMAGRUTransformer等结构对时间序列进行编码如华泰金工研报人工智能68神经网络多频率因子挖掘模型2023-05-112使用图注意力网络GAT提取股票间关系信息如华泰金工研报人工智能55图神经网络选股的进阶之路2022-04-11等注意力作为一种基础运算可以灵活运用于神经网络的各环节远不限于上述两点值得深入挖掘本文探索注意力机制在量化选股中的应用测试1多任务学习引入任务间注意力2Transformer学习截面因子的股票间关系3ALSTM和Transformer编码因子时间序列结果表明1任务间注意力提升全面且稳定2截面Transformer有一定提升主要体现在因子多头3ALSTM相比LSTM无改进Transformer有提升提升体现在合成因子与放宽组合优化约束条件情景注意力机制在多数场景有效Attentionisindeedallyouneed免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4金工研究注意力在因子选股中的多种表现形式本章首先简要回顾注意力的基础概念随后介绍注意力在因子选股场景中的不同表现形式任务间注意力股票间注意力时序注意力注意力系数归一化相似度实现注意力机制的关键是计算注意力系数注意力系数的本质是两个向量的归一化相似度如果hihj两个向量相似度高那么在编码hi时应给予hj一定注意力为hj分配适当权重两个向量hihj的相似度可以表示为相似度函数s的定义较灵活常用以下几种形式1加性stanhvWU为可学习的参数2乘性sW为可学习的参数3点积s4缩放点积sdh为向量h的长度随后参考向量hi与所有向量的相似度对hi与hj的相似度eij进行归一化得到hi与hj的注意力系数ijexpexp自注意力权重再分配表征数据内部关系理解注意力机制的经典场景是信息检索问题Q代表查询Query序列KV分别代表键Key和值Value对序列q代表单次查询例如网购场景q是待搜索的商品名称K是全部商品名称V是全部商品对应的信息计算q与K的每个键ki的注意力系数以此为权重对每个键的值vi加权求和得到q的注意力expexp图表1Self-Attention示意图资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5金工研究信息检索问题中QueryKeyValue的来源不同而自注意力Self-Attention中QueryKeyValue来自同一组数据但经历不同的线性变换数据X的自注意力计算步骤如下QKV1对于X的每个元素xi分别乘以WWW线性映射成三个新向量QiKiViWQWKWV都是可学习的参数矩阵所有元素的三个新向量构成矩阵QKV2对于X的每个元素xi计算xi和其他元素如xj的注意力系数ij这里以点积为例以注意力系数ij为权重对所有元素含自身的值Vj加权求和得到xi的注意力视作xi的新值expexp3将上述过程写成矩阵形式实现并行计算QKT的方差较大影响模型稳定性因此除以dk的平方根使方差归一化自注意力的本质是基于相似度的权重再分配以表征数据内部关系计算自注意力的对象在自然语言处理场景下通常是一条文本内的各单词而在因子选股场景下既可以是一条时间序列内的各时刻又可以是一个截面内的各股票还可以是一组网络内的各模块多头自注意力多组参数衡量相似度上述自注意力计算过程使用同一套自由参数WQWKWV相当于单一的相似度测度因此称单头注意力Single-HeadAttention实际上相似度可以有多种测度使用多组自由参数计算注意力的过程称多头注意力Multi-HeadAttention具体而言对于xi设置h组不同的参数111222并缩小KV的维度dkdv至原来的1h将不同参数的计算结果也称为head进行拼接并乘上参数矩阵W0得到最终的注意力120多头自注意力的输出维数相比单头自注意力没有改变复杂度更高逻辑上也更合理例如衡量股票相似度可以从基本面角度也可以从技术面角度理应设置多头注意力图表2Multi-HeadAttention示意图资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6金工研究场景一任务间注意力华泰金工研报人工智能67AI模型如何一箭多雕多任务学习2023-08-06中我们将多任务学习应用于量化选股训练MLP网络同时预测未来10日和20日收益率的排序多任务学习机制采用传统硬参数共享方式任务共享层后直接连接任务特异层两项子任务由独立的任务特异层学习不考虑任务间关系然而任务间关系信息可能有助于下游任务10日收益率预测学习到的表征可能对20日收益率预测有意义反之亦然我们参考MaTan2022研究向原多任务学习网络引入任务间注意力模块任务共享层的输出依次通过特征全连接层拼接操作任务全连接层多头自注意力模块此处采用缩放点积注意力再经过残差连接传入后续的任务特异层图表3多任务学习左和任务间注意力右网络结构示意图资料来源华泰研究场景二股票间注意力图注意力网络传统因子选股模型将股票视作独立样本然而股票未来收益率不仅与股票自身有关也受到股票间相互关系的驱动图注意力网络GraphAttentionNetworksGAT使用股票间自注意力模块学习股票间关系信息华泰金工研报人工智能42图神经网络选股与Qlib实践2021-02-21人工智能55图神经网络选股的进阶之路2022-04-11人工智能58分析师共同覆盖因子和图神经网络2022-07-07展示图注意力网络的多种应用方法本文不再赘述Transformer除了图注意力网络外另一种通过注意力机制学习股票间关系信息的方式是Transformer此处应用Transformer的难点在于数据维度的处理以下展开介绍Transformer模型接收的是序列形式的数据输入神经网络张量的形状可以表示为sequencelengthbatchsizemodeldimension其中sequencelength代表序列长度即每个序列中的元素数量batchsize代表批量大小即每次输入神经网络的序列个数modeldimension代表特征维度即序列中每个元素包含的特征数免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7金工研究传统自然语言处理任务中sequencelength对应输入句子的长度batchsize对应单次输入神经网络的句子数量modeldimension对应句子中每个单词进行嵌入后的词向量维度自注意力层提取的注意力信息是基于sequencelength这个维度即提取的句子中每个词对句子中所有词的注意力因此若想将Transformer的编码器结构应用于股票因子数据需要考虑将数据的哪个维度作为序列维度从而提取出该维度上每个元素对于其他元素的注意力特征这里我们以单个截面即单个交易日所有股票的因子数据作为一个样本sequencelength对应该时间点的股票数量modeldimension对应因子数量该方法提取的是股票间注意力由于数据集中每天的股票数量可能不同因此每个样本的sequencelength存在差异此时将样本组合为batch时需要对较短的样本进行补齐并在后续训练时将补齐处的数据用填充掩码paddingmask进行覆盖同时我们舍弃Transformer中的位置编码这是因为某支股票在当天所有股票序列中的位置没有意义注意力的定义采用Transformer标准的缩放点积注意力本文引入股票间注意力的方法是将多任务学习的任务共享层由MLP改为TransformerTransformer包含两个标准Transformer编码器其中每个Transformer编码器由多头注意力层LayerNorm层Feed-Forward层核心是两个全连接层LayerNorm层依次组成图表4截面因子Transformer网络结构示意图资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读8金工研究时序注意力若输入数据为因子的时间序列常用的网络结构是1循环神经网络2包含时序注意力的循环神经网络如ALSTMAGRU等3Transformer本文使用ALSTMAttentionalLSTM和Transformer模型提取因子日频时间序列中的时序关系信息华泰金工研报人工智能68神经网络多频率因子挖掘模型2023-05-11介绍了AGRUAttentionalGRU模型ALSTM与之类似在LSTM层的最后一层隐状态时间序列后接单头自注意力运算此处采用加性注意力随后将自注意力的输出与LSTM最后一个时刻的隐状态拼接送至输出层图表5因子时间序列LSTM左和ALSTM右网络结构示意图资料来源华泰研究Transformer网络中sequencelength维度对应时间batchsize维度对应每只股票modeldimension维度对应因子Transformer包含位置编码PositionalEncoding和两个标准Transformer编码器其中每个Transformer编码器由多头注意力层LayerNorm层Feed-Forward层核心是两个全连接层LayerNorm层依次组成注意力的定义采用Transformer标准的缩放点积注意力图表6因子时间序列Transformer网络结构示意图资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读9金工研究方法本研究在现有周频中证500指增模型基础上引入不同类型的注意力结构测试改进效果主要测试模型和相关参数构建方法因子定义如下列表格所示网络结构请见前一章图表图表7主要测试模型和相关参数注意力类型主体模型注意力实现方式其他参数任务间注意力MLP多任务学习增加多头缩放点积自注意力层MLPdimhidden256batchsize1tradingdaySelf-Attentionnumheads4股票间注意力MLP多任务学习增加Transformer编码器模块MLPdimhidden256batchsize32tradingdays含多头缩放点积自注意力层Transformernumblocks2numheads2dimfeedforward64dropout01seqlen取每个batch内各截面股票数量的最大值时序注意力LSTM单任务学习增加单头加性自注意力层ALSTMLSTMdimhidden64numlayers2batchsize1024stocks或增加Transformer编码器模块ALSTMnumheads1Transformernumblocks2numheads2dimfeedforward256dropout01资料来源华泰研究图表8选股模型构建方法步骤参数参数值构建股票池股票池全A股剔除上市未满63个交易日个股剔除STST退市整理期个股每个季末截面期在未停牌个股中筛选过去1年日均成交额和日均总市值均排名前60个股构建数据集特征因子截面数据T日42个基本面和量价因子因子时序数据T-20日至T日42个基本面和量价因子标签单任务学习T11日相对于T1日收盘价收益率多任务学习1T11日相对于T1日收盘价收益率2T21日相对于T1日收盘价收益率因子预处理特征5倍MAD缩尾zscore标准化缺失值填为0不做中性化标签剔除缺失值截面排序数标准化训练流程测试集完整区间2011010420230731训练验证测试集划分训练集2526个交易日验证集2522个交易日测试集126个交易日如第1期训练集2002091020081205验证集2008120820101231测试集2011010420110711第2期训练集2003032520090616验证集2009061720110711测试集2011071220120113特殊处理剔除训练集验证集最后10或20个交易日样本防止信息泄露损失函数加权mse根据收益率衰减加权batchsize每个交易日的全体股票视作一个batch学习率00001优化器adam早停次数20随机数种子点5组求均值构建组合基准中证500指数优化目标最大化预期收益多任务学习采用110日预测220日预测3两种预测集成等权均值分别构建组合组合仓位1个股权重下限0个股偏离权重约束-11行业偏离权重约束-11风格偏离标准差约束-11风格因子对数流通市值预处理5倍MAD缩尾zscore标准化调仓周期每5个交易日单次调仓单边换手率上限15成分股权重约束无回测单边费率0002交易价格vwap特殊处理停牌不买入卖出一字板涨停不买入一字板跌停不卖出其余股票重新分配权重资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读10金工研究图表9选股模型使用的42个因子类别名称计算方式估值bplf1市净率epttm1市盈率TTMocfpttm1净经营性现金流TTMdyr12近252日股息率预期conepsg一致预期EPSFY1近63日增长率conroeg一致预期ROEFY1近63日增长率connpg一致预期归母净利润FY1近63日增长率反转ret5d近5日区间收益率ret1m近21日区间收益率expwgtreturn3m近63日收益率以换手率指数衰减加权波动率std1m收益率近21日标准差vstd1m成交量近21日标准差ivrff3factor1m残差收益率收益率对万得全A市值BP因子收益率回归近21日标准差换手率turn1m换手率近21日均值stdturn1m换手率近21日标准差biasturn1m换手率近21日均值近504日均值日间技术stdret10d收益率近10日标准差stdvol10d成交量近10日标准差stdturn10d换手率近10日标准差corrretclose收益率和收盘价近10日相关系数corrretopen收益率和开盘价近10日相关系数corrrethigh收益率和最高价近10日相关系数corrretlow收益率和最低价近10日相关系数corrretvwap收益率和均价近10日相关系数corrretvol收益率和成交量近10日相关系数corrretturn收益率和换手率近10日相关系数corrvolclose成交量和收盘价近10日相关系数corrvolopen成交量和开盘价近10日相关系数corrvolhigh成交量和最高价近10日相关系数corrvollow成交量和最低价近10日相关系数corrvolvwap成交量和均价近10日相关系数日内技术low2highlowhighvwap2closevwapclosekmidclose-openopenklenhigh-lowopenkmid2close-openhigh-lowkuphigh-greateropencloseopenkup2high-greateropenclosehigh-lowklowlessopenclose-lowopenklow2lessopenclose-lowhigh-lowksft2close-high-lowopenksft22close-high-lowhigh-low资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读11金工研究结果任务间注意力和股票间注意力对比多任务学习基线任务间注意力和股票间注意力模型主要结论如下1任务间注意力模型在合成因子加权RankIC均值合成因子加权RankICIR组合年化超额收益组合信息比率方面有稳定提升提升同时体现在10日收益预测20日收益预测以及两者等权集成上2股票间注意力模型在合成因子加权RankIC均值合成因子加权RankICIR合成因子Top组年化收益率方面有稳定提升10日收益预测的组合回测绩效略有下滑但20日收益预测以及10日与20日预测等权集成的组合回测绩效有提升总的看任务间注意力的提升胜在稳定股票间注意力的提升突出体现在合成因子多头图表10任务间注意力和股票间注意力合成因子评价指标回测期2011-01-04至2023-07-31IC均RankIC加权IC加权RankIC加权加权Top组精Bottom组精Top组年化Bottom组年化多空对冲年化基准收值均值均值均值ICIRRankICIRICIRRankICIR确率确率收益率收益率收益率益率10日预测多任务学习基线931127897088103075091562606260-31528764任务间注意力9311277102088103074094561605258-31528764股票间注意力9211478105084099073092564604271-3012866420日预测多任务学习基线911147497082100067087564606253-31328364任务间注意力9111374102082099067090564606253-31428364股票间注意力9111575104080097067089567605266-3052856410日预测与20日预测集成多任务学习基线931147697085102071090563606258-31628764任务间注意力9211376102085101070092563606257-31628764股票间注意力9211577105082098070091566605269-30628764注IC使用10日收益率计算资料来源朝阳永续Wind华泰研究图表11任务间注意力和股票间注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证500年化超额年化跟踪超额收益超额收益相对基准年化双边年化收益率年化波动率夏普比率最大回撤Calmar比率收益率误差信息比率最大回撤Calmar比率月胜率换手率10日预测多任务学习基线188226030724918038170063826792618478151613任务间注意力1912261207348030401732638271101817078811616股票间注意力17442607067476403715666192539661627682161220日预测多任务学习基线186425530734638040166960127867224882121616任务间注意力193625500764634042174059929145638280791616股票间注意力18892577073449104217015972855223267682160710日预测与20日预测集成多任务学习基线191125670744718041171961727988519479471612任务间注意力192926000744840040174762228179721978151615股票间注意力192025830744548042173360428758929480131608资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读12金工研究合成因子和指增组合指标图表12任务间注意力和股票间注意力RankIC均值图表13任务间注意力和股票间注意力多头加权RankIC均值RankIC均值多头加权RankIC均值116多任务学习基线任务间注意力股票间注意力106多任务学习基线任务间注意力股票间注意力1151041021141001139811296111941109210日预测20日预测10日预测与20日预测10日预测20日预测10日预测与20日预测集成集成资料来源朝阳永续Wind华泰研究资料来源朝阳永续Wind华泰研究图表14任务间注意力和股票间注意力信息比率图表15任务间注意力和股票间注意力超额收益Calmar比率信息比率超额收益Calmar比率30多任务学习基线任务间注意力股票间注意力40多任务学习基线任务间注意力股票间注意力29352830272526202515241010日预测20日预测10日预测与20日预测10日预测20日预测10日预测与20日预测集成集成资料来源朝阳永续Wind华泰研究资料来源朝阳永续Wind华泰研究合成因子Top组相对净值图表16任务间注意力和股票间注意力10日预测Top组相对净值图表17任务间注意力和股票间注意力20日预测Top组相对净值10日预测20日预测多任务学习基线任务间注意力14多任务学习基线任务间注意力14股票间注意力股票间注意力1212101088664422002017-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-042011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04资料来源朝阳永续Wind华泰研究资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读13金工研究图表18任务间注意力和股票间注意力10日预测与20日预测集成Top组相对净值10日预测与20日预测集成多任务学习基线任务间注意力股票间注意力141210864202011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-04资料来源朝阳永续Wind华泰研究指数增强组合超额净值图表19任务间注意力和股票间注意力10日预测组合超额净值图表20任务间注意力和股票间注意力20日预测组合超额净值10日预测20日预测多任务学习基线任务间注意力股票间注意力700700多任务学习基线任务间注意力股票间注意力60060050050040040030030020020010010000-100-1002011-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-042020-01-042012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042021-01-042022-01-042023-01-042011-01-04资料来源朝阳永续Wind华泰研究资料来源朝阳永续Wind华泰研究图表21任务间注意力和股票间注意力10日预测与20日预测集成组合超额净值10日预测与20日预测集成多任务学习基线任务间注意力股票间注意力7006005004003002001000-1002012-07-042015-07-042018-07-042021-07-042011-07-042012-01-042013-01-042013-07-042014-01-042014-07-042015-01-042016-01-042016-07-042017-01-042017-07-042018-01-042019-01-042019-07-042020-01-042020-07-042021-01-042022-01-042022-07-042023-01-042023-07-042011-01-04资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读14金工研究时序注意力对比单任务学习基线ALSTM和Transformer模型主要结论如下1以因子日频时间序列代替截面因子作为输入合成因子测试表现有显著提升即便是LSTM基线模型RankIC均值Top组年化收益率就已高于前文多任务学习基线模型1201122722602观察合成因子评价指标LSTM和ALSTM接近Transformer在包括RankICTop组收益在内各项指标全面胜出表明Transformer在应用注意力机制编码时间序列信息上有显著优势3观察原始组合优化约束条件下的指增组合回测绩效基线LSTM反而更好换言之Transformer在合成因子中的优势未能体现在指增组合上可能原因是组合优化约束较为严格淹没了合成因子的alpha信息4放宽组合优化约束条件后指增组合的信息比率下降但年化超额收益率提升并且Transformer优于LSTM和ALSTM总的看ALSTM无改进Transformer有提升提升主要体现在合成因子与放宽组合优化约束条件情景图表22时序注意力合成因子评价指标回测期2011-01-04至2023-07-31加权Bottom组多空对冲RankIC加权ICRankIC加权加权Top组精Bottom组Top组年化年化收益年化收益基准收IC均值均值均值均值ICIRRankICIRICIRRankICIR确率精确率收益率率率益率LSTM单任务学习基线9612079108089108073097571609272-33230264ALSTM9612079108090109074099571607273-32429964Transformer9912383112094112079103574610290-33531264注IC使用10日收益率计算资料来源朝阳永续Wind华泰研究图表23原始约束条件下时序注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证500年化收益年化波动Calmar年化超额年化跟踪超额收益超额收益相对基准年化双边率率夏普比率最大回撤比率收益率误差信息比率最大回撤Calmar比率月胜率换手率LSTM单任务学习基线196725670774722042177955132375023778811640ALSTM181325740704849037162955329591817878151636Transformer196425980764925040178358130791319577481634资料来源朝阳永续Wind华泰研究图表24放宽约束条件下时序注意力指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证500年化收益年化波动Calmar年化超额年化跟踪超额收益超额收益相对基准年化双边率率夏普比率最大回撤比率收益率误差信息比率最大回撤Calmar比率月胜率换手率LSTM单任务学习基线2082261708045550461897692274118316078812110ALSTM2051260707947530431864677275126714776162113Transformer219926380834754046201672227998220578152108资料来源朝阳永续Wind华泰研究原始组合优化约束条件图表25原始约束条件下时序注意力合成因子评价指标LSTM单任务学习基线LSTM单任务学习基线ALSTMALSTM12430TransformerTransformer1232912228121271201192611825RankIC均值Top组年化收益率资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读15金工研究图表26原始约束条件下时序注意力指增组合回测指标LSTM单任务学习基线LSTM单任务学习基线ALSTMALSTMTransformerTransformer180331753217031165301602915528年化超额收益率信息比率资料来源朝阳永续Wind华泰研究图表27时序注意力Top组相对净值10日预测LSTM单任务学习基线ALSTMTransformer1816141210864202012-01-042013-01-042014-01-042015-01-042016-01-042017-01-042018-01-042019-01-042020-01-042021-01-042022-01-042023-01-042011-01-04资料来源朝阳永续Wind华泰研究图表28原始约束条件下时序注意力组合超额净值10日预测700LSTM单任务学习基线ALSTMTransformer6005004003002001000-1002012-07-042015-07-042018-07-042021-07-042011-07-042012-01-042013-01-042013-07-042014-01-042014-07-042015-01-042016-01-042016-07-042017-01-042017-07-042018-01-042019-01-042019-07-042020-01-042020-07-042021-01-042022-01-042022-07-042023-01-042023-07-042011-01-04资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读16金工研究放宽组合优化约束条件将个股偏离权重约束行业偏离权重约束从1放宽至2风格偏离标准差约束从1放宽至20单次调仓单边换手率上限从15放宽至20图表29放宽组合优化约束条件步骤参数参数值构建组合基准中证500指数优化目标最大化预期收益组合仓位1个股权重下限0个股偏离权重约束-22行业偏离权重约束-22风格偏离标准差约束-2020风格因子对数流通市值预处理5倍MAD缩尾zscore标准化调仓周期每5个交易日单次调仓单边换手率上限20成分股权重约束无资料来源华泰研究图表30放宽约束条件下时序注意力指增组合回测指标LSTM单任务学习基线LSTM单任务学习基线21ALSTM34ALSTMTransformerTransformer2032193018281716261524原始约束放宽约束原始约束放宽约束年化超额收益率信息比率资料来源朝阳永续Wind华泰研究图表31放宽约束条件下时序注意力组合超额净值10日预测LSTM单任务学习基线ALSTM900TransformerLSTM放宽约束ALSTM放宽约束Transformer放宽约束8007006005004003002001000-1002012-07-042015-07-042018-07-042021-07-042011-07-042012-01-042013-01-042013-07-042014-01-042014-07-042015-01-042016-01-042016-07-042017-01-042017-07-042018-01-042019-01-042019-07-042020-01-042020-07-042021-01-042022-01-042022-07-042023-01-042023-07-042011-01-04资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读17金工研究多类注意力集成将多任务学习基线任务间注意力股票间注意力时序注意力四类模型的预测值等权集成其中前三项取10日预测与20日预测集成时序注意力取Transformer模型10日预测考察子模型截面预测值相关性指增组合净值日超额收益相关性以及集成模型合成因子和指增组合原始约束条件表现主要结论如下1与基线模型相关性任务间注意力股票间注意力时序注意力换言之从增量信息的角度看任务间关系信息股票间关系信息时序信息2集成模型合成因子的RankIC均值对冲收益高于全部子模型加权RankIC均值RankICIRTop组收益等指标仅次于时序注意力模型3集成模型指增组合的年化超额收益率高于全部子模型信息比率仅次于时序注意力模型超额收益Calmar比率仅次于股票间注意力模型4集成模型与基线模型累计RankIC差值稳定扩大表明从合成因子角度看集成模型有稳定优势但集成模型与基线模型指增组合超额净值的喇叭口未稳定扩大表明从组合角度看因子的优势未能充分体现在组合中总的看模型集成仍然是免费的午餐大概率能提升模型性能图表32子模型截面预测值相关系数均值多任务学习基线任务间注意力股票间注意力时序注意力多任务学习基线1099091074任务间注意力0991091074股票间注意力0910911070时序注意力0740740701资料来源朝阳永续Wind华泰研究图表33指增组合日超额收益相关系数多任务学习基线任务间注意力股票间注意力时序注意力多任务学习基线1094080073任务间注意力0941082073股票间注意力0800821073时序注意力0730730731资料来源朝阳永续Wind华泰研究图表34集成模型合成因子评价指标回测期2011-01-04至2023-07-31RankIC加权IC加权RankIC加权加权Top组精Bottom组Top组年化Bottom组年多空对冲年基准收益IC均值均值均值均值ICIRRankICIRICIRRankICIR确率精确率收益率化收益率化收益率率多任务学习基线931147697085102071090563606258-31628764任务间注意力9211376102085101070092563606257-31628764股票间注意力9211577105082098070091566605269-30628764时序注意力9912383112094112079103574610290-33531264集成模型10112584107090108076095573614286-34731664注IC使用10日收益率计算资料来源朝阳永续Wind华泰研究图表35集成模型指增组合回测绩效回测期2011-01-04至2023-07-31基准为中证500年化收益年化波动Calmar年化超额年化跟踪超额收益超额收益相对基准年化双边率率夏普比率最大回撤比率收益率误差信息比率最大回撤Calmar比率月胜率换手率多任务学习基线191125670744718041171961727988519479471612任务间注意力192926000744840040174762228179721978151615股票间注意力192025830744548042173360428758929480131608时序注意力196425980764925040178358130791319577481634集成模型201025790784785042182160830069626279471615资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读18金工研究图表36集成模型与基线模型累计RankIC差值累计RankIC集成模型-基线模型累计加权RankIC集成模型-基线模型4035302520151005002012-01-042016-01-042020-01-042011-01-042013-01-042014-01-042015-01-042017-01-042018-01-042019-01-042021-01-042022-01-042023-01-04资料来源朝阳永续Wind华泰研究图表37集成模型超额收益表现回测期2011-01-04至2023-07-31基准为中证500集成模型超额收益最大回撤右轴基线模型超额收益最大回撤右轴80030集成模型累计超额收益基线模型累计超额收益25600204001510200500-5-200-10-400-152020-07-042011-07-042012-01-042012-07-042013-01-042013-07-042014-01-042014-07-042015-01-042015-07-042016-01-042016-07-042017-01-042017-07-042018-01-042018-07-042019-01-042019-07-042020-01-042021-01-042021-07-042022-01-042022-07-042023-01-042023-07-042011-01-04资料来源朝阳永续Wind华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读19金工研究总结注意力机制是近年来人工智能领域影响深远的创新之一但以往应用于量化投资多局限在行情时间序列编码本研究展示多种形式的注意力机制在量化选股各类场景的运用分别测试1任务间注意力提取多任务学习中的任务间关系信息2股票间注意力Transformer学习截面因子的股票间关系3时序注意力ALSTM和Transformer编码因子时间序列结果表明1任务间注意力提升稳定2股票间注意力提升主要体现在因子多头3Transformer时序注意力提升主要体现在合成因子及放宽组合优化约束情景注意力机制在多数场景有效Attentionisindeedallyouneed注意力系数的本质是两个向量的归一化相似度自注意力通过计算输入信息中各元素间的注意力系数作为权重将其他元素的信息聚合到自身因此自注意力的本质是基于相似度的权重再分配用来表征数据内部关系只要涉及权重分配和关系信息表征都有可能引入注意力结构万物皆可Attention计算自注意力的对象在自然语言处理场景下通常是一条文本内的各单词而在因子选股场景下既可以是一条时间序列内的各时刻又可以是一个截面内的各股票还可以是一组网络内的各模块在多任务学习的任务共享层和任务特异层间引入多头自注意力层编码任务间关系将任务共享层的MLP网络替换为Transformer编码器利用注意力机制学习因子的股票间关系对比多任务学习基线任务间注意力和股票间注意力模型任务间注意力模型的合成因子和指数增强组合回测表现有稳定提升提升同时体现在每个子任务以及子任务集成上股票间注意力模型的合成因子RankIC和Top组收益有提升但指增组合只在部分子任务以及子任务集成上观察到优势因子时间序列通常采用循环神经网络编码将LSTM替换为ALSTM和Transformer引入时序注意力编码时序信息对比单任务学习基线和两类注意力模型从合成因子评价指标看LSTM和ALSTM接近Transformer全面胜出表明Transformer在编码时间序列上有显著优势观察指增组合回测绩效原始组合优化约束条件下基线模型较好Transformer合成因子的优势难以体现在组合中放宽约束条件后以信息比率的下降为代价换取年化超额收益率的提升Transformer优于LSTM和ALSTM将基线模型和三类注意力模型的预测值等权集成观察与基线模型相关性任务间注意力股票间注意力时序注意力时序注意力提供较多增量信息合成因子RankIC均值对冲收益高于全部子模型指增组合年化超额收益率高于全部子模型部分关键指标仅次于时序注意力模型集成模型与基线模型累计RankIC差值稳定扩大Top组年化收益从258提升至286指增组合年化超额收益率从172提升至182信息比率从279提升至300总的来看模型集成仍是免费的午餐大概率可以提升模型性能本研究存在以下未尽之处1注意力机制的表现形式不局限上述三种例如在多模态学习中同时学习截面时间序列文本等信息采用注意力机制融合多个信息源注意力机制的其他表现形式有待进一步探索2Transformer变体是近几年学界和业界的热点研究者从稀疏低秩引入归纳偏置等众多角度提出改进方法本文采用经典的Transformer编码器结构并未对超参数位置编码等细节进行探索尚有优化空间3本研究仍观察到合成因子表现提升但指增组合未见提升的现象本质是指增约束条件未能体现在深度学习网络的架构或损失函数中这始终是困扰我们的一个问题免责声明和披露以及分析师声明是报告的一部分请务必一起阅读20