人工智能系列之67：多任务学习初探
　　本研究介绍多目标学习基本概念，将多目标学习应用于量化选股场景。采用基础的硬参数共享机制，训练全连接神经网络同时预测未来10日和20日收益率排序，两项任务的损失函数采用uncertainty weight或dynamicweight average方式加权。结果表明：多任务学习的合成因子测试和指增组合回测指标均优于单任务学习；模型规模扩大，多任务学习的优势随之扩大；从子任务预测集成模型看，多任务相比单任务学习的优势在时序上较稳定。
　　直观理解多任务学习：“通才”胜过“专才”
　　传统AI预测问题对模型的定位是“专才”，每个模型对应唯一的预测目标，执行某项特定功能，这种学习机制称为单任务学习。然而无论人类还是AI，“通才”更符合人们对智能的期待。例如我们面对人脸可以同时识别性别和年龄，大语言模型既可以对话又可以写代码。多任务学习正是为训练通才这一目标提出的学习机制，每个模型对应多个预测目标，同时学习多项任务。多任务学习机制符合直观理解，例如识别性别和年龄的任务，可能基于相近的脸部特征，可以使用相同网络参数；学习英语的同时学习德语，由于归属相同语系，可能“触类旁通”，学习效率更高。
　　基础概念：两种参数共享架构，有效原因分析，常用损失加权方式
　　多任务学习利用任务间的关联性，共享信息表征，实现知识迁移，提高泛化能力。有两种常用架构：(1)硬参数共享，各任务底部层共享，顶部层独立；(2)软参数共享，各任务有独立的模型和参数，通过正则化提高参数相似性。多任务学习有效的原因：(1)知识迁移增强特征学习；(2)辅助任务对主任务进行正则化，帮助主任务聚焦于真正重要的特征，减少无关信息干扰；(3)可视作隐式的数据增强，有效增加样本数量，避免过拟合。各任务损失加权方式是决定模型表现的关键因素，常用方法如uw、dwa、gls、rw等。
　　测试方法：预测10日和20日收益率，采用uw或dwa方式加权
　　我们在现有周频中证500指增模型基础上，引入多任务学习机制，测试改进效果。基线模型为MLP网络，特征为常规的基本面和量价因子。多任务学习网络前两层为任务共享层，第三层为任务特异层，采用传统的硬参数共享，使用uw或dwa方式进行损失函数加权。同时设置单任务学习对照组。单任务学习和多任务学习均给出两组收益预测，分别对应未来10或20个交易日收益率。组合优化采用(1)10日预测、(2)20日预测、(3)10日预测和20日预测等权集成，分别构建中证500指数增强组合。
　　测试结果：多任务学习优于单任务学习，模型规模较大时优势体现更充分
　　测试结果表明：隐单元数为256时，多任务学习的加权RankIC均值和信息比率均优于单任务学习，优势既分别体现在10日预测和20日预测两个子任务上，又体现在两者预测值集成上，集成多任务预测值整体优于单独使用子任务预测值。对比不同隐单元数的模型表现，随着模型规模扩大，多任务相比单任务学习的优势体现更充分，多任务相互兼容或需要以相对大的网络规模为前提。多任务学习中10日和20日收益率预测两个子任务协同训练，两者相关性较单任务学习更高。
　　风险提示：人工智能挖掘市场规律是对历史的总结，市场规律在未来可能失效。人工智能技术存在过拟合风险。深度学习模型受随机数影响较大。本文测试的选股模型调仓频率较高，假定以vwap价格成交，忽略其他交易层面因素影响。