>> 民生证券-量化专题报告-从增量学习到元学习:深度学习训练新框架-240202
| 上传日期: |
2024/2/3 |
大小: |
2763KB |
| 格式: |
pdf 共25页 |
来源: |
民生证券 |
| 评级: |
-- |
作者: |
叶尔乐 |
| 下载权限: |
此报告为加密报告 |
|
|
增量学习对传统的批量学习提升效果不大。增量学习是指在现有模型的基础上,通过加入新的数据来更新模型的过程。与传统的批量学习不同,增量学习可以更好地适应数据的变化,同时也更加高效,因为只需要处理新增的数据而无需重新训练整个模型。在股票趋势预测的增量学习中,我们通过一系列增量任务来逐步更新模型参数。在每个任务中,我们使用增量数据来微调模型参数,并在测试数据上进行预测并评估模型性能。用这样的方法在LSTM深度神经网络上进行训练,IC从3.6%提升到了4.2%,提升效果不大。 元学习旨在学习一个机器学习模型的设定,使得这一模型在所有的训练任务中表现最好。一个典型的元学习模型MAML(Model-Agnostic MetaLearning),即“模型无关的元学习”是17年发表在机器学习顶级会议ICML上的一种通用优化算法,适用于任何基于梯度学习的模型。MAML旨在为基模型提供初始化参数,以便面对新任务时能快速学习。用MAML对机器学习模型进行适应,应用至增量学习训练框架中,可以显著提升预测因子IC,LSTM模型因子的RankIC从4.2%提升至6%,效果明显。 双步适应训练框架对数据与模型都进行元学习,来适应新的在线任务场景。传统的增量学习存在的问题是,在线场景中,新数据会不断到来,而增量数据与历史数据可能具有不同的联合分布,包括条件分布和协变量分布的变化。若数据分布变化较快,则增量学习无法适应。用数据适应器对数据分布进行适应可以解决这一问题。数据适应器也是一种元学习器,包含2个对于训练数据进行线性变化的函数,用来学习怎样调整训练数据的分布才能更好的适应分布变化,以获得更好的预测准确率。将数据适应器和模型适应器即MAML一起使用,形成双步适应训练框架DA,可进一步提升预测效果。 双步适应训练框架对传统深度学习模型都有提升。实证表明,双步适应训练框架DA对于市场中流行的深度神经网络LSTM和GRU都有明显提升。若只用模型适应器MAML,可以显著提升预测因子IC,但多头端收益提升不明显。在加入数据适应器后可以显著提升因子多头端组合表现,其中LSTM_DA因子多头组合在中证500内年化收益14%,年化超额收益17.6%,信息比率2.37,表现优秀。 风险提示:量化模型基于历史数据,市场未来可能发生变化,策略模型有失效可能。
|
|