>> 华安证券-“学海拾珠”系列之二百三十:“知识”嵌入型深度强化学习在多元资产配置中的应用-250402
| 上传日期: |
2025/4/3 |
大小: |
2242KB |
| 格式: |
pdf 共21页 |
来源: |
华安证券 |
| 评级: |
-- |
作者: |
严佳炜,钱静闲 |
| 下载权限: |
无限制-登录即可下载 |
|
|
主要观点: 本篇是“学海拾珠”系列第二百三十篇,过往强化学习模型通常从随机初始化的权重开始训练,并且对其生成的输出缺乏直观的可解释性。文献提出了一种新颖的方法,旨在最大化长期风险调整后的投资回报,同时保持模型输出的可解释性。采用成熟的基于规则的策略,通过模仿学习生成神经网络模拟模型,从而传递专家知识。这些“导师”模型随后通过结合执行-评估模型(Soft Actor-Critic, SAC)和深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)的混合强化学习算法进行增强,目标是创建出表现优于其导师的“学生”模型。回到国内市场,该类基于规则的强化学习方法可解释性更强,在资产配置领域或能发挥较大的作用。 导师-学生模型 “导师”模型基于Keller和Keuning提出的动态资产配置模型,其核心思想倡导一种更稳健且潜在收益更高的投资方法:采取与资产动量方向相反的交易策略。具体而言,当作为诊断工具的指示性资产显示出动量减弱迹象时,该策略建议从高风险资产(主要是股票类ETF)中撤资,转而增持安全资产(以债券/国债类ETF为主)。 “学生”模型继承自上述基于规则(rule-based)的资产配置模型,同时引入深度强化学习(RL)算法进行精细化调优,在DDPG框架基础上引入SAC特性(如双评估减少偏差、灵活调整决策-评估模型更新频率),形成混合扩展模型。 实证结果 在一个近40年的价格数据集上,对美国股票、债券、美国国债、大宗商品及其杠杆等价物等广泛的资产类别进行模拟,实证验证了这一策略的有效性。新模型的测试集中,夏普比率提升了高达39.70%,索提诺比率提升了高达47.07%。这表明,将成熟策略与先进强化学习相结合,在资产管理领域的潜力。 风险提示 文献结论基于历史数据与海外文献进行总结;不构成任何投资建议。
|
|