报告摘要：
　　强化学习是人工智能领域的重要研究方向之一，随着AlphaGo的成功以及在大模型上的关键应用，强化学习广泛地走进了人们的视野。强化学习是对状态、动作与奖励的建模，机制为基于状态来选择动作并获取奖励，其通过agent与环境的交互获取经验，然后利用经验不断优化动作选择的策略，其目标是得到最优策略。从最初的Markov决策过程建模到经典的强化学习算法，如Monte-Carlo方法、时间差分算法包括Qlearning和SARSA等value-based方法，这些算法推动了强化学习早期的发展。而后policy-based方法的出现以及与深度学习的结合，进一步推进了强化学习融入人工智能前沿的进程，从策略梯度算法的提出到Actor-Critic架构，其中包括A2C、A3C、PPO以及确定性策略中的DDPG、TD3等高效的算法。
　　强化学习在量化领域同样有着广泛的应用，包括组合优化、算法交易以及衍生品对冲等方面。本报告着眼于强化学习在因子合成方面的应用，使用简单高效的循环强化学习RRL对基于日内量价序列的Logsig-Alpha系列因子进行合成。
　　循环强化学习RRL是一类直接强化学习算法，它直接对策略进行建模，通过一个可微的目标函数优化整个模型，并且可以建模连续的动作与状态，相比于其他经典算法更加灵活。这里的RRL模型包含两个模块，信息融合模块以及策略网络模块，前者使用RNN融合当前信息与历史信息作为状态，后者基于状态选择动作。
　　在基于RRL的因子合成方法中，每个时间点的信息选择为待合成因子的多个Rank IC以及ICIR指标，该时间点的状态定义为当前信息与历史信息的融合；基于状态选择的动作为因子的权重向量；目标函数基于合成因子的整体表现以及与基准的偏差进行设计。计算目标函数，并利用梯度上升算法优化参数。
　　从测试结果来看，基于RRL的合成因子表现显著优于细分因子。另外，相比于传统的因子合成方法，如等权、IC加权、ICIR加权以及最大化预期IC，其表现更为优异，合成因子2021年1月到2024年2月的月度调仓回测结果为Rank IC：13.61%，ICIR：1.09，五分组多头年化超额：15.77%，多空Sharpe Ratio：2.6。RRL因子合成的优势在于以下几个方面：第一，相比于传统仅考虑单期单因子单指标的方法，基于RRL的因子合成方法同时考虑了待合成因子的多个Rank IC和ICIR指标，且包含历史数据，也就是说其依据指标的时间序列与期限结构来得到权重，信息输入更加全面。第二，其目标函数可以灵活设定，可以根据不同的偏好选择不同的优化目标，具有一定的可扩展性。第三，RRL因子合成模型架构简单高效，参数量较少，其训练过程无需额外生成数据序列。
　　风险提示：以上分析基于模型结果和历史测算，存在模型失效风险。