核心观点
　　本文介绍近期研究发表的三种强化学习选股模型，从数据特征、网络结构、以及如何通过强化学习框架实现模型优化三个方面，对每种模型进行剖析，为量化投资管理人提供投资组合优化的新思路。
　　量化选股模型通过强化学习实现了组合收益和风险控制的优化
　　本文剖析了三个使用深度神经网络和强化学习结合的选股模型，与传统动量、多因子选股等模型进行回测比较，在2000年之后均具有更高的风险收益性价比。例如，可灵活调节组合优化目标函数，构建股票多空组合的AlphaPortfolio相较于传统多因子模型构建的组合，年化超额收益达13%以上；利用策略梯度算法优化模型的DeepTrader模型，将股票评估与市场择时相结合，控制空头比例，不仅提升了组合收益，其最大回撤仅为基准的一半甚至更少；而MetaTrader则通过Q学习的方法在预先训练的多元化策略中动态选取执行策略，在三大指数成分股上构建组合的收益超越基准15%~40%不等。
　　从AlphaPortfolio等模型看深度强化学习算法实现投资组合构建的两种模式
　　三种模型体现了强化学习应用的两种模式：一是使用先进的网络模型在强化学习框架下动态更新，模型结构与传统监督学习差异并不大，可以人为地设定周期定期重新训练，也可以通过强化的方式实现模型自适应，AlphaPortfolio和DeepTrader即提供了两个实例；二是依据算法特点充分模拟投资决策，以MetaTrader为例，不仅从单策略层面学习差异化的多策略，而且元策略学习得到的智能体，可类比为投资经理代理（PM-agent），其奖励函数的设计体现了投资经理在选择实盘策略时的考量，算法应用也从选股层面上升到了策略组合层面。
　　使用深度强化学习实现选股模型，依赖新型的网络结构，更要充分结合投资目标和实际场景设计要素
　　将深度强化学习应用于选股策略，既需要在网络结构上化繁为简的精巧设计，也依赖一些新的样本/路径构造方法出现来解决数据不足的现状。从目前的应用来看，深度学习模型解决特征、关系表征，而强化学习优化了参数的更新与搜索，以及各模块/网络之间的信息流如何传导的问题。识别出哪些场景适合强化学习，并恰当地设定状态和动作等，是强化学习算法能否成功落地的关键。
　　风险提示
　　1.正文本报告中包含公开发表的文献整理的模型结果，涉及的收益指标等结果的解释性请参考原始文献。2.本报告构建的策略框架中所提及的交易均指模拟交易，回测结果是基于历史数据的统计归纳，模型力求自适应跟踪市场规律和趋势，但仍存失效可能