ChatGPT的广泛应用：ChatGPT是基于GPT模型的大型对话式语言模型，具有高质量文本生成、代码编写等多项功能。随着ChatGPT被广泛关注，GPT模型逐渐成为人工智能领域的研究热点，并开始应用于其他领域。本篇报告将其核心算法Transformer应用于量化投资策略。
　　自注意力机制：自注意力机制是NLP的一种数据处理方法，能够有效捕捉输入序列各位置之间的关系。自注意力机制通过计算query向量与key向量的相关性来加权平均value矩阵，得到输出结果；而多头注意力机制则利用并行计算和拆分矩阵为多个头的方式，在自注意力机制的基础上进一步提高模型训练效率。
　　Transformer架构：Transformer架构是一种采用自注意力机制的神经网络模型，由位置编码、编码层和解码层组成。位置编码使用正弦和余弦函数计算单词位置信息，编码器将序列中各位置之间关系的信息进行编码并输出，解码器则使用编码器输出的序列信息逐个预测输出。模型同时具备并行计算和高效捕捉关系的能力，被广泛应用于自然语言处理、图像生成等领域。
　　基于Transformer架构的选股策略：本报告将Transformer模型应用于股票涨跌预测中，选取个股涨跌幅和换手率作为面板数据输入，通过输出股票未来涨跌概率进行分类。在月度调仓策略中，中证500、沪深300和全市场选股自2020年以来均获得良好的相对收益与较强的回撤控制能力。
　　相对于传统神经网络的优势：1.处理长期记忆；2.变长输入序列；3.并行计算效率；4.预训练模型提高泛化能力。
　　风险提示：策略模型并非百分百有效，市场结构及交易行为的改变以及类似交易参与者的增多有可能使得策略失效。本篇报告通过历史数据进行建模，但由于市场具有不确定性，模型仅在统计意义下有望获得较好投资业绩。另外，本报告不构成任何投资建议。