Transformer作为ChatGPT的底层模型，展示出了其在自然语言任务中的强大性能。股票投资场景和自然语言任务有内在相似之处，金融时间序列可以被看作文字序列，且Transformer在处理长期记忆和变长序列任务中有优势。因此，本文尝试在股票投资场景测试Transformer算法的特征工程能力。
　　基于Transformer构建特征工程模型
　　本文以带时间步长的多维因子作为输入数据，以股票的次月回报作为标签，逐步测试了各个超参数对Transformer模型的影响，并最终确定了月频调仓场景下应用于股票特征工程的模型架构。
　　 Transformer算法能有效对特征加总
　　经训练的Transformer模型在样本外能有效对股票特征进行加总并筛选股票。经过中证1000、中证500、沪深300和全市场股票池的检验，模型能有效筛选出股票组合，从而对基准指数或空头组合形成稳定超额。经测试，基于Transformer的特征工程模型IC为0.047，IR为0.69。
　　 Transformer对比其它算法无明显优势
　　在相同的场景设定下，本文对比了Transformer和《机器学习与因子（一）：特征工程算法测评》中测试的其它十种机器学习模型，Transformer并未体现出明显优势。可能的原因是月频样本的数量难以满足大参数模型训练要求。
　　风险提示
　　模型测算风险：超参数设定对模型结果有较大影响；收益指标等指标均限于一定测试时间和测试样本得到，收益指标不代表未来。
　　模型失效风险：机器学习模型基于历史数据进行测算，不能直接代表未来，仅供参考。