人工智能系列之65：解析GPT对量化投资的影响，顾短也兼长
　　相比ChatGPT和GPT-4在全社会范围引发的热议，量化投资领域对于GPT的态度显得相对冷静。ChatGPT和GPT-4展现出的强大语言生成能力和部分推理能力不可谓不惊艳，但和量化投资主流方法论——低信噪比场景下的预测模型有鲜明区别。这种因立场不同带来的感知差异，就如股指期货松绑无法令非量化从业者感到兴奋一样。我们认为在短期现实层面，量化投资行业可能难以直接受益于GPT模型。但长期看，如同人脑各区域分工明确但相互联系，现有量化投资预测模型可与各类大模型耦合扩展功能；算法升级和规模扩大后，量化模型可能涌现出预期外的能力，值得量化从业者期待。
　　两点展望：大模型的耦合，大模型的涌现
　　类比人脑，CNN、AlphaGo、GPT的强大能力分别对应视觉区、高级认知区、语言区。诟病ChatGPT不懂推理计算，就像指责耳朵不会说话一样，忽略了AI模型可以耦合，就如人脑各区域存在相互联接。将现有量化投资预测模型和大语言、图像模型耦合，能否处理更大体量的文本信息？能否模拟“看盘高手”的决策？能否实现更拟真的多模态金融数据生成？涌现是指模型规模扩大后，自发产生预期之外的能力，量变产生质变。目前量化投资预测模型无法解决低信噪比、时变规律、小样本学习、数据非结构化等问题，在算法升级和模型规模扩大后，是否可能涌现出预期外的能力？
　　深度解析ChatGPT的原理，力求帮助读者全面了解其背后的机制
　　ChatGPT是OpenAI的GPT模型在人机对话方面的应用延伸，使用基于人类反馈的强化学习（RLHF）进行训练。我们认为RLHF的一大优势在于可以充分利用数量有限的标注数据构建奖励机制，并在不断迭代中实时获得环境反馈，逐渐微调模型，使得回答尽可能接近人类的逻辑和意图。GPT系列模型是大规模预训练语言模型的代表，为ChatGPT奠定了坚实基础。其中GPT-3具有1750亿个参数，使用了Few-shot等先进技术，相比于预训练+微调模型的方式，Few-shot更接近人类在面对各类语言问题时的思考模式，即人类只需要提示和少量示例就能回答各类语言问题。
　　哪些生成模型适用于金融数据生成？如何应用于量化投资？ 
　　ChatGPT作为自然语言生成模型，在聊天对话场景取得了令人瞩目的成就。而在量化投资场景中，数值类型数据使用更为普遍，GAN、VAE、流模型、扩散模型是四类主流的数值类型数据生成模型。其核心是学习随机变量z到生成数据x’的映射，随后对z进行采样，即可得到生成数据。量化投资学界和业界实践中，生成的金融数据包含时间序列、K线图像数据、截面特征标签数据、订单簿数据，生成得到的数据可以用于训练模型、检验模型、预测收益、预测风险、期权定价等。
　　ChatGPT或将在多方面对量化投资带来影响
　　我们认为ChatGPT对量化投资的影响可能是多方面的。其一，ChatGPT或将被用于生成财经新闻、论坛评论、研究报告等文本数据，极大提高文本数据的数量和噪音，对文本挖掘相关的量化交易策略有利有弊；其二，ChatGPT或将被运用于量化策略代码编写，接入数据平台后可以实现交易策略的批量调参与样本外跟踪；其三，ChatGPT还将降低量化研究的门槛，例如替代本地预训练-微调大模型，降低NLP策略研究的难度、凭借强大的资源整合能力成为第三代搜索引擎后可以助力量化资讯的搜集效率等。
　　风险提示：人工智能挖掘市场规律是对历史的总结，市场规律在未来可能失效。人工智能技术存在过拟合风险。深度学习模型受随机数影响较大。
　　

研究报告全文：证券研究报告金工GPT量化投资华泰研究研究员林晓明SACNoS0570516010001linxiaominghtsccom2023年3月24日中国内地深度研究SFCNoBPY4218675582080134研究员李子钰人工智能系列之65解析GPT对量化投资的影响顾短也兼长SACNoS0570519110003liziyuhtsccom相比ChatGPT和GPT-4在全社会范围引发的热议量化投资领域对于GPTSFCNoBRV7438675523987436的态度显得相对冷静和展现出的强大语言生成能力和部ChatGPTGPT-4研究员何康PhD分推理能力不可谓不惊艳但和量化投资主流方法论低信噪比场景下的SACNoS0570520080004hekanghtsccom预测模型有鲜明区别这种因立场不同带来的感知差异就如股指期货松绑SFCNoBRB318862128972039无法令非量化从业者感到兴奋一样我们认为在短期现实层面量化投资行联系人陈伟业可能难以直接受益于GPT模型但长期看如同人脑各区域分工明确但SACNoS0570121070169chenwei018440htsccom相互联系现有量化投资预测模型可与各类大模型耦合扩展功能算法升级862128972228和规模扩大后量化模型可能涌现出预期外的能力值得量化从业者期待两点展望大模型的耦合大模型的涌现类比人脑CNNAlphaGoGPT的强大能力分别对应视觉区高级认知区语言区诟病ChatGPT不懂推理计算就像指责耳朵不会说话一样忽略了AI模型可以耦合就如人脑各区域存在相互联接将现有量化投资预测模型和大语言图像模型耦合能否处理更大体量的文本信息能否模拟看盘高手的决策能否实现更拟真的多模态金融数据生成涌现是指模型规模扩大后自发产生预期之外的能力量变产生质变目前量化投资预测模型无法解决低信噪比时变规律小样本学习数据非结构化等问题在算法升级和模型规模扩大后是否可能涌现出预期外的能力深度解析ChatGPT的原理力求帮助读者全面了解其背后的机制ChatGPT是OpenAI的GPT模型在人机对话方面的应用延伸使用基于人类反馈的强化学习RLHF进行训练我们认为RLHF的一大优势在于可以充分利用数量有限的标注数据构建奖励机制并在不断迭代中实时获得环境反馈逐渐微调模型使得回答尽可能接近人类的逻辑和意图GPT系列模型是大规模预训练语言模型的代表为ChatGPT奠定了坚实基础其中GPT-3具有1750亿个参数使用了Few-shot等先进技术相比于预训练微调模型的方式Few-shot更接近人类在面对各类语言问题时的思考模式即人类只需要提示和少量示例就能回答各类语言问题哪些生成模型适用于金融数据生成如何应用于量化投资ChatGPT作为自然语言生成模型在聊天对话场景取得了令人瞩目的成就而在量化投资场景中数值类型数据使用更为普遍GANVAE流模型扩散模型是四类主流的数值类型数据生成模型其核心是学习随机变量z到生成数据x的映射随后对z进行采样即可得到生成数据量化投资学界和业界实践中生成的金融数据包含时间序列K线图像数据截面特征标签数据订单簿数据生成得到的数据可以用于训练模型检验模型预测收益预测风险期权定价等ChatGPT或将在多方面对量化投资带来影响我们认为ChatGPT对量化投资的影响可能是多方面的其一ChatGPT或将被用于生成财经新闻论坛评论研究报告等文本数据极大提高文本数据的数量和噪音对文本挖掘相关的量化交易策略有利有弊其二ChatGPT或将被运用于量化策略代码编写接入数据平台后可以实现交易策略的批量调参与样本外跟踪其三ChatGPT还将降低量化研究的门槛例如替代本地预训练-微调大模型降低NLP策略研究的难度凭借强大的资源整合能力成为第三代搜索引擎后可以助力量化资讯的搜集效率等风险提示人工智能挖掘市场规律是对历史的总结市场规律在未来可能失效人工智能技术存在过拟合风险深度学习模型受随机数影响较大免责声明和披露以及分析师声明是报告的一部分请务必一起阅读1金工研究正文目录导读3ChatGPT原理深度解析4OpenAI的四代GPT模型4GPT模型5GPT-2和GPT-3模型5GPT-4模型6InstructGPT和ChatGPT使用RLHF训练人机对话模型7关于RLHF的两点思考11参考文献11生成模型在量化投资中的应用12哪些生成模型适用于数值类型数据生成12生成对抗网络GenerativeAdversarialNetworksGAN12变分自编码器VariationalAutoEncoderVAE13基于流的模型Flow-basedModels14扩散模型DiffusionModel15生成数据如何应用于量化投资16生成什么金融数据16生成数据怎么用17参考文献19ChatGPT对量化投资影响几何20三省吾身ChatGPT的自我拷问20ChatGPT所生成的海量文本是柄双刃剑21利好在于可供学习的样本量增加22利空在于样本噪音或将大幅提升23ChatGPT替代量化研究员路途还有多遥远23实验1计算夏普比率23实验2均线择时策略24ChatGPT降低量化研究的门槛已经是触手可及的现在25参考文献25国内如何使用ChatGPT26风险提示27附录28免责声明和披露以及分析师声明是报告的一部分请务必一起阅读2金工研究导读相比ChatGPT和GPT-4在全社会范围引发的热议量化投资领域对于GPT的态度则显得相对冷静就现阶段来说ChatGPT和GPT-4展现出的强大的语言生成能力和一部分推理能力不可谓不惊艳但和狭义量化投资主流的方法论低信噪比场景下的预测模型有鲜明区别这种因立场不同带来的感知差异就如同股指期货松绑无法令非量化从业者感到兴奋一样我们认为在短期现实层面量化投资行业可能难以直接受益于GPT模型不过本文仍希望顾短也兼长地分析GPT对于量化投资的影响不妨细说GPT和狭义量化投资方法论的立场差异一是生成和预测的差别何为智能对话写作绘画当然属于智能其共同点在于让模型实现生成对应GPTAIGC中的GGenerativeGenerated但在量化投资中更智能代表更准确的预测和投资决策这种预测能在未来被证真或证伪也就是存在真实的预测目标因此无关乎生成而重在解析二是使用场景的信噪比不同语言图像冗余度高即信噪比高之所以语言考试中有完形填空任务正是因为一段话中挖去少数词对语义理解影响不大但一段资产价格序列挖去最后一天的价格人或模型试图来预测难度非常大如果像完形填空一样简单金融市场应该很早就达到有效本质是因为金融市场信噪比低且时刻存在博弈规律具有时变特性大模型在低信噪比场景下的能力有待检验基于以上两点我们认为短期量化投资行业可能难以直接受益于GPT模型但长期看我们认为GPT模型将解放量化投资的生产力除了替代量化从业者日常低创造性的劳动如制作文稿报表写基础代码等以及智能投顾等广义投资领域的应用之外GPT对量化研究的启发至少还体现在两点一是大模型的耦合如果将已有AI模型类比人类大脑此前CNN的图像识别能力对应枕叶视觉区AlphaGo的运算能力对应前额叶高级认知区GPT的语言能力对应颞叶语言区另外计算机近乎无限的记忆力对应海马区有人诟病ChatGPT不懂推理计算就像指责人的耳朵不会说话一样忽略了AI模型是可以逐步发展以及相互耦合的就如同人脑各区域不是独立工作而是相互联接的GPT-4实现的多模态生成就是耦合了视觉区和语言区未来的通用人工智能可能就诞生于多个大模型的耦合之中对量化投资而言目前常用的AI预测模型只解决了基于数值数据拟合收益率的问题相当于只激活了类脑智能的很小一部分区域现有预测模型和大语言模型大图像模型生成式模型耦合之后能否处理更大体量的文本信息能否模拟看盘高手的决策能否实现更拟真的多模态金融数据生成二是大模型的涌现这一点正在被AI领域热议一般而言大语言模型的性能会随规模的扩大而提升两者的共变关系是可预测的涌现则是指模型规模扩大后自发产生预期之外的能力如小样本学习思维链未经训练的指令遵循等通俗地说即量变产生质变Google在2022年发布的论文EmergentAbilitiesofLargeLanguageModels综述了这一现象从复杂系统的角度看涌现意味着秩序的产生可能代表高维动力学系统中的稳态对量化投资而言目前小模型无法解决低信噪比时变规律小样本学习数据非结构化等问题在算法升级和模型规模扩大后是否可能涌现出预期外的能力科学家对涌现知之甚少但AI的成长时常超越人的认知下文将分三部分具体展开首先解析历代GPT模型和ChatGPT原理其次站在生成模型视角介绍生成对抗网络变分自编码器流模型等生成模型的原理及其在训练模型检验模型预测收益预测风险等领域的应用案例再次站在语言模型视角从文本生成代码生成等角度分析ChatGPT对量化投资的影响最后介绍国内网络环境下使用ChatGPT的方法免责声明和披露以及分析师声明是报告的一部分请务必一起阅读3金工研究ChatGPT原理深度解析NLPNaturalLanguageProcess自然语言处理是人工智能的子领域专注于人机交互和自然语言数据的处理和分析近年来NLP领域最激动人心的成果莫过于预训练自然语言模型GPT系列模型作为预训练自然语言模型的一个重要分支逐渐展现出AI模型对于完成通用自然语言处理任务的强大能力下图是GPT系列模型的发展路径图表1GPT系列模型的发展路径资料来源华泰研究OpenAI的四代GPT模型20182023年OpenAI陆续推出四代GPT模型前三代每一代模型的规模和参数量逐渐增大GPT-3的参数量达1750亿个第四代参数量未公开模型在各类自然语言下游任务中的表现也越来越好前三代模型的结构和参数如下图图表2前三代GPT模型的结构资料来源OpenAI华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读4金工研究GPT模型2018年OpenAI在论文ImprovingLanguageUnderstandingbyGenerativePreTraining中提出了GPT模型GPT是单向表征的自回归语言模型主要用来处理语言生成任务其多头注意力模块为MaskedMulti-HeadAttention通过掩码的遮盖在预测一个单词时只会用到前面已经生成的单词而无信息的泄露GPT是典型的无监督预训练有监督微调的两阶段模型先在没有标注的数据集中进行预训练再在有标注的特定下游任务数据集上微调在预训练阶段对于一个含有大量单词的语料库1GPT使用极大化似然函数来进行优化1log1是预测时所用到的单词的个数是用于预测的模型我们定义1为输入的个单词的编码序列为词嵌入映射矩阵为位置嵌入矩阵L表示堆叠的Block层数则GPT的预训练流程可以按如下方法公式化0transformerblock1123softmax预训练完成后需要使用少量带标注的下游任务数据对模型进行微调GPT-2和GPT-3模型从GPT-2开始OpenAI逐渐抛弃了无监督预训练有监督微调的方式尝试训练一种不需要进行下游任务微调就能处理各种自然语言任务的模型并且认为随着模型参数量的不断增大模型容纳的知识和可应对的任务会越来越多语言模型应该往大模型的方向发展GPT-2相比GPT的变化主要包含1参见图表3GPT-2中Transformer层的内部结构相比GPT有一定变化2GPT-2的Transformer层数增多参数量达到了15亿个3GPT-2开创性地引入了Zero-shot技术即模型在大规模参数下学习到了海量文本中的知识不需要再针对下游任务微调只需要将要做的任务也作为一个提示词和文本一起输入预训练好的模型就可以完成这个任务遗憾的是因为基于Zero-shot的训练方式难度很大GPT-2在很多下游任务上的表现还不够好但从开创性来讲GPT-2无疑是一个优秀的研究为GPT-3的诞生做好了准备2020年OpenAI在论文LanguageModelsareFew-ShotLearners提出了GPT-3GPT-3在多项任务上的表现超出了GPT-2GPT-3相比GPT-2的变化主要包含1参见图表3GPT-3中Transformer层的内部结构和GPT-2一致但层数达到96层参数数量达到1750亿个2GPT-3吸取了GPT-2的经验教训在使用Zero-shot技术的同时还引入了相对容易的One-shot和Few-shot技术下方将英语cheese翻译成法语的例子形象说明了Zero-shotOne-shotFew-shot与微调的对比免责声明和披露以及分析师声明是报告的一部分请务必一起阅读5金工研究图表3Zero-shotOne-shotFew-shot与微调的对比资料来源LanguageModelsareFew-ShotLearners华泰研究微调模型会根据每个微调样本example1example2exampleN产生梯度更新模型参数微调完成之后将英语cheese翻译成法语Zero-shot模型预测阶段给模型提供一个任务提示TranslateEnglishtoFrench并加上要翻译的单词cheese也就是告诉模型需要做的是翻译任务这个过程中不会有梯度更新One-shot模型预测阶段给模型提供一个任务提示TranslateEnglishtoFrench并加上要翻译单词cheese的同时增加一个翻译示例seaotterloutredemer也就是告诉模型需要做的是翻译任务并且有一个参考示例这个过程中不会有梯度更新Few-shot模型预测阶段给模型提供一个任务提示TranslateEnglishtoFrench并加上要翻译单词cheese的同时增加多个翻译示例也就是告诉模型需要做的是翻译任务并且有多个参考示例这个过程中不会有梯度更新可以看出Zero-shotOne-shot和Few-shot更接近人类在面对各类语言问题时的思考模式即人类只需要提示和少量示例就能回答各类语言问题对于Zero-shot由于没有提供示例是最有挑战的即使是人类有时也难以在仅依赖任务描述而没有示例的情况下理解一个任务GPT-4模型2023年3月14日OpenAI推出了GPT-4模型向多模态通用人工智能迈出更坚实的一步GPT-4之前的模型都是语言模型GPT-4则升级为语言图像的多模态模型能够输入文本和图像回答文本内容免责声明和披露以及分析师声明是报告的一部分请务必一起阅读6金工研究考虑到竞争格局和大型模型的安全影响OpenAI并未披露GPT-4的大小硬件数据集构建训练方法等细节只发表了一篇技术报告来介绍模型在各种任务上的性能但GPT-4并非一天建成的我们依然可以通过已发表的相关研究论文来了解GPT-4使用的AI技术下图整理了GPT-4原理概况及参考模型图表4GPT-4原理概况及参考模型资料来源华泰研究InstructGPT和ChatGPT使用RLHF训练人机对话模型InstructGPT和ChatGPT都是GPT模型在人机对话方面的应用延伸目的是使得机器的回答尽可能向人类的逻辑和意图看齐Alignment二者都使用了基于人类反馈的强化学习ReinforcementLearningfromHumanFeedbackRLHF进行训练由于ChatGPT的论文尚未发布我们将主要参照InstructGPT的论文Traininglanguagemodelstofollowinstructionswithhumanfeedback来介绍RLHF的训练过程图表5使用RLHF训练ChatGPT的三个步骤资料来源OpenAI华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读7金工研究上图展示了使用RLHF训练ChatGPT的三个步骤分别是1利用人类标注的对话数据对GPT-35进行有监督训练微调2利用人类标注的对话打分数据训练一个打分模型模型能评价机器回答的质量高低3利用步骤2中打分模型得到奖励函数使用强化学习继续对步骤1中的模型微调步骤1较为简单即利用人类标注的对话数据对GPT-35进行有监督训练微调得到SFTSupervisedfine-tuning模型对话数据中包含的任务类型较为全面包括文本分类信息抽取文本生成或重写问答等等在InstructGPT的论文中该步骤使用的数据量为13000条左右这实际上是一个规模较小的数据因此可以考虑使用文本增强AugmentedText的方法扩充这些数据图表6步骤1利用人类标注的对话数据对GPT-35进行有监督训练微调资料来源HuggingFaceRLHF华泰研究步骤2需要按照以下流程进行1将大量的问题文本输入给微调过的SFT模型得到回答2人工按照某些标准对回答进行排序标准可以是回答的可读性无害性正确性等等3需要注意的是人工排序并不是给出1234这样的排序数值因为直接打分很容易受主观影响而是给出DCAB这样的相对强弱4使用人工排序的结果训练一个打分模型RewardModel模型能评价一条回答的质量高低在InstructGPT的论文中训练打分模型使用了如下的pairwise排序损失函数1losslog2其中是一个提问针对有K论文中K9个回答从中任选两个回答和是打分模型对的评分即两个回答的得分差值log则把得分差值转换为Logistic损失最后把Logistic损失求均值并取相反数就得到lossInstructGPT的论文中步骤2总共使用了33000条人工标注的样本来训练免责声明和披露以及分析师声明是报告的一部分请务必一起阅读8金工研究图表7步骤2利用人类标注的对话打分数据训练一个打分模型资料来源HuggingFaceRLHF华泰研究步骤3使用强化学习对SFT模型继续进行微调需要按照以下流程进行1向模型输入问题文本例如Adogis步骤1的SFT模型给出回答afurrymammal使用强化学习微调的模型给出回答mansbestfriend2计算两个回答之间的KL散度来评价它们的相似程度以KL散度作为惩罚项目的是使得两个模型差异不要太大3将强化学习微调的模型回答mansbestfriend输入第2步中的打分模型得到打分4设置强化学习的奖励函数使用PPO算法对模型进行微调在InstructGPT的论文中奖励函数设置为objectiveloglog其中代表PPO微调的模型代表SFT微调的模型则是未微调的预训练模型log即KL散度超参数和控制KL散度和未微调的预训练模型的影响若0则得到模型命名为PPO模型若0则得到模型命名为PPO-ptx模型整个奖励函数的含义是在最大化打分的情况下控制和的差异并且引入未微调模型来增强整体模型的鲁棒性5随着强化学习的不断训练就能逐渐微调模型使得回答质量越来越接近人类的期望水平免责声明和披露以及分析师声明是报告的一部分请务必一起阅读9金工研究图表8步骤3使用强化学习PPO算法继续微调模型资料来源HuggingFaceRLHF华泰研究InstructGPT的测试结果包含了很多值得注意的信息我们将逐个展开分析下图的横轴为模型大小纵轴为模型相对于基准模型的胜率基准模型是对1750亿参数的GPT-3微调得到的模型SFT图表9InstructGPT的测试结果分析资料来源Traininglanguagemodelstofollowinstructionswithhumanfeedback华泰研究1从上图可知PPO和PPO-ptx的表现最好显著优于SFTPPO和PPO-ptx之间没有显著的优劣之分2引入人工标注的数据进行RLHF训练对模型指标的提升是非常显著的模型大小只有13亿的PPO表现远优于模型大小达到1750亿的GPT3上图5个模型的指标都随着模型大小的增大而增大且并未出现见顶的迹象这可能说明继续增大模型规模还有进一步提升的空间语言大模型的潜力还有进一步挖掘的可能免责声明和披露以及分析师声明是报告的一部分请务必一起阅读10金工研究关于RLHF的两点思考首先RLHF的核心思想是用强化学习微调语言模型相比监督学习强化学习要复杂很多需要定义环境状态奖励策略等要素复杂方法的引入一般是因为其能展现出相比简单方法的特殊价值对于InstructGPT来说其使用的人工标注数据相对于模型规模来说是很小的只有数万条而已我们认为RLHF的一大优势就在于可以充分利用这些有限的标注数据具体来讲RLHF中的打分模型学习了人类对机器回答的评价排序相当于替代了人类反馈能自动对更多回答进行打分这种自动打分机制被融入到强化学习的奖励函数中使得强化学习可以在模型的不断迭代中实时获得环境反馈逐渐微调模型使得回答的可读性无害性正确性更好其次读者可能会发现GPT-3和ChatGPT的训练方法论是矛盾的GPT-3尝试训练一种不需要进行下游任务微调就能处理各种自然语言任务的模型而ChatGPT则又使用了微调模型的训练方法我们认为这其实是两个研究的目的不同所致GPT-3尝试借鉴人类的思维模式探索一种通用的语言大模型GPT-3更像是一种打地基式的工作具有更高的全局规划和研究视野与之相比ChatGPT则是一种更偏应用的研究应用研究更关注的是模型在某个领域的实际效果对能提升实际效果的方法论都可以吸收使用实际上ChatGPT正是站在GPT-3这个巨人的肩膀上才取得了当前的惊艳效果参考文献VaswaniAShazeerNParmarNUszkoreitJJonesLGomezANPolosukhinI2017AttentionisallyouneedAdvancesinneuralinformationprocessingsystems30RadfordANarasimhanKSalimansTSutskeverI2018Improvinglanguageunderstandingbygenerativepre-trainingRadfordAWuJChildRLuanDAmodeiDSutskeverI2019LanguagemodelsareunsupervisedmultitasklearnersOpenAIblog189BrownTMannBRyderNSubbiahMKaplanJDDhariwalPAmodeiD2020Languagemodelsarefew-shotlearnersAdvancesinneuralinformationprocessingsystems331877-1901OuyangLWuJJiangXAlmeidaDWainwrightCLMishkinPLoweR2022TraininglanguagemodelstofollowinstructionswithhumanfeedbackarXivpreprintarXiv220302155SchulmanJWolskiFDhariwalPRadfordAKlimovO2017ProximalpolicyoptimizationalgorithmsarXivpreprintarXiv170706347免责声明和披露以及分析师声明是报告的一部分请务必一起阅读11金工研究生成模型在量化投资中的应用ChatGPT作为自然语言生成模型在聊天对话的场景中取得了令人瞩目的成就而在量化投资场景中研究对象除了文本类型数据外更常用的仍是截面时间序列等数值类型数据哪些生成模型适用于数值类型数据生成数值类型数据如何应用于量化投资哪些生成模型适用于数值类型数据生成生成模型的核心是学习随机变量z到生成数据x的映射学习完成后对z进行随机采样即可得到生成数据GANVAE流模型扩散模型这四类主流的生成模型其主要区别就体现在上述映射关系的表征和学习方式上图表10四类生成模型示意图资料来源httpslilianwenggithubioposts2021-07-11-diffusion-models华泰研究生成对抗网络GenerativeAdversarialNetworksGAN生成模型和判别模型属于人工智能的两大分支但在GAN成为网红模型之前学界和业界的研究重心主要放在判别模型可以说GAN靠一己之力带火了生成模型GAN的热潮一度席卷各项AI顶级会议但其地位近几年逐渐被扩散模型取代GAN由IanGoodfellow在2014年NIPS会议提出精妙之处在于训练中引入博弈的思想GAN包含两个网络生成器G和判别器D假设G的目标是生成尽可能逼真的赝品那么D的目标是尽可能区分真品和G生成的赝品原版GAN中G和D的损失函数互为相反数相当于零和博弈两者交替训练直到达到纳什均衡的理想状态此时D明察秋毫而G生成赝品的技艺同样巧夺天工从前述映射关系的角度分析D学习从样本真样本x或生成样本x到真假判断1或0的映射DxG学习从随机变量z到生成样本x的映射Gzz服从标准正态分布G和D都可以通过复杂神经网络进行拟合GAN的核心是学习GzG相当于学生D的作用类似老师起辅助作用GAN由于其独特的训练方式和优良的生成效果受到学界瞩目研究者此后陆续提出各类GAN的变式例如针对损失函数改造的WGAN针对网络结构改造的DCGAN引入条件信息从而具备预测能力的CGAN扩大网络规模的BigGAN实现风格迁移的StyleGAN实现单样本生成的SinGAN等GAN的缺点是训练不稳定并且生成多样性不足免责声明和披露以及分析师声明是报告的一部分请务必一起阅读12金工研究图表11GAN生成人脸实例与GAN的损失函数资料来源TheMaliciousUseofArtificialIntelligence华泰研究图表12SinGAN生成图像实例资料来源SinGANlearningagenerativemodelfromasinglenaturalimage华泰研究变分自编码器VariationalAutoEncoderVAEVAE由Kingma和Welling在2013年提出并发表于2014年ICLR会议AEAutoEncoder自编码器是一种经典的无监督学习方法常用于降维VAE借鉴了AE的编码器-解码器结构并引入概率图模型的变分推断思想VAE中的V此后学者连续提出VAE的变式其中VQ-VAE的改进版在2021年被OpenAI应用于第一代文本图像生成工具DALLE1上GAN和VAE生成的起点都是随机变量z隐变量两者不同之处在于GAN的z从标准正态分布中采样而VAE的z是从特定均值方差的正态分布中采样均值方差是通过神经网络学习出来VAE的具体结构为原始数据x通过编码器网络得到隐变量z的均值和方差对正态分布进行采样得到隐变量z再通过解码器网络得到生成数据x网络的损失函数是重构误差如x和x的MSE和正则化项约束均值和方差尽量接近标准正态分布两项之和VAE相比GAN在数学上更优美从贝叶斯概率模型的角度看隐变量z服从先验分布pz编码器的本质是学习后验分布qzx解码器的本质是学习似然分布pxz也就是前述随机变量z到生成数据x的映射训练VAE的过程数学上等价于对pxz的参数进行极大似然估计更确切地说是最大化似然函数的下确界VAE的另一优势是生成多样性比GAN更好缺点是生成数据的真实度和清晰度不如GAN免责声明和披露以及分析师声明是报告的一部分请务必一起阅读13金工研究图表13VAE网络结构和损失函数资料来源华泰研究基于流的模型Flow-basedModelsVAE的训练目标是最大化似然函数的下确界然而优化函数的下确界不等于优化函数本身基于流的模型以下简称流模型的训练目标是最大化似然函数本身在数学上相比VAE更严格NICE被认为是流模型的奠基之作尽管全文未出现flow由Dinh等人于2014年提出被2015年ICLR会议接收此后学者陆续提出RealNVPGlow等流模型生成能力得到进一步提升流模型的本质是学习随机变量和真实数据之间的概率分布转换关系假设随机变量z服从分布pZz真实数据x服从分布pXxVAE学习的是pZz的均值和方差而流模型中pZz是标准正态分布z学习的是x和之间的双射关系zfx与xf-1z其中f必须是可逆函数此时f相当于编码器反函数f-1相当于解码器流模型训练过程中实际训练的是解码器f-1可记为G一般为神经网络根据变量替换-1-1-1定理生成数据x的对数似然函数可以显式地表达为logGxlogdetJG其中JG代表解码器反函数即编码器G-1的雅可比矩阵神经网络的训练目标是最大化对数似然函数训练完成后将高斯分布随机变量z送入解码器即可得到生成数据xGz通常单个解码器G不足以实现隐变量z和数据x之间的分布转换可以堆叠一系列解码器G1G2GK此时生成过程xGKG2G1z如同连续的数据流因此得名流模型流模型的重要假设是解码器G可逆并非所有神经网络都满足可逆性网络结构需要特别设计如引入仿射耦合层等流模型的优点是逻辑完备并且隐变量z具有高级的语义属性例如将笑脸对应的隐变量减去普通人脸对应的隐变量即可得到表征笑容的隐变量但流模型参数量偏大且在生成效果上相比GAN和VAE没有显著优势一直没有成为生成模型的主流图表14基于流的模型网络示意图和损失函数资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读14金工研究扩散模型DiffusionModel扩散模型的思想诞生于2015年2020年DDPMDenoisingDiffusionProbabilisticModel实现高分辨率图像生成扩散模型开始逐渐取代GAN成为生成模型的主流2022年OpenAI将其改进模型应用于第二代文本图像生成工具DALLE2上扩散模型凭借其强大的生成能力随AIGC一同成功出圈为人熟知与VAE流模型类似扩散模型同样包含编码-解码的过程扩散模型的特殊之处在于编码和解码过程并非一步到位而是经过一系列小步慢走实现的以生成过程即解码为例VAE直接学习隐变量z下真实数据x的似然分布pxz从随机变量z可直接生成x扩散模型将该过程拆解为T步高斯噪音z经过扩散依次得到xT-1xT-2x1最终生成x编码过程从真实数据x出发每步添加高斯噪声依次得到x1x2xT-1xT当扩散步数足够多时xT可视作高斯分布随机变量z该过程也称为前向扩散不涉及神经网络和参数训练解码过程从高斯噪音z出发每步训练神经网络依次预测xT-1xT-2x1x0x0即为生成数据x神经网络的作用是降噪输入为xt原始扩散模型的预测目标为降噪后的数据xt-1DDPM的预测目标为前向扩散时添加的噪音xt减可得xt-1DDPM的网络结构为U-Net输入和输出数据维度一致各步神经网络共享参数DDPM的输入还增加timeembedding表征当前进行到扩散过程的哪一步扩散模型的优点是生成质量优于VAE多样性和稳定性优于GAN缺点是对算力要求高生成效率低近年来学者陆续从提高生成效率提升泛化能力等角度提出改进在计算机视觉自然语言处理时序数据建模等领域大放异彩作为新涌现出的生成模型扩散模型具有广阔的发展前景和应用价值图表15DDPM扩散模型结构资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读15金工研究生成数据如何应用于量化投资生成什么金融数据时间序列数据金融时间序列数据生成是生成模型在量化投资领域的研究热点东京大学Takahashi等人2019年使用GAN生成标普500指数长达50年的日度价格序列并证实GAN生成的资产价格序列能够复现尖峰厚尾波动率聚集等真实序列的典型化事实富国银行Fu等人2019年使用GAN生成美股日度收益率序列以及美国GDPCPI等宏观指标序列JPMorganBuehler等人2020年使用VAE生成不同尺度的资产价格序列并指出VAE相比其他生成模型更适用于小样本集场景下的生成尽管文中未对比其他模型华泰金工团队在人工智能31生成对抗网络GAN初探2020-05-08中初次尝试将GAN应用于单资产价格序列生成在人工智能35WGAN应用于金融时间序列生成2020-08-28中使用WGAN提升生成真实性和多样性在人工智能38WGAN生成从单资产到多资产2020-11-23中实现多资产价格序列生成总的来看时间序列生成技术目前较为成熟模型以GAN为主扩散模型可能是下一阶段的重要方向图表16WGAN生成标普500月频价格序列16生成序列1生成序列2生成序列3生成序列414121086归一化价格42001224364860728496120108132144156168180192204216228240月份资料来源Wind华泰研究K线图像数据在学术领域图像生成是生成模型的老本行香港科技大学Wong等人2020年发表GANStickUSStockForecastingwithGAN-GeneratedCandlesticks使用条件深度卷积GAN模型基于美股历史5日K线图生成未来5日K线图再结合历史5日OHLC数据开高低收盘价使用卷积双向LSTM预测未来股价尽管论文中预测效果不错我们认为K线图和OHLC序列包含的信息一致K线图相比OHLC还存在冗余生成K线图并用K线图预测的必要性存疑论文的创新性大于实用性图表17GAN生成K线图资料来源Wongetal2020GANStickUSStockForecastingwithGAN-GeneratedCandlesticks华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读16金工研究截面数据截面数据是因子投资中常用的数据组织形式未见到直接生成因子-收益组合的截面数据的研究但金融场景下有生成类似特征-标签组合的研究美国运通的Efimov等人2020年发表UsingGenerativeAdversarialNetworkstoSynthesizeArtificialFinancialDatasets使用CDRAGAN模型生成信用卡风险分析数据集实验结果表明生成的截面数据和真实数据的分布接近并且使用生成数据训练的监督学习模型表现也和真实数据训练得到的模型接近作者指出生成截面数据相比时间序列图像数据的难点在于截面数据的异质性如变量类型范围分布不一致存在缺失值等需要事先进行严格的数据预处理订单簿数据市场微观数据也可以由生成模型模拟台湾交通大学Kuo等人2021年发表ImprovingGeneralizationinReinforcementLearningBasedTradingbyUsingaGenerativeAdversarialMarketModel以CGAN和WGAN模型为基础构建限价订单簿生成器LOB-GAN基于历史订单流模拟未来买单和卖单进而训练强化学习组合优化模型结果表明LOB-GAN的生成效果和回测表现优于其他生成方法强化学习应用于量化投资的难点在于智能体和环境缺乏真实互动从而限制智能体对环境的探索订单簿生成模型可以实现对市场的模拟相当于站在上帝视角再造市场未来或有较高的应用价值图表18基于限价订单簿生成器LOB-GAN的强化学习组合优化模型资料来源Kuoetal2020ImprovingGeneralizationinReinforcementLearningBasedTradingbyUsingaGenerativeAdversarialMarketModel华泰研究生成数据怎么用训练模型当机器学习训练样本稀缺时可能造成训练不稳定此时生成数据是很好的补充前述Kuo等2021即采用生成订单簿数据训练强化学习模型UCL的Koshiyama等人2019年发表GenerativeAdversarialNetworksforFinancialTradingStrategiesFine-TuningandCombination训练GAN生成股指价格序列并使用生成序列训练回归树和神经网络择时策略此类研究的挑战在于生成数据相比真实数据可能并未提供增量信息使用生成数据训练模型的理论基础是否扎实有待进一步探讨检验模型传统量化研究仅使用真实数据回测评估策略好坏存在回测过拟合风险而生成数据有助于提升模型检验的效力华泰金工人工智能31生成对抗网络GAN初探免责声明和披露以及分析师声明是报告的一部分请务必一起阅读17金工研究2020-06-08中我们使用GAN模拟多组平行世界观察真实世界表现好的策略在平行世界里是否依然稳健以此评估策略过拟合程度前述Koshiyama等2019和华泰金工人工智能48对抗过拟合cGAN应用于策略调参2021-10-12两项研究根据海量生成数据回测结果筛选择时策略参数均发现策略表现优于仅根据单一真实数据回测结果筛选的参数预测收益GAN的变式之一CGAN可在给定的条件下进行生成从而使生成模型兼具预测能力陆军工程大学Zhou等人2018年基于A股历史分钟线数据生成未来分钟线并预测分钟级别收益率中国海洋大学Zhang等人2019年在日频数据上进行了测试此类研究的挑战在于收益率本身信噪比低仅靠行情数据训练监督学习模型尚且有难度生成模型并未提供增量信息其预测可靠度有待进一步考察预测风险相比收益率预测风险预测更具可行性前述Fu等2019生成收益率序列后进而计算资产在险价值VaR和预期损失ES相当于用生成模型替换传统蒙特卡洛模拟IBMMariani等人2018年发表PAGANPortfolioAnalysiswithGenerativeAdversarialNetworks华泰金工2021年发布报告人工智能45cGAN应用于资产配置2021-04-19两项研究使用CGAN基于历史收益率序列生成多组未来收益率序列进而计算生成序列的协方差矩阵作为预期风险的度量并用于风险平价策略结果表明生成模型方法优于用传统历史波动率计算协方差矩阵期权定价期权定价的核心是预测波动率JPMorganWiese等人2019年发表DeepHedgingLearningtoSimulateEquityOptionMarkets使用生成模型预测期权隐含波动率该研究将期权价格转为DLVdiscretelocalvolatilities使用GAN预测不同到期日和不同行权价的DLV网格由于预测网格效率较低论文提出用PCA对DLV网格降维用GAN预测降维后的DVL结果表明用GAN预测DLV的MSE在峰度等指标优于其他模型华泰金工团队自2020年5月以来发布10篇报告探讨以GAN为代表的生成模型在量化投资中的应用其他模型诸如VAE扩散模型涉足较少随着AIGCChatGPT带动生成模型热潮我们认为以下方向具备探索价值1扩散模型的运用2高频数据的生成图表19华泰金工生成模型研究资料来源华泰研究免责声明和披露以及分析师声明是报告的一部分请务必一起阅读18金工研究参考文献BrundageMAvinSClarkJTonerHEckersleyPGarfinkelBetal2018ThemalicioususeofartificialintelligenceforecastingpreventionandmitigationBuehlerHHorvathBLyonsTArribasIPWoodB2020Adata-drivenmarketsimulatorforsmalldataenvironmentsarXivpreprintarXiv200614498DinhLKruegerDBengioY2014Nicenon-linearindependentcomponentsestimationarXive-printsEfimovDXuDKongLNefedovAAnandakrishnanA2020UsinggenerativeadversarialnetworkstosynthesizeartificialfinancialdatasetsarXivFuRChenJZengSZhuangYSudjiantoA2019TimeseriessimulationbyconditionalgenerativeadversarialnetarXivGoodfellowIPouget-AbadieJMirzaMXuBWarde-FarleyDOzairSCourvilleABengioY2014GenerativeadversarialnetsInProceedingsofthe27thInternationalConferenceonNeuralInformationProcessingSystems-Volume2NIPS14MITPressCambridgeMAUSA26722680HoJJainAAbbeelP2020DenoisingdiffusionprobabilisticmodelsKingmaDPWellingM2014Auto-encodingvariationalbayesKoshiyamaAFiroozyeNTreleavenP2019Generativeadversarialnetworksforfinancialtradingstrategiesfine-tuningandcombinationarXivKuoCHChenCTLinSJHuangSH2021ImprovinggeneralizationinreinforcementlearningbasedtradingbyusingagenerativeadversarialmarketmodelIEEEAccessPP991-1MarianiGetal2019PAGANPortfolioanalysiswithgenerativeadversarialnetworksPapers190910578arXivorgShahamTRDekelTMichaeliT2019SinganlearningagenerativemodelfromasinglenaturalimageIEEESohl-DicksteinJWeissEAMaheswaranathanNGanguliS2015DeepunsupervisedlearningusingnonequilibriumthermodynamicsJMLRorgTakahashiSChenYTanaka-IshiiK2019Modelingfinancialtime-serieswithgenerativeadversarialnetworksPhysicaAStatisticalMechanicsanditsApplications527121261101016jphysa2019121261WeiJTayYBommasaniRRaffelCZophBBorgeaudSFedusW2022EmergentabilitiesoflargelanguagemodelsarXivpreprintarXiv220607682WieseMBaiLWoodBBuehlerH2019DeephedginglearningtosimulateequityoptionmarketsarXivpreprintarXiv191101700WongMHLeeLHHuiP2020GANStickUSstockforecastingwithGAN-generatedcandlesticksYangLZhangZSongYHongSXuRZhaoYShaoYZhangWCuiBYangM2022DiffusionModelsAComprehensiveSurveyofMethodsandApplications1048550arXiv220900796免责声明和披露以及分析师声明是报告的一部分请务必一起阅读19金工研究ChatGPT对量化投资影响几何前文我们详细分析了ChatGPT的模型原理以及与之类似的生成模型的应用现在回到ChatGPT模型应用本身我们自然想问在量化投资领域ChatGPT可能会带来怎样的影响不妨让我们先把这个问题抛给ChatGPT自身让其进行一段自我介绍由此再激发我们的思考三省吾身ChatGPT的自我拷问量化投资始于Markowitz模型与资本资产定价理论再至APT和Fama-Franch三因子模型而后多因子选股体系日臻完善再到近年机器学习与深度学习在量化投资中的火热从上世纪五十年代发展至今理论模型和硬件设备的迭代更新带动着量化投资的不断变革作为NLP发展第三阶段的标志性产物ChatGPT所带来的人机交互体验更上一层楼全世界似乎都在期待它对于每个行业的革新和劳动力的解放量化投资领域自然也不例外ChatGPT可能对量化投资带来什么样的影响它自己给出的答案是这样的图表20ChatGPT回答ChatGPT对量化投资可能带来怎样的影响资料来源ChatGPT华泰研究ChatGPT列举出了五点其对量化投资的影响一如ChatGPT在其他领域的部分回答中带给人的感受一样似乎条理清晰但却言之无物过于宽泛针对其中的每一点我们希望ChatGPT能够给出更加详细的解释因此我们继续提问免责声明和披露以及分析师声明是报告的一部分请务必一起阅读20