研报下载就选股票报告网
您好,欢迎来到股票分析报告网!登录   忘记密码   注册
>> 中信证券-机器学习系列-数据治理专题(四):基于蒸馏大模型的金融文本信息挖掘应用探索-230509
上传日期:   2023/5/9 大小:   2272KB
格式:   pdf  共30页 来源:   中信证券
评级:   -- 作者:   张若海,伍家豪
下载权限:   此报告为加密报告
本报告聚焦语义大模型对金融文本的标签提取和信息挖掘,基于自主微调后的版本,对常规金融文本进行挖掘分析,实现市场关注度、投资情绪以及市场分歧等分析指标落地。从投资效果看,基于开源的GLM微调后去构建情绪指标,并构建月频Top50选股策略,相对于沪深300指数的年化超额收益率达到24.2%(2018-01至2023-03)。随着大模型开源生态,面向泛金融文本的大模型搭建、微调与应用投资创新值得持续关注。对于大模型落地,我们可提供数据与算法的专业技术赋能,对于投资应用,文本蒸馏大有可为。
  ▍大模型助力NLP迈向NLU,金融文本大数据挖掘及其衍生策略值得持续关注。随着AIGC的高速发展,预训练大模型的参数量持续增加已经达到万亿级别,同时在大量NLP任务中均取得领先效果。借助大模型更强的文本理解和文本处理能力,本文以财经新闻、分析师研报和公司公告为例,开展文本挖掘探索。
  ▍金融文本提供市场消息面信息,开展文本挖掘分析有助于掌握投资先机。随着信息化发展,很多影响市场的信息最先以文本方式进行传播,大量文本包含对上市公司经营状况的正面或负面描述。例如分析师研报一方面可以抽取形成分析师因子,另一方面对于公司的观点和描述同样具有隐含的增量信息和挖掘价值。我们基于蒸馏大模型标注的情绪指标构建月频Top50选股策略,相对于沪深300年化超额收益达到24.2%(回测区间为2018-01-01至2023-03-31)。
  ▍面向金融文本信息挖掘的大模型微调流程:1)考虑数据安全和可及性,选择百度文心ERNIE 3.0 Tiny预训练模型并下载;2)使用雪球和Wind有情感标注的金融舆情文本微调模型;3)将微调后的模型在无标注的财经新闻、分析师研报摘要以及公司公告上提取信息并预测情感。
  ▍使用微调后的大模型完成文本分析并构建应用指标:
  (1)关注度指标:监控市场热点变化。使用微调后的大模型提取新闻中相关上市公司,并构建上市公司关注度指标。结果显示,2022年以来,行业龙头关注度高,关注度排名前十的个股中九成超百亿市值;从行业来看,2023年3月关注度最高的三个行业分别为计算机、通信和建筑。
  (2)情绪指标:对收益率有一定的预测能力。2017年以来,分析师情绪指标在沪深300、中证500以及全A中的覆盖率分别为98%、90%和59%,且覆盖率随时间推移逐渐上升。经过我们统计,指标与基本面、收益率相关联,情绪取值越高的股票质地较为优良,未来短期内获得超额收益的概率也越高。
  (3)分歧指标:与股票振幅走势较为一致。基于情绪方差构建行业分歧度,回测结果显示,2022-01至2023-03,行业分歧指标与价格振幅的相关系数为0.62。
  ▍基于大模型文本情感指标构建策略:
  (1)选股策略:基于分析师研报的情绪指标具有较强超额收益能力。相比于传统分析师因子,大模型能够挖掘文本中情绪信息。2018-01至2023-03,基于情绪指标的Top50选股策略相比基于评级的Top50选股策略年化超额收益达到13.3%,胜率达到64.5%。
  (2)关键指数分层:分层效果较明显,在全A股中表现最好。在沪深300、中证500和全A股中,Top分层组合年化超额收益率分别为3.15%、4.83%和6.14%。
  ▍风险因素:大模型技术发展与应用不及预期;科技领域与数据确权监管趋严;文本数据覆盖度可能不足;计算资源降本不及预期。
 
Copyright © 2005 - 2021 Nxny.com All Rights Reserved 备案号:蜀ICP备15031742号-1