>> 华安证券-“学海拾珠”系列之一百六十四,MemSum:基于多步情景马尔可夫决策过程的长文档摘要提取-231101
| 上传日期: |
2023/11/2 |
大小: |
1314KB |
| 格式: |
pdf 共17页 |
来源: |
华安证券 |
| 评级: |
-- |
作者: |
严佳炜,骆昱杉 |
| 下载权限: |
无限制-登录即可下载 |
|
|
主要观点: 本篇是“学海拾珠”系列第一百六十四篇,本文介绍了MemSum,一种基于强化学习的提取总结器,模型迭代地将句子选择到摘要中,考虑:(1)句子的文本内容,(2)全局文本上下文,(3)已经提取的句子集的历史信息。凭借轻量级结构,MemSum在长文档数据集(PubMed、arXiv和GovReport)上仍获得了最先进的测试集性能(ROUGE分数)。 不同尺度的特征提取器对于模型提取摘要的效果提升显著 MemSum模型中包含局部句子编码器、全局句子信息编码器和已提取历史信息编码器三种不同尺度、不同目的的编码器,经过消融实验验证,这三种编码器都显示出了卓越性能,其中全局上下文编码器和提取历史编码又比局部句子编码器的作用更显著。提取历史编码器是MemSum能够达到SOTA的核心因素之一,经过验证,提取历史信息显著地降低了提取出的摘要的冗余度。 独特的停止机制帮助模型输出合理长度的摘要 与之前的模型不同之处在于,在MemSum中,停止选择句子也被当作一个独立的决策行为,相比于规定固定的句子数量或文本长度,以及在源文本中添加特殊停止标记的方法等,这种停止机制使得模型能够学习智能地选择摘要长度。 文献来源 核心内容摘选自Nianlong Gu,Elliott Ash和Richard H.R.Hahnloser在《Association for Computational Linguistics》上发表的文章《MemSum: Extractive Summarization of Long Documents UsingMulti-Step Episodic Markov Decision Processes》 风险提示 文献结论基于历史数据与海外文献进行总结;不构成任何投资建议。
|
|