抽取式自动摘要的方法有哪些,哪些是比较经典的
- User
抽取式自动摘要的方法有哪些,哪些是比较经典的
Assistant
好的,抽取式自动摘要的核心思想是从原文中直接选取重要的句子组成摘要,而不生成新的句子。它依赖于识别和排序原文中最具信息量的句子。
以下是主要的抽取式摘要方法及其经典代表:
一、无监督方法
这类方法不需要预先标注好的摘要数据进行训练,主要利用文本自身的统计特征和结构信息。
-
基于统计特征的方法:
- 核心思想: 利用句子中单词的频率、位置、长度等简单统计特征来衡量句子的重要性。
- 经典方法:
- Luhn 方法 (1958): 被认为是自动摘要的开创性工作之一。它基于词频:首先移除停用词,然后识别高频的“重要词”。一个句子的重要性由其包含的重要词数量以及这些词之间的距离(密度)决定。高频词过于密集或过于稀疏的句子可能不太重要。非常经典且基础。
- 基于位置的方法: 假设文章开头(标题、首段、首句)、结尾(末段、末句)或特定段落(如“导言”、“结论”)中的句子通常更重要。直接选取这些位置的句子。简单有效,是很多系统的基础模块。
- 基于线索词的方法: 识别包含特定“线索词”(如“significant”, “in conclusion”, “this paper shows”)的句子,认为它们更可能包含重要信息。
-
基于图排序的方法:
- 核心思想: 将文本表示成一个图(Graph),其中节点代表句子,边代表句子之间的相似性关系。然后应用图排序算法(如 PageRank 或其变体)计算每个节点(句子)的重要性得分,得分高的句子被选入摘要。
- 经典方法:
- TextRank / LexRank (2004): 最经典和广泛应用的图排序方法之一。
- 构建图: 每个句子是一个节点。
- 定义边: 计算句子间的相似度(通常用词重叠度、余弦相似度等)。如果相似度超过某个阈值,则在两个句子节点间添加一条边,边的权重即相似度值(或二值化)。
- 计算得分: 应用类似 PageRank 的迭代算法计算每个句子的得分。得分高的句子被认为更重要、更中心(与很多其他重要句子相似)。
- 生成摘要: 按得分排序句子,选取 Top-K 个句子,并尽量按原文顺序输出以避免不连贯。TextRank/LexRank 是里程碑式的经典方法,效果好且实现相对简单。
- TextRank / LexRank (2004): 最经典和广泛应用的图排序方法之一。
-
基于主题/聚类的方法:
- 核心思想: 试图识别文本涵盖的主要主题,然后从每个主题中选取代表性的句子。
- 经典方法:
- 基于潜在语义分析/主题模型: 使用 LSA (Latent Semantic Analysis) 或 LDA (Latent Dirichlet Allocation) 等模型识别文档的主题分布。句子的重要性可以基于其与主要主题的相关性,或者基于其在主题聚类中的中心性。
- 聚类法: 先将句子聚类成不同的组(每个组代表一个主题或子话题),然后从每个聚类中选择一个或多个中心句(如与聚类中心最相似的句子)作为摘要候选。
-
基于次模函数优化的方法:
- 核心思想: 将摘要视为一个从原文句子集合中选择子集的过程。定义一个目标函数(通常是次模函数,具有收益递减的特性,即越添加句子,新句子带来的信息增益越小),该函数衡量所选句子子集的信息覆盖度和冗余度。目标是找到一个满足长度限制的子集,最大化该目标函数。
- 经典思想: 虽然具体算法实现多样,但次模优化的思想在定义什么是“好”的抽取式摘要(覆盖关键信息、减少冗余)方面非常经典和基础。贪心算法(每次选择能带来最大边际增益的句子)是求解这类问题的常用近似方法。
二、有监督方法
这类方法需要大量人工标注好的“原文-摘要”对作为训练数据。模型学习从原文特征预测哪些句子应该被选入摘要。
-
基于句子分类:
- 核心思想: 将摘要任务转化为一个二分类问题:对于原文中的每个句子,预测它是否应该被包含在摘要中(1/0)。
- 经典方法 (特征工程时代): 在深度学习兴起之前,主要使用传统机器学习分类器(如逻辑回归、支持向量机、决策树)。
- 关键:特征工程! 需要设计丰富的特征来表示句子的重要性,例如:
- 位置特征: 句子在段落/文档中的位置(开头、结尾等)。
- 长度特征: 句子长度(词数/字数)。
- 词法特征: 包含标题词、命名实体(人名、地名、机构名)、数字、特定线索词、名词/动词短语的数量等。
- 统计特征: TF-IDF 值高的词的数量、句子的 TF-IDF 向量模长。
- 相似性特征: 与标题的相似度、与文档首句/末句的相似度、与文档平均向量的相似度。
- 图特征: 在图方法(如 TextRank)中计算得到的句子得分。
- 关键:特征工程! 需要设计丰富的特征来表示句子的重要性,例如:
- 训练与预测: 在标注数据上训练分类器,对测试文档的每个句子预测其“应包含”的概率,选取概率最高的 Top-K 个句子组成摘要。在有监督方法中,基于特征工程的分类器是经典范式。
-
基于序列标注:
- 核心思想: 将句子选择视为一个序列标注任务(类似词性标注、命名实体识别)。为文档中的每个句子打一个标签(如
1表示选中,0表示不选中)。可以使用 HMM、CRF 等序列模型。 - 特点: 可以考虑句子之间的依赖关系(例如,连续选中的句子可能更连贯)。但不如分类方法常用。
- 核心思想: 将句子选择视为一个序列标注任务(类似词性标注、命名实体识别)。为文档中的每个句子打一个标签(如
-
基于句子压缩:
- 核心思想: 严格来说,句子压缩会修改句子(删除不重要的词或短语),但它可以被视为抽取式摘要的一种补充或变体,或者在选取句子后进一步压缩。经典方法包括基于句法分析树修剪不重要的子树。
三、基于深度学习的方法
深度神经网络,特别是预训练语言模型,极大地提升了有监督抽取式摘要的性能。
-
基于序列模型:
- 核心思想: 使用 RNN (LSTM/GRU) 或 Transformer 编码器对文档进行编码,得到每个句子的上下文相关表示。然后基于这些表示进行句子分类或排序。
- 经典方法:
- SummaRuNNer (2017): 一个经典的基于 RNN 的抽取式摘要模型。
- 使用双向 GRU 编码文档句子。
- 将摘要建模为一个虚拟文档,使用另一个 GRU 作为摘要 RNN。
- 在每一步,模型计算当前句子被加入摘要的概率,该概率基于:句子内容、当前摘要状态、句子位置、句子是否新颖(与现有摘要的相似度)、是否冗余(与摘要中已有句子的相似度)。
- 按顺序预测每个句子是否被选中的概率。是早期将神经网络有效应用于抽取式摘要的代表作。
- 其他变体: 使用分层 RNN(词级别 + 句子级别编码)或 Transformer 编码器来更好地捕获文档结构。
- SummaRuNNer (2017): 一个经典的基于 RNN 的抽取式摘要模型。
-
基于预训练语言模型微调:
- 核心思想: 利用 BERT, RoBERTa, XLNet 等强大的预训练模型作为编码器,在其上添加简单的输出层(如线性分类层)进行句子分类或序列标注。
- 经典范式:
- 将文档分割成句子(或片段)。
- 在句子(或片段)前后添加特殊标记(如
[CLS]或自定义标记)。 - 将整个文档(或长文档分段处理)输入预训练模型。
- 获取每个句子对应特殊标记位置的输出向量。
- 将该向量输入一个分类层(sigmoid)预测该句子被选中的概率。
- 选取概率最高的句子组成摘要。
- 优势: 预训练模型蕴含了丰富的语言知识和上下文理解能力,通常能显著超越传统方法。BERTSUM (2019 年左右) 是这类方法的典型代表和重要推动者。 它通常会在 BERT 输出后加入 Transformer 层或 CNN 层等来更好地捕获句子间关系。
-
基于强化学习:
- 核心思想: 将摘要生成视为一个决策过程(选择哪些句子)。定义一个奖励函数(如 ROUGE 分数),目标是最大化期望奖励。智能体(模型)学习选择句子的策略。
- 特点: 可以直接优化面向评测指标的奖励,但训练可能更复杂和不稳定。通常作为其他方法的补充优化手段。
哪些是比较经典的?
- Luhn 方法 (1958): 开山鼻祖,奠定了基于词频和密度的思想。
- 基于位置的方法: 最简单实用,至今仍是很多系统的后备或基础组件。
- TextRank / LexRank (2004): 图排序方法的标杆,效果好、原理清晰、易于实现,是无监督方法中最经典和应用最广泛的代表。
- 基于特征工程的分类器: 在有监督学习的早期和中期是主流方法,代表了特征工程时代的巅峰。
- SummaRuNNer (2017): 早期成功应用深度学习(RNN)到抽取式摘要的经典模型,引入了新颖性和冗余性等概念。
- 基于 BERT 的微调方法 (如 BERTSUM, ~2019): 代表了当前(截至我知识截止日期)抽取式摘要的 state-of-the-art 主流方法,利用预训练模型的强大能力显著提升了效果。是深度学习时代的经典范式。
总结
- 无监督经典: Luhn, 基于位置, TextRank/LexRank。
- 有监督经典 (传统): 基于特征工程的分类器 (SVM, LR等)。
- 有监督经典 (深度学习): SummaRuNNer (RNN), BERTSUM 及类似方法 (预训练模型微调)。
经典方法(尤其是 TextRank 和基于 BERT 的微调)因其效果、普适性或代表性,至今仍在研究、教学和实际应用中广泛使用。选择哪种方法取决于具体的需求(是否有标注数据、计算资源、对效果的要求等)。
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.