基于排序的摘要生成训练方法、系统和存储介质与流程

1.本发明涉及人工智能技术领域，其特别涉及一种基于排序的摘要生成训练方法、系统和存储介质。


背景技术：

2.随着技术的发展，通过电话、网络文本及第三方软件与客户对话的渠道不断增加，导致网络数据量迅速增长，且与客户沟通后，用户需要对沟通过程进行总结以精准概括沟通内容并形成摘要，便于后续对于数据的使用。
3.现有的生成式的文档摘要模型通常采取encoder-decoder架构，由于模型没有对生成摘要内容进行任何约束，生成式摘要模型会有一定概率产生幻觉内容，即生成的内容没有在原文中出现过，或者与现实的知识相违背。
4.而为了解决这个问题，现有的方法主要分为三类，第一种是利用输出增强的方式来帮助模型补助文档中的事实一致性信息，这类方法通常需要增加额外的输入，这些输入可以是对原始文档解析的重要的句子、实体及实体之间的关系，但是这种方法需要利用额外的工具，来解析输入文档中的内容，生成摘要的步骤较为繁琐，影响生成效率；第二种是利用针对生成式摘要模型通常以最大似然估计（mle）作为代价函数，但是这种方法没有考虑到生成内容的事实一致性这一个问题，其需要利用强化学习的方法来引入额外的关于摘要事实一致性的反馈信息才能提升模型的相关性能，训练难度较大，模型不利于收敛，反馈信息的选择也严重影响模型的性能；第三种是通过后处理的方法，训练一个打分函数，能够判断摘要和输入文档之间的蕴含程度，在生成式摘要模型通过集束搜索算法输出的多种不同的候选中，选择一个最相关的摘要输出。这种方法虽然能整体提升模型输出结果，但是不改变摘要模型的性能。


技术实现要素：

5.为了解决现有摘要模型对于事实一致性和模型性能不能同时得到保障的问题，本发明提供一种基于排序的摘要生成训练方法、系统和存储介质。
6.本发明为解决上述技术问题，提供如下的技术方案：一种基于排序的摘要生成训练方法，包括以下步骤：获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
7.优选地，所述正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据。
8.优选地，所述负样本的获取方法具体包括以下步骤：获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据。
9.优选地，所述打分模型为bert模型。
10.优选地，获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入bert模型，基于bert模型对样本对进行0-1标记，所述正样本标记为1，所述负样本标记为0。
11.优选地，获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分，具体包括以下步骤：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要；基于打分模型对初始摘要进行打分。
12.优选地，训练摘要模型的代价函数为：其中，表示第i个初始摘要的生成概率。
13.优选地，基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数的具体计算公式为：数的具体计算公式为：其中，表示第i个初始摘要的打分；表示第j个初始摘要的打分；表示第i个初始摘要的生成概率；表示第j个初始摘要的生成概率；表示满足，表示不满足。
14.本发明为解决上述技术问题，提供又一技术方案如下：一种基于排序的摘要生成训练系统，包括以下模块：构造模块，用于获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；处理模块，用于获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本的打分高于对负样本的打分；生成模块，用于获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
15.本发明为解决上述技术问题，提供又一技术方案如下：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现如前述任一项所述的基于排序的摘要生成训练方法。
16.与现有技术相比，本发明所提供的一种基于排序的摘要生成训练方法、系统和存储介质，具有如下的有益效果：1、本发明实施例中提供的一种基于排序的摘要生成方法，包括以下步骤：首先获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；然后获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；接着获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；最后基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率；即通过构造的训练样本训练一个打分模型以对生成结果的事实一致性打分，然后对摘要模型的输出进行采样，得到同个输入的具有不同生成概率的多个初始摘要，并根据生成概率和打分后的初始摘要进行排序以训练摘要模型得到事实一致性打分更高的初始摘要，能够提高生成摘要事实一致性的方法，保障了摘要模型的性能；另外，该方法的训练成本低，不需要额外的标注数据训练打分模型，且其实现过程中通过正样本和负样本能够更加全面地对模型作出训练，确保生成摘要的质量和准确性，而对正样本和负样本的事实一致性进行打分，利于提高模型对训练样本的筛选能力，使其具有较大的事实一致性，生成的摘要能够更加全面、准确且有针对性较强；另外，针对生成概率和打分后的初始摘要进行排序并训练摘要模型，能够更加高效地获得满足事实一致性的生成摘要，且训练稳定性好。
17.2、本发明实施例中提供的正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据，此设置使得正样本的数据是基于真实事实的，能够提供可靠的数据来源，若是在模型训练过程中，没有正样本来源于事实的样本数据，会降低生成的摘要的事实一致性，造成虚假信息的生成。
18.3、本发明实施例中提供的负样本的获取方法具体包括以下步骤：首先获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；接着基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；最后基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据；此设置能够增加数据的多样性，通过替换实体名词和动词以提高负样本的泛化能力，减少数据偏见，使得后续的打分模型能够更好地理解和分类不同类型的摘要，以提高事实一致性，还能降低样本的重复性，避免模型的过度拟合；而对于生成内容不同、词性相同的样本数据能够帮助算法学习到更广泛地语义表示，利于摘要的生成，提高生成质量。
19.4、本发明实施例中提供的获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入bert模型，基于bert模型对样本对进行0-1标记，所述正样本标记为1，所述负样本标记为0，此设置用于对训练样本是否满足事实一致性作出判断，其充分利用样本对的信息，将文档和摘要构造的样本对拼接后输入模型，将两者的信息
进行融合能够更加全面地表示样本对的语义特征，避免模型使用单一的特征信息，利于模型提高对正样本和负样本区分的准确性，能够保障打分模型的性能。
20.5、本发明实施例中提供的获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分，具体包括以下步骤：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要；基于打分模型对初始摘要进行打分；通过已经训练好的摘要模型能够得到高质量的初始摘要，而使用集束搜索算法可以生成多个初始摘要，能够增加摘要的多样性，覆盖更多的摘要内容和风格，提供更全面的信息；再计算初始摘要的生成概率，可以评估每个初始摘要的合理性和准确性。
21.6、本发明实施例还提供一种基于排序的摘要生成训练系统和计算机可读存储介质，具有与上述一种基于排序的摘要生成训练方法相同的有益效果，在此不做赘述。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明第一实施例提供的一种基于排序的摘要生成训练方法的步骤流程图。
24.图2是本发明第一实施例提供的一种基于排序的摘要生成训练方法之步骤s1中负样本获取的步骤流程图。
25.图3是本发明第一实施例提供的一种基于排序的摘要生成训练方法之步骤s3的步骤流程图。
26.图4是本发明第一实施例提供的一种基于排序的摘要生成训练方法的示例图一。
27.图5是本发明第一实施例提供的一种基于排序的摘要生成训练方法的示例图二。
28.图6是本发明第二实施例提供的一种基于排序的摘要生成训练系统的结构示意框图。
29.附图标识说明：1、基于排序的摘要生成训练系统；10、构造模块；11、处理模块；12、生成模块。
具体实施方式
30.为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
31.请参阅图1，本发明第一实施例提供一种基于排序的摘要生成训练方法，包括以下步骤：s1：获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建
训练数据；可以说明的是，正样本指的是满足事实一致性的数据；反之，负样本指的是不满足事实一致性的数据；通过正样本和负样本进行组合使用与训练的数据能够相对均衡，避免类别不平衡导致模型训练出现偏差性，使得模型的评估更加全面，能够保障模型的性能；还能确保数据顺序随机，避免模型学习到数据的规律而影响泛化能力。
32.s2：获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；可以说明的是，打分模型从训练数据中提取特征用于帮助模型更好地学习正样本和负样本之间存在的区别，使得打分模型能够对训练数据的事实一致性进行打分；另外，通过对打分模型进行训练，使得该模型在应对新的样本数据时能够自我进行预测与分类，提高了打分模型的性能。
33.s3：获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；可以说明的是，首先获取摘要模型并进行训练，即摘要模型基于通用领域作出训练确定摘要模型的基线；再对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，即将满足事实一致性的训练数据输入确定了基线的摘要模型中进行采样，使其能够生成多个具有不同生成概率的初始摘要；接着将初始摘要输入打分模型中以获取分配分数，其能对初始摘要的质量或相关性进行一个总结，便于后续操作。
34.s4：基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
35.可以说明的是，将生成概率和获取的分数对初始摘要进行降序排列，即生成概率和分数越高的初始摘要在列表中排名越高；然后根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
36.作出说明，摘要模型在初始摘要上的生成概率能够表示模型的事实一致性信息，即生成概率越高的初始摘要，其事实一致性也越高。
37.可以理解地，通过构造的训练样本训练一个打分模型以对生成结果的事实一致性打分，然后对摘要模型的输出进行采样，得到同个输入的具有不同生成概率的多个初始摘要，并根据生成概率和打分后的初始摘要进行排序以训练摘要模型得到事实一致性打分更高的初始摘要，能够提高生成摘要的事实一致性，保障了摘要模型的性能；另外，该方法的训练成本低，不需要额外的标注数据训练打分模型，且其实现过程中通过正样本和负样本能够更加全面地对模型作出训练，确保生成摘要的质量和准确性，而对正样本和负样本的事实一致性进行打分，利于提高模型对训练样本的筛选能力，使其具有较大的事实一致性，生成的摘要能够更加全面、准确且有针对性较强；另外，针对生成概率和打分后的初始摘要进行排序并训练摘要模型，能够更加高效地获得满足事实一致性的生成摘要，且训练稳定性好。
38.请结合图1和图2，进一步地，正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据，此设置使得正样本的数据是基于真实事实的，能够提供可靠的数据来源，若是在模型训练过程中，没有正样本来源于事实的样本数据，会降低生成的摘要的事实一致性，造成虚假信息的生成。
39.为更好的说明，人工标注指的是摘要是人工根据对于文档的理解写出来的，其是生成和评估摘要以提高模型性能的关键。
40.可以理解地，正样本为满足事实一致性的训练数据，而将从现有资料库搜集的人工标注的摘要划定为正样本，是因为摘要是基于人类理解文档后的结果，即人类通过仔细阅读和理解文档的内容，并提炼出摘要的要点和重要信息，其处于一个人类的主观环境中进行，因而会尽可能地确保摘要中的信息与原始文档中的事实保持一致；另外，人工摘要虽然会受到主观的影响，但是同时也会进行审核和校对以确保其准确性和一致性。
41.进一步地，步骤s1中负样本的获取方法具体包括以下步骤：s11：获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；为更好的说明，词表标注模型指的是一种自然语言处理技术，通常用于文本摘要和信息提取任务，该模型的主要目标是根据预定义的词表或关键词列表来标注文本中的关键信息或重要内容；优选地，词表标注模型为spacy模型，其是一个通用的自然语言处理库，其能够实时或批量处理大量数据，利于提升模型训练的效率。
42.具体地，获取满足事实一致性的源文本，源文本包括源摘要和源正文的样本对，然后利用词表标注模型将源摘要和源正文中的实体名词或动词标记出来，以进行后续操作。
43.s12：基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；可以说明的是，采用实体名词或动词进行标记能够给模型的训练提供重要的语义信息，能够帮助模型更好地理解输入文本的结构和内容，利于后续生成摘要时能够更加准确、完整，且具有逻辑连贯性。
44.为更好的说明，本发明给出一实施例，若标记出的实体名词为“银行”，其可以识别为一个重要的组织机构，进一步关联它的定义、成立时间等关键信息，以便于模型更好地学习其传达的主题；若标记出的动词为“训练”，其可以识别为一个关键步骤或过程，通过标记动词模型能够学习到源文本中的重要任务或行为，以掌握关键信息；即实体名词或动词的标记能够使得后续的模型更好地理解输入，以选择更相关和重要的信息，增强模型的事实一致性；且这样的标记利于提高后续操作的流畅性和逻辑性，用于训练的稳定性更好。
45.s13：基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据。
46.可以说明的是，这样的操作使得数据增强，能够拓展训练数据集，使得后续训练摘要模型可以更加全面。
47.可以理解地，此设置能够增加数据的多样性，通过替换实体名词和动词以提高负样本的泛化能力，减少数据偏见，使得后续的打分模型能够更好地理解和分类不同类型的摘要，以提高事实一致性，还能降低样本的重复性，避免模型的过度拟合；而对于生成内容不同、词性相同的样本数据能够帮助算法学习到更广泛地语义表示，利于摘要的生成，提高生成质量。
48.为更好的说明，本发明给出一实施例，假设源文本为“3月12日，某洲银行在其政策会议上维持三大政策利率不变，并决定额外增加1200亿欧元的资产购买规模直至今年年
底。这一天也成了全球股市“熔断日”，8国股市同日熔断，包括某股经历历史上第3次馆断，某洲银行为何不降息？某洲银行行长在新闻发布会上表示，财政政策应该是最先对危机作出响应的工具，也是最重要的工具。”，对其中“某洲”这一实体名词作出标记；然后提供正样本为“3月12日，某国股市再次下跌。某洲银行行长在新闻发布会上说，财政政策应该是应对危机的第一个工具，也是最重要的工具。”，选择其中“某国”为实体名词标记；基于两者分别被标记的“某洲”、“某国”进行替换，生成内容不同但是词性相同的样本数据为“3月12日，某洲股市再次下跌。某洲银行行长在新闻发布会上说，财政政策应该是应对危机的第一个工具，也是最重要的工具。”。
49.进一步地，打分模型为bert模型。
50.作出说明，bert模型是一种预训练的语言模型，通过大规模的无监督训练可以有效地学习语言的上下文信息和语义表示；bert模型有各种预训练版本，且是可以访问的，其对于多种语言的文本也能有效地理解和处理，能够节省大量的计算资源和时间。
51.进一步地，步骤s2具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入bert模型，基于bert模型对样本对进行0-1标记，所述正样本标记为1，所述负样本标记为0。
52.可以说明的是，将文本和对应的摘要进行拼接后输入bert模型，可以利用bert模型的语义理解能力捕捉文档和摘要之间的关联性和语义相似性，便于后续能够更好地进行区分；另外，将两者的信息拼接后输出到bert模型可以将信息进行融合，可以更全面地表示样本对的语义特征，避免模型只使用文档或摘要的单一信息，而能够同时考虑两者的内容，利于提高分类的准确性；接着通过bert模型对识别到的样本对信息进行0-1标记，其中，正样本标记为1，负样本标记为0，即在bert模型的输出上构建一个分类器，将bert的输出映射到二分类的概率值，将样本对信息输入模型中进行预测，得到概率值处于0-1之间，其表示该信息属于正样本的可能性，反之则属于负样本，以此将数据进行标记，便于打分模型分别对正样本和负样本进行打分，且提高了打分的精确度。
53.可以理解地，此设置用于对训练样本是否满足事实一致性作出判断，其充分利用样本对的信息，将文档和摘要构造的样本对拼接后输入模型，将两者的信息进行融合能够更加全面地表示样本对的语义特征，避免模型使用单一的特征信息，利于模型提高对正样本和负样本区分的准确性，能够保障打分模型的性能。
54.请结合图1和图3，进一步地，步骤s3具体包括以下步骤：s31：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；作出说明，通用领域指的是在广泛的语言任务和语言数据上的表现，而基于通用领域训练摘要模型，使得摘要模型能够在大规模通用语料库上进行预训练，便于在各种自然语言处理任务上能够更加全面地表现，保障摘要模型的性能。
55.代价函数能够用来衡量模型在训练过程中预测结果与实际标签之间的差异；优选地，本发明实施例中是以最大似然估计作为代价函数，可以说明的是，最大似然估计（maximum likelihood estimation，mle）是一种常用的统计学方法，其能够最大化给定训练数据的概率的模型参数。
56.s32：对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同
生成概率的多个初始摘要；作出说明，集束搜索算法是一种在自然语言处理任务中使用的搜索算法，用于生成更好的序列输出，集束搜索会在多个时间步内考虑一系列可能的输出序列，并保留一定数量的备选序列；该算法允许模型在生成序列时考虑更长远的上下文信息，有助于减少生成的错误和提高生成结果的质量。
57.可以说明的是，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要，即通过集束搜索算法生成多个初始摘要后便于进行后续的计算，而计算初始摘要的生成概率是为了确定多个初始摘要中哪个摘要是合理的。
58.s33：基于打分模型对初始摘要进行打分；可以理解地，使用打分模型对多个初始摘要进行打分，打分模型以用来评估每个初始摘要的质量的模型，即使用生成概率和打分进行配合以得到更满足事实一致性的生成结果。
59.可以理解地，通过已经训练好的摘要模型能够得到高质量的初始摘要，而使用集束搜索算法可以生成多个初始摘要，能够增加摘要的多样性，覆盖更多的摘要内容和风格，提供更全面的信息；再计算初始摘要的生成概率，可以评估每个初始摘要的合理性和准确性。
60.进一步地，训练摘要模型的代价函数为：其中，表示第i个初始摘要的生成概率。
61.进一步地，基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数的具体计算公式为：函数的具体计算公式为：其中，表示第i个初始摘要的打分；表示第j个初始摘要的打分；表示第i个初始摘要的生成概率；表示第j个初始摘要的生成概率；表示满足，表示不满足。
62.请结合图1和图4-图5，可以理解地，排序过程中使用损失函数能够用来衡量生成的多个初始摘要的质量，便于后续训练摘要模型得到事实一致性打分更高的初始摘要；具体地，若是训练结果满足，获取分数为1，不满足，则获取分数为0。
63.作出说明，生成概率和打分后的初始摘要均保持同样的排序方式，具体地，保持同样的排序方式指的是若某个输出的初始摘要的生成概率最高，经打分模型训练后获取的分数也最高，其使得最终生成的摘要最能满足事实一致性。
64.可以理解地，对生成概率和打分后的初始摘要保持同样方式进行排序，即在集束搜索算法中，选择生成概率较高的初始摘要作为最终需要生成的摘要的备选，接着，判断生
成概率高的初始摘要是否经过打分模型获取的分数也最高，若是，则经过该方式生成的摘要事实一致性也最高；若否，则再将打分过程中获取分数较高的初始摘要作为备选，最后将生成概率和打分后的初始摘要的分数进行中和，使事实一致性打分更高的初始摘要具有更大的生成概率，通过这样的排序方式确保了最终输出的摘要是基于多次选择的结果，利于提高摘要的生成质量。
65.可以说明的是，在排序的过程中，质量较差的初始摘要生成概率和经打分模型获取的分数均会比较低，故降低了其作为最终生成的摘要的概率；作出说明，在排序过程中，如果生成概率和获取的分数都比较低，则会导致排序的位置较低，若只是二者其一的数据排序，结果与两个数据关联排序的结果是一样的，然而本发明是针对生成概率和获取分数进行综合性判断，其使得训练摘要模型的过程能够更加灵活，当有新的数据输入时，摘要模型可以更好地适应并进行准确的排序；另外，在实际应用中，生成概率和获取分数之间设定有权重来影响排序结果，此设置用于确保摘要模型对重要数据更加关注，也不会被较差的数据影响太多，不仅可以提高摘要模型的鲁棒性和灵活性，还能通过合理的权重设置，使摘要模型更好地适应不同情况下的排序需求；且集束搜索算法生成的一些错误的初始摘要，通过损失函数也能进行筛选并避免，以减少生成摘要的错误，即通过损失函数能够评估生成不同结果的质量并指导其进行学习，便于后续得到更高质量的摘要。
66.请参阅图6，本发明第二实施例提供一种基于排序的摘要生成训练系统1，包括以下模块：构造模块10，用于获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；处理模块11，用于获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本的打分高于对负样本的打分；生成模块12，用于获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
67.可以理解地，该基于排序的摘要生成训练系统1的模块在运作时，需要利用到第一实施例提供的一种基于排序的摘要生成方法，因此无论将构造模块10、处理模块11和生成模块12予以整合或者配置不同的硬件产生与本发明所实现效果相似的功能，均属于本发明的保护范围内。
68.请结合图4-图6，具体地，首先通过构造模块10将正样本和负样本进行组合构建得到整个方法的训练数据；然后基于处理模块11将完成构建后的训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；接着通过生成模块12将满足事实一致性的训练数据输入确定了基线的摘要模型中，对摘要模型进行采样，使其能够得到同一个输入的具有不同生成概率的多个初始摘要，然后将初始摘要输入打分模型中以获取分配分数，其能对初始摘要的质量或相关性进行一个总结，便于后续操作；将生成概率和获取的分数对初始摘要进行降序排列，即生成概率和分数越高的初始摘要在列表中排名越高，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
69.本发明第三实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现如本发明第一实施例提供的一种基于排序的摘要生成训练方法。
70.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
71.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
72.在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
73.在本发明的附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
74.与现有技术相比，本发明所提供的一种基于排序的摘要生成训练方法、系统和存储介质，具有如下的有益效果：1、本发明实施例中提供的一种基于排序的摘要生成方法，包括以下步骤：首先获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；然后获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；接着获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；最后基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率；即通过构造的训练样本训练一个打分模型以对生成结果的事实一致性打分，然后对摘要模型的输出进行采样，得到同个输入的具有不同生成概率的多个初始摘要，并根据生成概率和打分后的初始摘要进行排序以训练摘要模型得到事实一致性打分更高的初始摘要，能够提高生成摘要事实一致性的方法，保障了摘要模型的性能；另外，该方法的训练成本低，不需要额外的标注数据训练打分模型，且其实现过程中通过正样本和负样本能够更加全面地对模型作出训练，确保生成摘要的质量和准确性，而对正样本和负样本的事实一致性进行打分，利于提高模型对训练样本
的筛选能力，使其具有较大的事实一致性，生成的摘要能够更加全面、准确且有针对性较强；另外，针对生成概率和打分后的初始摘要进行排序并训练摘要模型，能够更加高效地获得满足事实一致性的生成摘要，且训练稳定性好。
75.2、本发明实施例中提供的正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据，此设置使得正样本的数据是基于真实事实的，能够提供可靠的数据来源，若是在模型训练过程中，没有正样本来源于事实的样本数据，会降低生成的摘要的事实一致性，造成虚假信息的生成。
76.3、本发明实施例中提供的负样本的获取方法具体包括以下步骤：首先获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；接着基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；最后基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据；此设置能够增加数据的多样性，通过替换实体名词和动词以提高负样本的泛化能力，减少数据偏见，使得后续的打分模型能够更好地理解和分类不同类型的摘要，以提高事实一致性，还能降低样本的重复性，避免模型的过度拟合；而对于生成内容不同、词性相同的样本数据能够帮助算法学习到更广泛地语义表示，利于摘要的生成，提高生成质量。
77.4、本发明实施例中提供的获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入bert模型，基于bert模型对样本对进行0-1标记，所述正样本标记为1，所述负样本标记为0，此设置用于对训练样本是否满足事实一致性作出判断，其充分利用样本对的信息，将文档和摘要构造的样本对拼接后输入模型，将两者的信息进行融合能够更加全面地表示样本对的语义特征，避免模型使用单一的特征信息，利于模型提高对正样本和负样本区分的准确性，能够保障打分模型的性能。
78.5、本发明实施例中提供的获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分，具体包括以下步骤：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要；基于打分模型对初始摘要进行打分；通过已经训练好的摘要模型能够得到高质量的初始摘要，而使用集束搜索算法可以生成多个初始摘要，能够增加摘要的多样性，覆盖更多的摘要内容和风格，提供更全面的信息；再计算初始摘要的生成概率，可以评估每个初始摘要的合理性和准确性。
79.6、本发明实施例还提供一种基于排序的摘要生成训练系统和计算机可读存储介质，具有与上述一种基于排序的摘要生成训练方法相同的有益效果，在此不做赘述。
80.以上对本发明实施例公开的一种基于排序的摘要生成训练方法、系统和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

技术特征：
1.一种基于排序的摘要生成训练方法，其特征在于：包括以下步骤：获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。2.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：所述正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据。3.如权利要求2所述的基于排序的摘要生成训练方法，其特征在于：所述负样本的获取方法具体包括以下步骤：获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据。4.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：所述打分模型为bert模型。5.如权利要求4所述的基于排序的摘要生成训练方法，其特征在于：获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入bert模型，基于bert模型对样本对进行0-1标记，所述正样本标记为1，所述负样本标记为0。6.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分，具体包括以下步骤：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要；基于打分模型对初始摘要进行打分。7.如权利要求6所述的基于排序的摘要生成训练方法，其特征在于：训练摘要模型的代价函数为：其中，表示第i个初始摘要的生成概率。8.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：基于生成概率和打
分后的初始摘要进行排序，根据排序结果计算损失函数的具体计算公式为：分后的初始摘要进行排序，根据排序结果计算损失函数的具体计算公式为：其中，表示第i个初始摘要的打分；表示第j个初始摘要的打分；表示第i个初始摘要的生成概率；表示第j个初始摘要的生成概率；表示满足，表示不满足。9.一种基于排序的摘要生成训练系统，其特征在于：包括以下模块：构造模块，用于获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；处理模块，用于获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本的打分高于对负样本的打分；生成模块，用于获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于： 计算机程序被执行时实现如权利要求1-9任一项所述的基于排序的摘要生成训练方法。

技术总结
本发明涉及人工智能技术领域，特别涉及一种基于排序的摘要生成训练方法、系统和存储介质，该基于排序的摘要生成训练方法包括以下步骤：获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率；通过该方法提高了生成摘要的事实一致性。要的事实一致性。要的事实一致性。


技术研发人员：马永亮 徐旺 周明
受保护的技术使用者：北京澜舟科技有限公司
技术研发日：2023.08.08
技术公布日：2023/9/13