文本生成模型训练及文本生成方法、装置以及存储介质与流程

1.本说明书实施例涉及人工智能技术领域，尤其涉及一种文本生成模型训练及文本生成方法、装置以及存储介质。


背景技术：

2.随着计算语言学的不断发展，自然语言生成在越来越多的领域得到了应用落地，使用计算机来生成文本，以满足对话、评价、描述、作文等的任务需求，使得自然语言生成技术越来越受到学界和工业界的重视。目前的文本生成模型存在错生成、漏生成和重复生成的现象，使得其使用场景受到限制，因此需要能够保证生成结果的合法性的文本生成方法来提高文本生成结果的可信度。


技术实现要素：

3.本说明书实施例提供一种文本生成模型训练及文本生成方法、装置以及存储介质，可以解决相关技术中生成文本时语义不准确、可信度低的技术问题。
4.第一方面，本说明书实施例提供一种文本生成模型训练方法，该方法包括：
5.将样本输入序列输入文本生成模型，在各输出时间步计算所述样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
6.基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到所述样本输入序列对应的样本输出序列；
7.根据所述样本输入序列对应的标准输出序列以及所述样本输出序列计算所述文本生成模型的输出损失，基于所述输出损失训练所述文本生成模型直至所述文本生成模型收敛。
8.第二方面，本说明书实施例提供一种文本生成方法，该方法包括：
9.将目标输入序列输入文本生成模型，在各输出时间步计算所述目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
10.基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到所述目标输入序列对应的目标输出序列；
11.其中，所述文本生成模型为上述任一项说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型。
12.第三方面，本说明书实施例提供一种文本生成模型训练装置，该方法包括：
13.计算模块，用于将样本输入序列输入文本生成模型，在各输出时间步计算所述样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中
各字符被生成为输出字符的生成概率；
14.生成模块，用于基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到所述样本输入序列对应的样本输出序列；
15.训练模块，用于根据所述样本输入序列对应的标准输出序列以及所述样本输出序列计算所述文本生成模型的输出损失，基于所述输出损失训练所述文本生成模型直至所述文本生成模型收敛。
16.第四方面，本说明书实施例提供一种文本生成装置，该方法包括：
17.输入模块，用于将目标输入序列输入文本生成模型，在各输出时间步计算所述目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
18.输出模块，用于基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到所述目标输入序列对应的目标输出序列；
19.其中，所述文本生成模型为上述任一项说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型。
20.第五方面，本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行上述的方法的步骤。
21.第六方面，本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
22.第七方面，本说明书实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。
23.本说明书一些实施例提供的技术方案带来的有益效果至少包括：
24.本说明书实施例提供一种文本生成模型训练方法，将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。通过计算样本输入序列中各字符的复制概率，可以确定样本序列中各字符对于输出的重要性，文本生成模型可以基于此确定是否复制输入文本的字符作为输出文本，文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，得到高可信的输出序列。
附图说明
25.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本说明书实施例提供的一种文本生成模型训练方法的示例性系统架构图；
27.图2为本说明书实施例提供的一种文本生成模型训练方法的流程示意图；
28.图3为本说明书实施例提供的一种文本生成模型训练方法的流程示意图；
29.图4为本说明书实施例提供的一种文本生成模型的生成逻辑流程图；
30.图5为本说明书实施例提供的一种文本生成模型训练方法的流程示意图；
31.图6为本说明书实施例提供的一种文本生成模型的校验流程示意图；
32.图7为本说明书实施例提供的一种文本生成方法的流程示意图；
33.图8为本说明书实施例提供的一种文本生成模型训练装置的结构框图；
34.图9为本说明书实施例提供的一种文本生成装置的结构框图；
35.图10为本说明书实施例提供的一种终端的结构示意图。
具体实施方式
36.为使得本说明书实施例的特征和优点能够更加的明显和易懂，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而非全部实施例。基于本说明书中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书实施例保护的范围。
37.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书实施例相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本说明书实施例的一些方面相一致的装置和方法的例子。
38.随着计算语言学的不断发展，自然语言生成在越来越多的领域得到了应用落地，使用计算机来生成文本，以满足对话、评价、描述、作文等的任务需求，例如，在通过网络对用户提供交互服务时，为了提升服务效率，减少人工参与好节约人力资源，各服务中已经广泛运用智能对话机器人来进行对话以及答复，而对话机器人就是基于用户的输入语句来生成输出语句与用户对话。这使得自然语言生成技术越来越受到学界和工业界的重视。
39.由于传统的文本生成方式，主要是基于字符以及序列的概率最大化来选择输出，这种方式天然存在错生成、漏生成和重复生成的现象，导致输出的文本语义不准确，往往需要人工对生成结果进行校验，使得其使用场景受到限制，因此需要能够保证生成结果的合法性的文本生成方法来提高文本生成结果的可信度。
40.因此本说明书实施例提供一种文本生成模型训练方法，在各输出时间步计算样本输入序列中各字符的复制概率，以及在各输出时间步计算词表空间中各字符的生成概率；基于各字符的复制概率和生成概率确定各输出时间步的样本输出字符，以及对样本输出字符排列得到对应的样本输出序列；根据标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛，以解决上述生成文本时语义不准确、可信度低的技术问题。
41.请参阅图1，图1为本说明书实施例提供的一种文本生成模型训练方法的示例性系统架构图。
42.如图1所示，系统架构可以包括终端101、网络102和服务器103。网络102用于在终端101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(wireless-fidelity，wi-fi)通信链路或微波通信链路等。
43.终端101可以通过网络102与服务器103交互，以接收来自服务器103的消息或向服务器103发送消息，或者终端101可以通过网络102与服务器103交互，进而接收其他用户向服务器103发送的消息或者数据。终端101可以是硬件，也可以是软件。当终端101为硬件时，可以是各种电子设备，包括但不限于智能手表、智能手机、平板电脑、膝上型便携式计算机和台式计算机等。当终端101为软件时，可以是安装在上述所列举的电子设备中，其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。
44.在本说明书实施例中，终端101将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；进一步，终端101基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；之后，终端101根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
45.服务器103可以是提供各种服务的业务服务器。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
46.或者，该系统架构还可以不包括服务器103，换言之，服务器103可以为本说明书实施例中可选的设备，即本说明书实施例提供的方法可以应用于仅包括终端101的系统结构中，本说明书实施例对此不做限定。
47.应理解，图1中的终端、网络以及服务器的数目仅是示意性的，根据实现需要，可以是任意数量的终端、网络以及服务器。
48.请参阅图2，图2为本说明书实施例提供的一种文本生成模型训练方法的流程示意图。本说明书实施例的执行主体可以是执行文本生成模型训练的终端，也可以是执行文本生成模型训练方法的终端中的处理器，还可以是执行文本生成模型训练方法的终端中的文本生成模型训练服务。为方便描述，下面以执行主体是终端中的处理器为例，介绍文本生成模型训练方法的具体执行过程。
49.如图2所示，文本生成模型训练方法至少可以包括：
50.s202、将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率。
51.可选地，由于传统的文本生成方式主要是，首先根据应用场景制定输出字符的词
表空间，基于预设的词表空间，在词表空间中选择每个输出时间步输出的字符。然而在基于输入文本生成新的输出文本时，可能输入文本中有部分字、词汇是输入文本中的主题、重点，同时也可能是可选词表范围内没有的，这类字符就是out-of-vocabulary，简称oov，例如人名、用户名、自创词汇等，而在真实文本生成场景中，这类词汇在输出文本中倾向于被重复出来，即输入序列中的某些片段被选择性地复制到输出序列中，从输入序列复制到输出序列时，可以保证输出序列的语义不会与输入序列的语义相差太大，来降低“语义飘移”发生的概率。在本说明实施例中，样本输入序列中的字符和词表空间中的字符可以重合或不重合，样本输入序列和词表空间的字符重合度不对本说明书实施例造成限定。
52.具体地，首先准备用于文本生成模型训练的样本输入序列，样本输入序列的来源可以是多样的，可以来源于文章、对话等的语句中，文本语句数据经过预置分词处理，将完整的语句按照语义规则预先划分为由多个字符组成的样本输入序列，各字符的排列顺序就是原文本语句中的字符排序。
53.进一步地，得到样本输入序列后，将样本输入序列输入文本生成模型，文本生成模型可以基于transformer模型为框架，相较于传统的cnn神经网络和rnn神经网络所使用的序列算法，transformer模型的网络结构完全由注意力机制组成，在研究自然语言时，transformer模型能够通过注意力机制将相关单词或语句的理解融入语言处理过程，这也使得该模型能够对语言具有一定的可解释性。
54.可选地，基于transformer模型构建的文本输入模型在输出序列时，是分不同输出时间步的，各输出时间步只输出一个字符，每个输出时间步输出的字符都与前面输出时间步已经输出的字符有依赖，保证语义的连贯性。通常在确定各输出时间步的输出字符时，通过基于样本输入序列的编码、解码器的解码函数等计算词表空间内各字符被生成为输出字符的生成概率，那么在本说明实施例中，在选择各输出时间步的输出字符时，还将考虑从样本输入序列中复制一些字符片段是否更有益于输出序列的准确性，而确定样本输入序列中的字符是否合适被复制时，也可以使用计算样本输入序列中各字符被复制为输出字符的复制概率，也就说明在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率，同时，还会在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，这样模型能够考虑到在当前时间步可以选择“重新生成一个新词”还是“从输入中复制一个词”，同时从复制角度和生成角度来选择样本输出字符以减少输入序列和输出序列之间的语义偏差，得到语义准确的样本输出字符，得到高可信的输出序列。
55.s204、基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
56.可选地，一般的只根据词表空间中各字符的生成概率确定当前输出时间步对应的输出字符，这种情况没有考虑到样本输入序列中能够用于输出的字符的重要性，使得样本输出序列容易与样本输入序列之间发生语义偏移，而同时基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，能够同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，各输出时间步的时序是存在语义逻辑的，因此各输出时间步得到的样本输出字符也需要按照各输出时间步的时序排列，最终得到样本输入序列对应的样本输出序列。
57.s206、根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
58.可选地，在模型训练过程中，通常使用损失函数来计算模型每一轮训练的输出值与样本对应的标准值之间的损失值，模型利用损失值对参数进行调整，趋向于损失值减小的方向拟合，当损失值满足预设目标值时，则说明模型的训练成果已经达到预设目标。基于此，训练文本生成模型，首先在准备样本输入序列时，也准备样本输入序列对应的标准输出序列，标准输出序列代表了样本输入序列对应的预设理想的输出情况。那么根据样本输入序列的标准输出序列以及样本输出序列，可以计算文本生成模型的输出损失值，训练文本生成模型直至文本生成模型收敛。这样获得的文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，得到高可信的输出序列。
59.在本说明书实施例中，提供一种文本生成模型训练方法，将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。通过计算样本输入序列中各字符的复制概率，可以确定样本序列中各字符对于输出的重要性，文本生成模型可以基于此确定是否复制输入文本的字符作为输出文本，文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，得到高可信的输出序列。
60.请参阅图3，图3为本说明书实施例提供的一种文本生成模型训练方法的流程示意图。
61.如图3所示，文本生成模型训练方法至少可以包括：
62.s302、将样本输入序列输入文本生成模型，通过文本生成模型中的编码器获得输入序列中各字符对应的字符隐向量。
63.可选地，文本生成模型中包括编码器和解码器，其中，编码器用于根据输入的特征对输入进行编码，得到输入对应的隐向量，那么在本说明书实施例中，样本输入序列输入文本生成模型之后，文本生成模型中的编码器会基于样本输入序列得到样本输入序列的隐向量，其中，各字符有自身对应的字符隐向量，各字符隐向量就代表了各字符的隐藏特征，那么在后续计算概率时，可基于各字符隐向量来确定对应字符对于样本输入序列的重要性。
64.请参阅图4，图4为本说明书实施例提供的一种文本生成模型的生成逻辑流程图。如图4所示，将样本输入序列表示为(i_1,i_2,...,i_n)，输入到文本生成模型的编码器e中时，编码器e得到样本输入序列的句子表征，也即各字符对应的字符隐向量，用于后续解码器确定对应的样本输出序列。
65.s304、根据文本生成模型中的解码器在各输出时间步对应的解码器隐向量与各字符隐向量，计算在各输出时间步时样本输入序列中各字符对应的注意力分数，基于各字符对应的注意力分数确定各字符被复制为输出字符的复制概率。
66.可选地，在文本生成模型中的解码器，在不同输出时间步具有不同的隐向量表征，其隐向量是受到输入序列和已经输出的输出字符的影响的，解码器就基于自身在各输出时间步对应的隐向量确定出依赖于前序输出时间步确定的输出字符的新的输出字符，通过k个输出时间步得到样本输入序列(i_1,i_2,...,i_n)对应的样本输出序列(o_1,o_2,...,o_k)。那么在计算在各输出时间步时样本输入序列中各字符被复制为输出字符的复制概率时，可以基于文本生成模型特性根据文本生成模型中的解码器在各输出时间步对应的解码器隐向量与样本输入序列中各字符的各字符隐向量，计算在各输出时间步时样本输入序列中各字符对应的注意力分数，各字符对应的注意力分数可以说明各字符在样本输入序列中的重要性，注意力得分越高的字符则越重要，那么其作为输出字符时能够使得样本输出序列与样本输入序列之间的语义保持在相近范围内。
67.同样的，请参阅图4，样本输入序列中各字符对应的字符隐向量输入解码器后，解码器中的复制模块就可以用于计算在各输出时间步时样本输入序列中各字符对应的注意力分数，并且使得注意力分数高的字符对应的复制概率就高，也即基于各字符对应的注意力分数确定各字符被复制为输出字符的复制概率，这样就得到各输出时间步时，各字符被复制为输出字符的概率分布，用于确定各输出时间步是否需要从输入中复制字符。
68.s306、在各输出时间步将文本生成模型中的解码器在各输出时间步对应的解码器隐向量投影至词表空间。
69.可选地，确定输出字符时，是将复制和生成两种情况同时考虑，那么除了在各输出时间步确定样本输入序列中各字符的复制概率，还需要在各输出时间步确定词表空间中各字符对应的生成概率。
70.具体地，计算生成概率的方式与复制概率类似，首先将文本生成模型中的解码器在各输出时间步对应的解码器隐向量投影至词表空间，可以使得解码器隐向量与词表空间中各字符对应的字符隐向量发生计算，进而得到词表空间中各字符对应的生成概率。
71.s308、基于解码器隐向量和词表空间中各字符对应的字符隐向量，计算词表空间中各字符被生成为输出字符的生成概率。
72.进一步地，请参阅图4，基于解码器隐向量和词表空间中各字符对应的字符隐向量，进行向量计算后，得到词表空间中各字符被生成为输出字符的生成概率，这样就得到各输出时间步时，各字符被生成为输出字符的概率分布，用于后续确定各输出时间步中时进行复制字符还是生成字符。
73.s3010、基于各字符在各输出时间步的复制概率和生成概率，计算各输出时间步时各字符的输出概率。
74.可选地，根据各字符在各输出时间步的复制概率和生成概率，能够计算各输出时间步时各字符的输出概率，复制概率和生成概率在输出概率中所占比重则说明了模型对复制机制和生成机制的偏重程度，例如将复制概率和生成概率相加求平均的平均概率作为输出概率，则说明模型认为复制概率和生成概率一样重要，复制和概率为相等的考虑偏重。
75.具体地，在不同的实际应用场景中，复制和生成的重要性可能不同，就可以引入复制系数，使得模型中的输出概率计算时能够通过调整复制系数来灵活调控模型对复制和生成两种字符选择情况的偏重。那么在本说明书实施例中，通过预设复制系数作为与复制概率相乘的点数，用于控制复制概率在输出概率内的比重，与预设复制系数相对的，生成概率
与预设生成系数相乘，用于控制生成概率在输出概率内的比重，而预设复制系数和预设生成系数相加的和保持为1。这样可以实现灵活调控模型对复制和生成两种字符选择情况的偏重。
76.基于此，可以计算各字符在各输出时间步的复制概率与预设复制系数的第一乘积，以及计算各字符在各输出时间步的生成概率与预设生成系数的第二乘积，预设复制系数和预设生成系数相加的和为1，将第一乘积和第二乘积相加的和作为各输出时间步时各字符的输出概率。也即若预设复制系数为a，则预设生成系数表示为(1-a)，那么各字符的复制概率的分布为p_i，各字符的生成概率的分布为p_o，最终所有字符的输出概率为p＝a
×
p_i+(1-a)
×
p_o，这个概率就是最终各字符的输出概率分布。
77.s3012、确定在各输出时间步输出概率满足预设概率条件的字符为样本输出字符。
78.可选地，基于以上计算，在各输出时间步都可以得到对应的所有字符的输出概率分布之后，能够根据当前输出时间步的所有字符的输出概率分布，确定输出概率满足预设概率条件的字符为样本输出字符。其中预设概率条件可以是概率最高的，或者概率从高到低的第n个等等。
79.可选地，在确定样本输出字符之前，可以先确定k个满足候选输出条件的字符作为候选输出字符，将候选输出字符中最高的输出概率对应的字符作为样本输出字符的同时，将剩下的候选输出字符作为备用，以便于在样本输出字符不合法时，能够从剩余的候选输出字符中重新确定样本输出字符，k的具体数值可以根据实际需要来设置，并且k不一定是固定的，也即选取候选输出字符时，选择条件可以是选取概率由大到小的k个字符作为候选输出字符，也可以是选取预设概率范围内的所有字符作为候选输出字符，本说明书实施例对此不作限定。
80.s3014、按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
81.可选地，从上述实施例的介绍可以知道，各输出时间步的时序是存在语义逻辑的，因此各输出时间步得到的样本输出字符也需要按照各输出时间步的时序排列，最终得到样本输入序列对应的样本输出序列。
82.s3016、根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
83.关于步骤s3016，请参阅步骤s206中的详细记载，此处不再赘述。
84.在本说明书实施例中，提供一种文本生成模型训练方法，通过文本生成模型的编码器得到样本输入序列中各字符的字符隐向量，基于字符隐向量和各输出时间步的解码器隐向量可以得到各字符的注意力得分，这代表了字符在样本输入序列中的重要性，也就能够基于注意力分数得到各字符的复制概率；同样的基于各输出时间步的解码器隐向量和词表空间中各字符的字符隐向量得到个字符的生成概率；进一步地，基于各字符的复制系数和生成系数可以确定各字符的输出概率，在此过程中根据预设复制系数来控制复制概率和生成概率在输出概率中占的比重，灵活调控模型对复制和生成两种字符选择情况的偏重，最终文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，得到高可信的输出序列。
85.请参阅图5，图5为本说明书实施例提供的一种文本生成模型训练方法的流程示意图。
86.如图5所示，文本生成模型训练方法至少可以包括：
87.s502、将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率。
88.s504、基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符。
89.关于步骤s502-s504，请参阅步骤s202-s204中的详细记载，此处不再赘述。
90.s506、在各输出时间步，判断样本输出字符是否通过预设输出校验规则。
91.可选地，为了进一步减少样本输出序列的语法错误、语义混乱等情况，可以对生成的样本输出序列结合实际的应用场景，进行二次校验，进一步保证生成结果的合法性，提高最终输出的样本输出序列的准确性、合法性。具体的，在确定每一个样本输出字符之后，可以直接确定每一个样本输出字符是否合法，如果不合法就立即丢弃这个样本输出字符，直到在该输出时间步选择出合法的样本输出字符，才继续选取下一输出时间步的样本输出字符。确定每一个样本输出字符是否合法时，具体可以在各输出时间步，判断样本输出字符是否通过预设输出校验规则。
92.进一步地，预设输出校验规则包括但不限于长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则。其中长度校验规则，指通过设置预定的长度范围，来判断是否符合要求，若选定的样本输出字符过长或过短，则可能大概率不符合语法要求；数值校验规则，指通过从样本输入序列和样本输出序列中抽取数值实体，如果样本输出序列的数值实体与样本输入序列中对应的数值实体不同，则认为此时样本输出字符确定错误，则认为此样本输出字符不合法；重复片段校验规则，也即n-gram校验，指通过判断输入的文本中的n-gram片段(子序列片段)的重复度，来判断是否合法，如果样本输入序列中的一个字符在输出时被多次认为是样本输出字符，则过高的重复次数超过了一定阈值，此时认为该样本输出字符不合法；情感倾向校验，指通过情感模型，判断确认的样本输出字符所对应的情绪倾向是否符合预设，如果不一致，则认为不合法，例如开发人员对模型的预设情绪倾向是积极，也即期望模型能输出积极情绪的样本输出字符以及样本输出序列，然后样本输出字符为消极的、负面的，则却认为与预期相悖，也就说明该样本输出字符不合法。
93.可选地，预设输出校验规则可以只有上述一个，也可以包括上面所有，还可以包括另外的其他校验规则，各校验规则的校验顺序也不限定，开发人员可以根据实际需求，任意增删、定义校验规则，以及安排各个校验规则的校验顺序。
94.s508、若不通过，则去除样本输出字符，并在剩余字符中重新确定新的样本输出字符，以及针对新的样本输出字符执行判断样本输出字符是否通过预设输出校验规则。
95.可选地，当样本输出字符不通过预设输出校验规则时，则可以去除此时的样本输出字符，并从剩余字符中重新确定新的样本输出字符，并且再针对新的样本输出字符执行判断样本输出字符是否通过预设输出校验规则。其中，从剩余字符中重新确定新的样本输出字符时，可以将预先准备的候选输出字符作为样本输出字符的筛选范围，则只在候选输出字符中选取样本输出字符，减少校验、选取样本输出字符的计算量。
96.具体地，基于预设输出校验规则的校验流程，请参阅图6，图6为本说明书实施例提供的一种文本生成模型的校验流程示意图。如图6所示，以预设输出校验规则为长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则为例，各校验规则对应的模块校验依次基于样本输入序列(i_1,i_2,...,i_n)对样本输出序列(o_1,o_2,...,o_k)的合法性进行校验，校验通过后则进入下一校验模块，一旦遇到不符合的校验规则，则认为不合法，都返回不合法至解码器。
97.或者，
98.s5010、若通过，则执行按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
99.请继续参阅图6，相应的，样本输出字符在一个校验通过后则进入下一校验模块，直至所有校验均通过后，确认每个样本输出字符都合法的样本输出字符，此时就能保证样本输出序列的合法性，那么确认每个样本输出字符都合法后就执行按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
100.s5012、根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
101.关于步骤s5012，请参阅步骤s206中的详细记载，此处不再赘述。
102.在本说明书实施例中，提供一种文本生成模型训练方法，通过预设输出校验规则来校验各输出时间步确定的每一个样本输出字符，通过长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则等多种校验规则，这样可以对生成的样本输出序列结合实际的应用场景，进行二次校验，进一步保证生成结果的合法性，提高最终输出的样本输出序列的准确性、合法性。
103.请参阅图7，图7为本说明书实施例提供的一种文本生成方法的流程示意图。
104.如图7所示，文本生成方法至少可以包括：
105.s702、将目标输入序列输入文本生成模型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率。
106.可选地，文本生成模型经由上述任一项说明书实施例中的文本生成模型训练方法训练并收敛后，可以部署在实际场景中，用于文本生成。使用文本生成模型生成文本时，将从用户或其他地方获取的目标输入序列输入文本生成模型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率。其过程与文本生成模型训练时的流程相同，此处不再赘述。
107.s704、基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列。
108.同样的，实际场景中，在文本生成模型中基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列，具体流程为上述任一说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型得到目标输出序列的流程，此处不再赘述。
109.在本说明书实施例中，提供一种文本生成方法，将目标输入序列输入文本生成模
型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列。通过计算样本输入序列中各字符的复制概率，可以确定样本序列中各字符对于输出的重要性，文本生成模型可以基于此确定是否复制输入文本的字符作为输出文本，通过将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，得到高可信的输出序列。
110.请参阅图8，图8为本说明书实施例提供的一种文本生成模型训练装置的结构框图。如图8所示，文本生成模型训练装置800包括：
111.计算模块810，用于将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
112.生成模块820，用于基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；
113.训练模块830，用于根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
114.可选地，计算模块810，还用于通过文本生成模型中的编码器获得输入序列中各字符对应的字符隐向量；根据文本生成模型中的解码器在各输出时间步对应的解码器隐向量与各字符隐向量，计算在各输出时间步时样本输入序列中各字符对应的注意力分数，基于各字符对应的注意力分数确定各字符被复制为输出字符的复制概率。
115.可选地，计算模块810，还用于在各输出时间步将文本生成模型中的解码器在各输出时间步对应的解码器隐向量投影至词表空间；基于解码器隐向量和词表空间中各字符对应的字符隐向量，计算词表空间中各字符被生成为输出字符的生成概率。
116.可选地，生成模块820，还用于基于各字符在各输出时间步的复制概率和生成概率，计算各输出时间步时各字符的输出概率；确定在各输出时间步输出概率满足预设概率条件的字符为样本输出字符。
117.可选地，生成模块820，还用于计算各字符在各输出时间步的复制概率与预设复制系数的第一乘积，以及计算各字符在各输出时间步的生成概率与预设生成系数的第二乘积，预设复制系数和预设生成系数相加的和为1；将第一乘积和第二乘积相加的和作为各输出时间步时各字符的输出概率。
118.可选地，文本生成模型训练装置800还包括：校验模块，用于在各输出时间步，判断样本输出字符是否通过预设输出校验规则；若不通过，则去除样本输出字符，并在剩余字符中重新确定新的样本输出字符，以及针对新的样本输出字符执行判断样本输出字符是否通过预设输出校验规则；若通过，则执行按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
119.可选地，预设输出校验规则包括但不限于长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则。
120.在本说明书实施例中，提供一种文本生成模型训练装置，其中，计算模块，用于将
样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；生成模块，用于基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；训练模块，用于根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。通过计算样本输入序列中各字符的复制概率，可以确定样本序列中各字符对于输出的重要性，文本生成模型可以基于此确定是否复制输入文本的字符作为输出文本，文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，同时考虑复制概率和生成概率就可以提升模型输出的语义准确性，得到高可信的输出序列。
121.请参阅图9，图9为本说明书实施例提供的一种文本生成装置的结构框图。如图9所示，文本生成装置900包括：
122.输入模块910，用于将目标输入序列输入文本生成模型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
123.输出模块920，用于基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列；
124.其中，文本生成模型为上述任一项说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型。
125.在本说明书实施例中，提供一种文本生成装置，文本生成装置部署有上述任一说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型，其中，文本生成装置中包括输入模块，用于将目标输入序列输入文本生成模型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；以及包括输出模块，用于基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列。通过计算样本输入序列中各字符的复制概率，可以确定样本序列中各字符对于输出的重要性，文本生成模型可以基于此确定是否复制输入文本的字符作为输出文本，通过将输入序列中的重要字符复制到输出中以减少输入序列和输出序列之间的语义偏差，得到高可信的输出序列。
126.本说明书实施例提供一种包含指令的计算机程序产品，当计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中任一项的方法的步骤。
127.本说明书实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述实施例中的任一项的方法的步骤。
128.请参见图10，图10为本说明书实施例提供的一种终端的结构示意图。如图10所示，终端1000可以包括：至少一个终端处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
129.其中，通信总线1002用于实现这些组件之间的连接通信。
130.其中，用户接口1003可以包括显示屏(display)、摄像头(camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
131.其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
132.其中，终端处理器1001可以包括一个或者多个处理核心。终端处理器1001利用各种接口和线路连接整个终端1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行终端1000的各种功能和处理数据。可选的，终端处理器1001可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。终端处理器1001可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到终端处理器1001中，单独通过一块芯片进行实现。
133.其中，存储器1005可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory，rom)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述终端处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文本生成模型训练程序及文本生成程序。
134.在图10所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而终端处理器1001可以用于调用存储器1005中存储的文本生成模型训练程序，并具体执行以下操作：
135.将样本输入序列输入文本生成模型，在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
136.基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列；
137.根据样本输入序列对应的标准输出序列以及样本输出序列计算文本生成模型的输出损失，基于输出损失训练文本生成模型直至文本生成模型收敛。
138.在一些实施例中，终端处理器1001在执行在各输出时间步计算样本输入序列中各字符被复制为输出字符的复制概率时，具体执行以下步骤：通过文本生成模型中的编码器获得输入序列中各字符对应的字符隐向量；根据文本生成模型中的解码器在各输出时间步对应的解码器隐向量与各字符隐向量，计算在各输出时间步时样本输入序列中各字符对应的注意力分数，基于各字符对应的注意力分数确定各字符被复制为输出字符的复制概率。
139.在一些实施例中，终端处理器1001在执行在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率时，具体执行以下步骤：在各输出时间步将文本生成模型中的解码器在各输出时间步对应的解码器隐向量投影至词表空间；基于解码器隐向量和词表空间中各字符对应的字符隐向量，计算词表空间中各字符被生成为输出字符的生成概率。
140.在一些实施例中，终端处理器1001在执行基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符时，具体执行以下步骤：基于各字符在各输出时间步的复制概率和生成概率，计算各输出时间步时各字符的输出概率；确定在各输出时间步输出概率满足预设概率条件的字符为样本输出字符。
141.在一些实施例中，终端处理器1001在执行基于各字符在各输出时间步的复制概率和生成概率，计算各输出时间步时各字符的输出概率时，具体执行以下步骤：计算各字符在各输出时间步的复制概率与预设复制系数的第一乘积，以及计算各字符在各输出时间步的生成概率与预设生成系数的第二乘积，预设复制系数和预设生成系数相加的和为1；将第一乘积和第二乘积相加的和作为各输出时间步时各字符的输出概率。
142.在一些实施例中，终端处理器1001在执行基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符之后，还具体执行以下步骤：在各输出时间步，判断样本输出字符是否通过预设输出校验规则；若不通过，则去除样本输出字符，并在剩余字符中重新确定新的样本输出字符，以及针对新的样本输出字符执行判断样本输出字符是否通过预设输出校验规则；若通过，则执行按照各输出时间步的时序排列各样本输出字符得到样本输入序列对应的样本输出序列。
143.在一些实施例中，预设输出校验规则包括但不限于长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则。
144.在图10所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而终端处理器1001还可以用于调用存储器1005中存储的文本生成程序，并具体执行以下操作：
145.将目标输入序列输入文本生成模型，在各输出时间步计算目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；
146.基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到目标输入序列对应的目标输出序列；
147.其中，文本生成模型为上述任一项说明书实施例中的文本生成模型训练方法训练并收敛的文本生成模型。
148.在本说明书所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
149.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的
部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
150.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(digital versatile disc，dvd))、或者半导体介质(例如，固态硬盘(solid state disk，ssd))等。
151.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
152.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
153.以上为对本说明书实施例所提供的一种文本生成模型训练及文本生成方法、装置以及存储介质的描述，对于本领域的技术人员，依据本说明书实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本说明书实施例的限制。

技术特征：
1.一种文本生成模型训练方法，所述方法包括：将样本输入序列输入文本生成模型，在各输出时间步计算所述样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到所述样本输入序列对应的样本输出序列；根据所述样本输入序列对应的标准输出序列以及所述样本输出序列计算所述文本生成模型的输出损失，基于所述输出损失训练所述文本生成模型直至所述文本生成模型收敛。2.根据权利要求1所述的方法，所述在各输出时间步计算所述样本输入序列中各字符被复制为输出字符的复制概率，包括：通过所述文本生成模型中的编码器获得所述输入序列中各字符对应的字符隐向量；根据所述文本生成模型中的解码器在各输出时间步对应的解码器隐向量与各字符隐向量，计算在各输出时间步时所述样本输入序列中各字符对应的注意力分数，基于各字符对应的注意力分数确定各字符被复制为输出字符的复制概率。3.根据权利要求1所述的方法，所述在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率，包括：在各输出时间步将所述文本生成模型中的解码器在各输出时间步对应的解码器隐向量投影至词表空间；基于所述解码器隐向量和所述词表空间中各字符对应的字符隐向量，计算所述词表空间中各字符被生成为输出字符的生成概率。4.根据权利要求1所述的方法，所述基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符，包括：基于各字符在各输出时间步的所述复制概率和所述生成概率，计算各输出时间步时各字符的输出概率；确定在各输出时间步所述输出概率满足预设概率条件的字符为样本输出字符。5.根据权利要求4所述的方法，所述基于各字符在各输出时间步的所述复制概率和所述生成概率，计算各输出时间步时各字符的输出概率，包括：计算各字符在各输出时间步的所述复制概率与预设复制系数的第一乘积，以及计算各字符在各输出时间步的所述生成概率与预设生成系数的第二乘积，所述预设复制系数和所述预设生成系数相加的和为1；将所述第一乘积和所述第二乘积相加的和作为各输出时间步时各字符的输出概率。6.根据权利要求1至5所述的方法，所述基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符之后，还包括：在各输出时间步，判断所述样本输出字符是否通过预设输出校验规则；若不通过，则去除所述样本输出字符，并在剩余字符中重新确定新的样本输出字符，以及针对所述新的样本输出字符执行所述判断所述样本输出字符是否通过预设输出校验规则；
若通过，则执行所述按照各输出时间步的时序排列各样本输出字符得到所述样本输入序列对应的样本输出序列。7.根据权利要求6所述的方法，所述预设输出校验规则包括但不限于长度校验规则、数值校验规则、重复片段校验规则、情感倾向校验规则。8.一种文本生成方法，所述方法包括：将目标输入序列输入文本生成模型，在各输出时间步计算所述目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到所述目标输入序列对应的目标输出序列；其中，所述文本生成模型为权利要求1至7任一项所述的文本生成模型训练方法训练并收敛的文本生成模型。9.一种文本生成模型训练装置，所述装置包括：计算模块，用于将样本输入序列输入文本生成模型，在各输出时间步计算所述样本输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；生成模块，用于基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的样本输出字符，按照各输出时间步的时序排列各样本输出字符得到所述样本输入序列对应的样本输出序列；训练模块，用于根据所述样本输入序列对应的标准输出序列以及所述样本输出序列计算所述文本生成模型的输出损失，基于所述输出损失训练所述文本生成模型直至所述文本生成模型收敛。10.一种文本生成装置，所述装置包括：输入模块，用于将目标输入序列输入文本生成模型，在各输出时间步计算所述目标输入序列中各字符被复制为输出字符的复制概率，以及在各输出时间步计算词表空间中各字符被生成为输出字符的生成概率；输出模块，用于基于各字符在各输出时间步的所述复制概率和所述生成概率确定各输出时间步的目标输出字符，按照各输出时间步的时序排列各目标输出字符得到所述目标输入序列对应的目标输出序列；其中，所述文本生成模型为权利要求1至7任一项所述的文本生成模型训练方法训练并收敛的文本生成模型。11.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或所述处理器执行如权利要求1至7或者8任意一项所述方法的步骤。12.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至7或者8任意一项的所述方法的步骤。13.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7或者8任一项所述方法的步骤。

技术总结
本说明书实施例公开了一种文本生成模型训练及文本生成方法、装置以及存储介质。在各输出时间步计算样本输入序列中各字符的复制概率，以及在各输出时间步计算词表空间中各字符的生成概率；基于各字符在各输出时间步的复制概率和生成概率确定各输出时间步的样本输出字符，进而得到样本输入序列对应的样本输出序列；根据标准输出序列以及样本输出序列计算输出损失，训练文本生成模型。文本生成模型在训练过程中就学习到将输入序列中的重要字符复制到输出中以得到高可信的输出序列。复制到输出中以得到高可信的输出序列。复制到输出中以得到高可信的输出序列。


技术研发人员：马诗涵 黄文亢 张曙林 石秋慧 江发昌 王洪彬
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2023.03.08
技术公布日：2023/7/19