文本判别模型的训练方法及装置、文本判别方法及装置与流程

1.本公开涉及机器学习技术领域，具体而言，涉及一种文本判别模型的训练方法及文本判别模型的训练装置、文本判别方法及文本判别装置、计算机可读存储介质及电子设备。


背景技术：

2.人工智能技术可以帮助网络运营商提供良好的服务质量和提高运维可靠性。但在这个过程中，机器学习的公平性往往未得到充分的重视，例如在电信短信涉诈预测场景中，短信中所包含的关键词大多会带有领域特性，从而含有较多涉及公平性或敏感性的词汇，例如用户手机号、人名、地域等；在不考虑公平性的情况下，ai模型将直接根据这些涉及用户隐私、公平性判断的数据进行学习从而进行涉诈识别，即使模型可以拥有较好的准确率；
3.但在实际应用中，这些模却会因为存在模型偏见，产生错误的、带有偏见、甚至歧视含义的预测结果，导致模型的准确率较差。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种文本判别模型的训练方法、文本判别模型的训练装置、文本判别方法及文本判别装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服了相关技术中准确率较差的技术问题。
6.根据本公开的第一方面，提供一种文本判别模型的训练方法，包括：获取训练数据集，训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签；通过生成器对基础文本数据进行转换得到目标文本数据；将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；将目标文本数据输入至初始模型得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器进行更新，并基于更新后的生成器和训练数据更新初始模型得到文本判别模型。
7.根据本公开的第二方面，提供一种文本判别方法，包括：获取待判别文本，并将待判别文本输入至生成器以得到待判别文本对应的目标判别文本；将待判别文本和目标判别模型输入至文本判别模型得到判别结果；其中，文本判别模型由上述文本判别模型的训练方法得到的。
8.根据本公开的第三方面，提供一种文本判别模型的训练装置，包括：数据获取模块，用于获取训练数据集，训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签；数据转换模块，用于通过生成器对基础文本数据进行转换得到目标文本数据文本判别模型，用于将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；标签判别模块，用于将目标文本数据输入至初始模型
得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；模型训练模块，用于基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器进行更新，并基于更新后的生成器和训练数据更新初始模型得到文本判别模型。
9.根据本公开的第四方面，提供一种文本判别模型的训练装置，包括：文本生成模块，用于获取待判别文本，并将待判别文本输入至生成器以得到待判别文本对应的目标判别文本；文本判别模块，用于将待判别文本和目标判别模型输入至文本判别模型得到判别结果；其中，文本判别模型由文本判别模型的训练方法得到的。
10.根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
11.根据本公开的第六方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
12.本公开的一种实施例所提供的文本判别模型的训练方法，利用第一判别器和第二判别器的第一判别结果和第二判别结果来实现对生成器的训练，并利用更新后的生成器对初始模型进行更新，其中，第一判别结果用于确定生成器生成的目标文本数据的准确性，第二判别结果用于保证目标文本数据与参考文本数据在初始模型上的距离足够接近，辅助生成器生成能够保证初始模型准确性的数据集，提升了得到的文本判别模型的准确性。
13.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
14.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图。
16.图2示意性示出本公开示例性实施例中一种文本判别模型的训练方法的流程图。
17.图3示意性示出本公开示例性实施例中一种文本判别模型的训练方法的数据流向图。
18.图4示意性示出本公开示例性实施例中另一种文本判别模型的训练方法的数据流向图。
19.图5示意性示出本公开示例性实施例中文本判别方法的流程图。
20.图6示意性示出本公开示例性实施例中文本判别模型的训练装置的组成示意图。
21.图7示意性示出本公开示例性实施例中文本判别装置的组成示意图。
22.图8示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
23.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
24.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
25.在电信领域中，人工智能技术可以帮助网络运营商提供良好的服务质量和提高运维可靠性。但在这个过程中，机器学习的公平性往往未得到充分的重视，例如在电信短信涉诈预测场景中，短信中所包含的关键词大多会带有领域特性，从而含有较多涉及公平性或敏感性的词汇，例如用户手机号、人名、地域等。在不考虑公平性的情况下，ai模型将直接根据这些涉及用户隐私、公平性判断的数据进行学习从而进行涉诈识别，即使模型可以拥有较好的准确率，但在实际应用中，模型会因为存在模型偏见，产生错误的、带有偏见、甚至歧视含义的预测结果，这种情况型会对用户以及公司带来巨大的危害。另一方面，隐私数据中通常包含模型进行任务决策所需要的相关信息，在训练数据中包含这些信息往往对于提高模型的准确率有着重要的作用，所以直接清除敏感信息从而保证模型的公平性往往会导致任务模型的效果变差。因此，如何在保证ai模型识别准确率的情况下同时保证模型的公平性已经成为了业界一个亟待解决的问题。
26.基于上述缺点，本公开提供一种文本判别模型的训练方法，图1示出了可以实现上述文本判别模型的训练方法的系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中文本判别模型的训练相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
27.在一种实施方式中，可以由终端110执行上述文本判别模型的训练方法。例如，用户使用终端110获取训练数据集，其中，上述训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签，由终端110对通过生成器对基础文本数据进行转换得到目标文本数据；将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；将目标文本数据输入至初始模型得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器进行更新，并基于更新后的生成器和训练数据更新初始模型得到文本判别模型，输出文本判别模型。
28.在一种实施方式中，可以由服务器120可以执行上述文本判别模型的训练方法。例如，用户使用终端110获取训练数据集，其中，上述训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签后，终端110将该训练数据集上传至服务器120，由服务器120通过生成器对基础文本数据进行转换得到目标文本数据；将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；将目标文本数据输入至初始模型得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器
进行更新，并基于更新后的生成器和训练数据更新初始模型得到文本判别模型，向终端110返回文本判别模型。
29.由上可知，本示例性实施方式中的文本判别模型方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。
30.下面结合图2对本示例性实施方式中的文本判别模型的训练方法进行说明，图2示出了该文本判别模型的训练方法的示例性流程，可以包括步骤s210至步骤s250。
31.在步骤s210中，获取训练数据集，训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签。
32.在本公开的一种示例实施方式中，可以首先获取训练数据集，其中训练数据集中可以包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签。
33.其中，上述基础文本数据可以是不包括用户隐私数据的数据，参考文本数据是上述基础文本数据对应的真值隐私数据。
34.举例而言，若上述文本判别应用于判断短信是否诈骗短信时，上述基础文本数据可以是短信，但是不包括用户姓名、电话号码、身份证号、年龄等数据，上述参考文本数据则包括为用户姓名、电话号码、身份证号、年龄等数据，上述第一标签则可以是该短信是诈骗短信的概率。
35.需要说明的是，上述基础文本数据的类型该可以是其他类型数据，在本示例实施方式中不做具体限定。
36.在步骤s220中，通过生成器对所述基础文本数据进行转换得到目标文本数据。
37.在本示例实施方式中，参照图3所示，可以通过一个生成器生成基础文本数据对应的目标文本数据，具体的，生成器生成的目标文本数据是上述基础文本数据对应的参考隐私数据。
38.具体的，上述基础文本数据可以是公平数据，上述目标文本数据是由公平数据生成的假的不公平数据。
39.举例而言，若上述文本判别应用于判断短信是否诈骗短信时，上述基础文本数据可以是短信，但是不包括用户姓名、电话号码、身份证号、年龄等数据，上述目标文本数据可以包括生成器生成的假的用户姓名、电话号码、身份证号、年龄等参考隐私数据。
40.在步骤s230中，将所述目标文本数据和所述参考文本数据作为第一判别器的输入数据得到第一判别结果。
41.在本公开的一种示例实施方式中，参照图3所示，上述目标文本数据为由上述生成器生成的假的不公平数据，上述参考文本数据为真实的不公平数据，此时可以将上述目标文本数据和上述参考文本数据输入至第一判别器以得到第一判别结果。用于判断上述真值隐私数据与上述参考隐私数据是否相同。
42.具体的，可以首先获取上述目标文本数据对应的目标文本向量和上述参考文本数据对应的参考文本向量，上述第一判别器用于判断上述参考文本向量和目标文本向量之间的距离，其中上述距离可以是余弦距离或者是欧式距离，余弦距离或者是欧式距离的计算方式可以参照相关技术，在本示例实施方式中不做具体限定。
43.在本示例实施方式中，可以确定一个预设距离阈值，预设距离阈值的具体数值可
以根据用户需求进行自定义设置，在本示例实施方式中不做具体限定。
44.可以基于上述距离与上述预设距离阈值确定上述第一判别结果，具体的，在上述距离小于上述预设距离阈值时，判定上述目标文本数据满足预设条件。
45.在步骤s240中，将所述目标文本数据输入至初始模型得到第二标签，并将所述第一标签和所述第二标签作为第二判别器的输入得到第二判别结果。
46.在得到上述目标文本数据之后，参照图3所示，可以将上述目标文本数据输入至上述初始模型得到第二标签，在得到上述第二标签之后，可以将第一标签和上述第二标签输入至上述第二判别器得到第二判别结果。
47.具体的，上述第二判别器用于判定上述第一标签和第二标签是否满足预设条件，其中，上述预设条件可以为上述第一标签和第二标签在阈值范围内相等。
48.在步骤s250中，基于所述第一判别结果和第二判别结果对所述生成器、所述第一判别器和所述第二判别器进行更新，并基于更新后的所述生成器和所述训练数据更新所述初始模型，以得到文本判别模型。
49.在本公开的一种示例实施方式中，在得到上述第一判别结果和第二判别结果之后，可以基于上述第一判别结果、第二判别结果对上述生成器、第一判别器和第二判别器进行更新。
50.具体的可以包括步骤s310至步骤s340。
51.在步骤s310中，根据第一判别结果、生成器的输出以及训练数据集确定第一判别器对应的第一损失函数。
52.在本示例实施方式中，首先，使用对抗生成神经网络公平性模型训练，对抗性生成神经网络包括两个部分，生成器和第一判别器，训练过程是一个博弈过程，在对抗训练过程中，生成器可以从第一判别器中进行迭代以获取最优状态，同时第一判别器可以不断优化以区分生成的目标样本数据和参考文本数据，生成器和所述第一判别器的损失函数如下：
[0053][0054]
其中，e(期望值)的含义，d(disccriminator，判别器)的含义log为对数函数，g表示生成器，lg为生成器的损失函数，ld为判别器的损失函数。
[0055]
其中，生成器可以从第一判别器的反馈中进行迭代以获得最优状态，同时第一判别器可以不断优化以区分生成的目标文本数据和参考文本数据，损失函数如下：
[0056][0057][0058]
其中，z为pz(z)分布中的噪声数据，x为p
data
(z)分布中的真实样本数据。为了使用基础文本数据生成目标文本数据，可以使用生成器从正态分布中生成敏感数据中含有的目标文本数据，并且为了具有高信息含量的相关特征，使用第一判别器来区分生成的目标文本数据和参考文本数据。在该流程的对抗训练过程之后，可以获得最终的生成器来生成目标文本数据含有的相关信息，以供初始模型进行建模。可以使用条件生成对抗网络来引入基础文本数据的信息，以使得生成的目标文本数据具有良好的初始信息含量。它在生成器和判别器中都输入一个额外的条件c，所以这个判别器的损失函数可以描述为：
[0059][0060]
其中p
unfair
(x)是参考文本数据的数据分布，p
fair
(c)是基础文本数据的数据分布。生成器的损失函数可以描述为：
[0061][0062]
在步骤s320中，根据第二判别结果、生成器的输出、初始模型的输出以及训练数据集确定第二判别器对应的第二损失函数。
[0063]
此外，为了提高得到文本判别模型的性能，可以采用第二判别器来确定第一标签和所述第二标签之间的距离，从而进一步保证生成器生成可使得文本判别模型效果足够好的目标文本数据。第二判别器的第二素损失函数可以表示为：
[0064][0065]
其中，:
unfair-m
(x)表示上述第一标签，:
g-unfair-m
(3)表示上述第二标签。
[0066]
在步骤s330中，根据第一判别结果、第二判别结果、生成器的输出、初始模型的输出确定生成器的第三损失函数。
[0067]
在本示例实施方式中，可以根据上述第一判别结果、第二判别结果、生成器的输出、初始模型的输出确定生成器的第三损失函数，具体的，基于上述生成器的第三损失函数可以表示为：
[0068][0069]
在步骤s340中，基于第一损失函数、第二损失函数以及第三损失函数分别对第一判别器、第二判别器以及生成器进行更新。
[0070]
在本公开的一种示例实施方式中，参照图3所示，在得到上述第一损失函数、第二损失函数以及第三损失函数之后，可以记忆上述第一损失函数、第二损失函数以及第三损失函数对上述生成器，第一判别器、第二判别器进行更新。
[0071]
具体的，对上述生成器，第一判别器、第二判别器进行更新直至上述第一标签和第二标签的距离在阈值范围内相等，且上述目标文本数据和所述参考文本数据之间的距离小于预设阈值。
[0072]
在本公开的一种示例实施方式中，参照图4所示，上述训练数据集还可以包括上述基础文本数据对应的第三标签，在得到上述更新后的生成器之后，可以将上述基础文本数据输入至上述更新后的生成器得到上述目标文本数据，然后将上述目标文本数据和上述基础文本数据输入至上述初始模型中得到第四标签。
[0073]
在得到上述第三标签和第四标签之后，可以利用上述第三标签和第四标签更新上述初始模型，直至上述初始模型满足预设条件以得到上述文本判别模型，能够使得得到的文本判别模型的精度更高。
[0074]
综上所述，本示例性实施方式中，利用第一判别器和第二判别器的第一判别结果
和第二判别结果来实现对生成器的训练，并利用更新后的生成器对初始模型进行更新，其中，第一判别结果用于确定生成器生成的目标文本数据的准确性，第二判别结果用于保证目标文本数据与参考文本数据在初始模型上的距离足够接近，辅助生成器生成能够保证初始模型准确性的数据集，提升了得到的文本判别模型的准确性。进一步的，在对上述生成器进行更新之后，利用更新后的生成器得到的目标文本数据对初始模型进行训练，能够提升得到的文本判别模型的准确度。
[0075]
进一步的，本公开还提供一种新的文本判别方法，参照图5所示，上述文本判别方法可以包括步骤s510至步骤s520。
[0076]
在步骤s510中，获取待判别文本，并将待判别文本输入至生成器以得到待判别文本对应的目标判别文本。
[0077]
在本示例实施方式中，上述生成器为上述文本判别模型的训练方法中的更新后的生成器，可以获取待判别文本，然后将上述待判别文本输入至上述生成器生成待判别文本对应的目标判别文本。
[0078]
举例而言，若上述文本判别应用于判断短信是否诈骗短信时，上述待判别文本可以是短信，但是不包括用户姓名、电话号码、身份证号、年龄等数据，上述目标判别文本可以包括生成器生成的假的用户姓名、电话号码、身份证号、年龄等参考隐私数据。
[0079]
在步骤s520中，将待判别文本和目标判别文本输入至文本判别模型得到判别结果。
[0080]
其中，文本判别模型可以由上述文本判别模型的训练方法得到的。
[0081]
在得到上述目标判别文本之后，可以将待判别文本和目标判别文本输入至文本判别模型得到判别结果。
[0082]
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0083]
进一步的，参考图6所示，本示例的实施方式中还提供一种文本判别模型的训练装置600，包括数据获取模块610、数据转换模块620、文本判别模块630、标签判别模块640以及模型训练模块650。其中：
[0084]
数据获取模块610可以用于获取训练数据集，训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签；数据转换模块620可以用于通过生成器对基础文本数据进行转换得到目标文本数据；文本判别模块630可以用于将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；标签判别模块640可以用于将目标文本数据输入至初始模型得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；模型训练模块650可以用于基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器进行更新，并基于更新后的生成器和训练数据更新初始模型得到文本判别模型。
[0085]
在一种示例实施方式中，数据转换模块620可以被配置为通过生成器生成与基础文本数据对应的包括参考隐私数据的目标文本数据。
[0086]
在一种示例实施方式中，文本判别模块630可以被配置为获取目标文本数据对应的目标文本向量和参考文本数据对应的参考文本向量；利用第一判别器确定参考文本向量
与目标文本向量之间的距离；基于距离和预设距离阈值确定第一判别结果。
[0087]
在一种示例实施方式中，模型训练模块650可以被配置为根据第一判别结果、生成器的输出以及训练数据集确定第一判别器对应的第一损失函数；根据第二判别结果、生成器的输出、初始模型的输出以及训练数据集确定第二判别器对应的第二损失函数；根据第一判别结果、第二判别结果、生成器的输出、初始模型的输出确定生成器的第三损失函数；基于第一损失函数、第二损失函数以及第三损失函数分别对第一判别器、第二判别器以及生成器进行更新。
[0088]
在一种示例实施方式中，训练数据集还包括基础文本数据对应的第三标签，模型训练模块650可以被配置为将基础文本数据输入至更新后的生成器中得到目标文本数据；将目标文本数据和基础文本数据输入至初始模型中得到第四标签；利用第三标签和第四标签更新初始模型，以得到文本判别模型。
[0089]
进一步的，参考图7所示，本示例的实施方式中还提供一种文本判别装置700，包括文本生成模块710和文本判别模块720。
[0090]
其中，文本生成模块710可以用于获取待判别文本，并将待判别文本输入至生成器以得到待判别文本对应的目标判别文本，文本判别模块720可以用于将待判别文本和目标判别文本输入至文本判别模型得到判别结果，其中，文本判别模型的训练方法得到的，其中上述生成器为文本判别模型的训练方法中的更新后的生成器。
[0091]
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
[0092]
本公开的示例性实施方式还提供一种用于执行上述文本判别模型的训练方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述文本判别模型的训练方法。
[0093]
下面以图8中的移动终端800为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图8中的构造也能够应用于固定类型的设备。
[0094]
如图8所示，移动终端800具体可以包括：处理器801、存储器802、总线803、移动通信模块804、天线1、无线通信模块805、天线2、显示屏806、摄像模块807、音频模块808、电源模块809与传感器模块810。
[0095]
处理器801可以包括一个或多个处理单元，例如：处理器801可以包括ap(application processor，应用处理器)、调制解调处理器、gpu(graphics processing unit，图形处理器)、isp(image signal processor，图像信号处理器)、控制器、编码器、解码器、dsp(digital signal processor，数字信号处理器)、基带处理器和/或npu(neural-network processing unit，神经网络处理器)等。本示例性实施方式中的文本判别模型的训练方法可以由ap、gpu或dsp来执行，当方法涉及到神经网络相关的处理时，可以由npu来执行。
[0096]
处理器801可以通过总线803与存储器802或其他部件形成连接。
[0097]
存储器802可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器801通过运行存储在存储器802的指令，执行移动终端800的各种功能应用以及数据
处理。存储器802还可以存储应用数据，例如存储图像，视频等文件。
[0098]
移动终端800的通信功能可以通过移动通信模块804、天线1、无线通信模块805、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块804可以提供应用在移动终端800上2g、3g、4g、5g等移动通信解决方案。无线通信模块805可以提供应用在移动终端800上的无线局域网、蓝牙、近场通信等无线通信解决方案。
[0099]
显示屏806用于实现显示功能，如显示用户界面、图像、视频等。摄像模块807用于实现拍摄功能，如拍摄图像、视频等。音频模块208用于实现音频功能，如播放音频，采集语音等。电源模块209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块810可以包括深度传感器8101、压力传感器8102、陀螺仪传感器8103、气压传感器8104等，以实现相应的感应检测功能。
[0100]
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0101]
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
[0102]
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0103]
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0104]
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算
设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0105]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0106]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

技术特征：
1.一种文本判别模型的训练方法，其特征在于，包括：获取训练数据集，所述训练数据集包括基础文本数据、所述基础文本数据对应的参考文本数据，以及所述参考文本数据对应的第一标签；通过生成器对所述基础文本数据进行转换得到目标文本数据；将所述目标文本数据和所述参考文本数据作为第一判别器的输入数据得到第一判别结果；将所述目标文本数据输入至初始模型得到第二标签，并将所述第一标签和所述第二标签作为第二判别器的输入得到第二判别结果；基于所述第一判别结果和第二判别结果对所述生成器、所述第一判别器和所述第二判别器进行更新，并基于更新后的所述生成器和所述训练数据更新所述初始模型，以得到文本判别模型。2.根据权利要求1所述的方法，其特征在于，所述训练数据集还包括所述基础文本数据对应的第三标签；所述基于更新后的所述生成器和所述训练数据更新所述初始模型得到文本判别模型包括：将所述基础文本数据输入至更新后的所述生成器中得到所述目标文本数据；将所述目标文本数据和所述基础文本数据输入至所述初始模型中得到第四标签；利用所述第三标签和所述第四标签更新所述初始模型，以得到所述文本判别模型。3.根据权利要求1所述的方法，其特征在于，所述通过生成器对所述基础文本数据进行转换得到目标文本数据包括：通过生成器生成与所述基础文本数据对应的包括参考隐私数据的目标文本数据。4.根据权利要求3所述的方法，其特征在于，所述参考文本数据为所述基础文本数据对应的包括真值隐私数据的目标文本数据，所述将所述目标文本数据和所述参考文本数据作为第一判别器的输入数据得到第一判别结果包括：获取所述目标文本数据对应的目标文本向量和所述参考文本数据对应的参考文本向量；利用所述第一判别器确定所述参考文本向量与所述目标文本向量之间的距离；基于所述距离和预设距离阈值确定所述第一判别结果。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一判别结果和第二判别结果对所述生成器、所述第一判别器和所述第二判别器进行更新包括：根据所述第一判别结果、所述生成器的输出以及所述训练数据集确定所述第一判别器对应的第一损失函数；根据所述第二判别结果、所述生成器的输出、所述初始模型的输出以及所述训练数据集确定所述第二判别器对应的第二损失函数；根据所述第一判别结果、第二判别结果、所述生成器的输出、所述初始模型的输出确定所述生成器的第三损失函数；基于所述第一损失函数、第二损失函数以及所述第三损失函数分别对所述第一判别器、第二判别器以及所述生成器进行更新。6.一种文本判别方法，其特征在于，包括：
获取待判别文本，并将所述待判别文本输入至生成器以得到待判别文本对应的目标判别文本；将所述待判别文本和所述目标判别文本输入至所述文本判别模型得到判别结果；其中，所述文本判别模型由权利要求1至5中任一项所述的文本判别模型的训练方法得到的，其中上述生成器为权利要求1至5中任一项所述的文本判别模型的训练方法中的更新后的所述生成器。7.一种文本判别模型的训练装置，其特征在于，包括：数据获取模块，用于获取训练数据集，所述训练数据集包括基础文本数据、所述基础文本数据对应的参考文本数据，以及所述参考文本数据对应的第一标签；数据转换模块，用于通过生成器对所述基础文本数据进行转换得到目标文本数据；文本判别模型，用于将所述目标文本数据和所述参考文本数据作为第一判别器的输入数据得到第一判别结果；标签判别模块，用于将所述目标文本数据输入至初始模型得到第二标签，并将所述第一标签和所述第二标签作为第二判别器的输入得到第二判别结果；模型训练模块，用于基于所述第一判别结果和第二判别结果对所述生成器、所述第一判别器和所述第二判别器进行更新，并基于更新后的所述生成器和所述训练数据更新所述初始模型得到文本判别模型。8.一种文本判别装置，其特征在于，包括：文本生成模块，用于获取待判别文本，并将所述待判别文本输入至生成器以得到待判别文本对应的目标判别文本；文本判别模块，用于将所述待判别文本和所述目标判别文本输入至所述文本判别模型得到判别结果；其中，所述文本判别模型由权利要求1至5中任一项所述的文本判别模型的训练方法得到的，其中上述生成器为权利要求1至5中任一项所述的文本判别模型的训练方法中的更新后的所述生成器。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的方法。10.一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。

技术总结
本公开涉及机器学习技术领域，具体涉及一种文本判别模型的训练方法及装置、计算机可读存储介质及电子设备，方法包括：获取训练数据集，训练数据集包括基础文本数据、基础文本数据对应的参考文本数据，以及参考文本数据对应的第一标签；通过生成器对基础文本数据进行转换得到目标文本数据；将目标文本数据和参考文本数据作为第一判别器的输入数据得到第一判别结果；将目标文本数据输入至初始模型得到第二标签，并将第一标签和第二标签作为第二判别器的输入得到第二判别结果；基于第一判别结果和第二判别结果对生成器、第一判别器和第二判别器进行更新，并基于更新后的生成器和训练数据更新初始模型，以得到文本判别模型。以得到文本判别模型。以得到文本判别模型。


技术研发人员：石丽娟
受保护的技术使用者：中国电信股份有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15