基于标签保护的联邦学习模型训练方法、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于标签保护的联邦学习模型训练方法、设备、存储介质及程序产品。


背景技术：

2.纵向联邦学习用于解决金融领域多方联合构建业务模型的数据孤岛问题。纵向联邦学习的应用场景是各参与方用户重叠多，而特征重叠少的情况，不同参与方拥有用户的不同领域/不同角度的信息。当前纵向联邦建模场景，尤其是基于深度神经网络的场景，完成训练后，特征提供方的模型可能会学习到目标场景的标签区分度信息，若此时其有少量的同任务场景标签，则可以利用训练后的模型和自有特征和少量标签微调得到一个分类模型。该分类模型可能会比其从头训练的分类模型效果更好，此时就可能造成了标签信息的泄露，不仅带来隐私泄露的隐患，也会对商业模式的可持续性造成影响。这种攻击方式称为模型补全攻击(model completion attack)。目前，通过计算距离相关性解耦中间结果与标签之间的相关性，从而达到防御模型补全攻击的效果，但是，这种防御方法会对联合建模的效果有较大影响。


技术实现要素：

3.本发明的主要目的在于提供一种基于标签保护的联邦学习模型训练方法、设备、存储介质及程序产品，旨在解决现有防御模型补全攻击的方案对联合建模效果影响较大的技术问题。
4.为实现上述目的，本发明提供一种基于标签保护的联邦学习模型训练方法，所述方法应用于参与纵向联邦学习的第一参与方设备，纵向联邦模型包括部署于所述第一参与方设备的分类模型，以及包括部署于参与纵向联邦学习的第二参与方设备的第二方特征提取模型，所述方法包括以下步骤：
5.接收所述第二参与方设备发送的第二方特征提取数据，其中，所述第二方特征提取数据由所述第二参与方设备将训练样本的第二方原始特征数据输入至所述第二方特征提取模型进行特征提取得到；
6.采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述训练样本对应的分类结果，并根据所述分类结果和所述训练样本对应的分类标签确定分类损失函数；
7.对所述分类标签和所述第二方特征提取数据进行维度处理，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数，其中，所述维度处理包括对所述分类标签进行升维处理和/或对所述第二方特征提取数据进行降维处理；
8.根据所述分类损失函数和所述第一去相关损失函数确定总损失函数，基于所述总损失函数对所述纵向联邦模型进行更新。
9.可选地，所述采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述训练样本对应的分类结果的步骤包括：
10.将第一方特征提取数据和所述第二方特征提取数据进行聚合得到聚合特征数据，将所述聚合特征数据输入至所述分类模型进行分类，得到所述训练样本对应的分类结果，其中，所述第一方特征提取数据由所述第一参与方设备将所述训练样本的第一方原始特征数据输入至所述第一方特征提取模型进行特征提取得到；
11.所述根据所述分类损失函数和所述第一去相关损失函数确定总损失函数的步骤之前，还包括：
12.基于所述聚合特征数据和所述第二方特征提取数据确定第二去相关损失函数；
13.所述根据所述分类损失函数和所述第一去相关损失函数确定总损失函数的步骤包括：
14.根据所述分类损失函数、所述第一去相关损失函数和所述第二去相关损失函数确定总损失函数。
15.可选地，当维度处理包括对所述第二方特征提取数据进行降维处理时，对所述第二方特征提取数据进行降维处理的步骤包括：
16.基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果，将所述第一编码结果作为降维处理后的第二方特征提取数据。
17.可选地，所述预设编码器为第一预设自编码器中的编码器，所述基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果的步骤之前，还包括：
18.将所述第二方特征提取数据输入至所述预设编码器进行编码处理，得到第二编码结果；
19.将所述第二编码结果输入至所述第一预设自编码器中的解码器进行解码处理，得到重构结果；
20.基于所述重构结果和所述第二方特征提取数据确定自编码损失函数，基于所述自编码损失函数更新所述预设编码器和所述解码器中的参数，并基于更新参数后的所述预设编码器执行所述基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果的步骤。
21.可选地，所述分类标签的维度小于所述第二方特征提取数据的维度，当维度处理包括对所述第二方特征提取数据进行降维处理时，对所述第二方特征提取数据进行降维处理的步骤包括：
22.从所述第二方特征提取数据中截取与所述分类标签维度相同的部分作为降维处理后的第二方特征提取数据。
23.可选地，当维度处理包括对所述分类标签进行升维处理时，对所述分类标签进行升维处理的步骤包括：
24.基于第二预设自编码器中的编码器对所述分类标签进行编码处理得到第三编码结果，将所述第三编码结果作为升维处理后的分类标签，其中，所述第二预设自编码器为稀疏自编码器。
25.可选地，维度处理后的分类标签和第二方特征提取数据的维度大小相同，所述基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数的步骤包括：
26.确定基于维度处理后的分类标签和第二方特征提取数据之间的分布相关性；
27.计算以最小化所述分布相关性为目的的第一去相关损失函数。
28.此外，为实现上述目的，本发明还提供一种基于标签保护的联邦学习模型训练设备，所述基于标签保护的联邦学习模型训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于标签保护的联邦学习模型训练程序，所述基于标签保护的联邦学习模型训练程序被所述处理器执行时实现如上所述的基于标签保护的联邦学习模型训练方法的步骤。
29.此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于标签保护的联邦学习模型训练程序，所述基于标签保护的联邦学习模型训练程序被处理器执行时实现如上所述的基于标签保护的联邦学习模型训练方法的步骤。
30.此外，为实现上述目的，本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的基于标签保护的联邦学习模型训练方法的步骤。
31.本发明实施例中，纵向联邦模型包括部署于第一参与方设备的分类模型，以及包括部署于参与纵向联邦学习的第二参与方设备的第二方特征提取模型，第一参与方设备接收第二参与方设备发送的第二方特征提取数据，其中，第二方特征提取数据由第二参与方设备将训练样本的第二方原始特征数据输入至第二方特征提取模型进行特征提取得到；采用分类模型基于第二方特征提取数据进行分类，得到训练样本对应的分类结果，并根据分类结果和训练样本对应的分类标签确定分类损失函数；对分类标签和第二方特征提取数据进行维度处理，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数，其中，维度处理包括对分类标签进行升维处理和/或对第二方特征提取数据进行降维处理；根据分类损失函数和第一去相关损失函数确定总损失函数，基于总损失函数对纵向联邦模型进行更新。
32.本发明实施例中，通过在总损失函数中添加第一去相关损失函数，第一去相关损失函数基于维度处理后的分类标签和第二方特征提取数据确定得到，实现了在防御模型补全攻击的同时降低对联合建模效果的影响。
33.对于基于分类标签和降维处理后的第二方特征提取数据确定第一去相关损失函数的情况，由于降维处理后的第二方特征提取数据中只包括了原始的第二方特征提取数据中的部分信息，使得原始的第二方特征提取数据中有一部分信息能够充分发挥其与分类标签之间具有相关性的价值，从而使得分类模型能够利用该部分信息所提供的价值来进行分类预测，进而降低对联合建模效果的影响；同时，由于原始的第二方特征提取数据中通过降维处理后所得到的部分信息，通过在对纵向联邦模型进行训练的过程中，在分类损失中添加了基于该部分信息和分类标签所确定的第一去相关损失函数，从而去掉或弱化了分类标签与该部分信息的相关性，从而仍然能够实现防御模型补全攻击的效果。
34.对于基于第二方特征提取数据和升维处理后的分类标签确定第一去相关损失函数的情况，升维处理后的分类标签中除了包括原始的分类标签的信息外，还包括了一些额外的信息。由于升维处理后的分类标签中包括了原始的分类标签的信息，通过在对纵向联邦模型进行训练的过程中，在分类损失中添加了基于第二方特征提取数据和升维处理后的分类标签所确定的第一去相关损失函数，使得弱化了第二方特征提取数据和原始的分类标签的相关性，从而能够实现防御模型补全攻击的效果；同时，由于升维处理后的分类标签中
还包括一些额外的信息，使得在在弱化第二方特征提取数据和原始的分类标签的相关性时，该额外的信息能够分担这种弱化的强度，使得不至于完全去除掉第二方特征提取数据和原始的分类标签之间的相关性，从而能够降低对联合建模效果的影响。
35.对于基于降维处理后的第二方特征提取数据和升维处理后的分类标签确定第一去相关损失函数的情况，由于结合了上述两种情况，所以也同样能够实现在防御模型补全攻击的同时降低对联合建模效果的影响。
附图说明
36.图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
37.图2为本发明基于标签保护的联邦学习模型训练方法第一实施例的流程示意图；
38.图3为本发明基于标签保护的联邦学习模型训练方法实施例涉及的一种可行的纵向联邦学习框架；
39.图4为本发明基于标签保护的联邦学习模型训练方法实施例涉及的一种可行的纵向联邦学习框架；
40.图5为本发明基于标签保护的联邦学习模型训练方法实施例涉及的一种可行的纵向联邦学习框架。
41.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
43.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
44.需要说明的是，本发明实施例基于标签保护的联邦学习模型训练设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。
45.如图1所示，该基于标签保护的联邦学习模型训练设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
46.本领域技术人员可以理解，图1中示出的设备结构并不构成对基于标签保护的联邦学习模型训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
47.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于标签保护的联邦学习模型训练程序。操作系统是管理和控制设备硬件和软件资源的程序，支持基于标签保护的联邦学习模型训练程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的基于标签保护的联邦学习模型训练程序，并执行以下本发明基于标签保护的联邦学习模型
训练方法各实施例所述的操作。
48.基于上述的结构，提出基于标签保护的联邦学习模型训练方法的各个实施例。
49.参照图2，图2为本发明基于标签保护的联邦学习模型训练方法第一实施例的流程示意图。
50.本发明实施例提供了基于标签保护的联邦学习模型训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中，基于标签保护的联邦学习模型训练方法应用于参与纵向联邦学习的第一参与方设备。第一参与方设备部署于参与纵向联邦学习的第一参与方，将参与纵向联邦学习的其它参与方中部署的用于纵向联邦学习的设备称为第二参与方设备。第一参与方设备和第二参与方设备可以是智能手机、个人计算机、服务器等设备，在本实施例中并不做限制。在本实施例中，基于标签保护的联邦学习模型训练方法包括：
51.步骤s10，接收所述第二参与方设备发送的第二方特征提取数据，其中，所述第二方特征提取数据由所述第二参与方设备将训练样本的第二方原始特征数据输入至所述第二方特征提取模型进行特征提取得到。
52.参与纵向联邦学习的参与方一般有一个提供标签数据的参与方(可称为“数据应用方”)和至少一个仅提供特征数据(为与以下称为“原始特征数据”以示区分)的参与方(可称为“数据提供方”或“特征提供方”)，在一些可行实施方式中，数据应用方也可以提供原始特征数据。在纵向联邦学习的应用场景中，数据应用方以及数据提供方的原始特征数据所属的特征维度是不同的，例如是从不同角度拍摄的图像，又如采集的不同维度的用户数据，纵向联邦学习的目的是联合各个参与方中同一样本在不同特征维度的原始特征数据来进行建模，从而充分利用样本各维度的特征以提高模型的预测准确度。
53.为便于描述，将部署于数据应用方的设备称为数据应用方设备，将部署于数据提供方的设备称为数据提供方设备。
54.在具体应用场景中，可以根据需要设定模型任务，并根据该模型任务设计纵向联邦模型，并将纵向联邦模型部署于各个参与方的设备中。在纵向联邦学习阶段，需要对纵向联邦模型进行训练，以更新纵向联邦模型中的模型参数，使得最终训练得到的纵向联邦模型能够完成模型任务，可以将训练完成的纵向联邦模型称为目标任务模型以示区分。模型任务是指建模完成后模型的用途，例如可以是风险预测、广告推荐等，也即，当模型任务是风险预测时，训练得到的目标任务模型可以用于风险预测，当模型任务是广告推荐时，训练得到的目标任务模型可以用于广告推荐，在本实施例中对模型任务并不做限制。
55.本实施例中，将数据应用方称为第一参与方，除第一参与方外的参与方称为第二参与方，将部署于第一参与方中的用于纵向联邦学习的设备称为第一参与方设备，将部署于第二参与方用于纵向联邦学习的设备称为第二参与方设备。
56.在本实施例中，纵向联邦模型包括部署于第一参与方设备的分类模型，以及包括部署于参与纵向联邦学习的第二参与方设备的第二方特征提取模型。
57.一个训练样本可以对应至少一条样本数据，一条样本数据包括该训练样本在各个参与方中的原始特征数据，各个参与方中所拥有的该样本的原始特征数据的特征维度是不同的，可以看作是从不同的角度来描述该样本。例如，在一实施方式中，一个参与方是银行，另一参与方是电商机构，银行拥有用户(样本)的金融活动业务数据，例如存款金额、贷款金
额等，电商拥有用户的购买记录数据，例如，购买商品类型、购买商品金额等，模型任务可以是利用用户的金融活动业务数据和购买记录数据来预测用户的还贷风险。第一参与方设备和第二参与方设备采用共有训练样本的样本数据来进行纵向联邦学习，第一参与方设备拥有共有训练样本的分类标签，第二参与方设备拥有共有训练样本的原始特征数据(称为第二方原始特征数据以示区分)。在本实施例中，对第一参与方设备和第二参与方设备如何确定共有训练样本的方式并不做限制，并且，在以下各实施例中，将共有训练样本均简称为训练样本，也即，以下各实施例中的训练样本均指共有训练样本。
58.纵向联邦学习阶段，可以对纵向联邦模型进行一轮或多轮的更新。以下以对纵向联邦模型的一轮更新为例进行说明。
59.在开始纵向联邦学习之前，分类模型和第二方特征提取模型中的参数可以是随机初始化或根据经验初始化的。
60.第二参与方设备可以从本地或远程获取第二参与方所拥有的各个训练样本的第二方原始特征数据。第二参与方设备在获取到各个训练样本的第二方原始特征数据后，可以将各条第二方原始特征数据分别输入至第二方特征提取模型进行特征提取，得到各个训练样本对应的特征提取数据(以下称为“第二方特征提取数据”以示区分)。需要说明的是，第二方特征提取模型的模型结构在本实施例中并不做限制。第二参与方设备将第二方特征提取数据发送给第一参与方设备。
61.第一参与方设备接收第二参与方设备发送的第二方特征提取数据。需要说明的是，若第二参与方设备有多个，那么，对于每一个训练样本，第一参与方设备将收到该训练样本对应的多条第二方特征提取数据。
62.步骤s20，采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述训练样本对应的分类结果，并根据所述分类结果和所述训练样本对应的分类标签确定分类损失函数。
63.采用分类模型基于第二方特征提取数据进行分类得到分类结果的具体实施方式有很多种，在此并不做限制。例如，在一可行实施方式中，若第二参与方设备有多个，第一参与方设备中没有训练样本对应的原始特征数据，那么对于某一训练样本，第一参与方设备可以将各个第二参与方设备发送的该训练样本对应的第二方特征提取数据进行聚合，得到聚合特征数据，再将聚合特征数据输入至分类模型进行分类得到该训练样本对应的分类结果。又如，在一可行实施方式中，若第二参与方设备有一个，第一参与方设备中没有训练样本对应的原始特征数据，那么对于某一训练样本，第一参与方设备可以将第二参与方设备发送的该训练样本对应的第二方特征提取数据输入至分类模型进行分类，得到该训练样本对应的分类结果。又如，在一可行实施方式中，若第一参与方设备中有训练样本对应的原始特征数据(以下称为第一方原始特征数据以示区分)，那么纵向联邦模型中还包括部署于第一参与方设备的第一方特征提取模型，对于某一训练样本，第一参与方设备可以将该训练样本的第一方原始特征数据输入至第一方特征提取模型进行特征提取，得到该训练样本对应的第一方特征提取数据，并将该训练样本对应的第一方特征提取数据和第二方特征提取数据进行聚合，得到聚合特征数据，将聚合特征数据输入至分类模型进行分类，得到该训练样本对应的分类结果。
64.分类结果是预测的结果，而分类标签是标准的结果，预测的结果和标准的结果之
前可能存在偏差，第一参与方设备可以根据训练样本的分类结果和分类标签确定损失函数(以下称为分类损失函数以示区分)。分类损失函数表征纵向联邦模型对训练样本进行分类的结果与训练样本标注的分类结果之前的误差，通过优化分类损失函数，可以优化纵向联邦模型对训练样本进行分类的准确度。分类损失函数可以采用常用的损失函数计算方式，例如交叉熵损失函数。
65.步骤s30，对所述分类标签和所述第二方特征提取数据进行维度处理，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数，其中，所述维度处理包括对所述分类标签进行升维处理和/或对所述第二方特征提取数据进行降维处理。
66.可以理解的是，本实施例中，维度处理分为三种情况，一种是只对分类标签进行升维处理，对第二方特征提取数据不做处理，第二种是只对第二方特征提取数据进行降维处理，对分类标签不做处理，第三种是对分类标签进行升维处理并对第二方特征提取数据进行降维处理。
67.基于上述的三种情况，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数也分三种情况。第一种是基于第二方特征提取数据和升维处理后的分类标签计算第一去相关损失函数。第二种是基于分类标签和降维处理后的第二方特征提取数据计算第一去相关损失函数。第三种是基于升维处理后的分类标签和降维处理后的第二方特征提取数据计算第一去相关损失函数。
68.在本实施例中，对升维处理和降维处理的具体实施方式并不做限制，可以采用常用的升维处理和降维处理方式。例如，可以通过将分类标签采用插值处理的方式来升维，又如，可以通过将第二方特征提取数据采用降采样的方式进行降维。
69.第一去相关损失函数是以最小化维度处理后的分类标签和第二方特征提取数据之间的相关性为目的而构建的损失函数。在本实施例中，并不限制第一去相关损失函数的具体计算方式。例如，在一可行实施方式中，可以采用距离相关性算法来计算第一去相关损失函数。距离相关性主要是针对输入的两个分布，例如a和b，首先计算分布内两两之间的距离，得到两个矩阵a和b，距离相关性可以通过计算a和b的点乘得到，l
dcorr
＝dot(a,b)/(dot(a,a)*dot(b,b))0.5，当a和b完全不相关时，该损失为0。
70.步骤s40，根据所述分类损失函数和所述第一去相关损失函数确定总损失函数，基于所述总损失函数对所述纵向联邦模型进行更新。
71.在本实施例中，至少根据分类损失函数和第一去相关损失函数来确定总损失函数。在一可行实施方式中，可以通过将分类损失函数与第一去相关损失函数相加或加权求和，得到总损失函数。基于总损失函数对纵向联邦模型进行更新的方式可以采用常规的纵向联邦学习中对纵向联邦模型的更新方式。例如，可以基于总损失函数计算第二方特征提取数据对应的梯度值，以及计算分类模型中的参数对应的梯度值，采用分类模型中的参数对应的梯度值来更新分类模型中的参数，将第二方特征提取数据对应的梯度值反馈给第二参与方设备，第二参与方设备根据第二方特征提取数据对应的梯度值计算第二方特征提取模型中参数对应的梯度值，并根据第二方特征提取模型中参数对应的梯度值来更新第二方特征提取模型中的参数，从而完成对纵向联邦模型的一轮更新。
72.在具体应用场景中，可以对纵向联邦模型进行多轮更新，在检测到迭代更新的停止条件时，将最终更新的纵向联邦模型作为训练完成的目标任务模型。
73.需要说明的是，在本实施例中，无论采用步骤s30的三种情况中的哪一种来确定第一去相关损失函数，都能够实现在防御模型补全攻击的基础上降低对联合建模效果的影响。
74.对于基于分类标签和降维处理后的第二方特征提取数据确定第一去相关损失函数的情况，由于降维处理后的第二方特征提取数据中只包括了原始的第二方特征提取数据中的部分信息，使得原始的第二方特征提取数据中有一部分信息能够充分发挥其与分类标签之间具有相关性的价值，从而使得分类模型能够利用该部分信息所提供的价值来进行分类预测，进而降低对联合建模效果的影响；同时，由于原始的第二方特征提取数据中通过降维处理后所得到的部分信息，通过在对纵向联邦模型进行训练的过程中，在分类损失中添加了基于该部分信息和分类标签所计算的第一去相关损失函数，从而去掉或弱化了分类标签与该部分信息的相关性，从而仍然能够实现防御模型补全攻击的效果。
75.对于基于第二方特征提取数据和升维处理后的分类标签确定第一去相关损失函数的情况，升维处理后的分类标签中除了包括原始的分类标签的信息外，还包括了一些额外的信息。由于升维处理后的分类标签中包括了原始的分类标签的信息，通过在对纵向联邦模型进行训练的过程中，在分类损失中添加了基于第二方特征提取数据和升维处理后的分类标签所计算的第一去相关损失函数，使得弱化了第二方特征提取数据和原始的分类标签的相关性，从而能够实现防御模型补全攻击的效果；同时，由于升维处理后的分类标签中还包括一些额外的信息，使得在在弱化第二方特征提取数据和原始的分类标签的相关性时，该额外的信息能够分担这种弱化的强度，使得不至于完全去除掉第二方特征提取数据和原始的分类标签之间的相关性，从而能够降低对联合建模效果的影响。
76.对于基于降维处理后的第二方特征提取数据和升维处理后的分类标签确定第一去相关损失函数的情况，由于结合了上述两种情况，所以也同样能够实现在防御模型补全攻击的同时降低对联合建模效果的影响。
77.在一可行实施方式中，所述步骤s30中基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数的步骤包括：
78.步骤s301，确定基于维度处理后的分类标签和第二方特征提取数据之间的分布相关性；
79.在本实施方式中，可以通过配置维度处理方法中的参数，使得维度处理后的分类标签和第二方特征提取数据的维度大小相同，例如，使得维度处理后的分类标签和第二方特征提取数据均是10维。可以计算经过维度处理后维度大小相同的分类标签和第二方特征提取数据之间的分布相关性。分布相关性描述两个分布之间的相似度。计算分布相关性的常用方法包括kl散度(kullback-leibler divergence loss)、交叉熵损失函数(cross-entropy loss)和余弦相似性(cosine similarity)等，在本实施方式中，对具体采用哪种方法并不做限制。计算分布相关性要求比对的两个分布的维度大小相同。对于kl和ce，均是分布越相似值越小，因此在使用时需要添加负号，即最小化minus kl和minus ce这样才能达到去相关的目的，即l
dcorr
＝-ce(a,b)或l
dcorr
＝-kl(a,b)。对于余弦相似性，分布不相关时值为0，直接对其最小化即可，l
dcorr
＝cos_sim(a,b)。
80.步骤s302，计算以最小化所述分布相关性为目的的第一去相关损失函数。
81.基于距离相关性算法计算第一去相关损失函数，需要将维度处理后的分类标签和
第二方特征提取数据转换为标量后进行计算距离，这种方法计算得到的相关性不够准确，相比于基于距离相关性算法计算第一去相关损失函数，在本实施方式中，通过设置维度处理后的分类标签和第二方特征提取数据维度大小相同，并采用分布相关性来计算第一去相关损失函数，由于分布相关性方法计算得到的相关性更加准确，使得计算得到的第一去相关损失函数也更加准确，进而能够提高对模型补全攻击的防御效果。
82.在一可行实施方式中，当维度处理包括对第二方特征提取数据进行降维处理时，所采用的降维处理方法可以是能够提取第二方特征提取数据中最主要信息的方法，例如，主成分分析法、奇异值分解法等，具体采用哪种方法在本实施方式中并不做限制。通过能够提取第二方特征提取数据中最主要信息的方法对第二方特征提取数据进行降维处理，使得在第二方特征提取数据中最主要的信息尽量少用于进行分类预测，从而进一步提升对模型补全攻击的防御效果，而其余与次要的信息能够尽量多地用于进行分类预测，从而进一步地降低对联合建模效果的影响。
83.基于上述第一实施例，提出本发明基于标签保护的联邦学习模型训练方法第二实施例，在本实施例中，所述步骤s20包括：
84.步骤s201，将第一方特征提取数据和所述第二方特征提取数据进行聚合得到聚合特征数据，将所述聚合特征数据输入至所述分类模型进行分类，得到所述训练样本对应的分类结果，其中，所述第一方特征提取数据由所述第一参与方设备将所述训练样本的第一方原始特征数据输入至所述第一方特征提取模型进行特征提取得到。
85.在本实施例中，对于数据应用方(也即第一参与方)中也有原始特征数据的情况，可以通过进一步对聚合特征数据和第二方特征提取数据进行去相关的方式，进一步提升防御效果。
86.对于数据应用方中也有原始特征数据的情况，纵向联邦模型中还包括部署于第一参与方设备的第一方特征提取模型。第一参与方设备可以从本地或远程获取第一参与方所拥有的各个训练样本的第一方原始特征数据。第一参与方设备在获取到各个训练样本的第一方原始特征数据后，可以将各条第一方原始特征数据分别输入至第一方特征提取模型进行特征提取，得到各个训练样本对应的特征提取数据(以下称为“第一方特征提取数据”以示区分)。需要说明的是，第一方特征提取模型的模型结构在本实施例中并不做限制。
87.第一参与方设备在得到第一方特征提取数据和第二方特征提取数据后，可以将第一方特征提取数据和第二方特征提取数据进行聚合，得到聚合特征数据。聚合的方式在本实施例中并不做限制，例如，可以采用拼接、取平均或最大池化(max-pooling)的方式。第一方特征提取数据的维度大小表示为da，第二方特征提取数据的维度大小表示为db，聚合特征数据的维度大小表示为d
agg
。采用拼接方式的情况下，d
agg
＝da+db，采用取平均和最大池化(max-pooling)的方式时，要求da＝db,聚合得到的聚合特征数据的维度大小d
agg
＝da＝db。
88.第一参与方设备可以将聚合特征数据输入至分类模型进行分类，得到训练样本对应的分类结果。
89.所述s40步骤之前，还包括：
90.步骤s50，基于所述聚合特征数据和所述第二方特征提取数据确定第二去相关损失函数。
91.第一参与方设备在得到聚合特征数据和第二方特征提取数据后，可以基于聚合特
征数据和第二方特征提取数据确定第二去相关损失函数，第二去相关损失函数旨在最小化聚合特征数据和第二方特征提取数据之间的相关性。在本实施例中，对基于聚合特征数据和第二方特征提取数据确定第二去相关损失函数的方式并不做限制。例如，可以计算聚合特征数据和第二特征提取数据之间的距离相关性，根据距离相关性计算第二去相关损失函数。又如，当聚合特征数据和第二特征提取数据的维度大小相同时，可以计算聚合特征数据和第二特征提取数据之间的分布相关性，根据分布相关性计算第二去相关损失函数。再如，当聚合特征数据和第二特征提取数据的维度大小不同时，可以将聚合特征数据和第二特征提取数据进行维度处理，使得维度处理后的聚合特征数据和第二特征提取数据的维度大小相同，在计算维度大小相同的聚合特征数据和第二特征提取数据之间的分布相关性，根据分布相关性计算第二去相关损失函数。
92.所述步骤s40包括：
93.步骤s401，根据所述分类损失函数、所述第一去相关损失函数和所述第二去相关损失函数确定总损失函数。
94.在本实施例中，确定总损失函数可以是将分类损失函数、第一去相关损失函数和第二去相关损失函数相加，或者加权求和得到总损失函数。其中，若采用加权求和的方式，可以根据需要设置权重。例如，总损失函数为l
total
＝l
cls
+αl
dcorr,y
+βl
dcorr,h
，其中，l
cls
表示分类损失函数，l
dcorr,y
表示第一去相关损失函数，l
dcorr,h
表示第二去相关损失函数，α和β表示第一去相关损失函数和第二去相关损失函数对应的权重。
95.在本实施例中，聚合特征数据用于输入分类模型预测得到分类结果，通过在总损失函数中进一步添加第二去相关损失函数，可以实现通过纵向联邦模型的训练过程降低聚合特征数据和第二方特征提取数据之间的相关性的效果，从而间接地降低第二方特征提取数据和分类标签之间的相关性，从而可以进一步地提高对模型补全攻击的防御效果。
96.基于上述第一和/或第二实施例，提出本发明基于标签保护的联邦学习模型训练方法第三实施例，在本实施例中，所述步骤s30中对所述第二方特征提取数据进行降维处理的步骤包括：
97.步骤s303，基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果，将所述第一编码结果作为降维处理后的第二方特征提取数据。
98.在本实施例中，当维度处理包括对第二方特征提取数据进行降维处理时，可以预先设置一个编码器(以下称为预设编码器以示区分)。预设编码器的结构在本实施例中并不做限制，采用预设编码器对输入的原始数据进行编码处理后得到的编码结果的维度大小比原始数据要小，从而达到降维的效果。
99.可以将第二方特征提取数据输入至预设编码器进行编码处理，得到的编码结果称为第一编码结果以示区分。将第一编码结果作为降维处理后的第二方特征提取数据。
100.为进一步降低对建模效果的影响，在一可行实施方式中，所述步骤s303之前，还包括：
101.步骤s60，将所述第二方特征提取数据输入至所述预设编码器进行编码处理，得到第二编码结果。
102.可以预先设置一个自编码器，以下称为第一预设自编码器以示区分。第一预设自编码器中包括编码器和解码器，将该编码器作为预设编码器(也即作为用于对第二方特征
提取数据进行降维处理的编码器)。
103.可以在每一次对纵向联邦模型进行更新之前，对第一预设自编码器进行一轮或多轮的更新。以下以对第一预设自编码器进行一轮更新为例进行说明。
104.第一参与方设备可以将第二方特征提取数据输入至预设编码器进行编码处理，得到编码结果(以下称为第二编码结果以示区分)。
105.步骤s70，将所述第二编码结果输入至所述第一预设自编码器中的解码器进行解码处理，得到重构结果。
106.将第二编码结果输入至第一预设自编码器中的解码器进行解码处理，得到的结果称为重构结果，也即，将第二编码结果输入至解码器的目的是重构出第二方特征提取数据。
107.步骤s80，基于所述重构结果和所述第二方特征提取数据确定自编码损失函数，基于所述自编码损失函数更新所述预设编码器和所述解码器中的参数，并基于更新参数后的所述预设编码器执行所述步骤s303。
108.第一参与方设备根据重构结果和第二方特征提取数据确定自编码损失函数。自编码损失函数旨在最小化重构结果和第二方特征提取数据之间的误差。自编码损失函数可以采用常用自编码损失函数的计算方式，在此并不做限制，例如可以采用均方根误差的计算方式。基于自编码损失函数更新预设编码器和解码器中的参数，从而完成对第一预设自编码器的一轮更新。在对第一预设自编码器进行一轮或多轮的更新后，可以基于更新参数后的预设编码器对第二方特征提取数据进行编码处理得到第一编码结果，进而将第一编码结果作为降维处理后的第二方特征提取数据。
109.通过对第一预设自编码器进行训练，可以使得第一预设自编码器能够编码得到第二方特征提取数据中最主要的成分，由于纵向联邦模型的训练过程中损失函数包括第一去相关损失函数，使得通过对第二方特征提取数据采用预设编码器进行降维处理后的结果与分类标签之间的相关性尽量降低，而由于第一预设自编码器和纵向联邦模型的训练过程是同步的，通过纵向联邦模型的训练能够影响第一预设自编码器中预设编码器的编码结果，使得该预设编码器能够编码得到第二方特征提取数据中与分类标签相关性最高的成分。而由于预设编码器能够编码得到第二方特征提取数据中与分类标签相关性最高的成分，所以结合第一去相关损失函数，能够使得在第二方特征提取数据中与分类标签相关性最高的成分尽量少地用于进行分类预测，从而最大程度地提升对模型补全攻击的防御效果，而其余与分类标签次相关的成分能够尽量多地用于进行分类预测，从而最大程度地降低对联合建模效果的影响。
110.在一可行实施方式中，以参与方a和参与方b两方联合建模为例进行说明，但可以推广到多方的场景。如图3所示，参与方a有标签信息ya(图中未示出),同时有可能有原始特征数据xa(图中未示出)，参与方b有原始特征数据xb。a方部署分类模型classifier和自编码模型，自编码模型包括编码器encoder和解码器decoder,b方部署有特征提取模型mb，a方有原始特征数据xa的情况下，a方还可以部署特征提取模型ma(图中未示出)。一轮纵向联邦更新过程为：
111.1、b方计算特征提取数据hb＝mb(xb)，b方将hb发给a方。在a方有原始特征数据xa的情况下，a方可以计算特征提取数据ha＝ma(xa)(图中未示出)。
112.2、在a方没有原始特征数据xa的情况下，a方将hb输入分类模型classifier，并基于
分类结果和分类标签ya计算分类损失函数classification loss(图中示出的是这种情况)。在a方有原始特征数据xa的情况下，a方将ha和hb聚合得到h
agg
，输入分类模型classifier，并基于分类结果和分类标签ya计算分类损函数失classification loss(图中未示出这种情况)。
113.3、a方将hb输入编码器encoder进行编码，得到编码结果encodingb，再输入解码器decoder进行重构，基于重构结果和hb计算重构损失函数reconstruction loss(也称为自编码损失函数)，根据重构损失函数更新编码器encoder和解码器decoder。更新自编码器后，再将hb输入编码器encoder进行编码，得到编码结果encodingb，基于encodingb和ya计算去相关损失函数decorrelation loss。
114.4、a方根据去相关损失函数decorrelation loss和分类损失函数classification loss计算总损失函数，根据总损失函数更新分类模型classifier(在a方有部署特征提取模型ma的情况下，还根据总损失函数更新特征提取模型ma)，并计算总损失函数对于hb的梯度gb，将gb发给b方；b方基于gb更新mb。
115.基于上述第一和/或第二实施例，提出本发明基于标签保护的联邦学习模型训练方法第四实施例，在本实施例中，所述步骤s30中对所述第二方特征提取数据进行降维处理的步骤包括：
116.步骤s304，从所述第二方特征提取数据中截取与所述分类标签维度相同的部分作为降维处理后的第二方特征提取数据。
117.当分类标签的维度小于第二方特征提取数据的维度，且维度处理包括对第二方特征提取数据进行降维处理时，可以通过对第二方特征提取数据进行截取与分类标签维度相同的部分的方式进行降维处理。例如，第二方特征提取数据有10维，分类标签有2维，则可以截取第二方特征提取数据中的前两维，将前两维与分类标签计算第一去相关损失函数。
118.基于上述第一、第二、第三和/或第四实施例，提出本发明基于标签保护的联邦学习模型训练方法第五实施例，在本实施例中，所述步骤s30中对所述分类标签进行升维处理的步骤包括：
119.步骤s305，基于第二预设自编码器中的编码器对所述分类标签进行编码处理得到第三编码结果，将所述第三编码结果作为升维处理后的分类标签，其中，所述第二预设自编码器为稀疏自编码器。
120.预先可以设置一个稀疏自编码器(以下称为第二预设自编码器以示区分)，采用稀疏自编码器中的编码器来对分类标签进行编码处理，得到的编码结果称为(第三编码结果)。由于第二预设自编码器是稀疏自编码器，所以第三编码结果的维度大小要大于分类标签的维度大小，从而达到升维的效果。
121.第二预设自编码器的训练方法在本实施例中并不做限制。例如，在一可行实施方式中，可以在每一次对纵向联邦模型进行更新之前，对第二预设自编码器进行一轮或多轮的更新。以下以对第二预设自编码器进行一轮更新为例进行说明。第一参与方设备可以将分类标签输入至第二预设自编码器中的编码器进行编码处理，得到编码结果(以下称为第四编码结果以示区分)。第一参与方设备可以将第四编码结果输入至第二预设自编码器中的解码器进行解码处理，得到的结果称为重构结果(以下称为标签重构结果以示区分)，也即，将第四编码结果输入至解码器的目的是重构出分类标签。第一参与方设备可以基于标
签重构结果和分类标签计算自编码损失函数，基于该自编码损失函数更新第二预设自编码器中的参数，并基于更新参数后的所述第二预设自编码器中的编码器对分类标签进行编码处理，得到第三编码结果，进而将第三编码结果作为升维处理后的分类标签。
122.在一可行实施方式中，以参与方a和参与方b两方联合建模为例进行说明，但可以推广到多方的场景。如图4所示，参与方a有标签信息ya(图中未示出),同时有可能有原始特征数据xa(图中未示出)，参与方b有原始特征数据xb。a方部署分类模型classifier、自编码模型h和自编码器y，自编码模型h包括编码器encoderh和解码器decoderh,自编码器y包括编码器encodery和解码器decodery，b方部署有特征提取模型mb，a方有原始特征数据xa的情况下，a方还可以部署特征提取模型ma(图中未示出)。一轮纵向联邦更新过程为：
123.1、b方计算特征提取数据hb＝mb(xb)，b方将hb发给a方。在a方有原始特征数据xa的情况下，a方可以计算特征提取数据ha＝ma(xa)(图中未示出)。
124.2、在a方没有原始特征数据xa的情况下，a方将hb输入分类模型classifier，并基于分类结果和分类标签ya计算分类损失函数classification loss(图中示出的是这种情况)。在a方有原始特征数据xa的情况下，a方将ha和hb聚合得到h
agg
，输入分类模型classifier，并基于分类结果和分类标签ya计算分类损函数失classification loss(图中未示出这种情况)。
125.3、a方将hb输入编码器encoderh进行编码，得到编码结果encodingb，再输入解码器decoderh进行重构，基于重构结果和hb计算重构损失函数reconstruction loss1(也称为自编码损失函数)，根据重构损失函数更新编码器encoderh和解码器decoderh。
126.a方将ya输入编码器encodery进行编码，得到编码结果encodingy，再输入解码器decodery进行重构，基于重构结果和ya计算重构损失函数reconstruction loss2(也称为自编码损失函数)，根据重构损失函数更新编码器encodery和解码器decodery。
127.更新自编码器h和自编码器y后，再将hb输入编码器encoderh进行编码，得到编码结果encodingb，将ya输入编码器encodery进行编码，得到编码结果encodingy基于encodingb和encodingy计算去相关损失函数decorrelation loss。
128.4、a方根据去相关损失函数decorrelation loss和分类损失函数classification loss计算总损失函数，根据总损失函数更新分类模型classifier(在a方有部署特征提取模型ma的情况下，还根据总损失函数更新特征提取模型ma)，并计算总损失函数对于hb的梯度gb，将gb发给b方；b方基于gb更新mb。
129.在一可行实施方式中，以参与方a和参与方b两方联合建模为例进行说明，但可以推广到多方的场景。如图5所示，参与方a有标签信息ya(图中未示出),同时有原始特征数据xa，参与方b有原始特征数据xb。a方部署特征提取模型ma、分类模型classifier、自编码模型h和自编码器y，自编码模型h包括编码器encoderh和解码器decoderh,自编码器y包括编码器encodery和解码器decodery，b方部署有特征提取模型mb。一轮纵向联邦更新过程为：
130.1、b方计算特征提取数据hb＝mb(xb)，b方将hb发给a方。a方计算特征提取数据ha＝ma(xa)。
131.2、a方将ha和hb聚合得到聚合特征数据h
agg
(图中未示出h
agg
)，输入分类模型classifier，并基于分类结果和分类标签ya计算分类损函数失classification loss。
132.3、a方将hb输入编码器encoderh进行编码，得到编码结果encodingb，再输入解码器
decoderh进行重构，基于重构结果和hb计算重构损失函数reconstruction loss1(也称为自编码损失函数)，根据重构损失函数更新编码器encoderh和解码器decoderh。
133.a方将ya输入编码器encodery进行编码，得到编码结果encodingy，再输入解码器decodery进行重构，基于重构结果和ya计算重构损失函数reconstruction loss2(也称为自编码损失函数)，根据重构损失函数更新编码器encodery和解码器decodery。
134.更新自编码器h和自编码器y后，再将hb输入编码器encoderh进行编码，得到编码结果encodingb，将ya输入编码器encodery进行编码，得到编码结果encodingy基于encodingb和encodingy计算去相关损失函数decorrelation loss1。
135.4、a方根据h
agg
和hb计算去相关损失函数decorrelation loss2。
136.5、a方根据去相关损失函数decorrelation loss1、去相关损失函数decorrelation loss2和分类损失函数classification loss计算总损失函数，根据总损失函数更新分类模型classifier(在a方有部署特征提取模型ma的情况下，还根据总损失函数更新特征提取模型ma)，并计算总损失函数对于hb的梯度gb，将gb发给b方；b方基于gb更新mb。
137.进一步地，在一实施方式中，第一参与方可以是银行，第一参与方拥有用户(样本)的还贷风险标签，还可能拥有用户在银行办理业务时产生的业务数据，具体可以包括存取款记录、贷款记录、还款记录等。第二参与方可以是电商机构，第二参与方拥有用户在电商平台购买商品时产生的购买记录数据，具体可以包括购买商品金额、付款方式、退换货次数等。第一参与方和第二参与方可以设定基于用户的购买记录数据(或者还基于用户的业务数据)预测用户还贷风险的模型任务，纵向联邦模型可以包括分类模型和第二方特征提取模型，在第一参与方设备中部署分类模型，在第二参与方设备中部署第二方特征提取模型，通过对分类模型和第二方特征提取模型采用用户的购买记录数据(或者还基于用户的业务数据)和还贷风险标签进行纵向联邦学习，得到还贷风险预测模型，用于预测用户的还贷风险。对纵向联邦模型的一轮更新过程可以包括：
138.第一参与方设备接收所述第二参与方设备发送的第二方特征提取数据，其中，所述第二方特征提取数据由所述第二参与方设备将用户的购买记录数据输入至所述第二方特征提取模型进行特征提取得到；
139.第一参与方设备采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述用户对应的分类结果，分类结果用于表征用户是否有还贷预期风险，并根据所述分类结果和所述用户对应的还贷风险标签确定分类损失函数；
140.对所述还贷风险标签和所述第二方特征提取数据进行维度处理，基于维度处理后的还贷风险标签和第二方特征提取数据确定第一去相关损失函数，其中，所述维度处理包括对所述还贷风险标签进行升维处理和/或对所述第二方特征提取数据进行降维处理；
141.根据所述分类损失函数和所述第一去相关损失函数确定总损失函数，基于所述总损失函数对所述纵向联邦模型进行更新。
142.在本实施方式中，通过分类损失函数中添加第一去相关损失函数，使得在对纵向联邦模型训练的过程中，能够最终训练得到的还贷风险预测模型对模型补全攻击的防御效果，也即，能够预防电商机构通过训练得到的第二方特征提取模型补全得到完整的还贷风险预测模型进而预测得到各个用户的还贷风险。并且，能够实现降低对还贷风险预测模型的预测效果的影响，也即，使得还贷风险预测模型仍然能够具备较优的预测准确度。
143.此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有基于标签保护的联邦学习模型训练程序，所述基于标签保护的联邦学习模型训练程序被处理器执行时实现如下所述的基于标签保护的联邦学习模型训练方法的步骤。
144.本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的基于标签保护的联邦学习模型训练方法的步骤。
145.本发明基于标签保护的联邦学习模型训练设备、计算机可读存储介质和计算机程序产品的各实施例，均可参照本发明基于标签保护的联邦学习模型训练方法各个实施例，此处不再赘述。
146.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
147.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
148.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
149.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于标签保护的联邦学习模型训练方法，其特征在于，所述方法应用于参与纵向联邦学习的第一参与方设备，纵向联邦模型包括部署于所述第一参与方设备的分类模型，以及包括部署于参与纵向联邦学习的第二参与方设备的第二方特征提取模型，所述方法包括以下步骤：接收所述第二参与方设备发送的第二方特征提取数据，其中，所述第二方特征提取数据由所述第二参与方设备将训练样本的第二方原始特征数据输入至所述第二方特征提取模型进行特征提取得到；采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述训练样本对应的分类结果，并根据所述分类结果和所述训练样本对应的分类标签确定分类损失函数；对所述分类标签和所述第二方特征提取数据进行维度处理，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数，其中，所述维度处理包括对所述分类标签进行升维处理和/或对所述第二方特征提取数据进行降维处理；根据所述分类损失函数和所述第一去相关损失函数确定总损失函数，基于所述总损失函数对所述纵向联邦模型进行更新。2.如权利要求1所述的基于标签保护的联邦学习模型训练方法，其特征在于，所述采用所述分类模型基于所述第二方特征提取数据进行分类，得到所述训练样本对应的分类结果的步骤包括：将第一方特征提取数据和所述第二方特征提取数据进行聚合得到聚合特征数据，将所述聚合特征数据输入至所述分类模型进行分类，得到所述训练样本对应的分类结果，其中，所述第一方特征提取数据由所述第一参与方设备将所述训练样本的第一方原始特征数据输入至所述第一方特征提取模型进行特征提取得到；所述根据所述分类损失函数和所述第一去相关损失函数确定总损失函数的步骤之前，还包括：基于所述聚合特征数据和所述第二方特征提取数据确定第二去相关损失函数；所述根据所述分类损失函数和所述第一去相关损失函数确定总损失函数的步骤包括：根据所述分类损失函数、所述第一去相关损失函数和所述第二去相关损失函数确定总损失函数。3.如权利要求1所述的基于标签保护的联邦学习模型训练方法，其特征在于，当维度处理包括对所述第二方特征提取数据进行降维处理时，对所述第二方特征提取数据进行降维处理的步骤包括：基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果，将所述第一编码结果作为降维处理后的第二方特征提取数据。4.如权利要求3所述的基于标签保护的联邦学习模型训练方法，其特征在于，所述预设编码器为第一预设自编码器中的编码器，所述基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果的步骤之前，还包括：将所述第二方特征提取数据输入至所述预设编码器进行编码处理，得到第二编码结果；将所述第二编码结果输入至所述第一预设自编码器中的解码器进行解码处理，得到重构结果；
基于所述重构结果和所述第二方特征提取数据确定自编码损失函数，基于所述自编码损失函数更新所述预设编码器和所述解码器中的参数，并基于更新参数后的所述预设编码器执行所述基于预设编码器对所述第二方特征提取数据进行编码处理得到第一编码结果的步骤。5.如权利要求1所述的基于标签保护的联邦学习模型训练方法，其特征在于，所述分类标签的维度小于所述第二方特征提取数据的维度，当维度处理包括对所述第二方特征提取数据进行降维处理时，对所述第二方特征提取数据进行降维处理的步骤包括：从所述第二方特征提取数据中截取与所述分类标签维度相同的部分作为降维处理后的第二方特征提取数据。6.如权利要求1所述的基于标签保护的联邦学习模型训练方法，其特征在于，当维度处理包括对所述分类标签进行升维处理时，对所述分类标签进行升维处理的步骤包括：基于第二预设自编码器中的编码器对所述分类标签进行编码处理得到第三编码结果，将所述第三编码结果作为升维处理后的分类标签，其中，所述第二预设自编码器为稀疏自编码器。7.如权利要求1至6任一项所述的基于标签保护的联邦学习模型训练方法，其特征在于，维度处理后的分类标签和第二方特征提取数据的维度大小相同，所述基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数的步骤包括：确定基于维度处理后的分类标签和第二方特征提取数据之间的分布相关性；计算以最小化所述分布相关性为目的的第一去相关损失函数。8.一种基于标签保护的联邦学习模型训练设备，其特征在于，所述基于标签保护的联邦学习模型训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于标签保护的联邦学习模型训练程序，所述基于标签保护的联邦学习模型训练程序被所述处理器执行时实现如权利要求1-7任一项所述的基于标签保护的联邦学习模型训练方法的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于标签保护的联邦学习模型训练程序，所述基于标签保护的联邦学习模型训练程序被处理器执行时实现如权利要求1-7任一项所述的基于标签保护的联邦学习模型训练方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于标签保护的联邦学习模型训练方法的步骤。

技术总结
本发明公开了一种基于标签保护的联邦学习模型训练方法、设备、存储介质及程序产品，其中方法包括：第一参与方设备接收第二参与方设备发送的第二方特征提取数据；采用分类模型基于第二方特征提取数据进行分类，得到训练样本对应的分类结果，并根据分类结果和训练样本对应的分类标签确定分类损失函数；对分类标签和第二方特征提取数据进行维度处理，基于维度处理后的分类标签和第二方特征提取数据确定第一去相关损失函数；根据分类损失函数和第一去相关损失函数确定总损失函数，基于总损失函数对纵向联邦模型进行更新。本发明实现了在防御模型补全攻击的同时降低对联合建模效果的影响。响。响。


技术研发人员：何元钦 康焱
受保护的技术使用者：深圳前海微众银行股份有限公司
技术研发日：2023.06.26
技术公布日：2023/9/19