一种联邦学习优化方法及系统与流程

1.本发明涉及深度学习和隐私计算技术领域，具体提供一种联邦学习优化方法及系统。


背景技术：

2.数据作为当今战略性和基础性资源，不但是社会、企业、个人的重要组成部分，也是数字经济体系中技术创新、需求挖掘、效率提升的重要动能。然而，部分数据由于涉及到个人隐私或行业机密，只能在一定域内存储及使用，从而形成了大量的数据孤岛，各个孤岛之间数据无法互通，数据也就无法充分进行挖掘和利用。联邦学习作为隐私计算的一个重要分支，对于打通数据孤岛起着非常重要的作用。各个数据提供方通过联邦学习的方式对数据进行建模、训练，真正做到了数据在互不出域、互不可见的情况下，充分挖掘数据的潜在价值，同时能有效防止数据泄露带来的灾难性后果。
3.目前，横向联邦学习在模型聚合时采用的加权聚合方法(fedavg)，各客户端模型的权重为该客户端数据量所占总数据量的比例。然而由于各client数据分布不同，即数据集之间存在非独立同分布(non-iid)情况，导致使用fedavg进行模型聚合时出现效果差、难以收敛等情况，从而影响了联邦学习的最终效果。在这种情况下，如何设计一种高效的参数聚合方法，使得联邦学习的效果趋近于集中式学习，成为了亟需解决的问题。


技术实现要素：

4.本发明是针对上述现有技术的不足，提供一种实用性强的联邦学习优化方法。
5.本发明进一步的技术任务是提供一种设计合理，安全适用的联邦学习优化系统。
6.本发明解决其技术问题所采用的技术方案是：
7.一种联邦学习优化方法，具有如下步骤：
8.s1、首先服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行第一次加权聚合；
9.s2、所述服务端将聚合模型下发至客户端，客户端进行测试；
10.s3、所述客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；
11.s4、循环步骤s1至步骤s3，直到模型训练达到结束条件。
12.进一步的，在步骤s1中，首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合。
13.进一步的，在步骤s2中，首先，服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：
[0014][0015]
进一步的，在步骤s3中，所述客户端对下发的聚合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：
[0016][0017]
其中，n为客户端数量。
[0018]
进一步的，所述第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；
[0019]
所述准确率a为预测正确的数量占总数量的比例；
[0020]
所述结束条件为预设的训练轮次或全局准确率达到预定值。
[0021]
一种联邦学习优化系统，首先，服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行第一次加权聚合；
[0022]
然后，服务端将聚合模型下发至客户端，客户端进行测试，客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；
[0023]
循环以上，直到模型训练达到结束条件。
[0024]
进一步的，首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合。
[0025]
进一步的，服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：
[0026][0027]
进一步的，所述客户端对下发的聚合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：
[0028][0029]
其中，n为客户端数量。
[0030]
进一步的，所述第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；
[0031]
所述准确率a为预测正确的数量占总数量的比例；
[0032]
所述结束条件为预设的训练轮次或全局准确率达到预定值。
[0033]
本发明的一种联邦学习优化方法及系统和现有技术相比，具有以下突出的有益效果：
[0034]
本发明利用客户端数据集对服务端下发的聚合模型进行测试得到模型准确率，根据模型准确率及本地数据量计算得到客户端贡献值，服务端根据贡献值来指导计算模型聚合的权重。
[0035]
在模型聚合时根据本地测试准确率和数据量动态调整客户端权重，提高了本地测试准确率低和数据量大的客户端模型所占权重，使得模型聚合更具有针对性，从而提高了联邦学习最终的训练效果。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
附图1是一种联邦学习优化方法的流程示意图(一)；
[0038]
附图2是一种联邦学习优化方法的流程示意图(二)。
具体实施方式
[0039]
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
[0040]
下面给出一个最佳实施例：
[0041]
如图1-2所示，本实施例中一种联邦学习优化方法，具有如下步骤：
[0042]
s1、首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合；
[0043]
s2、首先，服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：
[0044][0045]
s3、客户端对下发的聚合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：
[0046][0047]
其中，n为客户端数量。
[0048]
s4、循环步骤s1至步骤s3，直到模型训练达到结束条件。
[0049]
其中，第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；
[0050]
准确率a为预测正确的数量占总数量的比例；
[0051]
结束条件为预设的训练轮次或全局准确率达到预定值。
[0052]
基于上述方法，本实施例中的一种联邦学习优化系统，首先，服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行
第一次加权聚合；
[0053]
然后，服务端将聚合模型下发至客户端，客户端进行测试，客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；
[0054]
循环以上，直到模型训练达到结束条件。
[0055]
其中，首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合。
[0056]
服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：
[0057][0058]
客户端对下发的聚合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：
[0059][0060]
其中，n为客户端数量。
[0061]
第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；
[0062]
所述准确率a为预测正确的数量占总数量的比例；
[0063]
所述结束条件为预设的训练轮次或全局准确率达到预定值。
[0064]
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种联邦学习优化方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
[0065]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种联邦学习优化方法，其特征在于，具有如下步骤：s1、首先服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行第一次加权聚合；s2、所述服务端将聚合模型下发至客户端，客户端进行测试；s3、所述客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；s4、循环步骤s1至步骤s3，直到模型训练达到结束条件。2.根据权利要求1所述的一种联邦学习优化方法，其特征在于，在步骤s1中，首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合。3.根据权利要求2所述的一种联邦学习优化方法，其特征在于，在步骤s2中，首先，服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：4.根据权利要求3所述的一种联邦学习优化方法，其特征在于，在步骤s3中，所述客户端对下发的聚合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：其中，n为客户端数量。5.根据权利要求4所述的一种联邦学习优化方法，其特征在于，所述第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；所述准确率a为预测正确的数量占总数量的比例；所述结束条件为预设的训练轮次或全局准确率达到预定值。6.一种联邦学习优化系统，其特征在于，首先，服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行第一次加权聚合；然后，服务端将聚合模型下发至客户端，客户端进行测试，客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；循环以上，直到模型训练达到结束条件。7.根据权利要求6所述的一种联邦学习优化系统，其特征在于，首先服务端生成初始化模型并下发至客户端，客户端利用本地数据集对下发的模型进行训练，训练结束后，各客户端将模型及本地数据量上传至服务端，服务端进行第一次加权聚合。8.根据权利要求7所述的一种联邦学习优化系统，其特征在于，服务端将聚合模型下发至客户端，客户端使用本地训练集对下发的模型进行测试，得到准确率a，根据准确率a及本客户端数据量m计算贡献值c，公式如下：9.根据权利要求8所述的一种联邦学习优化系统，其特征在于，所述客户端对下发的聚
合模型进行训练，待训练完成后将完成训练的模型与贡献值c一起发往服务端，服务端对各客户端上传的模型进行加权聚合，第k个客户端权重w计算公式如下：其中，n为客户端数量。10.根据权利要求9所述的一种联邦学习优化系统，其特征在于，所述第一次加权聚合使用传统fedavg聚合方法，权重为各客户端数据量占全部数据量的百分比；所述准确率a为预测正确的数量占总数量的比例；所述结束条件为预设的训练轮次或全局准确率达到预定值。

技术总结
本发明涉及深度学习和隐私计算技术领域，具体提供了一种联邦学习优化方法及系统，具有如下步骤：S1、首先服务端生成初始化模型并下发至客户端，所述客户端对初始化模型进行训练后上传至服务端，所述服务端进行第一次加权聚合；S2、所述服务端将聚合模型下发至客户端，客户端进行测试；S3、所述客户端对下发的聚合模型进行训练，训练后发往服务端，服务端对各客户端上传的模型进行加权聚合；S4、循环步骤S1至步骤S3，直到模型训练达到结束条件。与现有技术相比，本发明使得模型聚合更具有针对性，从而提高了联邦学习最终的训练效果。从而提高了联邦学习最终的训练效果。从而提高了联邦学习最终的训练效果。


技术研发人员：贾荫鹏 李彬 李圣伟 孙善宝 罗清彩 李锐
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.06.30
技术公布日：2023/9/19