一种面向光刻热点检测的模型分块聚合隐私保护方法

1.本发明属于机器学习领域，尤其涉及一种面向光刻热点检测的模型分块聚合隐私保护方法。


背景技术：

2.芯片光刻热点是指在芯片光刻过程中出现的局部热点现象。光刻热点容易引发短路和畸变，严重影响了芯片生产，因此需要技术将其检测出来。在基于联邦学习的光刻热点检测系统中，每个芯片厂商不需要上传本地客户端的光刻热点图像就可以学习到其他客户端的数据特征知识。由于训练数据不离开本地客户端，联邦学习框架能对本地数据产生一定的隐私保护作用，但恶意的攻击者可以通过联邦学习框架中使用到的模型参数和梯度来推断客户端的属性，甚至客户端的隐私数据，给基于联邦学习的光刻热点检测系统带来了极大的数据安全隐患。为了更好地保护每个芯片厂商的数据隐私，保证光刻热点检测模型的高可用性，必须对光刻热点检测系统进行隐私保护。
3.现有技术中联邦学习算法如下：在一个基本的联邦学习框架中，有一个中心服务器和若干个客户端节点，其中计算部分由客户端完成，并将更新参数发送给中心服务器进行参数聚合。现阶段流行的联邦学习算法主要包括fedavg算法和fedprox算法：
4.fedavg算法：fedavg是业界提出最早的经典联邦学习算法，也是当前联邦学习研究领域的基准，其得到了广泛的应用。如图1所示，fedavg算法实现了一个由中心服务器和多个客户端组成的分布式在线学习系统。fedavg允许多个本地客户端协作地学习共享模型，同时将所有训练数据保存在本地。对于一个中心服务器，参与联邦学习训练的客户端数量为n，对每个客户端的数据集进行区分，令为第i个客户端的数据集，其数据集的样本数量为ni，则fedavg的全局损失函数可定义为：
[0005][0006]
其中，nn为参与联邦学习训练的n个客户端的数据集样本总量，fi(w)为第i个客户端的本地损失函数。
[0007]
fedprox算法：fedprox是在健壮性收敛方面对fedavg进行优化的一种联邦学习算法，允许每个参与联邦学习训练的客户端执行可变数量的模型训练步骤，如图2所示。fedavg要求所有参与客户端执行相同的模型训练工作，对于在指定时间范围内无法完成模型训练的客户端，fedavg会拒绝该客户端参与模型聚合更新，而fedprox会接受该客户端参与更新，因此fedprox比fedavg能实现更健壮的收敛性能。fedprox的全局损失函数可定义为：
[0008]
[0009]
其中，hi(w；w
t
)是第i个客户端的本地目标函数，μ是正则项系数，w
t
是第t轮模型聚合得到的全局参数，将w
t
加入到每个客户端原有的损失函数中作为正则项限制本地模型的更新，此时引入新的参数的损失函数中作为正则项限制本地模型的更新，此时引入新的参数可由第i个客户端根据其自身系统约束进行自适应调整，其可以限制第i个客户端本地模型的更新次数，当本地模型参数更新时满足条件时停止更新，此时的本地模型参数为然后将本地模型参数发送到中心服务器聚合，并将聚合后的模型分发回所有客户端，如此为一轮，循环往复，直至最终模型收敛。
[0010]
目前基于联邦学习的光刻热点检测情况下一种经典的隐私攻击方式为深度梯度泄露：梯度交换是联邦学习架构常用的通讯方式，长期以来，人们认为梯度是可以安全共享的，即训练数据不会因梯度交换而泄漏。但是已经有研究表明，隐私的训练数据可以通过共享的梯度来获取。研究人员将其命名为深度梯度泄漏(deep leakage from gradients，dlg)，即dlg攻击。研究人员在计算机视觉和自然语言处理任务上对dlg攻击进行了验证。结果表明，在各种数据集任务上，dlg攻击只需几个梯度拟合步骤即可完全恢复训练数据。对于光刻热点图像，其图片颜色单调、线条简单，dlg攻击只需要少量拟合迭代训练就可以实现像素(pixel)级别的光刻热点图像恢复，如图3所示。与其他攻击(属性推断攻击、成员推理攻击、模型反转攻击等)相比，dlg攻击给基于联邦学习架构的光刻热点检测系统带来了更严峻的挑战。
[0011]
为了部署dlg攻击，攻击者(恶意客户端)首先会在本地随机生成一组输入数据和标签，然后根据生成的数据进行神经网络训练计算出本地的虚拟梯度。攻击者根据本地的虚拟梯度向量和其他客户端的真实梯度向量的l2范数来更新其输入数据和标签，以减小虚拟梯度和真实梯度之间的距离，当攻击结束后，当攻击结束后，隐私的光刻热点图像数据便完全暴露了出来。dlg的核心原理是最小化梯度追踪误差：
[0012][0013]
其中，x
′
和y
′
是一组随机的虚拟输入数据和标签，将这些虚拟数据导入模型中，获得虚拟梯度得虚拟梯度是某一客户端的真实梯度，训练更新使得虚拟梯度接近真实梯度的同时也可以使得虚拟输入数据接近客户端真实的训练数据。
[0014]
传统对于深度梯度泄露的防御措施为基于模型参数拆分聚合的安全多方计算联邦学习方法：
[0015]
为防御dlg攻击，构建了一种传统的基于模型参数拆分聚合联邦学习法(federated learning of parameter splitting and aggregation，fl-psa)，如图4所示。在第t轮聚合训练时，第i个客户端在本地训练完成后，计算出本地的模型参数然后该客户端对模型参数进行随机化拆分，即其中是第i个客户端发送给server 1的模型参数，其中是第i个客户端发送给server 2的模型参数。两个中心服务器将各个客户端传来的模型参数进行聚合处理，即
和server 2将参数聚合完成后将其发送给server 1进行参数平均，去除随机化的影响，得到第t+1轮的全局模型参数中心服务器将聚合完成后的模型参数w
t+1
下发给每个客户端，每个客户端利用该模型参数用于下一轮的本地模型更新，直至收敛。
[0016]
以上就是fl-psa算法的训练过程，客户端发送模型参数前会通过随机数向量将一个模型参数拆分为两个相同维度的模型参数，可以在一定程度内保护联邦学习架构的客户端数据隐私。但是fl-psa算法也存在一些问题：在每次联邦学习训练和聚合时，客户端都要产生一个随机数向量，并将该随机数向量用于计算，使得客户端本地的计算量大大增加；每个客户端要向两个中心服务器发送相同维度的模型参数，增大了客户端和中心服务器之间的通信开销。


技术实现要素：

[0017]
本发明的目的在于针对现有技术的不足，提出一种面向光刻热点检测的模型分块聚合隐私保护方法。
[0018]
本发明的目的是通过以下技术方案实现的：一种面向光刻热点检测的模型分块聚合隐私保护方法，该方法包括以下步骤：
[0019]
s1，在第t轮用于光刻热点检测的联邦学习模型更新中，每个客户端通过本地光刻热点数据集训练得到本地的模型参数信息对模型参数信息进行模型分块处理：
[0020]
s2，模型分块完成后，每个客户端将各自拆分好的模型参数块分别发送给多个中心服务器；
[0021]
s3，每个中心服务器收到各个客户端传来的拆分好的模型参数块，进行聚合处理；
[0022]
s4，中心服务器将聚合好的模型参数块下发给每个客户端，然后每个客户端在本地拼接模型参数块得到第t+1轮的模型参数：
[0023]
s5，每个客户端根据本地光刻热点数据集继续更新本地参数，并重复以上步骤；经过若干轮迭代更新，直至联邦学习模型收敛，并由每个客户端在本地拼接出最终的光刻热点检测模型参数。
[0024]
进一步地，所述模型分块处理具体为：
[0025][0026]
其中是第i个客户端在第t轮发送给第一中心服务器的模型参数块，是第i个客户端第t轮发送给第二中心服务器的模型参数块，d是每个客户端的本地模型参数维度，满足d＝d1+d2。
[0027]
进一步地，中心服务器将各个客户端传来的模型参数块进行聚合处理具体为：
[0028]
[0029][0030]
其中，是第一中心服务器在第t轮聚合得到的模型参数块，是第二中心服务器在第t轮聚合得到的模型参数块，n是参与联邦学习训练的客户端数量。
[0031]
进一步地，所述每个客户端在本地拼接模型参数块具体为：
[0032][0033]
其中，w
t+1
是每个客户端聚合得到的第t+1轮全局模型参数，是第一中心服务器在第t轮聚合得到的模型参数块，是第二中心服务器在第t轮聚合得到的模型参数块。
[0034]
进一步地，所述联邦学习模型包括每个客户端中的卷积神经网络模型，具体构建方法为：
[0035]
每个客户端所使用的卷积神经网络模型由两个卷积部分和两个全连接层构成，每个卷积部分包含两个卷积层和一个最大池化层；卷积后使用的非线性激活函数为relu函数。
[0036]
进一步地，对模型参数信息进行模型分块处理方法包括：按神经网络层顺序分块和随机选择网络层分块：
[0037]
按神经网络层顺序分块：每个客户端节点将各自模型按前向传播顺序均分为n块，并分发给各中心服务器；其中中心服务器数量为n；
[0038]
随机选择网络层分块：在每一轮中，中心服务器首先生成一个随机数种子并发送给每个客户端，各客户端利用相同的随机数种子将神经网络层随机分为n块，并分别发给n个中心服务器。
[0039]
进一步地，所述神经网络层顺序分块具体为：将每个客户端将1-3层参数作为第一模型参数块发给第一中心服务器，将4-6层参数作为第二模型参数快发给第二中心服务器，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。
[0040]
进一步地，在中心服务器数量为2的情况下，对模型参数信息进行模型分块处理方法还包括按奇数层和偶数层分块：每个客户端将奇数层和偶数层分别发送给两个中心服务器。
[0041]
进一步地，在卷积神经网络情况下，对模型参数信息进行模型分块处理方法还包括按神经网络层属性分块：在卷积神经网络中，带有训练参数的神经网络仅有卷积层和全连接层；将卷积层参数和全连接层参数分块，分开发送至中心服务器。
[0042]
本发明的有益效果如下：
[0043]
1、本发明方法可以保证在基于联邦学习的光刻热点检测系统中，各客户端的局部更新参数和最终全局模型参数都不会泄露给任何单一中心服务器，从而抵御了dlg攻击，防止本地数据集中的光刻热点图暴露出来。
[0044]
2、减少了单个中心服务器需要聚合的参数数量，从而加快了中心服务器的聚合速度。
[0045]
3、本发明方法无需两个中心服务器间进行通信聚合，从而减少了通信量。
附图说明
[0046]
图1为fedavg算法示意图；
[0047]
图2为fedprox算法示意图；
[0048]
图3为在联邦学习框架下实现dlg攻击图；
[0049]
图4为传统的安全多方计算联邦学习框架图；
[0050]
图5为本发明实施例提供的基于模型分块聚合的安全多方计算联邦学习框架图；
[0051]
图6为本发明实施例提供的各种安全多方计算防御策略的有效性对比图；
[0052]
图7本发明实施例提供的不同隐私保护算法在一轮训练时花费的时间对比图。
具体实施方式
[0053]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0054]
在基于联邦学习的光刻热点检测框架下，各客户端在将本地更新参数上传至中心服务器聚合时，容易将各自的真实参数泄露给不可信的中心服务器，从而造成了隐私问题。
[0055]
引入基于安全多方计算的联邦学习，其目的在于保证中心服务器在获得正确聚合结果的同时，无法获得聚合结果以外的任何信息，例如各客户端的真实更新参数信息。传统的基于参数拆分的安全多方计算方法，无法解决两个中心服务器合谋窃取客户端隐私信息的问题，此外还需聚合全部参数并在中心服务器间进行通信以进行二次聚合，大大影响了模型训练效率。因此，本发明引入了一种面向光刻热点检测的模型分块聚合隐私保护方法，该方法也称为federated learning of model block and aggregation，fl-mba。目的是实现基于联邦学习的光刻热点检测系统中的各客户端参数隐私保护问题，并且改善了传统方法在通信和聚合速度上的不足。本发明实施例具体内容如下：
[0056]
一、每个客户端的神经网络架构
[0057]
本发明采用目前在图像分类任务中表现最出色的卷积神经网络作为基础分类模型。每个客户端节点所使用的卷积神经网络模型由两个卷积部分和两个全连接层构成，其中每个卷积部分包含两个卷积层和一个最大池化层。
[0058]
卷积层的主要作用是通过卷积的方式对光刻热点图形数据进行特征提取，卷积是一种线性图像滤波过程，其计算过程为首先选取特定规格大小的卷积核，卷积核的数量决定了卷积后特征图(feature map)的通道数量。然后卷积核按照设定好的步长(stride)对二维数字图像进行从左到右、从上到下的扫描，将卷积核上的数值与对应扫描到的光刻热点图像上的像素数值进行相乘后求和，最后将计算结果作为光刻热点特征图上对应位置上的像素值，最后卷积完成后输出光刻热点特征图：
[0059][0060]
其中x表示大小为(m1，m2)的输入光刻热点图像，w表示大小为(i，j)的卷积核参数，b为偏移常量，y为卷积后输出的光刻热点特征图。本发明的模型所使用到的所有卷积核的大小均为3
×
3，两个卷积部分的卷积核数量分别为16和32。
[0061]
激活函数是对光刻热点特征图进行非线性映射，用于卷积层之后，增强卷积神经网络的非线性表达能力，使得模型有着更优秀的拟合效果。本发明使用relu函数作为激活函数，其计算方式为：
[0062]
relu(y)＝max{y，0}
[0063]
池化层又被称为降采样层，其将卷积得到的光刻热点特征图划分为一系列相互不重叠的矩形区域，对每一个矩形区域进行池化操作后得到一个该区域的特征采样值，从而降低光刻热点特征图的维度，进而降低模型过拟合的风险，本发明使用2
×
2的卷积核。
[0064]
全连接层是整个卷积神经网络的最后一层，其作用是将光刻热点特征图的卷积特征进行组合拼接，最后通过加权计算得到输入光刻热点图像的分类概率。本发明使用两层全连接层作为卷积部分的输出层，其中第一层的输出通道为250，同时采样dropout以减轻模型训练时的过拟合现象；第二层的输出通道为2，也是模型的最后一层，用于输出二分类问题，即是否为光刻热点的预测概率。
[0065]
本发明模型配置参数具体见表1，并对含训练参数的神经网络层编号为1～6。
[0066]
表1客户端神经网络配置
[0067][0068]
二、在联邦学习中，客户端参数局部更新方法如下：
[0069]
针对第t轮，首先，第i个客户端执行e
local
(≥1)次局部更新：
[0070][0071]
其中，是第t轮中第i个客户端的局部模型参数，η
t
是第t轮的学习率(也称为步长)，是基于第t轮中第i个客户端光刻热点样本的损失函数。
[0072]
此时，客户端i得到了第t+1轮的局部模型参数
[0073]
三、客户端拆分模型参数块方法如下：
[0074]
在第t轮联邦学习模型更新中，每个客户端拥有自己的光刻热点数据集并训练得到本地的模型参数信息在发送该模型参数信息之前，每个客户端首先对该模型参数信息进行模型分块处理：
[0075][0076]
其中是第i个客户端在第t轮发送给server 1的模型参数
块，是第i个客户端第t轮发送给server 2的模型参数块，d是每个客户端的本地模型参数维度，满足d＝d1+d2。
[0077]
特别地，设客户端节点模型网络层数为k，中心服务器数量为n，特别地本例中k＝6，n＝2，每个客户端节点对局部模型参数分块方法具体为：
[0078]
按神经网络层顺序分块：每个客户端节点将各自模型按前向传播顺序均分为n块，并分发给各中心服务器。对于本例，每个客户端将1-3层参数作为发给server 1，将4-6层参数作为发给server 2，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。
[0079]
按奇数层和偶数层分块：特别地若中心服务器数量为2，如本例，则每个客户端将奇数层，即1，3，5层参数作为发给server 1，将偶数层，即2，4，6层参数作为发给server 2，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。
[0080]
按神经网络层属性分块：一般地，带有训练参数的神经网络包括卷积层、全连接层、循环网络层等。对于本例，每个客户端将所有卷积模块，即1-4层参数作为发给server 1，将所有全连接层，即5-6层参数作为发给server 2，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。
[0081]
随机选择网络层分块：在每一轮中，中心服务器首先生成一个随机数种子并发送给每个客户端，各客户端利用相同的随机数种子将神经网络层随机分为n块，并分别发给n个中心服务器。对于本例，随机选择3层参数作为发给server 1，将剩余3层参数作为发给server 2，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。
[0082]
四、两个中心服务器将各个客户端传来的模型参数块进行聚合如下：
[0083][0084][0085]
其中，是server 1在第t轮聚合得到的模型参数块，是server 2在第t轮聚合得到的模型参数块，n是参与联邦学习训练的客户端数量。
[0086]
五、中心服务器将聚合结果发送至客户端进行拼接如下：
[0087]
两个中心服务器将聚合好的模型参数块和下发给每个客户端，然后每个客户端在本地拼接模型参数块得到第t+1轮的完整模型参数：
[0088][0089]
客户端根据本地光刻热点数据集继续更新本地模型参数，并重复以上步骤，最终得到全局收敛模型w
global
。
[0090]
如图5所示，一种面向光刻热点检测的模型分块聚合隐私保护方法，主要由以下三部分组成：
[0091]
客户端模型分块阶段：每个客户端将本地更新完的模型参数进行分块处理，并分别分发给两个中心服务器，使得任一中心服务器都不能得到客户端的完整参数信息。
[0092]
中心服务器模型聚合阶段：两个中心服务器将各个客户端传来的模型参数进行平均聚合，并分发给每个客户端。
[0093]
客户端拼接模型阶段：每个客户端对从两个中心服务器下载得来的模型参数块进行拼接，得到完整的聚合模型参数。
[0094]
本发明提出的一种面向光刻热点检测的模型分块聚合隐私保护方法，从理论和实践上都解决了客户端更新参数隐私保护的挑战，并提高了中心服务器通信和聚合效率。本发明的一个关键思路是，对模型参数按神经网络层拆分，使得两个中心服务器都不能获得完整的客户端模型参数，从而保护了客户端的隐私。此外由于每个中心服务器不必聚合所有模型参数，因此提高了聚合和通信速度。
[0095]
1、实施例参数设置：
[0096]
本实施例使用了2个数据集，其中一个为iccad 2012contest，另外一个为工业界的数据集asml1。这2个数据集都是光刻热点领域中非常有代表性的数据集，其基本信息见表2。表格四列分别列出训练集和测试集中光刻热点(hotspot)和非光刻热点(non-hotspot)的总数。
[0097]
表2数据集基本信息
[0098][0099][0100]
下面是本实施例的实验细节：
[0101]
本发明实施例使用pytorch库实现了联邦学习隐私保护算法，并在配有xeon e5-2650cpu和nvidia 1080ti gpu的平台上进行训练和测试。为验证本发明提出方法在基于联邦学习的光刻热点检测框架中的真实隐私保护效果，
[0102]
本发明实施例选取了iccad 2012contest数据集和industry数据集对所提方法进行了验证。这两个数据集都是光刻热点领域中非常有代表性的数据集，其基本信息见表3。iccad 2012contest数据集包含五个基准数据集(iccad1-iccad5)，由于单个基准数据集的数据量不大，无法验证算法的可扩展性，因此我们将五个基准数据集合并到一个统一的数据集iccad中。此外，为了测试cnn模型在实际工业生产中的性能，本章还使用了一个集成电路行业的工业数据集industry，该数据集包含了更复杂的电路版图数据，涵盖了更广泛的电路版图设计模式。每个数据集被划为为两个部分，训练数据集和测试数据集。训练数据集被用来训练神经网络模型，测试数据集被用来测试模型的性能。
[0103]
表3各数据集下训练集和测试集中光刻热点和非光刻热点数量
[0104][0105]
使用制程为28nm的iccad 2012contest数据集和制程为20nm的industry数据集的光刻热点和非光刻热点图像作为本文的原始训练数据集和测试数据集，iccad 2012contest数据集中原始训练数据集包含1204张光刻热点图像以及17096张非光刻热点图像，原始测试数据集包含2524张光刻热点图像以及138848张非光刻热点图像；industry数据集中原始训练数据集包含3629张光刻热点图像以及80299张非光刻热点图像，原始测试数据集包含942张光刻热点图像以及20412张非光刻热点图像。这两个数据集包含的光刻热点图像有以下特点：单个图像颜色单调、线条简单和图形形状规整；每个图像都包含了芯片厂商独特的设计范式，隐私性强。
[0106]
为了验证提出的隐私保护方法在基于联邦学习的光刻热点检测框架中的有效性，本发明实施例将相关隐私保护方法部署到了fedavg和fedprox这两种联邦学习算法中，并测试了所提方法的隐私保护效果。由于本发明的研究重点是光刻热点数据的隐私保护策略，因此只考虑所有联邦学习算法同步训练的场景，即每一轮所有的客户端都被选中参与模型的聚合，每个客户端使用的神经网络模型为cnn模型，模型配置参数具体见表1。
[0107]
本发明实施例涉及到的所有联邦学习算法都使用了学习率为0.001的adam优化器。将iccad 2012 contest训练数据集和industry训练数据集分配给不同数量的客户端作为本地数据，每个数据集对应的客户端的数量设置为5个，每个客户端本地训练的批量大小设置为64，本地测试的批量大小设置为256，所有客户端执行3个epoch的本地训练。在进行dlg攻击实验时，dlg攻击的学习率设置为0.01，攻击时训练的迭代步数iteration设置为100，每次攻击恢复的光刻热点图像数量为1。在构建安全多方计算联邦学习框架时，中心服务器的数量设置为2。
[0108]
在本发明中，为了公平地评估本发明所提出算法的隐私保护性能，将两种安全多方计算联邦学习隐私保护方法在相同的实验设置下进行了模型性能比较。选取了模型参数计算时间tc、模型参数在两个中心服务器之间通信所需的时间t
ss
、模型参数在中心服务器和客户端之间通信所需的时间t
cs
、模型准确率(acc)和虚拟梯度与真实梯度的均方误差值(mse)作为本发明的评价指标，mse的计算公式如下：
[0109][0110]
其中，是dlg攻击设置的虚拟梯度向量，是客户端的真实梯度向量，d是梯度的维度，||
·
||是l2范数。mse体现了算法的隐私保护程度，mse越小甚至趋近于0，则算法的隐私保护程度越弱；mse越大，则算法的隐私保护程度越强。
[0111]
2、实施例步骤与结果：
[0112]
本发明通过数值实验对基于联邦学习框架的光刻热点数据隐私保护方法的效果进行验证，数值实验通过python完成。本发明从以下几个方面设计了实验：
[0113]
实施例1：通过数值实验来验证相关安全多方计算方法在联邦学习隐私保护中的性能，实验1在iccad 2012contest数据集和industry数据集上对fl-psa算法、fl-mba算法和不加防御措施的联邦学习算法进行了性能对比，其中fl-psa算法加入的随机数向量的均值为0，方差为0.1。fl-mba算法以层级为单位对共享的模型参数进行编号并分块，实验1所用的神经网络是cnn模型，该模型包含了四个卷积层和两个全连接层，其对应的模型参数块分别编号为1～6。每个客户端将所有的模型参数块按本发明提出的方法分为两份，一份送给server1进行聚合，另外一份发送给server2进行聚合。各种安全多方计算策略抵御dlg攻击时的效果如图6所示，“original”表示不加防御措施的联邦学习算法。可以看出，当不加任何防御措施时，基于联邦学习框架的光刻热点图像数据的隐私安全并不能得到保障，其训练数据在攻击者少量的迭代训练下就能被完全恢复。同时可以看出，fl-psa算法和fl-mba算法能够有效防御dlg攻击，攻击者的虚拟梯度与真实梯度的均方误差值mse高达1.15，防止了客户端的光刻热点图像数据被攻击者窃取。
[0114]
实验1还将不同安全多方计算方法部署在相关联邦学习算法(fedavg、fedprox)中，比较了不同方法的模型准确率指标，实验结果如表4所示，可以看出，在同一种联邦学习算法场景下，相较于不加防御措施的联邦学习算法，fl-psa算法和fl-mba算法能有效维持模型的准确率，准确率波动不超过0.4％，属于正常的模型准确率波动。fl-psa算法和fl-mba算法实现了和不加防御措施的联邦学习算法一致的模型准确率，同时有效地保障了模型的隐私安全。
[0115]
表4不同安全多方计算方法部署在联邦学习算法中的模型准确率对比
[0116][0117]
实施例2：接下来通过数值实验来研究fl-psa算法和fl-mba算法在时间维度上的性能优劣。在每一轮联邦学习训练过程中，fl-psa算法的计算时间tc包含计算梯度的时间和拆分模型参数所花费的时间，通信时间包含t
cs
和t
ss
，t
cs
是模型参数在客户端与两个中心服务器之间上传与下载的时间，t
ss
是模型参数在两个中心服务器之间通信所花费的时间。fl-mba算法的计算时间tc包含计算梯度的时间和模型参数分块所花费的时间，通信时间包含t
cs
，t
cs
是模型参数块在客户端与两个中心服务器之间上传与下载的时间。fl-psa算法和
fl-mba算法在每一轮联邦学习训练中所花费的时间包含计算时间和通信时间，客户端到中心服务器的网络链路和中心服务器到中心服务器的网络链路都具有100mbps的带宽，实验结果如图7所示，“original”指的是不加防御措施的联邦学习算法。
[0118]
从图7可以看出，“original”算法花费的时间最短，仅为61.49ms，因为不加防御措施的联邦学习算法没有额外的计算开销和通信开销。fl-psa算法花费的时间最长，总时间为118.94ms，参数拆分使其产生了额外的计算开销，同时该算法要将两个大规模的参数模型发送给两个中心服务器，两个中心服务器在每一轮还要进行通信聚合，相较于“original”算法，该算法产生了2倍左右的通信开销，当训练的轮次增多、规模增大时，该算法的通信时间将大大增加，阻碍了该算法的发展。fl-mba算法花费的总时间仅为67.29ms，参数拆分使其产生了额外较小的计算开销，该算法将参数规模缩小到一半，即使需要将参数块发送给两个中心服务器，也不会过多地增加通信开销，同时该算法不允许两个中心服务器进行通信，极大地防止了中心服务器之间通信串谋所导致的隐私泄露问题，更好地保护了客户端的数据隐私。
[0119]
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

技术特征：
1.一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，包括以下步骤：s1，在第t轮用于光刻热点检测的联邦学习模型更新中，每个客户端通过本地光刻热点数据集训练得到本地的模型参数信息对模型参数信息进行模型分块处理：s2，模型分块完成后，每个客户端将各自拆分好的模型参数块分别发送给多个中心服务器；s3，每个中心服务器收到各个客户端传来的拆分好的模型参数块，进行聚合处理；s4，中心服务器将聚合好的模型参数块下发给每个客户端，然后每个客户端在本地拼接模型参数块得到第t+1轮的模型参数：s5，每个客户端根据本地光刻热点数据集继续更新本地参数，并重复以上步骤；经过若干轮迭代更新，直至联邦学习模型收敛，并由每个客户端在本地拼接出最终的光刻热点检测模型参数。2.根据权利要求1所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，所述模型分块处理具体为：其中是第i个客户端在第t轮发送给第一中心服务器的模型参数块，是第i个客户端第t轮发送给第二中心服务器的模型参数块，d是每个客户端的本地模型参数维度，满足d＝d1+d2。3.根据权利要求2所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，中心服务器将各个客户端传来的模型参数块进行聚合处理具体为：征在于，中心服务器将各个客户端传来的模型参数块进行聚合处理具体为：其中，是第一中心服务器在第t轮聚合得到的模型参数块，是第二中心服务器在第t轮聚合得到的模型参数块，n是参与联邦学习训练的客户端数量。4.根据权利要求1所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，所述每个客户端在本地拼接模型参数块具体为：其中，w
t+1
是每个客户端聚合得到的第t+1轮全局模型参数，是第一中心服务器在第t轮聚合得到的模型参数块，是第二中心服务器在第t轮聚合得到的模型参数块。5.根据权利要求1所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，所述联邦学习模型包括每个客户端中的卷积神经网络模型，具体构建方法为：每个客户端所使用的卷积神经网络模型由两个卷积部分和两个全连接层构成，每个卷积部分包含两个卷积层和一个最大池化层；卷积后使用的非线性激活函数为relu函数。6.根据权利要求1所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，对模型参数信息进行模型分块处理方法包括：按神经网络层顺序分块和随机选择
网络层分块：按神经网络层顺序分块：每个客户端节点将各自模型按前向传播顺序均分为n块，并分发给各中心服务器；其中中心服务器数量为n；随机选择网络层分块：在每一轮中，中心服务器首先生成一个随机数种子并发送给每个客户端，各客户端利用相同的随机数种子将神经网络层随机分为n块，并分别发给n个中心服务器。7.根据权利要求6所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，所述神经网络层顺序分块具体为：将每个客户端将1-3层参数作为第一模型参数块发给第一中心服务器，将4-6层参数作为第二模型参数快发给第二中心服务器，中心服务器对参数聚合后返回给各客户端节点进行下一轮迭代。8.根据权利要求6所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，在中心服务器数量为2的情况下，对模型参数信息进行模型分块处理方法还包括按奇数层和偶数层分块：每个客户端将奇数层和偶数层分别发送给两个中心服务器。9.根据权利要求6所述的一种面向光刻热点检测的模型分块聚合隐私保护方法，其特征在于，在卷积神经网络情况下，对模型参数信息进行模型分块处理方法还包括按神经网络层属性分块：在卷积神经网络中，带有训练参数的神经网络仅有卷积层和全连接层；将卷积层参数和全连接层参数分块，分开发送至中心服务器。

技术总结
本发明公开了一种面向光刻热点检测的模型分块聚合隐私保护方法，每个客户端节点利用本地光刻热点数据集训练局部模型参数，再对参数按特征分块并分别发送给多个中心服务器进行参数聚合，最后中心服务器将聚合完毕的全局模型参数再返回给各客户端节点，并由客户端节点在本地进行模型参数块拼接以进行下一轮迭代。本发明保护了基于联邦学习的光刻热点检测系统中各客户端的本地模型更新参数，解决了更新参数隐私泄露问题，成功防御了对本地光刻热点图像数据的重构攻击，并提高了中心服务器端模型参数聚合和通信速度。模型参数聚合和通信速度。模型参数聚合和通信速度。


技术研发人员：田哲 朱泽晗 徐金明 黄炎 闫昌智 林学忠
受保护的技术使用者：浙江大学
技术研发日：2023.05.04
技术公布日：2023/9/14