一种基于梯度信息的图片重建方法、系统及电子设备

1.本发明属于人工智能技术领域和联邦学习数据隐私保护领域，尤其涉及一种基于梯度信息的图片重建方法、系统及电子设备。


背景技术：

2.随着深度学习技术的不断发展，越来越多的应用场景需要使用大量高质量的数据进行训练。然而，现实中很少有单一实体单位拥有大量数据，数据量少或是质量低都难以支撑深度学习模型的构建和应用。若将各个实体单位所拥有的相关数据收集在一起，又涉及到数据版权、隐私保护等问题。因此，以聚集形成规模数据效应、保护数据版权和隐私为初衷的联邦学习模型被设计出来并逐步得到应用。
3.联邦学习是一个多参与方或多计算结点之间共享聚合机器学习模型梯度参数而不直接交换数据的分布式深度学习框架，以解决数据共享与隐私保护的矛盾问题。在联邦学习中，参数服务器作为一个中央节点，用于收集和聚合参与方的本地模型计算好的梯度信息，并更新全局模型参数。在训练初始阶段，参数服务器向每一个参与者发送一个全局模型，参与者在本地设备上进行部分训练，然后将更新的梯度信息发送回参数服务器进行聚合，从而训练全局模型。联邦学习已经成为不传输原始数据情况下训练模型网络的常见方法。
4.然而最近一些研究发现梯度信息会带来数据隐私的泄露。例如对于图片数据而言，可以通过梯度信息还重建出图片的属性、标签甚至是能够对图片数据实现像素级上的详细重建。这种重建的方法基于一个朴素的观点，当两个图片对应的梯度越相近，这两个图片也就越相似。重建的过程中只需要将原始图片的梯度信息与虚拟图片的之间的梯度信息作为误差，通过最小化误差值进行优化迭代至收敛，原始训练图片就能被成功地重建。
5.尽管原始训练图片在一些研究中被证实能够实现重建，但是普遍存在着以下几个方面的不足。一方面对于信息的获取假设过强，一些方法假设重建者有主动能力需要去改变联邦学习下模型的参数或者改变网络结构，这种行为在现实中容易被检测出来，所以并不现实；另一方面需要较多的额外信息辅助，在目前根据梯度信息重建图片并不容易，有些研究发现如果可以利用图片的批量统计信息和真实的标签能够帮助图片的重建，但是这些信息在真实的联邦学习中，由于各节点只传递梯度信息，并不传递上述信息，所以这些信息的获取是不符合实际的。最后这些工作重建的图片普遍分辨率较低，普遍在64*64分辨率下，且效果不佳。


技术实现要素：

6.为解决上述技术问题，本发明做了以下的创新，假设重建者为诚实且好奇的参数服务器，它能够记录模型和梯度信息，但是没有主动能力，解决了获取信息假设过强的问题。对于标签信息利用获取到的梯度信息进行重建，无需真实的图片标签。对于真实图片的批量信息利用相似分布图像数据集的均值与方差进行替代，例如当重建ciafr10数据集的
图片时候，可以利用imagenet数据集的均值与方差代替真实图片批量信息中的均值与方差。对于重建的图片分辨率低，效果较差的问题，采取了两个措施，一方面在损失函数中除了常用的批量正则化，还加入了总变正则化和组正则化，另一方面引入stylegan xl生成模型对虚拟图片的潜在空间进行搜索，相比于直接优化虚拟图片，大大降低了需要搜索的空间，这使得重建高分辨率的图片变得可能。这两个措施在前文两个条件的限制下，依然提升了重建图片的效果，使得能够重建分辨率128*128像素以上的图片。本发明的意义在于打破了联邦学习核心的安全前提，即只传递梯度信息而不传递原始数据能够保护隐私。本方法可以作为联邦学习的风险评估工具，帮助加强数据隐私的保护。
7.为实现上述目的本发明提出了一种基于梯度信息的图片重建方法，包括：获取联邦学习中的图片分类模型，及其原始真实图片对应的真实梯度信息；基于所述真实梯度信息和图片分类模型，获取虚拟图片、标签信息和虚拟梯度信息；获取所述真实梯度信息与所述虚拟梯度信息之间的损失值；基于所述损失值对虚拟图片进行迭代优化，获取重建的图像。
8.可选地，获取所述虚拟图片包括：获取符合该数据集均值与方差正态分布的随机空间向量；利用预设的stylegan xl生成模型，对随机空间向量进行搜索，获取所述虚拟图片。
9.可选地，获取所述虚拟梯度信息包括：基于所述真实梯度信息，重建原始真实图片的所述标签信息；将所述标签信息和所述虚拟图片，输入所述图片分类模型，获取虚拟梯度信息。
10.可选地，所述stylegan xl生成模型包括：mapping子网络和synthesis子网络；对所述随机空间向量进行搜索包括：将所述随机空间向量输入所述mapping子网络，转换为用于控制生成图像的特征向量w；将所述特征向量w输入所述synthesis子网络，依次通过网络的预设特征层，对特征向量进行重组，映射到图像空间，生成所述的虚拟图片。
11.可选地，所述预设特征层包括：一系列卷积操作和非线性激活函数，其中所述stylegan xl生成模的每一层网络层都对应于不同的空间分辨率和通道数。
12.可选地，获取所述真实梯度信息与所述虚拟梯度信息之间的损失值的方式为：采用交叉熵损失函数。
13.可选地，所述重建的图像为：
14.其中，表示重建的虚拟图片，表示使得后面式子取最小值时的取值，分别表示真实图片对应的梯度与虚拟图片对应的梯度，, , 分别为正则项的平衡因子，用于平衡各正则项的数值大小，为批量正则项，为总变差
正则项，为组正则项。
15.可选地，基于所述损失值对虚拟图片进行迭代优化包括：设置迭代参数；其中所述参数包括：总迭代周期、优化器adam和学习率；将所述损失值和批量正则项、总变差正则项、组正则项构成总损失值；将所述总损失值，输入优化器对所述虚拟图片进行迭代更新；当迭代周期达到预设周期数时，获得最终重建的原始图片。
16.为实现上述目的本发明还提出了一种基于梯度信息的图片重建系统，包括：模型、梯度获取模块、标签重建模块、虚拟图片生成模块、虚拟梯度获取模块、损失值计算模块和迭代优化模块；所述模型、梯度获取模块，用于获取联邦学习中的图片分类模型，及其原始真实图片对应的参数的真实梯度信息；所述标签重建模块，用于基于所述真实梯度信息，重建原始训练图片的标签信息；所述虚拟图片生成模块，用于获取符合该数据集均值与方差正态分布的随机向量，对所述随机向量的潜在空间向量进行搜索，生成虚拟图片；所述虚拟梯度获取模块，用于处理所述虚拟图片和标签信息，获取虚拟梯度信息；所述损失值计算模块，用于计算所述真实梯度信息和虚拟梯度信息质检的误差值，并加上正则项值；所述迭代优化模块，用于根据所述误差值，迭代优化所述虚拟图片，直到达到预设周期数时，获得最终的重建图片。
17.为实现上述目的本发明还提出了一种电子设备，包括：存储器，用于存储计算机程序和数据；所述的计算机程序用于实施所述的图片重建方法；所述的数据为包括模型和图片等计算机程序执行图片重建方法所需的数据。
18.处理器，与所述的存储器连接，用于调取并执行所述的计算机程序和处理数据。
19.与现有技术相比，本发明具有如下优点和技术效果：1.该基于梯度信息的图像重建方法，假设重建者为诚实且好奇的参数服务器，解决了获取信息假设过强的能力。
20.2.该基于梯度信息的图像重建方法，通过重建标签和采用数据集均值方差代替批量信息，无需真实的标签和批量信息辅助。
21.3.该基于梯度信息的图像重建方法，通过在损失函数中加入批量正则化、总变差正则化和组正则化项，能够提升图片的质量，使得重建的虚拟图片与原始真实图片之间的psnr值达到25.6至33.8之间。
22.4.该基于梯度信息的图像重建方法，引入stylegan xl生成模型对虚拟图片的潜在空间进行搜索，能够减少优化图片所需要搜索的空间，重建分辨率128*128像素以上的图片。
附图说明
23.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
图1为本发明实施例的图片重建的整体架构示意图；图2为本发明实施例的图片重建系统的结构意图；图3为本发明实施例的图片重建电子设备的结构示意图；其中，200、模型、梯度获取模块；201、标签重建模块；202、虚拟图片生成模块；203、虚拟梯度获取模块；204、损失值计算模块；205、迭代优化模块；301、存储器；302、处理器。
具体实施方式
24.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
25.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
26.本实施例提出了一种基于梯度信息的图片重建方法，包括以下步骤：s1:获取联邦学习中的模型及其原始真实图片对应的参数的真实梯度；s2:使用梯度信息重建原始训练图片的标签；s3:生成一组符合预设数据集均值与方差正态分布的随机空间向量；其中，预设数据集指与原始真实图片所在数据集相似分布的数据集；s4:利用stylegan xl生成模型对潜在的随机空间向量进行解耦和重组得到虚拟图片；s5:将s2与s4获得的标签和虚拟图片输入s1中的模型获取虚拟梯度；s6:根据损失函数计算真实梯度与虚拟梯度之间的损失值；s7:根据损失值对虚拟图片进行n次迭代优化后获得重建的图像。
27.s1中获取联邦学习中的模型同时还包括模型的参数，原始真实图片与对应的梯度信息均为一个批量组。
28.s2中重建原始训练图片的标签，具体的做法是观察模型网络的最后一个全连接层的梯度信息来解析计算。
29.s4中利用stylegan xl生成模型对虚拟图片的潜在空间进行搜索主要有两个步骤。首先将s3中生成的随机空间向量输入stylegan xl的子网络mapping，将随机向量解耦为可以用于控制生成图像的特征向量w。随后将特征向量w输入到stylegan xl的子网络synthesis，将特征向量w进行重组，映射到图像空间。
30.s6中的损失函数为交叉熵损失函数，完整的图片重建公式可以表述为：
31.式子中，表示重建的虚拟图片，表示使得后面式子取最小值时的取值。分别表示真实图片与虚拟图片对应的梯度，表示交叉熵损失函数。, , 分别为正则项的平衡因子。为批量正则项，该正则项并不使用真实图片批量中的均值与方差，而是使用其它同分布数据集的均值与方差进行替代，为总变差正则
项，为组正则项。
32.s7中根据损失值对虚拟图片进行n次迭代优化具体步骤如下：确定总迭代周期n，优化器adam，学习率lr；损失函数计算真实图片与虚拟图片对应的梯度的误差，再加上批量正则项、总变差正则项和组正则项构成总损失值；将损失值输入优化器对虚拟图片进行迭代更新；当迭代周期达到设定周期数n时，得到最终重建的原始图片。
33.如图1所示，本实施例提供的图片重建方法，具体包括：获取联邦学习中的模型及其原始真实图片对应的参数的真实梯度。本发明中，将获取到的模型记为m，m为一个图片分类模型，真实梯度记为。具体的步骤是首先将真实图片组与对应的标签输入到模型m，模型根据预测标签与真实标签之间的误差计算损失，从而可以计算得到m各层参数的梯度。
34.通过梯度信息重建原始训练图片的标签。主要是通过获取到的模型中最后全连接层的梯度信息特征来重建虚拟标签l。
35.生成一组符合该数据集均值与方差正态分布的随机向量。该随机向量利用数据集的均值与方差进行约束，相比于纯随机向量，能够有益于后续的迭代优化。
36.利用stylegan xl生成模型对潜在空间向量进行搜索得到虚拟图片。这其中主要分为两个步骤。第一步mapping network接收一个随机向量作为输入，并将其解耦生成代表图像特征的向量w。这个过程通常由多个全连接层和非线性激活函数组成，其中每个全连接层都将输入向量变换到更高维的向量空间中，而非线性激活函数则有助于增强模型的表达能力。通过mapping network，将随机噪声向量转换为具有可控图像特征的特征向量w。第二步synthesis network接收一个潜在特征向量w作为输入，依次输入网络的一系列特定的特征层。这些特征层由一系列卷积操作和非线性激活函数组成，其中每一层都对应于不同的空间分辨率和通道数。通过特征层的合成，synthesis network可以生成高分辨率的虚拟图片。以上两个步骤无需自行设定，只需要使用stylegan xl预训练模型即可。
37.将重建的虚拟标签l和虚拟图片输入模型m获取虚拟梯度,该步骤虚拟梯度获取方式和步骤100类似，求解公式可以表述为：
38.根据损失函数计算真实梯度与虚拟梯度之间的损失值，该损失函数为交叉熵损失函数，用以衡量真是梯度于虚拟梯度之间的相似度。整体的重建图片公式可以表述如下：
39.表示重建的虚拟图片，表示使得后面式子取最小值时的取值。分别表示真实图片对应的梯度与虚拟图片对应的梯度。, , 分别为正
则项的平衡因子，用于平衡各正则项的数值大小。为批量正则项，该正则项并不使用真实图片批量中的均值与方差，而是使用其它同分布数据集的均值与方差进行替代，为总变差正则项，为组正则项。该三项正则项能够提升重建图片的平顺性和保真性。
40.根据损失值对虚拟图片进行n次迭代优化后获得重建的图像，该步骤具体实施的过程为：确定参数，总迭代周期n为5000，这对于绝大部分时候都能够达到收敛；优化器adam，学习率lr=0.1，同时设置scheduler在训练周期进行到3/8、5/8、7/8时候进行衰减，衰减率gamma=0.1，使得训练前期能以较快学习率迭代，后期缩小学习率，缓解梯度震荡的问题；根据交叉熵损失函数计算真实图片与虚拟图片对应的梯度之间的误差，再加上批量正则项、总变差正则项和组正则项构成总损失值。批量正则项使用imagenet数据集的均值与方差，具体数值为mean=(0.485, 0.456, 0.406),std=(0.229, 0.224, 0.225)，各个正则项的平衡因子均设置为0.0001。
41.将损失值输入adam优化器对虚拟图片进行迭代更新；当迭代周期达到设定周期数n时，得到最终重建的原始图片。
42.上述的实施例解决了获取信息假设过强的能力。通过重建标签和采用数据集均值方差代替批量信息，无需真实的标签和批量信息辅助。通过在损失函数中加入批量正则化、总变差正则化和组正则化项，能够提升图片的质量，使得重建的虚拟图片与原始真实图片之间的psnr值达到25.6至33.8之间。引入stylegan xl生成模型对虚拟图片的潜在空间进行搜索，能够减少优化图片所需要搜索的空间，重建分辨率128*128像素以上的图片。
43.此外，对于上述提供的图片重建方法，本实施例还提供了以下实施结构：如图2所示，一种基于梯度信息的图片重建系统，包括：模型、梯度获取模块200，用于获取联邦学习中的模型以及真实图片对应的真是梯度；标签重建模块201，用于基于上个模块获取到的真是梯度的信息，重建标签信息；虚拟图片生成模块202，用于处理随机向量，对其潜在空间进行搜索，生成虚拟图片；虚拟梯度获取模块203，用于处理虚拟图片和标签信息，获取虚拟梯度；损失值计算模块204，用于计算真实梯度和虚拟梯度之间的误差值，并加上正则项值；迭代优化模块205，用于根据误差值迭代优化虚拟图片，直到设定的周期n，获得最终的重建图片。
44.如图3所示，本实施例还提供了一种电子设备，该电子设备包括：存储器301，用于存储计算机程序和数据；所述的计算机程序用于实施所述的图片重建方法；所述的数据为包括模型和图片等计算机程序执行图片重建方法所需的数据。
45.处理器302，与所述的存储器连接，用于调取并执行所述的计算机程序和处理数据。
46.以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种基于梯度信息的图片重建方法，其特征在于，包括：获取联邦学习中的图片分类模型，及其原始真实图片对应的真实梯度信息；基于所述真实梯度信息和图片分类模型，获取虚拟图片、标签信息和虚拟梯度信息；获取所述真实梯度信息与所述虚拟梯度信息之间的损失值；基于所述损失值对虚拟图片进行迭代优化，获取重建的图像。2.根据权利要求1所述的基于梯度信息的图片重建方法，其特征在于，获取所述虚拟图片包括：获取符合预设数据集均值与方差正态分布的随机空间向量；利用预设的stylegan xl生成模型，对随机空间向量进行搜索，获取所述虚拟图片。3.根据权利要求1所述的基于梯度信息的图片重建方法，其特征在于，获取所述虚拟梯度信息包括：基于所述真实梯度信息，重建原始真实图片的所述标签信息；将所述标签信息和所述虚拟图片，输入所述图片分类模型，获取虚拟梯度信息。4.根据权利要求2所述的基于梯度信息的图片重建方法，其特征在于，所述stylegan xl生成模型包括：mapping子网络和synthesis子网络；对所述随机空间向量进行搜索包括：将所述随机空间向量输入所述mapping子网络，转换为用于控制生成图像的特征向量w；将所述特征向量w输入所述synthesis子网络，依次通过网络的预设特征层，对特征向量进行重组，映射到图像空间，生成所述的虚拟图片。5.根据权利要求4所述的基于梯度信息的图片重建方法，其特征在于，所述预设特征层包括：一系列卷积操作和非线性激活函数，其中所述stylegan xl生成模的每一层网络层都对应于不同的空间分辨率和通道数。6.根据权利要求1所述的基于梯度信息的图片重建方法，其特征在于，获取所述真实梯度信息与所述虚拟梯度信息之间的损失值过程中采用交叉熵损失函数。7.根据权利要求1所述的基于梯度信息的图片重建方法，其特征在于，所述重建的图像为：其中，表示重建的虚拟图片，表示使得后面式子取最小值时的取值，表示交叉熵损失函数，分别表示真实图片对应的梯度与虚拟图片对应的梯度，、、均为正则项的平衡因子，为批量正则项，为总变差正则项，为组正则项。8.根据权利要求1所述的基于梯度信息的图片重建方法，其特征在于，基于所述损失值对虚拟图片进行迭代优化包括：设置迭代参数；其中所述参数包括：总迭代周期、优化器adam和学习率；将所述损失值和批量正则项、总变差正则项、组正则项构成总损失值；将所述总损失值，输入优化器对所述虚拟图片进行迭代更新；
当迭代周期达到预设周期数时，获得最终重建的原始图片。9.一种基于梯度信息的图片重建系统，应用如权利要求1-8任一所述的方法，其特征在于，包括：模型、梯度获取模块、标签重建模块、虚拟图片生成模块、虚拟梯度获取模块、损失值计算模块和迭代优化模块；所述模型、梯度获取模块，用于获取联邦学习中的图片分类模型，及其原始真实图片对应的参数的真实梯度信息；所述标签重建模块，用于基于所述真实梯度信息，重建原始训练图片的标签信息；所述虚拟图片生成模块，用于获取符合预设数据集均值与方差正态分布的随机向量，对所述随机向量的潜在空间向量进行搜索，生成虚拟图片；所述虚拟梯度获取模块，用于处理所述虚拟图片和标签信息，获取虚拟梯度信息；所述损失值计算模块，用于计算所述真实梯度信息和虚拟梯度信息质检的误差值，并加上正则项值；所述迭代优化模块，用于根据所述误差值，迭代优化所述虚拟图片，直到达到预设周期数时，获得最终的重建图片。10.一种电子设备，应用如权利要求1-8任一所述的方法，其特征在于，包括：存储器，用于存储计算机程序和数据；所述的计算机程序用于实施所述的图片重建方法；所述的数据为包括模型和图片的计算机程序执行图片重建方法所需的数据；处理器，与所述的存储器连接，用于调取并执行所述的计算机程序和处理数据。

技术总结
本发明提出一种基于梯度信息的图片重建方法、系统及电子设备，包括：获取联邦学习中的图片分类模型，及其原始真实图片的真实梯度信息；基于所述真实梯度信息和图片分类模型，获取虚拟图片、标签信息和虚拟梯度信息；获取所述真实梯度信息与所述虚拟梯度信息之间的损失值；基于所述损失值对虚拟图片进行迭代优化，获取重建的图像。本发明基于梯度信息可重建出高质量的图片，重建的虚拟图片与原始真实图片之间的PSNR值达到25.6至33.8之间。图片之间的PSNR值达到25.6至33.8之间。图片之间的PSNR值达到25.6至33.8之间。


技术研发人员：魏凯敏 钱进 吴永东 翁健 冯丙文 鲍焕
受保护的技术使用者：暨南大学
技术研发日：2023.08.02
技术公布日：2023/8/31