一种基于FasterR-CNN的三方安全隐私保护方法及系统

一种基于faster r-cnn的三方安全隐私保护方法及系统
技术领域
1.本发明涉及信息安全技术领域，尤其涉及一种基于faster r-cnn的三方安全隐私保护方法及系统。


背景技术：

2.随着云计算、大数据技术的快速发展，以深度学习和神经网络为代表的机器学习正在改变人们的生活。机器学习在各个领域广泛应用的同时，隐私泄露问题日益突出，faster r-cnn是当前较为常用的目标检测算法，该算法通过特征提取、区域建议和回归分类三个步骤来识别图片中存在的目标类别及其位置信息。
3.然而，faster r-cnn算法训练和预测过程中存在以下隐私泄露问题：1.训练过程中可能导致数据提供者的隐私数据泄露给合作方和外包服务器；2.训练以及预测过程可能会导致模型提供者的模型权重参数以及中间变量泄露给外包服务器；3.用户在使用模型预测服务时，其隐私数据可能泄露给外包服务器。


技术实现要素：

4.本发明提供一种基于fasterr-cnn的三方安全隐私保护方法及系统，允许三个算例提供者在无法获取用户隐私数据及模型提供者权重参数的情况下合作完成预测任务，解决了隐私数据容易泄露的技术问题。
5.本发明第一方面提供了一种基于faster r-cnn的三方安全隐私保护方法，包括：
6.用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器；
7.模型提供者向三个服务器提供预测过程需要的权重参数份额；
8.三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额；
9.用户对三个服务器预测后的图片份额进行合并和排序，得到目标检测结果。
10.在一种实施方式中，用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，包括：
11.用户采用数据拆分共享协议dss对原始图像进行秘密分享，计算(g
′
，g
″
，g
″′
)
←
dss(g)，
12.根据秘密分享得到的加密后的图像数据得到不同的图片份额[g]
′
，[g]
″
和[g]
″′
，[g]
′
＝(g
′
，g
″
)，[g]
″
＝(g
″
，g
″′
)，[g]
″′
＝(g
′
，g
″′
)；
[0013]
其中，s1，s2和s3分别为第一服务器、第二服务器和第三服务器，g
′
、g
″
、g
″′
为对g进行秘密分享得到的加密后的图像数据，[g]
′
，[g]
″
和[g]
″′
分别为第一服务器、第二服务器和第三服务器得到的图片份额，[g]
′
＝(g
′
，g
″
)表示s1拥有的图片份额，包括g
′
和g
″
，[g]
″
＝(g
″
，g
″′
)表示s2拥有拥有的图片份额，包括g
″
和g
″′
，[g]
″′
＝(g
′
，g
″′
)表示s3拥有的图片
r-cnn调用关键隐私保护协议进行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额。
[0022]
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
[0023]
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0024]
相对于现有技术，本发明的优点和有益的技术效果如下：
[0025]
用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器，模型提供者m输入预测过程需要的权重参数份额，三个服务器s1、s2和s3根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议完成预测过程分别输出份额。用户合并收到的份额并进行排序得到图片的目标检测结果。三个服务器接收到的是参与计算和预测的图片份额和权重参数份额，无法获取完整的原始图像和模型参数，也可以实现计算与预测，即服务器在无法获取用户隐私数据及模型提供者权重参数的情况下合作完成预测任务，因此可以提高数据的安全性，解决原始图像数据容易泄露的技术问题。本发明采用安全多方计算方法，能为数据需求方提供不泄露原始数据前提下的多方协同计算能力，为需求方提供经各方数据计算后的整体数据画像。在预测过程中采用faster r-cnn，该框架拥有两阶段的网络，相较于其他一阶段的网络，其精度更高，在解决多尺度、小目标问题上效果更好。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1为本发明实施例提供的基于faster r-cnn的三方安全隐私保护系统的整体框架图；
[0028]
图2为本发明实施例提供的基于faster r-cnn的预测方法的实现流程图。
具体实施方式
[0029]
针对现有技术中存在的技术问题，本方法提出了一种基于faster r-cnn的三方安全隐私防护方案，此方案允许三个算例提供者在无法获取用户隐私数据及模型提供者权重参数的情况下合作完成预测任务。
[0030]
安全多方计算(secure muti-party computation)是密码学研究的核心领域，解决一组互不信任的参与方之间保护隐私的协同计算问题，能为数据需求方提供不泄露原始数据前提下的多方协同计算能力，为需求方提供经各方数据计算后的整体数据画像，因此能够在数据不离开数据持有节点的前提下，完成数据的分析、处理和结果发布，并提供数据访问权限控制和数据交换的一致性保障。
[0031]
faster r-cnn是一种利用rpn(region proposal networks)完成候选框的选择，
并且能够在一个网络中同时完成训练和预测所需要的所有步骤的深度学习框架。该框架拥有两阶段的网络，相较于其他一阶段的网络，其精度更高，在解决多尺度、小目标问题上效果更好。由于faster r-cnn性能优越，具有通用性和鲁棒性等特点，本发明提出了一种基于faster r-cnn的三方安全隐私保护方案。
[0032]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
实施例一
[0034]
本发明实施例提供了一种基于faster r-cnn的三方安全隐私保护方法，包括：
[0035]
用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器；
[0036]
模型提供者向三个服务器提供预测过程需要的权重参数份额；
[0037]
三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额；
[0038]
用户对三个服务器预测后的图片份额进行合并和排序，得到目标检测结果。
[0039]
为保证通用性，本发明中涉及的具体符号、实体和协议描述如下：
[0040]
g：原始图像。
[0041]
ω：卷积核的权重。
[0042]
b：模型提供者提供的偏置值。
[0043]
f：原始预测结果。
[0044]
θ：阈值。
[0045]g′
、g
″
、g
″′
：对g进行秘密分享得到的加密后的图像数据。
[0046]
[g]
′
、[g]
′
、[g]
′
：[g]
′
＝(g
′
，g
″
)表示s1拥有的图像是g
′
和g
″
，[g]
″
＝(g
″
，g
″′
)表示s2拥有的图像是g
″
和g
″′
，[g]
″′
＝(g
′
，g
″′
)表示s3拥有的图像是g
′
和g
″′
。
[0047]
ω
′
、ω
″
、ω
″′
：对ω进行秘密分享得到的加密后的权重。
[0048]
[ω]
′
、[ω]
″
、[ω]
″′
：[ω]
′
＝[ω
′
，ω
″
)表示s1拥有的权重是ω
′
和ω
″
，[ω]
″
＝(ω
″
，ω
″′
)表示s2拥有的权重是ω
″
和ω
″′
，[ω]
″′
＝(ω
′
，ω
″′
)表示s3拥有的权重是ω
′
和ω
″′
。
[0049]b′
、b
″
、b
″′
：设置的偏置值的份额。
[0050]f′
、f
″
、f
″′
：经过计算输出的预测结果。
[0051]
a：锚候选框anchor的集合。
[0052]
u：用户。用户u拥有完整的原始图像g，对g进行秘密分享得到g＝g
′
+g
″
+g
″′
。
[0053]
m：模型提供者。模型提供者m拥有完整的卷积核的权重ω和b，对ω进行秘密分享得到ω＝ω
′
+ω
″
+ω
″′
，b＝b
′
+b
″
+b
″′
。
[0054]
ω
sfe
：提取阶段输入的权重。
[0055]bsfe
：提取阶段输入的偏置值。
[0056]
ω
srpn
：区域建议阶段输入的权重，ω
srpn
＝{ω
head
，ω
cls
，ω
reg
}。
[0057]bsrnp
：区域建议阶段输入的偏置值，b
srpn
＝{b
head
，b
cls
，b
reg
}。
[0058]
ω
src
：回归分类阶段权重，ω
src
＝{ω
fc1
，ω
fc2
，ω
score
，ω
box
}。
[0059]
s1、s2、s3：三个外包的服务器。三个外包的服务器s1、s2、s3负责密集的计算任务，他们在无法获取图像内容的情况下，根据自己得到的图片份额[g]
′
、[g]
″
、[g]
″′
，通过一系列关键隐私保护协议，完成计算分别输出最终的输出预测结果[f]
′
、[f]
″
、[f]
″′
。
[0060]
t：可信第三方。可信第三方t用于在协议执行过程中生成随机数。
[0061]
dss：数据拆分共享协议。
[0062]
scl：安全卷积计算协议。
[0063]
sal：安全激活层计算协议。
[0064]
sapl：安全平均池化计算协议。
[0065]
smpl：安全最大池化计算协议。
[0066]
ssm：安全softmax函数计算协议。
[0067]
snms：安全非极大值抑制协议。
[0068]
{f
cls_j
}：n个预测框中所含目标被预测为每一个类别的概率。
[0069]
{f
box_j
}：n个预测框的边界框回归参数。
[0070]
本发明面向faster r-cnn的预测阶段设计隐私防护方案，完成安全的目标检测。方案的具体流程如下所示：用户输入图片g，模型提供者m输入预测过程需要的权重参数份额，三个服务器s1、s2和s3调用关键隐私保护协议完成预测过程分别输出份额。用户合并收到的份额并进行排序得到图片的目标检测结果。本方案包含四个阶段：数据处理(sdp)、安全特征提取(sfe)、安全区域建议(srpn)、安全回归分类(src)。
[0071]
在一种实施方式中，用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，包括：
[0072]
用户采用数据拆分共享协议dss对原始图像进行秘密分享，计算(g
′
，g
″
，g
″′
)
←
dss(g)，
[0073]
根据秘密分享得到的加密后的图像数据得到不同的图片份额[g]
′
，[g]
″
和[g]
″′
，[g]
′
＝(g
′
，g
″
)，[g]
″
＝(g
″
，g
″′
)，[g]
″′
＝(g
′
，g
″′
)；
[0074]
其中，s1，s2和s3分别为第一服务器、第二服务器和第三服务器，g
′
、g
″
、g
″′
为对g进行秘密分享得到的加密后的图像数据，[g]
′
，[g]
″
和[g]
″′
分别为第一服务器、第二服务器和第三服务器得到的图片份额，[g]
′
＝(g
′
，g
″
)表示s1拥有的图片份额，包括g
′
和g
″
，[g]
″
＝(g
″
，g
″′
)表示s2拥有拥有的图片份额，包括g
″
和g
″′
，[g]
″′
＝(g
′
，g
″′
)表示s3拥有的图片份额，包括g
′
和g
″′
。
[0075]
在一种实施方式中，三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测包括安全特征提取阶段、安全区域建议阶段和安全回归分类阶段。
[0076]
请参见图2为本发明实施例提供的基于faster r-cnn的预测方法的实现流程图。
[0077]
在一种实施方式中，安全特征提取阶段采用安全多方计算的安全卷积计算协议scl、安全激活层计算协议sal和安全平均池化计算协议sapl协议进行图像的特征提取，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功
能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；sal协议的输入为图片份额对应的每个像素点的值，输出为特征图经过激活操作后的数值份额，其功能是增强模型的非线性特性；sapl协议的输入为图片份额对应的每个像素点的值，输出为特征图经过平均池化后的数值份额，其功能是沿空间维度执行下采样，保留关键信息，减少特征图的尺寸。
[0078]
具体来说，在安全特征提取阶段，各计算方(三个服务器)需要经过卷积层、激活层和池化层的运算，考虑各计算方持有的分量数据特征，本发明采用安全多方计算的scl、sal和sapl协议来实现在不泄露任何原始图像信息的情况下进行图像的特征提取的功能。
[0079]
安全特征提取阶段将完成13次scl，13次sal和4次sapl操作，具体的算法描述如下：
[0080]
a)s1将拥有的图片[g]
′
赋值给[g0]
′
，s2将拥有的图片[g]
″
赋值给[g0]
″
，s3将拥有的图片[g]
″′
赋值给[g0]
″′
，作为特征提取阶段的初始图片，表示为：
[0081]
[g0]
′←
[g]
′
，[g0]
″←
[g]
″
，[g0]
″′←
[g]
″″
[0082]
b)特征提取阶段一共有17个步骤，对于步骤i＝1，2，...，17，当i∈{3，6，10，14}时，s1，s2，s3将上一步获得的图像[g
i-1
]
′
，[g
i-1
]
″
，[g
i-1
]
″′
作为sapl的输入，将计算出的值赋值给[gi]
′
，[gi]
″
，[gi]
″′
作为第i步后s1，s2，s3拥有的图像：
[0083]
([gi]
′
，[gi]
″
，[gi]
″′
)
←
sapl([g
i-1
]
′
，[g
i-1
]
″
，[g
i-1
]
″′
)；
[0084]
当时，s1，s2，s3将上一步获得的图像[g
i-1
]
′
，[g
i-1
]
″
，[g
i-1
]
″′
、各自在第(i-1)步拥有的权重值[ω
i-1
]
′
，[ω
i-1
]
″
，[ω
i-1
]
″′
和各自在第(i-1)步拥有的偏置值[b
i-1
]
′
，[b
i-1
]
″
，[b
i-1
]
″′
，作为scl的输入，把计算出的值赋值给[gi]
′
，[gi]
″
，[gi]
″′
作为第i步后的特征图，s1，s2，s3将获取的特征图[gi]
′
，[gi]
″
，[gi]
″′
作为sal的输入，把计算出的值赋值给[gi]
′
，[gi]
″
，[gi]
″′
作为第i步后s1，s2，s3拥有的图像：
[0085]
([gi]
′
，[gi]
″
，[gi]
″′
)
←
scl([g
i-1
]
′
，[g
i-1
]
″
，[g
i-1
]
″′
，[ω
i-1
]
′
，[ω
i-1
]
″
，[ω
i-1
]
″′
，[b
i-1
]
′
，[b
i-1
]
″
，[b
i-1
]
″′
)，([gi]
′
，[gi]
″
，[gi]
″′
)
←
sal([gi]
′
，[gi]
″
，[gi]
″′
)；
[0086]
c)将最后一步获得的图像[g17]
′
，[g17]
″
，[g17]
″′
赋值给[c]
′
，[c]
″
，[c]
″′
作为安全提取阶段的特征图：([c]
′
，[c]
″
，[c]
″′
)
←
([g
17
]
′
，[g
17
]
″
，[g
17
]
″′
)。
[0087]
在一种实施方式中，安全区域建议阶段采用安全多方计算的安全卷积计算协议scl、安全softmax函数计算协议ssm和安全非极大值抑制协议snms协议选取出预测边界框，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；ssm协议的输入为经过卷积核滤波后的数值份额，输出为经过softmax函数计算后的概率份额值，其功能是对输入数值进行处理，使其位于(0，1)之间，并且满足输出结果之和为1；snms协议的输入为anchor集合的份额a
′
，a
″
和a
″′
、经过softmax函数计算后的概率份额值和阈值，输出为选取的最佳anchor的份额，其功能是减少冗余anchor的数量并提高效率，选取出最佳的anchor，anchor集合为锚预测框集合，a
′
，a
″
和a
″′
分别为三个服务器生成的anchor集合的份额。
[0088]
具体来说，在安全区域建议阶段，各计算方需要经过卷积层、softmax函数和非极大值抑制算法的计算，考虑各计算方持有的分量数据特征，本发明采用安全多方计算的scl、ssm和snms协议来实现在不泄露任何原始图像以及完整特征图的情况下选取出合适的
预测边界框。本阶段主要包括三个操作：第一个是生成anchor；第二个是调用两个scl完成分类分数和边界框回归参数的计算；第三个是通过生成的anchor以及分类概率调用snms协议过滤掉重复的anchor，得到最终的预测框。
[0089]
安全区域建议阶段的三个操作的具体算法描述如下：
[0090]
a)s1，s2和s3分别生成anchor集合a
′
，a
″
和a
″′
；
[0091]
b)s1，s2和s3安全特征提取阶段获得的特征图[c]
′
，[c]
″
，[c]
″′
，rpnhead模块的头层权重值[ω
head
]
′
，[ω
head
]
″
，[ω
head
]
″′
和偏置值[b
head
]
′
，[b
head
]
″
，[b
head
]
″′
作为scl的输入，把计算出的值赋值给[c
head
]
′
，[c
head
]
″
，[c
head
]
″′
作为该层的特征图：
[0092]
([c
head
]
′
，[c
head
]
″
，[c
head
]
″′
)
←
scl([c]
′
，[c]
″
，[c]
″′
，[ω
head
]
′
，[ω
head
]
″
，[ω
head
]
″′
，[b
head
]
′
，[b
head
]
″
，[b
head
]
″′
)；
[0093]
c)s1，s2和s3分别将[c
head
]
′
，[c
head
]
″
，[c
head
]
″′
，cls层的权重值[ω
cls
]
′
，[ω
cls
]
″
，[ω
cls
]
″′
和偏置值[b
cls
]
′
，[b
cls
]
″
，[b
cls
]
″′
作为scl的输入，把计算出的值赋值给[c
cls
]
′
，[c
cls
]
″
，[c
cls
]
″′
作为分类分数：
[0094]
([c
cls
]
′
，[c
cls
]
″
，[c
cls
]
″′
)
←
scl([c
head
]
′
，[c
head
]
″
，[c
head
]
″′
，[ω
cls
]
′
，[ω
cls
]
″
，[ω
cls
]
″′
，[b
cls
]
′
，[b
cls
]
″
，[b
cls
]
″′
)；
[0095]
d)s1，s2和s3分别将[c
cls
]
′
，[c
cls
]
″
，[c
cls
]
″′
作为ssm输入，把计算出的值赋值给[p
cls
]
′
，[p
cls
]
″
，[p
cls
]
″′
作为分类概率：
[0096]
([p
cls
]
′
，[p
cls
]
″
，[p
cls
]
″′
)
←
ssm([c
cls
]
′
，[c
cls
]
″
，[c
cls
]
″′
)；
[0097]
e)s1，s2和s3将三个特征图[c
head
]
′
，[c
head
]
″
，[c
head
]
″′
，reg层的权重[ω
reg
]
′
，[ω
reg
]
″
，[ω
reg
]
″′
和偏置值[b
reg
]
′
，[b
reg
]
″
，[b
reg
]
″′
作为scl的输入，把计算出的值赋值给[c
reg
]
′
，[c
reg
]
″
，[c
reg
]
″′
。s1，s2和s3相互广播[c
reg
]
′
，[c
reg
]
″
，[c
reg
]
″
，使得s1，s2和s3获得c
′
reg
，c
″
reg
，c
″′
reg
：
[0098]
([c
reg
]
′
，[c
reg
]
″
，[c
reg
]
″′
)
←
scl([c
head
]
′
，[c
head
]
″
，[c
head
]
″′
，[ω
reg
]
′
，[ω
reg
]
″
，[ω
reg
]
″′
，[b
reg
]
′
，[b
reg
]
″
，[b
reg
]
″′
)；
[0099]
f)s1，s2和s3计算c
reg
←c′
reg
+c
″
reg
+c
″′
reg
作为边界框回归参数并根据c
reg
对a
′
，a
″
和a
″′
中的anchor位置坐标进行调整；
[0100]
g)s1，s2和s3分别将生成的anchor集合a
′
，a
″
，a
″′
，分类概率[p
cls
]
′
，[p
cls
]
″
，[p
cls
]
″′
和公共参数θ输入到snms，把计算的结果赋值给(λ
′
，λ
″
，λ
″′
)：
[0101]
(λ
′
，λ
″
，λ
″′
)
←ꢀ
snms(a
′
，a
″
，a
″′
，[p
cls
]
′
，[p
cls
]
″
，[p
cls
]
″′
，θ)；
[0102]
h)s1，s2和s3分别获取λ
′
，λ
″
，λ
″′
中n个预测框对应的特征图份额[cj]
′
，[cj]
″
和[cj]
″′
(j∈[1，n]).
[0103]
在一种实施方式中，安全回归分类阶段采用安全多方计算的安全卷积计算协议scl、安全softmax函数计算协议ssm和安全最大池化计算协议smpl协议选取出合适的预测边界框，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；ssm协议的输入为经过卷积核滤波后的数值份额，输出为经过softmax函数计算后的概率份额值，其功能是对输入数值进行处理，使其位于(0，1)之间，并且满足输出结果之和为1；smpl协议输入是图片份额对应的每个像素点的值，输出为特征图经过最大池化后的数值份额，其功能是
使传入下一阶段的特征图具有相同的尺寸。
[0104]
具体来说，在安全回归分类阶段，各计算方需要经过卷积层、softmax函数和池化层的计算，考虑各计算方持有的分量数据特征，本发明采用安全多方计算的scl、ssm和smpl协议来实现在不泄露任何原始图像以及完整特征图的情况下选取出合适的预测边界框。s1，s2和s3首先调用smpl协议对上一步选出的预测框对应的特征图份额进行池化操作，使传入下一阶段的特征图具有相同的尺寸。然后多次调用scl对每一个预测框进行具体类别的分类，并且再次调整预测框位置。
[0105]
安全回归分类的具体算法如下：
[0106]
a)对于预测框j＝1，2，...，n，s1，s2和s3将安全区域建议获得的特征图[cj]
′
，[cj]
″
，[cj]
″′
作为smpl参数，把值赋值给[cj]
′
，[cj]
″
，[cj]
″′
作为新的特征图：([cj]
′
，[cj]
″
，[cj]
″′
)
←
smpl([cj]
′
，[cj]
″
，[cj]
″′
)；
[0107]
b)s1，s2和s3将[cj]
′
，[cj]
″
，[cj]
″′
展开成的一维向量，第一个全连接层的权重值[ω
fc1
]
′
，[ω
fc1
]
″
，[ω
fc1
]
″′
和第一个全连接层的偏置值[b
fc1
]
′
，[b
fc1
]
″
，[b
fc1
]
″′
输入到scl中，把计算出的值赋值给[f
fc1_j
]
′
，[f
fc1_j
]
″
，[f
fc1_j
]
″′
作为第j个预测框第一个全连接层的输出值：
[0108]
([f
fc1_j
]
′
，[f
fc1_j
]
″
，[f
fc1_j
]
″′
)
←
scl([cj]
′
，[cj]
″
，[cj]
″′
，[ω
fc1
]
′
，[ω
fc1
]
″
，[ω
fc1
]
″′
，[b
fc1
]
′
，[b
fc1
]
″
，[b
fc1
]
″′
)；
[0109]
c)s1，s2和s3将第一个全连接层的输出值[f
fc1_j
]
′
，[f
fc1_j
]
″
，[f
fc1_j
]
″′
，第二个全连接层的权重值[ω
fc2
]
′
，[ω
fc2
]
″
，[ω
fc2
]
″′
和第二个全连接层的偏置值[b
fc2
]
′
，[b
fc2
]
″
，[b
fc2
]
″′
作为参数输入到scl中，把计算出的值赋值给[f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
作为第j个预测框第二个全连接层的输出值：
[0110]
([f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
)
[0111]
←
scl([f
fc1_j
]
′
，[f
fc1_j
]
″
，[f
fc1_j
]
″′
，[ω
fc2
]
′
，[ω
fcz
]
″
，[ω
fc2
]
″′
，[b
fc2
]
′
，[b
fc2
]
″
，[b
fc2
]
″′
)
[0112]
d)s1，s2和s3将第二个全连接层的输出值[f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
，cls_score层的权重值[ω
score
]
′
，[ω
score
]
″
，[ω
score
]
″′
和偏置值[b
score
]
′
，[b
score
]
″
，[b
score
]
″′
作为参数输入到scl中，把计算出的值赋值给[f
score_j
]
′
，[f
score_j
]
″
，[f
score_j
]
″′
：
[0113]
([f
score_j
]
′
，[f
score_j
]
″
，[f
score_j
]
″′
)
[0114]
←
scl([f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
，[ω
score
]
′
，[ω
score
]
″
，[ω
score
]
″′
，[b
score
]
′
，[b
score
]
″
，[b
score
]
″′
)
[0115]
e)s1，s2和s3将[f
score_j
]
′
，[f
score_j
]
″
，[f
score_j
]
″′
作为参数输入ssm，把计算出的结果赋值给[f
cls_j
]
′
，[f
cls_j
]
″
，[f
cls_j
]
″′
作为n个预测框中所含目标被预测为每一个类别的概率：
[0116]
[f
cls_j
]
′
，[f
cls_j
]
″
，[f
cls_j
]
″′
)
←
ssm([f
score_j
]
′
，[f
score_j
]
″
，[f
score_j
]
″′
)；
[0117]
f)s1，s2和s3将第二个全连接的输出值[f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
，bbox回归层的权重值[ω
box
]
′
，[ω
box
]
″
，[ω
box
]
″′
和偏置值[b
box
]
′
，[b
box
]
″
，[b
box
]
″′
作为参数输入到scl中，把计算出的值赋值给[f
box_j
]
′
，[f
box_j
]
″
，[f
box_j
]
″′
作为n个预测框的边界框回归参数：
[0118]
([f
box_j
]
′
，[f
box_j
]
″
，[f
box_j
]
″′
)
[0119]
←
scl([f
fc2_j
]
′
，[f
fc2_j
]
″
，[f
fc2_j
]
″′
，[ω
box
]
′
，[ω
box
]
″
，[ω
box
]
″′
，[b
box
]
′
，[b
box
]
″
，[b
box
]
″′
)
[0120]
g)s1输出{[f
cls_j
]
′
}和{[f
box_j
]
′
}，s2输出{[f
cls_j
]
″
}和{[f
box_j
]
″
}，s3输出{[f
cls_j
]
″′
}和{[f
box_j
]
″′
}(j∈[1，n])。
[0121]
实施例二
[0122]
基于同样的发明构思，本实施例提供了一种基于fasterr-cnn的三方安全隐私保护系统，包括：
[0123]
需求方，用于通过用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器，以及对三个服务器预测后的图片份额进行合并和排序，得到目标检测结果
[0124]
模型提供方，用于向三个服务器提供预测过程需要的权重参数份额；
[0125]
计算方，用于通过三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议讲行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额。
[0126]
请参见图1，为本发明实施例提供的基于faster r-cnn的三方安全隐私保护系统的整体框架图。需求方即用户u，模型提供方即模型提供者m，计算方即服务器s1、s2、s3。
[0127]
由于本发明实施例二所介绍的系统为实施本发明实施例一中基于faster r-cnn的三方安全隐私保护方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的系统都属于本发明所欲保护的范围。
[0128]
实施例三
[0129]
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现如实施例一中所述的方法。
[0130]
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于faster r-cnn的三方安全隐私保护方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
[0131]
实施例四
[0132]
基于同一发明构思，本技术还提供了一种计算机设备，包括存储、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例一中的方法。
[0133]
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于faster r-cnn的三方安全隐私保护方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
[0134]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0135]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0136]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0137]
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于faster r-cnn的三方安全隐私保护方法，其特征在于，包括：用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器；模型提供者向三个服务器提供预测过程需要的权重参数份额；三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额；用户对三个服务器预测后的图片份额进行合并和排序，得到目标检测结果。2.如权利要求1所述的基于faster r-cnn的三方安全隐私保护方法，其特征在于，用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，包括：用户采用数据拆分共享协议dss对原始图像进行秘密分享，计算(g
′
，g
″
，g
″′
)
←
dss(g)，根据秘密分享得到的加密后的图像数据得到不同的图片份额[g]
′
，[g]
″
和[g]
″′
，[g]
′
＝(g
′
，g
″
)，[g]
″
＝(g
″
，g
″′
)，[g]
″′
＝(g
′
，g
″′
)；其中，s1，s2和s3分别为第一服务器、第二服务器和第三服务器，g
′
、g
″
、g
″′
为对g进行秘密分享得到的加密后的图像数据，[g]
′
，[g]
″
和[g]
″′
分别为第一服务器、第二服务器和第三服务器得到的图片份额，[g]
′
＝(g
′
，g
″
)表示s1拥有的图片份额，包括g
′
和g
″
，[g]
″
＝(g
″
，g
″′
)表示s2拥有拥有的图片份额，包括g
″
和g
″′
，[g]
″′
＝(g
′
，g
″′
)表示s3拥有的图片份额，包括g
′
和g
″′
。3.如权利要求1所述的基于faster r-cnn的三方安全隐私保护方法，其特征在于，三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测包括安全特征提取阶段、安全区域建议阶段和安全回归分类阶段。4.如权利要求3所述的基于faster r-cnn的三方安全隐私保护方法，其特征在于，安全特征提取阶段采用安全多方计算的安全卷积计算协议scl、安全激活层计算协议sal和安全平均池化计算协议sapl协议进行图像的特征提取，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；sal协议的输入为图片份额对应的每个像素点的值，输出为特征图经过激活操作后的数值份额，其功能是增强模型的非线性特性；sapl协议的输入为图片份额对应的每个像素点的值，输出为特征图经过平均池化后的数值份额，其功能是沿空间维度执行下采样，保留关键信息，减少特征图的尺寸。5.如权利要求3所述的基于faster r-cnn的三方安全隐私保护方法，其特征在于，安全区域建议阶段采用安全多方计算的安全卷积计算协议scl、安全softmax函数计算协议ssm和安全非极大值抑制协议snms协议选取出预测边界框，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；ssm协议的输入为经过卷积核滤波后的数值份额，输出为经过softmax函数计算后的概率份额值，其功能是对输入数值进行处理，使其位于(0，1)之间，并且满足输出结果之和为1；snms协议的输入为anchor集合的份额a
′
，a
″
和a
″′
、经过softmax函数计算后的概率份额值和阈值，输出为选取的最佳anchor的份额，其功能是减少
冗余anchor的数量并提高效率，选取出最佳的anchor，anchor集合为锚预测框集合，a
′
，a
″
和a
″′
分别为三个服务器生成的anchor集合的份额。6.如权利要求3所述的基于faster r-cnn的三方安全隐私保护方法，其特征在于，安全回归分类阶段采用安全多方计算的安全卷积计算协议scl、安全softmax函数计算协议ssm和安全最大池化计算协议smpl协议选取出合适的预测边界框，其中，scl协议的输入为图片份额对应的每个像素点的值、模型提供者提供给每个服务器的卷积核的权重份额和设置的偏置值的份额，输出为经过卷积核滤波后的数值份额，其具体功能是做内积运算，通过卷积核对图片进行滤波生成一副新的图片；ssm协议的输入为经过卷积核滤波后的数值份额，输出为经过softmax函数计算后的概率份额值，其功能是对输入数值进行处理，使其位于(0，1)之间，并且满足输出结果之和为1；smpl协议输入是图片份额对应的每个像素点的值，输出为特征图经过最大池化后的数值份额，其功能是使传入下一阶段的特征图具有相同的尺寸。7.一种基于faster r-cnn的三方安全隐私保护系统，其特征在于，包括：需求方，用于通过用户将待计算的原始图像进行秘密分享并拆分为三个图片份额，然后发送给三个服务器，以及对三个服务器预测后的图片份额进行合并和排序，得到目标检测结果模型提供方，用于向三个服务器提供预测过程需要的权重参数份额；计算方，用于通过三个服务器根据接收的图片份额、权重参数份额，基于faster r-cnn调用关键隐私保护协议进行预测，得到各自的预测结果，各自的预测结果为三个服务器预测后的图片份额。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任一项所述的方法。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的方法。

技术总结
本发明公开了一种基于Faster R-CNN的三方安全隐私保护方法及系统，其中的方法由用户将待计算的原始图像进行秘密分享并拆分为三个图片份额G，然后发送给服务器，模型提供者M输入预测过程需要的权重参数份额，三个服务器S1、S2和S3调用关键隐私保护协议完成预测过程分别输出份额。用户合并收到的份额并进行排序得到图片的目标检测结果。本方案包含四个阶段：数据处理(SDP)、安全特征提取(SFE)、安全区域建议(SRPN)、安全回归分类(SRC)。此方案允许三个算例提供者在无法获取用户隐私数据及模型提供者权重参数的情况下合作完成预测任务，保证了原始数据的隐私性。保证了原始数据的隐私性。保证了原始数据的隐私性。


技术研发人员：宗欣 罗敏 王若男 彭聪 冯琦 何德彪
受保护的技术使用者：武汉大学
技术研发日：2023.04.24
技术公布日：2023/8/9