一种基于三维重建的对抗补丁重投影方法及系统

1.本发明涉及计算机视觉图像处理技术领域，具体涉及投影变换技术，提出了一种基于三维重建的对抗补丁重投影方法。


背景技术：

2.最近的研究表明，目标检测器容易受到对抗样本的攻击。对抗样本攻击是攻击者在输入图像的有限大小的区域内对像素进行扭曲，导致模型以高置信度给出一个错误的输出，对现实世界的目标检测系统构成严重威胁。如果类似攻击发生在无人驾驶领域将可能会导致严重后果，例如对抗性补丁可能会使的目标检测器无法识别出停车标志和人。因此，我们需要未雨绸缪，研究和模拟出现实世界中可能存在的各种对抗攻击。研究对抗攻击有助于我们评估目标检测系统的安全性。
3.目前大多数现有的对抗补丁算法在物理域对目标检测器进行攻击时，未考虑成像系统拍摄的俯仰角度问题，导致成像系统在大视角范围拍摄时对抗补丁攻击会失效，即它们对于成像设备相对于目标物体的位置的变化不是鲁棒的。而在实际的环境中，对目标拍摄往往不是沿着固定的俯仰角度，而是在一定的俯仰角度多方位的进行拍摄的。因此，物理世界覆盖在目标上的对抗补丁在拍摄成像系统中将会呈现不同的分辨率和仿射变化。然而，当前大多数方法在优化对抗补丁时通常仅考虑理想的拍摄俯仰角（一般为90
°
），这使得对抗补丁很可能无法适应实际拍摄带来的分辨率差异和仿射形变。因此，设计一个在优化过程中能够根据拍摄俯仰角度自动实施仿射变换的动态机制，对促进对抗补丁在大范围角度内保持攻击有效性具有重要意义。


技术实现要素：

4.本发明针对现有技术的不足，提供一种对抗补丁投影变换的方法。目前，在模拟对抗补丁攻击物体时，主流的方法将对抗补丁进行一定程度的缩放并放置在被攻击图像的检测框的正中心。然而贴在物体表面的真实补丁随着物体发生了一定程度的旋转时，会使得补丁在摄像机中的成像形状发生形变，将导致真实的攻击效果相较于模拟的攻击效果大幅度下降。对此，本发明提供的对抗补丁投影变换方法能够准确模拟出补丁的真实形变，从而保证了真实的补丁和模拟补丁具有同样的攻击效果。
5.为了达到上述目的，本发明采用如下技术方案：一种基于三维重建的对抗补丁重投影方法，包括如下步骤：步骤1，建立初始匹配集:通过特征检测建立初始匹配集；步骤2，去除误匹配点:对所述步骤1中初始匹配集中的误匹配点进行去除获取准确匹配点对；步骤3，稀疏重建:利用步骤2得到的准确匹配点对估计相机的内部参数和外部参数；步骤4，稠密重建:根据步骤3中计算的相机参数计算图片中每个像素点对应的三
维点的深度值，将上述深度值按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；步骤5，主视角投影:在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；步骤6，副视角投影：利用步骤3计算的相机参数和步骤4计算的深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。
6.进一步地，所述步骤1中，特征点检测使用尺度不变特征变换方法sift，sift的具体步骤如下：步骤1.1，尺度空间极值检测：通过高斯差分函数构建图像的尺度空间金字塔，然后在尺度空间中寻找极值点作为潜在的关键点；步骤1.2，关键点定位：通过拟合关键点周围像素的二次函数来精确定位关键点的位置，同时排除对比度低于的关键点和边缘效应点，其中t为经验值，n为特征点数目；步骤1.3，方向确定：根据关键点周围像素的梯度方向，计算主方向，使得特征具有旋转不变性；步骤1.4，特征描述：在关键点周围的图像区域中，使用高斯加权的梯度直方图描述关键点的局部特征，以达到尺度不变性和旋转不变性；步骤1.5，特征匹配：对于两个图像中的特征点，使用特征向量间的欧氏距离或其他距离度量方法来计算它们之间的相似性，以进行特征匹配。
7.进一步地，所述步骤2中，利用随机采样一致算法ransac对可能存在的错误匹配点进行去除，ransac的具体步骤如下：步骤2.1，随机采样：从数据集中随机选择少量的样本，用于拟合模型；步骤2.2，模型拟合：使用步骤2.1选择的样本，使用多项式模型进行拟合；步骤2.3，计算误差：对于数据集中的每个非内点，计算它与当前模型的拟合误差，如果这个误差小于给定的阈值，将该点标记为内点；步骤2.4，确定内点：将误差小于某个给定阈值的数据点标记为内点；步骤2.5，重新拟合：如果内点的数量达到了设定的阈值，则使用所有内点重新拟合一个新的模型，否则返回步骤2.1。
8.进一步地，所述步骤3中，通过从运动恢复结构算法sfm估计相机的参数，所述相机参数包括相机内部参数和相机外部参数，其中，相机内部参数：相机的x方向焦距、y方向焦距、光心的x轴坐标、光心的y轴坐
标；相机的外部参数：旋转矩阵r即相机坐标系在世界坐标系下的坐标、平移向量t即世界坐标系原点到相机光心的向量。
9.进一步地，所述步骤4中具体包括如下子步骤:步骤4.1，随机初始化：对于图像中的每一个像素值随机初始化一个设定的平面参数，设定的法相量必须朝向于相机，即，其中表示一条以相机光心为起点经过像素点的射线，其中为空间平面的法向量，为空间平面与相机光心之间的距离；步骤4.2，稠密匹配点查找：通过估计的平面参数和相机参数，利用单应性矩阵查找副视角中与主视角像素点对应的匹配点；步骤4.3，匹配代价计算：在以主视角的像素点为中心，大小为10*10的窗口内，利用单应性矩阵将所有像素点投影到副视角中，利用归一化互相关函数ncc进行匹配代价计算；步骤4.4，假设传播：在待处理点的八个方向上选取八个候选区域，遍历候选区域中所有的点，从每个区域中挑选出一个代价最小的设定平面参数，将8个传播候选平面参数代入到当前点，计算对应的匹配像素点以及相应的匹配代价，最后，将待处理点的平面参数更新为代价最小的候选平面参数；步骤4.5，平面参数扰动优化：对当前的平面法向量进行随机扰动，使得法向量绕相机坐标系的坐标轴产生一定的旋转，得到的新的法向量记为，然后对像素点的深度值进行一定程度的扰动，得到扰动后的深度值，接着随机初始化一个法向量和深度值和，将新的法向量和深度值组合构成新的候选的平面参数，将新的平面参数代入到待处理点中，计算匹配像素点和相应的匹配代价，如果新的候选平面相比于原始的平面参数具有更小的匹配代价，则将平面参数更新为具有最小代价的平面参数。
10.进一步地，所述步骤步骤4.2中，单应性矩阵公式为：其中是的相机内参，是第j张的相机内参，表示第j张图像的相机旋转矩阵，表示图像的相机旋转矩阵，是列向量，表示对应相机的光心在世界坐标系下的坐标，表示第j张对应相机的光心在世界坐标系下的坐标，是行向量，表示法向量，为光心到设定平面的距离；查找到的匹配点坐标为：其中，表示主视角中的像素点，表示副视角中的像素点。
11.步骤步骤4.3中，匹配代价计算表达式如下：
其中，是属于主视角中窗口的像素点，是属于副视角中窗口的像素点，表示点的像素值，表示点的像素值，表示窗口的平均像素值，表示窗口中的平均像素值，ncc值越大，表示像素点的匹配程度越高。
12.进一步地，所述步骤4.5中，新的法向量和深度值组合构成新的扰动候选平面参数为：。
13.进一步地，所述步骤5中，投影公式表示为：其中为对抗补丁到主视角的投影矩阵，用四组对应关系求解方程组，可以解得投影矩阵：其中，为主视角四个控制点的二维坐标，为副视角四个控制点的二维坐标。
14.本发明还提供一种基于三维重建的对抗补丁重投影系统，包括：
初始匹配集建立模块，其通过特征检测建立初始匹配集；误匹配点去除模块:其对初始匹配集中的误匹配点进行去除获取准确匹配点对；稀疏重建模块，其利用准确匹配点对估计相机的内部参数和外部参数；稠密重建模块，其根据计算的相机参数计算图片中每个像素点对应的三维点的深度值并按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；主视角投影模块，在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；副视角投影模块，其利用计算的相机参数和深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。
15.与现有技术相比，本发明具有如下有益效果：现有的方法没有考虑补丁的投影变换问题，导致模拟的数字补丁和真实的打印补丁的攻击效果有着明显差别，无法在真实的物理环境下实现应有攻击效果。本发明通过投影变换的方式将模拟的数字补丁投影到被攻击的图像中，并保证不同视角下的投影补丁满足多视角几何一致性，从而消除了数字补丁和真实补丁之间的差别，使得真实补丁的实际攻击效果和模拟补丁的效果保持一致。
附图说明
16.图1是本发明一种基于三维重建的对抗补丁重投影方法的流程图。
17.图2为本发明实施例中特征匹配结果示意图。
18.图3为本发明实施例中主视角投影示意图。
19.图4本发明实施例中副视角投影示意图。
20.图5本发明实施例中投影实验结果示意图。
21.图6为本发明使用基于特征匹配的重投影方法试验结果示意图。
22.图7为本发明使用基于特征匹配的重投影方法特征点示意图。
具体实施方式
23.为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
24.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
25.在本发明的描述中，除非另有说明，术语“连接”应做广义理解，例如可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
26.下面结合具体附图和实例对本发明实施过程进一步详细说明。
27.实施例1如图1所示，本实施例提供一种基于三维重建的对抗补丁重投影方法，具体包括如下步骤：步骤1，通过特征检测建立初始匹配集，特征点检测使用尺度不变特征变换方法sift(scale-invariant feature transform），sift的具体步骤如下：步骤1.1，尺度空间极值检测：通过高斯差分函数构建图像的尺度空间金字塔，然后尺度空间中寻找极值点，这些点被认为是潜在的关键点。
28.步骤1.2，关键点定位：通过拟合关键点周围像素的二次函数来精确定位关键点的位置，同时排除同时排除对比度低于的关键点和边缘效应点，其中t为经验值0.04，n为特征点数目；步骤1.3，方向确定：根据关键点周围像素的梯度方向，计算主方向，使得特征具有旋转不变性。
29.步骤1.4，特征描述：在关键点周围的图像区域中，使用高斯加权的梯度直方图描述关键点的局部特征，以达到尺度不变性和旋转不变性。
30.步骤1.5，特征匹配：对于两个图像中的特征点，使用特征向量间的欧氏距离或其他距离度量方法来计算它们之间的相似性，以进行特征匹配。如图2所示为特征匹配结果示意图步骤2，去除误匹配点。通过步骤1得到初始匹配集后，利用随机采样一致算法（random sample consensus，ransac）对可能存在的错误匹配点进行去除。ransac的具体步骤如下：步骤2.1，随机采样：从数据集中随机选择最少量的样本，用于拟合模型。样本的数量应该足够产生一个健壮的模型，但样本的数量不宜过多以免产生过拟合。
31.步骤2.2，模型拟合：使用步骤2.1选择的样本，使用多项式模型进行拟合。
32.步骤2.3，计算误差：对于数据集中的每个非内点，计算它与当前模型的拟合误差。如果这个误差小于给定的阈值，将该点标记为内点。
33.步骤2.4，确定内点：将误差小于某个给定阈值的数据点标记为内点。
34.步骤2.5，重新拟合：如果内点的数量达到了设定的阈值，则使用所有内点重新拟合一个新的模型，否则返回步骤2.1。
35.步骤3，稀疏重建，利用步骤2得到的准确匹配点对，通过从运动中恢复结构算法（structure from motion，sfm）估计相机的内部参数，即：相机的x方向焦距、y方向焦距、光心的x轴坐标、光心的y轴坐标；相机的外部参数，即：旋转矩阵r（相机坐标系在世界坐标系
下的坐标）、平移向量t（世界坐标系原点到相机光心的向量）。
36.步骤4，稠密重建：在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角。设定像素点对应的三维空间点落在一个空间平面上，可以通过其法向量和与相机光心之间的距离来表示，我们将利用pms方法估计中每一个像素点对应的设定平面，然后利用计算出像素点的深度值、三维坐标以及在其他视角上的投影点。pms又可以进一步地分为以下几个步骤：步骤4.1，随机初始化：对于图像中的每一个像素值随机初始化一个设定平面参数。设定的法相量必须朝向于相机，即，其中表示一条以相机光心为起点经过像素点的射线。当和不满足这条限制的时候，意味着设定平面处于背对相机观察方向的位置而无法观察到。因此，需要将设定的法向量进行取反。
37.步骤4.2，稠密匹配点查找：通过估计的平面参数和相机参数，利用单应性矩阵查找副视角中与主视角像素点对应的匹配点。单应性矩阵公式为：其中是的相机内参，是第j张的相机内参。表示对应图像的相机旋转矩阵，是列向量表示对应相机的光心在世界坐标系下的坐标。是行向量，表示法向量。为光心到设定平面的距离。查找到的匹配点坐标为：其中，表示主视角中的像素点，表示副视角中的像素点。
38.步骤4.3，匹配代价计算：在以主视角的像素点为中心，大小为10*10的窗口内，利用单应性矩阵将所有像素点投影到副视角中。利用传统的归一化互相关函数（normalized cross correlation，ncc）进行匹配代价计算：其中，是属于主视角中窗口的像素点，是属于副视角中窗口的像素点，表示该点的像素值。表示窗口的平均像素值，表示窗口中的平均像素值。ncc值越大，表示像素点的匹配程度越高。
39.步骤4.4，假设传播：在待处理点的八个方向上选取八个候选区域，遍历候选区域中所有的点，从每个区域中挑选出一个代价最小的设定平面参数。将8个传播候选平面参数代入到当前点，计算对应的匹配像素点以及相应的匹配代价。最后，将待处理点的平面参数更新为代价最小的候选平面参数。
40.步骤4.5，平面参数扰动优化：首先对当前的平面法向量进行随机扰动，使得法向
量绕相机坐标系的坐标轴产生一定的旋转，得到的新的法向量记为。然后对像素点的深度值进行一定程度的扰动，得到扰动后的深度值。接着随机初始化一个法向量和深度值和。新的法向量和深度值组合构成新的候选的平面参数为：将新的平面参数代入到待处理点中，计算匹配像素点和相应的匹配代价，如果新的候选平面相比于原始的平面参数具有更小的匹配代价，则将平面参数更新为具有最小代价的平面参数。
41.步骤5，如图3所示，主视角投影，在主视角上选取一块合适大小的四边形区域作为投影区域，将区域的四个顶点（控制点）的二维坐标记为，则对应的齐次坐标为。类似的对抗补丁控制点的齐次坐标记为，投影公式表示为：其中为对抗补丁到主视角的投影矩阵。用四组对应关系求解方程组，可以解得投影矩阵：最后利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置，其中为主视角四个控制点的二维坐标，
为副视角四个控制点的二维坐标。
42.步骤6，如图4所示，副视角投影，利用步骤3计算的相机参数和步骤4计算的深度图，计算出副视角上对应的控制点。与步骤5类似，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。其结果如图5所示。
43.对比试验：将本发明方法即基于三维重建的对抗补丁重投影方法与基于特征匹配的重投影方法进行对比，对比发现基于特征匹配的重投影方法，由于特征点稀疏，在给定的区域内无法得到足够多的匹配点，导致无法计算出投影变换矩阵，使得投影变换失效。而基于三维重建的重投影方法可以实现稠密匹配，进而可以任意选定一块区域进行投影。
44.如图2所示，使用基于三维重建的对抗补丁重投影方法可以成功建立两幅图像的匹配关系。而使用基于特征匹配的重投影方法，无法找到两者的匹配关系如图6所示。
45.进一步分析，我们发现基于特征匹配的重投影方法，无法在投影区域找到有效的特征点。如图7所示，图中的白色小圆圈代表特征点，从图中可以发现黑色区域没有找到一个特征点，从而导致无法计算出最终的投影矩阵，导致投影失效。
46.实施例2本实施例提供一种基于三维重建的对抗补丁重投影系统，包括：初始匹配集建立模块，其通过特征检测建立初始匹配集；误匹配点去除模块:其对初始匹配集中的误匹配点进行去除获取准确匹配点对；稀疏重建模块，其利用准确匹配点对估计相机的内部参数和外部参数；稠密重建模块，其根据计算的相机参数计算图片中每个像素点对应的三维点的深度值并按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；主视角投影模块，在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；副视角投影模块，其利用计算的相机参数和深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。
47.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.一种基于三维重建的对抗补丁重投影方法，其特征在于，包括如下步骤：步骤1，建立初始匹配集:通过特征检测建立初始匹配集；步骤2，去除误匹配点:对所述步骤1中初始匹配集中的误匹配点进行去除获取准确匹配点对；步骤3，稀疏重建:利用步骤2得到的准确匹配点对估计相机的内部参数和外部参数；步骤4，稠密重建:根据步骤3中计算的相机参数计算图片中每个像素点对应的三维点的深度值，将上述深度值按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；步骤5，主视角投影:在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；步骤6，副视角投影：利用步骤3计算的相机参数和步骤4计算的深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。2.根据权利要求1所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤1中，特征点检测使用尺度不变特征变换方法sift，sift的具体步骤如下：步骤1.1，尺度空间极值检测：通过高斯差分函数构建图像的尺度空间金字塔，然后在尺度空间中寻找极值点作为潜在的关键点；步骤1.2，关键点定位：通过拟合关键点周围像素的二次函数来精确定位关键点的位置，同时排除对比度低于的关键点和边缘效应点，其中t为经验值，n为特征点数目；步骤1.3，方向确定：根据关键点周围像素的梯度方向，计算主方向，使得特征具有旋转不变性；步骤1.4，特征描述：在关键点周围的图像区域中，使用高斯加权的梯度直方图描述关键点的局部特征，以达到尺度不变性和旋转不变性；步骤1.5，特征匹配：对于两个图像中的特征点，使用特征向量间的欧氏距离或其他距离度量方法来计算它们之间的相似性，以进行特征匹配。3.根据权利要求1所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤2中，利用随机采样一致算法ransac对可能存在的错误匹配点进行去除，ransac的具体步骤如下：步骤2.1，随机采样：从数据集中随机选择少量的样本，用于拟合模型；步骤2.2，模型拟合：使用步骤2.1选择的样本，使用多项式模型进行拟合；步骤2.3，计算误差：对于数据集中的每个非内点，计算它与当前模型的拟合误差，如果
这个误差小于给定的阈值，将该点标记为内点；步骤2.4，确定内点：将误差小于某个给定阈值的数据点标记为内点；步骤2.5，重新拟合：如果内点的数量达到了设定的阈值，则使用所有内点重新拟合一个新的模型，否则返回步骤2.1。4.根据权利要求1所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤3中，通过从运动恢复结构算法sfm估计相机的参数，所述相机参数包括相机内部参数和相机外部参数，其中，相机内部参数：相机的x方向焦距、y方向焦距、光心的x轴坐标、光心的y轴坐标；相机的外部参数：旋转矩阵r即相机坐标系在世界坐标系下的坐标、平移向量t即世界坐标系原点到相机光心的向量。5.根据权利要求1所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤4中具体包括如下子步骤:步骤4.1，随机初始化：对于图像中的每一个像素值随机初始化一个设定的平面参数，设定的法相量必须朝向于相机，即，其中表示一条以相机光心为起点经过像素点的射线，其中为空间平面的法向量，为空间平面与相机光心之间的距离；步骤4.2，稠密匹配点查找：通过估计的平面参数和相机参数，利用单应性矩阵查找副视角中与主视角像素点对应的匹配点；步骤4.3，匹配代价计算：在以主视角的像素点为中心，大小为10*10的窗口内，利用单应性矩阵将所有像素点投影到副视角中，利用归一化互相关函数ncc进行匹配代价计算；步骤4.4，假设传播：在待处理点的八个方向上选取八个候选区域，遍历候选区域中所有的点，从每个区域中挑选出一个代价最小的设定平面参数，将8个传播候选平面参数代入到当前点，计算对应的匹配像素点以及相应的匹配代价，最后，将待处理点的平面参数更新为代价最小的候选平面参数；步骤4.5，平面参数扰动优化：对当前的平面法向量进行随机扰动，使得法向量绕相机坐标系的坐标轴产生一定的旋转，得到的新的法向量记为，然后对像素点的深度值进行一定程度的扰动，得到扰动后的深度值，接着随机初始化一个法向量和深度值和，将新的法向量和深度值组合构成新的候选的平面参数，将新的平面参数代入到待处理点中，计算匹配像素点和相应的匹配代价，如果新的候选平面相比于原始的平面参数具有更小的匹配代价，则将平面参数更新为具有最小代价的平面参数。6.根据权利要求5所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤步骤4.2中，单应性矩阵公式为：其中是的相机内参，是第j张的相机内参，表示第j张图像的
相机旋转矩阵，表示图像的相机旋转矩阵，是列向量，表示对应相机的光心在世界坐标系下的坐标，表示第j张对应相机的光心在世界坐标系下的坐标，是行向量，表示法向量，为光心到设定平面的距离；查找到的匹配点坐标为：其中，表示主视角中的像素点，表示副视角中的像素点。7.根据权利要求5所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤步骤4.3中，匹配代价计算表达式如下：其中，是属于主视角中窗口的像素点，是属于副视角中窗口的像素点，表示点的像素值，表示点的像素值，表示窗口的平均像素值，表示窗口中的平均像素值，ncc值越大，表示像素点的匹配程度越高。8.根据权利要求5所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤4.5中，新的法向量和深度值组合构成新的扰动候选平面参数为：。9.根据权利要求1所述的一种基于三维重建的对抗补丁重投影方法，其特征在于，所述步骤5中，投影公式表示为：其中为对抗补丁到主视角的投影矩阵，用四组对应关系求解方程组，可以解得投影矩阵：
其中，为主视角四个控制点的二维坐标，为副视角四个控制点的二维坐标。10.一种基于三维重建的对抗补丁重投影系统，其特征在于，包括：初始匹配集建立模块，其通过特征检测建立初始匹配集；误匹配点去除模块:其对初始匹配集中的误匹配点进行去除获取准确匹配点对；稀疏重建模块，其利用准确匹配点对估计相机的内部参数和外部参数；稠密重建模块，其根据计算的相机参数计算图片中每个像素点对应的三维点的深度值并按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；主视角投影模块，在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；副视角投影模块，其利用计算的相机参数和深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。

技术总结
本发明提出了一种基于三维重建的对抗补丁重投影方法及系统。本发明首先利用尺度不变特征变换方法建立特征的初始匹配集，对得到初始匹配集利用随机采样一致算法去除误匹配得到准确的特征点匹配集。然后，对特征点匹配集依次进行稀疏重建和稠密重建。最后，设计了主副视角投影变换方法，得到对抗补丁的重投影。本发明通过投影变换的方式将模拟的数字补丁投影到被攻击的图像中，并保证不同视角下的投影补丁满足多视角几何一致性，从而消除了数字补丁和真实补丁之间的差别，使得真实补丁的实际攻击效果和模拟补丁的效果保持一致。际攻击效果和模拟补丁的效果保持一致。际攻击效果和模拟补丁的效果保持一致。


技术研发人员：马佳义 向昕宇 马泳 樊凡 黄珺 梅晓光
受保护的技术使用者：武汉大学
技术研发日：2023.08.15
技术公布日：2023/9/20