图像侵权检测方法、装置及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像侵权检测方法、装置及存储介质。


背景技术：

2.由于互联网的便捷性，原作者上传到互联网的图像通常可以被其他网络用户查阅或下载，其他网络用户在获取到原图像之后，可以对原图像进行小范围地修改或者直接抄袭并再上次传到互联网上，这样的做法通常会损害原作者的利益；或者，有的时候即使上传者上传的是自己独立拍摄或制作的图像也有可能侵犯到其他作者的正当权益，此时，上传者也存在一定的法律风险。
3.在相关方案中，主要是通过对图像之间的全局特征和局部特征进行相似度对比，进而判断图像之间是否存在侵权现象。
4.但是此种方法检索判断较为耗时，且对垂直领域的图像数据的侵权判断准确度较低，例如景点摄影图像，其主要内容是自然场景，图像之间的相似度较大，区别通常在于图像取景角度、构图方式等方面的不同，此时，判断图像侵权较为困难。


技术实现要素：

5.本技术实施例提供了一种图像侵权检测方法、装置及存储介质，可以解决如何更准确更快速地判断图像之间是否侵权的技术问题。
6.第一方面，本技术实施例提供了一种图像侵权检测方法，该方法包括以下内容。
7.提取待检测图像的图像特征，得到待检测图像特征。
8.将待检测图像进行分类，得到待检测图像的类别。
9.根据类别，提取图像数据库里至少一个参考图像的图像特征，得到参考图像特征。
10.对比待检测图像特征和参考图像特征，得到待检测图像特征和参考图像特征之间的目标相似度。
11.当目标相似度大于或等于预设相似度阈值时，则认定待检测图像侵权。
12.通过图像分类，根据分类得到的类别后续进行图像检索可以缩短图像检索的时间和提高图像检索的准确度，有助于进行图像之间的侵权判断。
13.在一种实现方式中，待检测图像特征包括待检测全局特征和待检测局部特征；待检测全局特征是通过第一特征提取模型得到的；待检测局部特征是通过第二特征提取模型得到的。
14.在一种实现方式中，第一特征提取模型包括卷积模块、池化模块和降维模块。
15.卷积模块用于提取待检测图像的卷积特征。
16.池化模块用于对卷积特征再次进行特征提取，得到池化特征。
17.降维模块用于对池化特征进行数据降维，得到待检测全局特征。
18.通过第一特征提取模型提取之后的图像数据的维度会大幅度降低，这样能够节省
内存空间，也能提高图像检索的效率。
19.在一种实现方式中，卷积特征是利用卷积神经网络得到的。
20.池化特征是通过局部最大化卷积激活特征r-mac算法得到的。
21.待检测全局特征是通过主成分分析pca算法得到的。
22.在一种实现方式中，参考图像特征包括参考全局特征和参考局部特征，上述方法还包括以下内容。
23.将待检测全局特征与参考全局特征进行对比，得到至少一个第一参考图像。
24.在一种实现方式中，待检测局部特征包括第一局部特征和第二局部特征。
25.第一局部特征对旋转、尺度缩放和亮度变化具有不变性。
26.第二局部特征对视点变化、亮度变化具有不变性。
27.在一种实现方式中，第一局部特征是通过尺度不变特征变换sift算法得到的。第二局部特征是通过关键网检测key-net算法得到的。
28.采用sift算法和key-net算法可以增加提取到的局部特征的准确度，提高图像检索的准确度。
29.在一种实现方式中，第一参考图像是利用脸书人工智能相似度匹配faiss得到的。
30.目标相似度是利用改进的自适应局部仿射匹配adalam算法得到的。采用改进的adalam算法可以减少算法运行的耗时，提升图像相似度对比的效率。
31.在一种实现方式中，将待检测局部特征与参考局部特征进行相似度匹配，得到目标相似度，包括：
32.利用第一处理器对第一局部特征和参考局部特征进行相似度匹配，生成第一局部相似度。
33.利用第二处理器对第二局部特征和参考局部特征进行相似度匹配，生成第二局部相似度。
34.结合第一局部相似度和第二局部相似度得到目标相似度。
35.通过结合第一局部相似度和第二局部相似度可以使最后得出的图像侵权的结果更准确，避免误判。
36.第二方面，本技术实施例提供了一种图像侵权装置，该装置具有实现第一方面或其任意可能的实现方式中的方法的功能。具体地，该装置包括实现第一方面或其任意可能的实现方式中的方法的单元。
37.在其中的一个实施例中，该装置包括：
38.提取单元，用于提取待检测图像的图像特征，得到待检测图像特征。
39.分类单元，用于将待检测图像进行分类，得到待检测图像的类别。
40.提取单元还用于，根据类别，提取图像数据库里参考图像的图像特征，得到参考图像特征。
41.处理单元，用于对比待检测图像特征和参考图像特征，得到待检测图像特征和参考图像特征之间的目标相似度。
42.处理单元还用于，当目标相似度大于或等于预设相似度阈值时，则认定待检测图像侵权。
43.第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在
存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述第一方面任意一种实现方式的方法。
44.第四方面，本技术实施例提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。
45.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面任意一种实现方式的方法。
46.本技术实施例与现有技术相比存在的有益效果是：将图像分类应用于图像检索识别中，可以提升检索效率，降低检索时间，增强检索出的参考图像的准确度，从而有利于在后续的相似度对比中得出更准确的结果，有助于用户更好地判断图像之间是否侵权。
附图说明
47.图1是本技术实施例提供的一种应用场景图。
48.图2是本技术实施例提供的一种图像侵权检测方法的流程示意图。
49.图3是本技术实施例提供的一种提取待检测图像特征的方法的流程示意图。
50.图4是本技术实施例提供的一种提取待检测全局特征的方法的流程示意图。
51.图5是本技术实施例提供的神经网络的结构示意图。
52.图6是本技术实施例提供的一种提取待检测局部特征的方法的流程示意图。
53.图7是本技术实施例提供的一种进行相似度匹配的流程示意图。
54.图8申请实施例提供的一种图像侵权检测装置的结构示意图。
55.图9是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
56.为了说明本技术的技术方案，下面通过具体实施例来说明。
57.日常生活中，网络用户可以将自己拍摄或制作的图像上传到各种互联网平台上。此处所说的图像不仅包括用户利用摄像设备如手机、照相机拍摄的照片，也包括用户通过传统绘画工具或各种互联网设备绘制或制作的图像作品，如非同质代币(non-fungible token，nft)图像等。
58.图1是本技术实施例提供的一种应用场景图。
59.如图1所示，作为示例而非限定，a图表示a用户上传的一张nft图像，b图表示b用户上传的一张nft图像，可以明显看出，a图和b图之间的区别仅在于b图中的水波纹条数比a图中的水波纹条数少一条，二者的相似度可以看作相同，在侵权认定的时候可以认定b图对a图构成侵权。
60.但是由于图像数据库里的图像数量繁多，在进行图像侵权检测的时候往往存在检测结果不准确和检索耗时太长的问题。
61.针对上述问题，本技术提出了一种图像侵权检测方法，通过将待检测图像先进行场景分类，然后根据分类结果进行相似度判断，最后得出侵权结果。
62.图2是本技术实施例提供的一种图像侵权检测方法的流程示意图。图2包括以下步骤。
63.s101、提取待检测图像的图像特征，得到待检测图像特征。
64.其中，待检测图像特征包括待检测全局特征和待检测局部特征。
65.待检测全局特征是指待检测图像的全局特征，待检测局部特征是指待检测图像的局部特征。
66.此处所说的图像特征主要是指图像的颜色特征、纹理特征、形状特征和空间关系特征等。
67.全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征，比如强度直方图等。
68.例如，颜色特征描述了图像或图像区域所对应的景物的表面性质；一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。
69.再例如，纹理特征描述了图像或图像区域所对应景物的表面性质；但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。
70.局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方，局部特征通常是描述一块区域，使其能具有高可区分度，局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果。
71.需要说明的，上述列举的图像特征可以作为图像中具有的特征的一些举例，图像还可以具有其他特征，此处不再展开。
72.s102、将待检测图像进行分类，得到待检测图像的类别。
73.作为示例而非限定，以常见的nft图像为例，可以先对nft图像进行场景一级分类，分成场景类，人物类，美食类和其他类。
74.再对nft图像进行场景二级分类。例如，场景类可以分为自然风光、人造环境、夜景和其他；人物类可以分为成人、小孩和其他。
75.接着还可以进行场景三级分类。例如，自然风光可以分为雪景、山景、海滩、湖边、日出日落、蓝天、草坪、鲜花、花草、树木等；人造环境可以分为建筑、街道等。
76.最后可以结合景点和常用的地标检索系统来进行场景四级分类，得到更细化的分类结果。例如，对山景可以分为黄山山景、泰山山景等等，最后得到的分类结果可以作为待检测图像的类别。比如，某一张待检测图像是拍摄的黄山的山景，应用上述分类方法得到的分类类别就是：场景类—自然风光—山景—黄山山景。
77.把图像场景分类应用到图像侵权方法中，在后续检索时，可以直接根据分类的类别在更小的范围中进行检索，避免对一些无关的数据进行检索，提升检索的效率的同时也提高了检索的准确度。
78.具体的分类情形可以根据实际情况自行选择，此处只是示例不作限定。
79.s103、根据类别，提取图像数据库里至少一个参考图像的图像特征，得到参考图像特征。
80.参考图像在这里是指与待检测图像属于同一类别的图像，用来作为待检测图像是否侵权的参照物。
81.作为示例而非限定，假设待检测图像是一张描述黄山山景的图像，参考图像就是
图像数据库里同属于黄山山景这一类别的图像。
82.参考图像特征包括参考全局特征和参考局部特征。
83.参考全局特征是指参考图像的全局特征，参考局部特征是指参考图像的局部特征。
84.图像数据库和图像的类别可以根据实际情况具体选择，此处不作限定。
85.s104、对比待检测图像特征和参考图像特征，得到待检测图像特征和参考图像特征之间的目标相似度。
86.目标相似度是待检测图像和参考图像之间的相似程度，可以使用百分数来表示。
87.例如，目标相似度为60％表示待检测图像和参考图像之间的相似度为60％。
88.s105、当目标相似度大于或等于预设相似度阈值时，则认定待检测图像侵权。
89.预设相似度阈值可以根据一定数值来统一设置。作为示例而非限定，目标相似度超过80就认为侵权。
90.预设相似度阈值也可以根据分类得到的类别的不同而分别设置，作为示例而非限定，类别为山景的相似度阈值可以设置为80，人物的相似度阈值可以设置为90。
91.预设相似阈值也可以根据具体情况来具体选择。
92.通过将场景分类引入图像侵权识别认定中，可以减少检索的耗时，能够更好地帮助用户判断图像是否侵权，满足用户的实时需求，提升了用户体验，增加了平台公信力。以nft图像为例，此种方法还可以帮助用户检测nft图像是否已经在平台中存在，避免了不必要的nft铸币，保证了平台中的nft作品的唯一性，从而也能降低nft图像购买者的风险。
93.图3是本技术实施例提供的一种提取待检测图像特征的方法的流程示意图。该方法具体可以包括以下步骤。
94.s201、待检测全局特征是通过第一特征提取模型得到的。
95.第一特征提取模型包括卷积模块、池化模块和降维模块，主要作用就是提取待检测全局特征。
96.卷积模块可以用于提取待检测图像的卷积特征。
97.池化模块可以用于对卷积特征再次进行特征提取，得到池化特征。
98.降维模块可以用于对池化特征进行数据降维，得到待检测全局特征。
99.由于待检测全局特征的特征维度较低，再此处提取待检测全局特征主要是为了在检索的时候能够快速地找到最相似的参考图像。
100.s202、待检测局部特征是通过第二特征提取模型得到的。
101.第二特征提取模型主要是为了提取待检测局部特征，待检测局部特征主要是用于跟最相似的参考图像进行更为细致的特征对比。
102.待检测局部特征包括第一局部特征和第二局部特征。
103.其中，第一局部特征对旋转、尺度缩放和亮度变化具有不变性。也可以理解为旋转、缩放这些几何变换和一些亮度变化对第一局部特征的影响不大。
104.第二局部特征对视点变化、亮度变化具有不变性。也可以理解为，视点变化(拍摄角度变化)、亮度变化(光线亮度)变化对第二局部特征的影响不大。
105.图4是本技术实施例提供的一种提取待检测全局特征的方法的流程示意图。该方法具体可以包括以下步骤。
106.s301、卷积特征是利用卷积神经网络得到的。
107.卷积神经网络(convolutional neuron network，cnn)是一种带有卷积结构的深度神经网络。
108.图5是本技术实施例提供的神经网络的结构示意图。在图5中，卷积神经网络200可以包括输入层210，卷积层/池化层220(其中池化层为可选的)。其中，输入层210可以获取待处理图像，并将获取到的待处理图像交由卷积层/池化层220。
109.卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。
110.如图5所示，221层为卷积层，222层为池化层，223层为卷积层，或者也可以理解为221、222为卷积层，223为池化层。即卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。
111.例如，卷积层221可以包括很多个卷积核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，本质上来说卷积核可以是一个权重矩阵。在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个或几个像素接着一个或几个像素进行处理，从而完成从图像中提取特定特征的工作，例如，提取图像的颜色特征等等。
112.作为示例而非限定，假设待检测图像是一张黄山山景，将该图像输入到卷积神经网络200中后，输入层210可以获取待检测图像，并将获取到的待检测图像交由卷积层220，最后经过卷积层220处理就可以得到卷积特征，例如，该卷积特征可以为m*m*1024维数据，m的取值可以根据图像的大小具体确定，此处不做限定。
113.s302、池化特征是通过局部最大化卷积激活特征r-mac算法得到的。
114.池化特征是指对卷积层特征进行池化处理之后得到的特征。
115.池化层主要原理如下。
116.当需要减少训练参数的数量时，可以在卷积层之后周期性的引入池化层，在如图5中220所示例的221-226各层，可以是一层卷积层后面跟一层池化层，也可以是多层卷积层后面接一层或多层池化层。
117.池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。
118.在这里引入局部最大化卷积激活特征(regional maximum activations of convolutions，r-mac)算法来进行池化处理。
119.该算法的主要原理包括以下内容。
120.假设卷积层输出w*h*k大小的图片，其中，w和k为输出时图片的宽高，例如9*9，k为通道数，提取的特征f如下式所示：
[0121][0122]
其中，ω代表各个局部区域，p是某一个具体的局部区域，xi是第i个通道提取特征的算法，通过此种方法计算出了各个通道中值最大的局部区域。
[0123]
使用该算法可以提取输入图像中最重要的区域，避免了穷举，提升了检索效率。
[0124]
经过卷积层和池化层的处理之后就可以得到所要提取的图像特征，并且能够初步
降低输入图像带来的参数。
[0125]
作为示例而非限定，将一张黄山山景图像输入到上述第一特征提取模型中，经过卷积层提取的特征数据为m*m*1024维数据，利用r-amc算法池化之后得到的数据可以是1*1024维。经过上述步骤可以明显看出图像的数据量大大降低，减少后续图像处理的耗时。
[0126]
s303、待检测全局特征是通过主成分分析pca算法得到的。
[0127]
在经过池化处理之后的可以得到池化特征，即降维后的特征，如果数据量还是很大，此时可以继续进行降维。
[0128]
降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的，可以节省大量的时间和成本。
[0129]
例如，可以使用主成分分析(principal component analysis，pca)算法。
[0130]
比如，其中包括的主要原理如下。
[0131]
假设,输入的数据为x＝{x1，x2，x3，
…
，xn}，此时需要降到k维。
[0132]
则需要进行以下计算步骤。
[0133]
首先去平均值(即去中心化)，即每一位特征减去各自的平均值；然后计算协方差矩阵。
[0134]
协方差是度量两个变量的变动的同步程度，也就是度量两个变量线性相关性程度。如果协方差大于0表示一个变量增大是另一个变量也会增大，即正相关，协方差小于0表示一个变量增大是另一个变量会减小，即负相关。协方差矩阵由数据集中两两变量的协方差组成。
[0135]
接着通过计算协方差矩阵的特征值与特征向量，对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。最后将数据转换到k个特征向量构建的新空间中。具体的数学原理此处不进行赘述。
[0136]
作为示例而非限定，假设，池化特征是1*1024维数据，需要降到256维，经过pca算法降维之后，就可以得到1*256维数据。
[0137]
可以直观地看出，待检测图像的数据量从卷积层特征的m*m*1024维经过r-mac算法处理之后降到1*1024维再经过pca算法处理之后降到了1*256维。通过上述方法可以大幅度地减少数据量，提升图像处理速度。
[0138]
在一种实现方式中，上述方法还包括以下步骤。
[0139]
s401、将待检测全局特征与参考全局特征进行对比，得到至少一个参考图像。
[0140]
在一个例子中，参考图像是利用脸书人工智能相似度匹配faiss得到的。
[0141]
脸书人工智能相似度匹配(facebook ai similarity search，faiss)是针对聚类和相似性搜索库。
[0142]
其主要原理和操作步骤如下。
[0143]
首先，定义两个变量xb和xq。
[0144]
其中，xb表示提前存储了n个样本的特征的图像库，xq表示待检测图像的m维向量。
[0145]
作为示例而非限定，xb可以是最简单的indexflatl2，即使用暴力l2搜索的数据库，也可以理解为搜索时将图像特征和特征库中的每个特征进行l2距离计算然后取出距离最近的图像的数据库。
[0146]
作为示例而非限定，xq可以是1024维向量或者2048维向量等等。
[0147]
然后，将待检测图像全局特征与图像特征库里的图像进行相似度匹配，得出至少k个最相似的图像和每一个图像对应的距离。
[0148]
例如，需要搜索4个最相似的图像时，可以使用indexflatl2在图像特征库找出与待检测图像的特征的欧氏距离最近的4个图像。
[0149]
当然也可以用其余更复杂的数据库，如gpuindexflat、indexivfflat等数据库，此处不展开描述。
[0150]
同时，其拥有乘积量化(product quantizer，pq)和倒排索引(inverted file index，ivf)的功能，可以使faiss检索的速度得到提升。
[0151]
下面解释乘积量化过程的原理。
[0152]
假设某个待检测图像的特征是一个2048维向量，它会在加载到内存中的图像特征库中保存全量的特征，图像越多，占用的内存越大，检索就越耗时。
[0153]
此时可以将待检测图像的向量2048维拆分成n个子向量，那么每个子向量的维度是待检测图像向量的维度1/n倍。
[0154]
然后在每个子向量矩阵上使用k-means聚类算法，k的取值可以为256，这样每个矩阵上会得到256个质心，共有n*256个质心。
[0155]
再将每一个子向量替换为距离最近的一个质心，并使用该质心的id来表示，这样待检测图像的2048维特征就被替换成了n个质心的id，因为256个质心的索引只占用一个字节，待检测图像就占用n个字节。
[0156]
假设以2048维的float类型为例，未经过压缩前一个待检测图像就占用8192个字节。经过压缩之后，假设占用8个字节，可以容易算出待检测图像占用的内存被压缩了1024倍，因此可以大幅减少检索时间。
[0157]
接下来就可以进行相似度计算。
[0158]
将前述待检测图像向量的每个子向量和对应的一组质心进行l2距离计算，可以得到256个距离；总共n个子向量，就会得到n*256个l2距离。
[0159]
将上述的n*256个l2距离看成是一个距离表，该距离表为256行*n列，通过查询该距离表即可得到图像特征库中的图像和待检测图像的特征之间的l2距离。
[0160]
最后将距离排序，取得距离最近的k个样本图像作为第一参考图像。即为最相似的k个参考图像，k的个数可以自由选择，此处不作限定。
[0161]
下面介绍倒排索引的内容。
[0162]
ivf文义是指在文本搜索中，每个单词到该单词所属的文档之间的映射关系保存到数据库中。也可以理解为，ivf只和部分特征进行比对。
[0163]
例如，使用k-means算法将数据库进行聚类(比如n个分区)，当查询一个待检测图像向量的时候，和能代表这n个分区的n个质心进行l2比较，获得最接近的k个分区，然后在这k个分区里再进行穷举搜索。这样，剩余的图像记录就不用再进行穷举检索。
[0164]
作为示例而非限定，当待检测图像是nft图像时，结合上述原理可以采用以下步骤确定参考图像。
[0165]
首先，离线提取图像库中所有离线数据的全局特征，并进行离线存储。
[0166]
然后，在线提取待检测nft图像的全局特征。这样做可以减少检索时长，如果直接
使用欧式距离进行暴力相似度计算耗时多。
[0167]
最后，采用faiss全局特征相似度匹配。
[0168]
此时，需要对离线的nft特征构建faiss索引文件，先构建向量库，再构建index索引，最后检索出最相似的k个参考图像。
[0169]
采用faiss进行检索，利用倒排索引和乘积量化的功能可以保证检索的高速进行，并且对内存的要求较低，同时也能得到较为精确的结果，可以为图像侵权提供有力支撑。
[0170]
在确定好参考图像之后，就可以提取参考图像的局部特征，然后利用待检测局部特征与参考局部特征进行更细致的特征对比，从而得到目标相似度。
[0171]
图6是本技术实施例提供的一种提取待检测局部特征的方法的流程示意图。图6包括以下步骤。
[0172]
s501、第一局部特征是通过尺度不变特征变换sift算法得到的。
[0173]
尺度不变特征变换(scale-invariant feature transform，sift)算法是一种检测局部特征的算法。sift算法的优点是具有尺度不变性，其主要原理可以包括以下步骤。
[0174]
首先进行尺度空间的极值检测。构建好尺度空间之后就可以模拟图像数据的多尺度特征，一个二维图像的尺度空间可以定义为：
[0175]
l(x，y，σ)＝g(x，y，σ)*i(x，y)，
[0176]
其中，l表示尺度空间，x，y表示空间坐标，也是尺度坐标，g(x，y，σ)是尺度可变高斯函数。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。
[0177]
为了进行尺度空间的极值检测，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。一个点如果在尺度空间本层以及上下两层的比较领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
[0178]
得到所有特征点之后可以去除一些明显不符合要求的特征点，保留优质的特征点。
[0179]
然后为每一个特征点计算一个方向，可以利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。每个关键点可以包括三个信息即：位置信息，所处尺度信息和方向信息，由此就可以确定一个sift特征区域。
[0180]
接下来给关键点进行主方向分配，在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，此处还可以使用高斯函数对直方图进行平滑，减少突变的影响，直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。
[0181]
最后是关键点描述子的生成，将坐标轴旋转为关键点的方向，来确定旋转不变性，对于一个关键点产生128个数据，即形成128维的sift特征向量，将特征向量的长度归一化，可以去除光照变化的影响。具体的数学原理此处不进行赘述。
[0182]
作为示例而非限定，以待检测图像是nft图像为例，结合sift算法，在线提取待检测图像的局部特征得到n*128局部特征向量，即得到第一局部特征。第一局部特征可以对旋转、缩放等几何变换具有不变性。
[0183]
s502、第二局部特征是通过关键网检测key-net算法得到的。
[0184]
key-net算法是将手工制作和学习的cnn滤波器结合在一个浅的多尺度结构中，进行关键点检测，即主要是基于梯度的特征提取、低级特征的学习组合和多尺度金字塔表示。
具体的数学原理此处不再展开赘述。
[0185]
key-net算法的优点是在视点和亮度变化上具有良好的匹配性。
[0186]
作为示例而非限定，以待检测图像是nft图像为例，结合key-net算法，在线提取待检测图像的局部特征得到n*128局部特征向量，即得到第二局部特征。第二局部特征对拍摄角度或图像亮度等方面的变化具有稳定性。
[0187]
作为示例而非限定，在提取局部特征的时候，对于色彩比较丰富的图像数据可以利用sift算法；对于素描或者彩色比较单一的图像，比如只有物体全白的图像，可以利用key-net算法。
[0188]
在一种实现方式中，可以同时采用2个处理器分别运行sift算法和key-net算法。这样做可以缩短检索时间，
[0189]
作为示例而非限定，处理器1提取待检测nft图像sift局部特征(包括描述子和关键点信息)，同时sift算法采用gpu加速运算，处理器2提取待检测ntf图像keynet特征(包括描述子和关键点信息)。
[0190]
得到待检测局部特征之后，就可以查询第一参考图像的参考局部特征，从而方便后续进行相似度对比。
[0191]
作为示例而非限定，利用sift算法将图像库里的图像离线提取1亿个n*128维局部向量，得到sift局部特征离线特征集(包括描述子和关键点信息)。利用key-net算法将图像库里的图像离线提取1亿个n*128维局部向量，key-net局部特征离线特征集(包括描述子和关键点信息)，将这两个数据集分别存储在数据库中。
[0192]
根据faiss检索结果的最相似的k个第一参考图像的图像索引号从数据库中分别查询参考局部特征sift向量和key-net向量(包括描述子和关键点信息)。
[0193]
这样就可以直接利用上述数据进行相似度对比，从而得到目标相似度。也即将待检测局部特征与参考局部特征进行相似度匹配，得到目标相似度。
[0194]
在一种实现方式中，目标相似度是利用改进的自适应局部仿射匹配adalam算法得到的。
[0195]
其主要原理如下。
[0196]
首先，找到初始匹配。此时可以为每个匹配赋值一个得分，置信度越高得分就越高，然后使用非极大值抑制得到得分最高的点得到种子点。这一步的目的就是找到置信度高且分布较好的点作为“种子点”。接着在选取满足条件的种子点的附近的点(匹配)，构成邻域来支持种子点。最后保留那些局部一致较好匹配。
[0197]
种子点在选择时选择一定半径内匹配置信度最大的点作为种子点，此时可用gpu对该过程进行并行加速。在寻找可以支持种子匹配的匹配对时，令对该过程进行并行加速。在寻找可以支持种子匹配的匹配对时，令其中，分别表示两张图上的第i个种子匹配对。
[0198]
对于任意匹配(p1，p2)＝((x1，d1，σ1，α1)，(x2，d2，σ2，α2))∈m,
[0199]
其中，d表示描述子，如果上述匹配满足如下约束关系，就能够被纳入到支持种子点的匹配集合中，该约束关系为：
[0200][0201]
其中，α
p
＝α2-α1，σ
p
＝σ2/σ1，表示两个匹配点之间的角度与尺度差异；
[0202]
r1与r2表示与图像的种子点扩散半径；λ表示邻域圈圈的覆盖程度的正则项。
[0203]
接下来去滤除一些错误的匹配对：使用随机抽样一致性(random sample consensus，ransa)算法的思想找到最小解集去拟合仿射矩阵，然后滤除置信度低的匹配对。具体的数学原理此处不展开赘述。
[0204]
当置信度大于某个阈值，表示该模型对该匹配关系拟合的较好，视该匹配被视为内点，否则为外点。
[0205]
由上可知，可以根据上述方法继续迭代计算，直至达到最大迭代次数，最后输出内点。
[0206]
图7是本技术实施例提供的一种进行相似度匹配的流程示意图。
[0207]
结合图7可以得出上述方法是如何进行相似度匹配的。图7中包括以下步骤。
[0208]
s601、利用第一处理器对第一局部特征和参考局部特征进行相似度匹配，生成第一局部相似度。
[0209]
改进的adalam算法采用了gpu并行加速，减少了算法运算的耗时。
[0210]
作为示例而非限定，利用第一处理器对sift特征进行adalam相似度匹配。
[0211]
s602、利用第二处理器对第二局部特征和参考局部特征进行相似度匹配，生成第二局部相似度。
[0212]
作为示例而非限定，利用第二处理器对key-net特征进行adalam相似度匹配。
[0213]
s603、结合第一局部相似度和第二局部相似度得到目标相似度。
[0214]
目标相似度可以看作是第一局部相似度和第二局部相似度的综合。可以是数值相加，或数值相乘，也可以是另外的综合方式，此处不作限定。
[0215]
作为示例而非限定，对sift和keynet匹配点个数设置统计阈值th1和th2，两者同时大于阈值则认为是侵权，两者有一个大于阈值则认为疑似侵权，两者同时小于阈值则认为不存在侵权。
[0216]
例如，第一局部相似度和第二局部相似度同时大于100时(此时认为目标相似度大于100)可以认定为侵权，第一局部相似度和第二局部相似度同时小于50(此时认为目标相似度小于50)时，则不认为侵权；若第一局部相似度和第二局部相似度中有一个处于50～100的分数区间(此时认为目标相似度处于50～100的分数区间)时，则认为疑似侵权。
[0217]
上文主要结合附图对本技术实施例的一种图像侵权检测方法进行了介绍。应理解，虽然如上的各实施例所涉及的流程图中的各个步骤依次显示，但是这些步骤并不是必然按照图中所示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地
执行。下面结合附图对本技术实施例的一种的装置进行介绍。为了简洁，在下文介绍装置时，会进行适当省略，相关内容可以参照上文的方法中的相关描述，不再重复介绍。
[0218]
图8申请实施例提供的一种图像侵权检测装置的结构示意图。
[0219]
如图8所示，该图像侵权检测装置1000包括以下单元。
[0220]
提取单元1001，用于提取待检测图像的图像特征，得到待检测图像特征；
[0221]
分类单元1002，用于将待检测图像进行分类，得到待检测图像的类别；
[0222]
在一种实现方式中，提取单元1001还用于，根据类别，提取图像数据库里参考图像的图像特征，得到参考图像特征；
[0223]
处理单元1003，用于对比待检测图像特征和参考图像特征，得到待检测图像特征和参考图像特征之间的目标相似度；
[0224]
在一种实现方式中，处理单元1003还用于，当目标相似度大于或等于预设相似度阈值时，则认定待检测图像侵权。
[0225]
在一种实现方式中，提取单元1001还可以用于执行上述步骤s201、s202、s301～s303、s501～s502中的方法。
[0226]
在一种实现方式中，处理单元1003还可以用于执行上述步骤s401、s601～s603中的方法。
[0227]
需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0228]
图9是本技术实施例提供的计算机设备的结构示意图。如图9所示，该实施例的计算机设备3000包括：至少一个处理器3100(图9仅示出一个)处理器、存储器3200以及存储在存储器3200中并可在至少一个处理器3100上运行的计算机程序3210，处理器3100执行计算机程序3210时实现上述实施例中的步骤。
[0229]
处理器3100可以是中央处理单元(central processing unit,cpu)，该处理器3100还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0230]
存储器3200在一些实施例中可以是计算机设备3000的内部存储单元，例如计算机设备3000的硬盘或内存。存储器3200在另一些实施例中也可以是计算机设备3000的外部存储设备，例如计算机设备3000上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器3200还可以既包括计算机设备3000的内部存储单元也包括外部存储设备。存储器3200用于存储操作系统、应用程序、引导装载程序(boot loader)数据以及其他程序等，例如计算机程序的程序代码等。存储器3200还可以用于暂时地存储已经输出或者将要输出的数据。
[0231]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述
的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0232]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0233]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，能够实现上述各个方法。
[0234]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0235]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。在描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
[0236]
应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0237]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0238]
另外，在本技术说明书和所附权利要求书的描述中，术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0239]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0240]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本技术的范围。
[0241]
在本技术所提供的实施例中，应该理解到，所揭露的装置、计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置、计算机设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0242]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种图像侵权检测方法，其特征在于，包括：提取待检测图像的图像特征，得到待检测图像特征；将所述待检测图像进行分类，得到所述待检测图像的类别；根据所述类别，提取图像数据库里至少一个参考图像的图像特征，得到参考图像特征；对比所述待检测图像特征和所述参考图像特征，得到所述待检测图像特征和所述参考图像特征之间的目标相似度；当所述目标相似度大于或等于预设相似度阈值时，则认定所述待检测图像侵权。2.根据权利要求1所述的方法，其特征在于，所述待检测图像特征包括待检测全局特征和待检测局部特征；所述待检测全局特征是通过第一特征提取模型得到的；所述待检测局部特征是通过第二特征提取模型得到的。3.根据权利要求2所述的方法，其特征在于，所述第一特征提取模型包括卷积模块、池化模块和降维模块；所述卷积模块用于提取所述待检测图像的卷积特征；所述池化模块用于对所述卷积特征再次进行特征提取，得到池化特征；所述降维模块用于对所述池化特征进行数据降维，得到所述待检测全局特征。4.根据权利要求3所述的方法，其特征在于，所述卷积特征是利用卷积神经网络得到的；所述池化特征是通过局部最大化卷积激活特征r-mac算法得到的；所述待检测全局特征是通过主成分分析pca算法得到的。5.根据权利要求2所述的方法，其特征在于，所述参考图像特征包括参考全局特征和参考局部特征；所述方法还包括：将所述待检测全局特征与所述参考全局特征进行对比，得到至少一个第一参考图像。6.根据权利要求5所述的方法，其特征在于，所述待检测局部特征包括第一局部特征和第二局部特征，所述第一局部特征对旋转、尺度缩放和亮度变化具有不变性；所述第二局部特征对视点变化、亮度变化具有不变性。7.根据权利要求6所述的方法，其特征在于，所述第一局部特征是通过尺度不变特征变换sift算法得到的；所述第二局部特征是通过关键网检测key-net算法得到的。8.根据权利要求5所述的方法，其特征在于，所述第一参考图像是利用脸书人工智能相似度匹配faiss得到的；所述目标相似度是利用改进的自适应局部仿射匹配adalam算法得到的。9.根据权利要求7所述的方法，其特征在于，将所述待检测局部特征与所述参考局部特征进行相似度匹配，得到目标相似度，包括：利用第一处理器对所述第一局部特征和所述参考局部特征进行相似度匹配，生成第一局部相似度；利用第二处理器对所述第二局部特征和所述参考局部特征进行相似度匹配，生成第二局部相似度；结合所述第一局部相似度和所述第二局部相似度得到所述目标相似度。
10.一种图像侵权检测装置，其特征在于，包括：提取单元，用于提取待检测图像的图像特征，得到待检测图像特征；分类单元，用于将所述待检测图像进行分类，得到所述待检测图像的类别；所述提取单元还用于，根据所述类别，提取图像数据库里参考图像的图像特征，得到参考图像特征；处理单元，用于对比所述待检测图像特征和所述参考图像特征，得到所述待检测图像特征和所述参考图像特征之间的目标相似度；所述处理单元还用于，当所述目标相似度大于或等于预设相似度阈值时，则认定所述待检测图像侵权。

技术总结
本申请提供了一种图像侵权检测方法、装置及存储介质，该图像侵权检测方法包括：提取待检测图像的图像特征，得到待检测图像特征；将所述待检测图像进行分类，得到所述待检测图像的类别；根据所述类别，提取图像数据库里至少一个参考图像的图像特征，得到参考图像特征；对比所述待检测图像特征和所述参考图像特征，得到所述待检测图像特征和所述参考图像特征之间的目标相似度；当所述目标相似度大于或等于预设相似度阈值时，则认定所述待检测图像侵权。该方案通过将图像分类应用于图像检索识别中，可以提升检索效率，降低检索时间，增强检索出的参考图像的准确度，从而有助于用户更好地判断图像之间是否侵权。判断图像之间是否侵权。判断图像之间是否侵权。


技术研发人员：任威 高越 洪振扬 曹婧蕾 侯志刚 纪偲琰
受保护的技术使用者：中国移动国际有限公司
技术研发日：2023.03.21
技术公布日：2023/7/12