图像描述及图像检索方法、装置、电子设备及存储介质与流程

1.本发明涉及图像检索技术领域，尤其涉及一种图像描述及图像检索方法、装置、电子设备及存储介质。


背景技术：

2.图像之间的相似度计算是计算机视觉领域经常遇到的需求之一、众多视觉任务背后的实现都依赖相似度计算，比如以图搜图技术、相同地点判定等。
3.现有技术中，计算图像之间的相似度主要基于两个方面的方法，一是基于深度学习模型的模式识别方法，通过对图像中存在的实物进行判别，通过实物标签来断定图像间的距离；另一种是基于图像分析的方法，例如颜色分布直方图、梯度直方图、基于离散傅里叶变换的图像指纹算法等传统图像解析方式来计算图像的统计相似度。
4.然而，基于深度学习模型的模式识别方法需要在明确目标语义的情况下，才能确定所需的计算空间，并且实际的需求输入的图像场景几乎是无限的，按照模式识别的思路，样本和机器的成本是无限的；而基于图像分析的方法使用常用的颜色直方图、梯度直方图、图像指纹描述法抑或是流行度很高的ssim(structural similarity index)指标分析均存在精度低的问题。


技术实现要素：

5.本发明提供一种图像描述及图像检索方法、装置、电子设备及存储介质，用以解决现有技术中基于深度学习模型的模式识别方法和基于图像分析的方法进行图像检索的缺陷。
6.本发明提供一种图像描述及图像检索方法，包括：
7.获取待检索图像的灰度图；
8.基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；
9.基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；
10.基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；
11.基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；
12.基于所述待检索图像的目标特征，进行图像检索。
13.根据本发明提供的一种图像描述及图像检索方法，所述基于所述待检索图像的目标特征，进行图像检索，包括：
14.基于所述待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征；
15.基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进
行图像检索。
16.根据本发明提供的一种图像描述及图像检索方法，所述基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进行图像检索，包括：
17.基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，确定所述待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征；
18.对所述比值特征进行指数增强，得到指数特征；所述指数增强用于增强相似度高区域比重，降低相似度低区域比重；
19.基于所述指数特征之间的相似度排名，进行图像检索。
20.根据本发明提供的一种图像描述及图像检索方法，所述基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征，包括：
21.以所述灰度图中各像素点在所述灰度值分布区间特征中的取值，以及所述各像素点在所述结构特征中的取值，定位各像素点在预设零值矩阵中的位置；
22.将所述各像素点在所述梯度特征中的取值，填入所述各像素点在预设零值矩阵中的位置，得到所述待检索图像的目标特征。
23.根据本发明提供的一种图像描述及图像检索方法，所述基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征，包括：
24.对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系；
25.基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征。
26.根据本发明提供的一种图像描述及图像检索方法，所述基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征，包括：
27.对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值；
28.基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值，确定所述灰度图的梯度特征。
29.本发明还提供一种图像描述及图像检索装置，包括：
30.获取单元，用于获取待检索图像的灰度图；
31.统计单元，用于基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；
32.确定结构特征单元，用于基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；
33.确定梯度特征单元，用于基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；
34.确定目标特征单元，用于基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；
35.图像检索单元，用于基于所述待检索图像的目标特征，进行图像检索。
36.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像描述及图像检索方法。
37.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像描述及图像检索方法。
38.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像描述及图像检索方法。
39.本发明提供的图像描述及图像检索方法、装置、电子设备及存储介质，基于灰度图的灰度值分布区间特征、结构特征和梯度特征，确定待检索图像的目标特征，再基于待检索图像的目标特征，进行图像检索，灰度图的结构特征是基于灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列确定的，灰度图的梯度特征是基于灰度图中各相邻像素点的灰度值之间的差值确定的，由此，提高了图像检索的准确性和可靠性，也进一步提高了图像检索的精度，并且此过程无需大量的样本和机器成本，降低了图像检索的成本。
附图说明
40.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明提供的图像描述及图像检索方法的流程示意图；
42.图2是本发明提供的图像描述及图像检索方法装置的结构示意图；
43.图3是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
46.相关技术中，基于深度学习的模式识别技术在图像检测、标签描述、实物识别等领域取得了巨大的成功，然而其在有限领域内能够快速收敛，对于开放域问题作用相当有限。近年来，基于大模型、大样本、大计算量的通用语义分析模型在众多领域快速应用，作为众多下游任务的预训练模型，比如：openai的clip(contrastive language-image pre-training)模型，其强大的语义分析功能涵盖了几乎所有常见的实物分类。
47.基于深度学习模型的模式识别方法需要在明确目标语义的情况下，才能确定所需的计算空间，并且实际的需求输入的图像场景几乎是无限的，按照模式识别的思路，样本和
机器的成本是无限的。
48.而基于图像分析的方法能有效避免模式识别的开放域问题，针对任何图像只关注图像某个维度或多个维度的统计特征，而问题在于没有一种完美的方式来精确的描述一张图像，使用常用的颜色直方图、梯度直方图、图像指纹描述法抑或是流行度很高的ssim指标分析均存在精度低的问题。
49.基于图像分析的方法的另一种实现方式是基于特征点提取和描述的方式，最具代表性的是sift(scale invariant feature transform，尺度不变特征变换)算法，通过将图像中的特征点检测提取并生成描述符，再对两张图像的所有描述符交叉比较，最终统计距离在指定范围内的点的占比来计算相似度值，经过实际验证，其确实可以将相似度高的点比对出来，但是存在的问题是：
50.(1)特征点的提取主要针对角点，对于颜色平坦区域缺少描述，无法比较纯色图像之间的相似度。
51.(2)特征点的范围有限，经常遇到计算相似度极高的点在大范围看实际不是相同点。
52.(3)特征点的数量不好控制，有的图像可能一个特征点提取不出来，有的图像提取出几百个特征点。
53.(4)交叉对比计算相似度时时间复杂度高，因为是交叉比对，要对每个点128维的特征向量进行两两比较计算。
54.基于上述问题，本发明提供一种图像描述及图像检索方法，图1是本发明提供的图像描述及图像检索方法的流程示意图，如图1所示，该方法包括：
55.步骤110，获取待检索图像的灰度图。
56.具体地，可以获取待检索图像的灰度图，此处的待检索图像可以通过扫描仪、手机、相机、平板等图像采集设备采集得到，待检索图像可以是rgb三通道图像，本发明实施例对此不作具体限定。
57.待检索图像的灰度图可以是对待检索图像进行灰度化处理得到的，此处的灰度化处理的方法可以是最大值法，也可以是平均值法，还可以是加权平均法等，本发明实施例对此不作具体限定。
58.步骤120，基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征。
59.具体地，考虑到传统的灰度图对光线明暗变化较敏感，灰度图中各相邻像素点的灰度值在光线明暗稍微发生改变的情况下便会发生互换现象，导致最终的灰度图稳定性很差。
60.在获取到待检索图像的灰度图之后，可以基于灰度图中各像素点的灰度值，统计灰度图的灰度值分布区间特征。此处的灰度图的灰度值分布区间特征反映了灰度图的灰度值分布区间层面的特征信息。
61.例如，可以将灰度图的灰度值分布划分为16个区间，这16个区间可以分别是：
62.(0-11)、(10-20)、(19-41)、(40-61)、
63.(60-81)、(80-101)、(100-120)、(119-140)、
64.(139-149)、(148-155)、(154-172)、(171-189)、
65.(188-206)、(205-223)、(222-239)、(238-256)。
66.相应地，灰度值分布区间特征用于反映灰度图中的每个像素点的灰度值具体属于上述哪个区间。
67.步骤130，基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征。
68.具体地，在获取到待检索图像的灰度图之后，可以基于灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定灰度图的结构特征。此处的灰度图的结构特征反映了灰度图的结构层面的特征信息。
69.例如，可以对灰度图进行滑窗，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，再基于每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定灰度图的结构特征。
70.假设待检索图像的大小为w*h，每个滑窗下的中心像素点为起始点，坐标为(1,1)，每次滑动向右移动一个像素，当窗口中心像素点坐标到达h-1位置时，窗口向下移动一格，从第二行的位置继续开始滑动计算，即卷积操作，依次类推，此处不再赘述。
71.例如，可以以3*3的滑动窗口，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，当每个滑窗下的中心像素点的外圈像素点的灰度值大于或等于中心像素点的灰度值时记为1，当每个滑窗下的中心像素点的外圈像素点的灰度值小于中心像素点的灰度值时记为0，这样窗口每滑动一步，可以得到一个8位01数值组合。例如：00110101表示每个滑窗下的中心像素点的左上角像素的灰度值小于中心像素点的灰度值，而中心像素点的右上角像素的灰度值大于或等于中心像素点的灰度值。
72.步骤140，基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征。
73.具体地，由于灰度图的结构特征只考虑了构成和对比关系，由于对比值对应的梯度不同，相同结构特征所对应的图像可能完全不同，比如，结构特征均是11000101的两个滑动窗口，中心像素点的灰度值都是30，中心像素点对应的外圈像素点的灰度值可以是[50，50，20，20，20，50，20，50]和[150，150，0，0，0，150，0，150]，因此，需要确定灰度图的梯度特征。
[0074]
即，在获取到待检索图像的灰度图之后，可以基于灰度图中各相邻像素点的灰度值之间的差值，确定灰度图的梯度特征。此处的灰度图的梯度特征反映了灰度图的梯度层面的特征信息。
[0075]
步骤150，基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述。
[0076]
具体地，在得到灰度图的灰度值分布区间特征、结构特征和梯度特征之后，可以基于灰度图的灰度值分布区间特征、结构特征和梯度特征，确定待检索图像的目标特征。此处的目标特征是指最终用于图像检索的待检索图像的特征，目标特征用于对待检索图像进行图像描述，目标特征的大小可以是16*256，也可以是8*256，还可以是12*256等，本发明实施例对此不作具体限定。
[0077]
例如，可以以灰度图中各像素点在灰度值分布区间特征中的取值，以及各像素点
在结构特征中的取值，定位各像素点在预设零值矩阵中的位置，再基于各像素点在梯度特征中的取值，以及各像素点在预设零值矩阵中的位置，得到待检索图像的目标特征。
[0078]
步骤160，基于所述待检索图像的目标特征，进行图像检索。
[0079]
具体地，在得到待检索图像的目标特征之后，可以基于待检索图像的目标特征，进行图像检索。
[0080]
此处，可以基于待检索图像的目标特征和图像库中的各图像的目标特征，进行图像检索。
[0081]
此外，在进行图像检索时，为了提高图像相似度计算的速度，可以设置预筛环节，将待检索图像的目标特征和图像库中的各图像的目标特征之间的相似度大于预设阈值的图像库中的图像筛选出来。
[0082]
本发明实施例提供的方法，基于灰度图的灰度值分布区间特征、结构特征和梯度特征，确定待检索图像的目标特征，再基于待检索图像的目标特征，进行图像检索，灰度图的结构特征是基于灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列确定的，灰度图的梯度特征是基于灰度图中各相邻像素点的灰度值之间的差值确定的，由此，提高了图像检索的准确性和可靠性，也进一步提高了图像检索的精度，并且此过程无需大量的样本和机器成本，降低了图像检索的成本。
[0083]
基于上述任一实施例，本发明实施例所提供的图像描述及图像检索方法，可以应用于金融风控领域，金融风控领域通常遇到欺诈团伙在同一地点组团申请贷款的情况，需要根据申请人提交的申请图像判断在历史申请人中是否存在相同地点申请的情况，然而，基于gps定位等手段通常无法精确的具体到具体地点，此时可以使用本发明提供的图像描述及图像检索方法，再结合人像分割技术可以快速检索出背景相似度高的图像，从而协助快速判定欺诈申请行为，本发明实施例对此不作具体限定。
[0084]
基于上述实施例，步骤160包括：
[0085]
步骤161，基于所述待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征；
[0086]
步骤162，基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进行图像检索。
[0087]
具体地，在确定待检索图像的目标特征之后，可以基于待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征，此处的目标特征是指最终用于图像检索的待检索图像的特征。
[0088]
例如，待检索图像的目标特征可以用m1表示，图像库中的各图像的目标特征可以用m2表示，计算m1、m2矩阵对应位置的交集，即取m1、m2矩阵对应位置的最小值，得到梯度值分布统计矩阵交集矩阵，梯度值分布统计矩阵交集特征可以用m3表示。
[0089]
例如，m1为m2为则基于待检索图像的目标特征m1和图像库中的各图像的目标特征m2，确定的梯度值分布统计矩阵交集特征为
[0090]
再对m1、m2矩阵对应位置求和，得到梯度值分布统计矩阵相加特征，梯度值分布统计矩阵相加特征可以用m4表示。
[0091]
例如，m1为m2为则基于待检索图像的目标特征m1和图像库中的各图像的目标特征m2，确定的梯度值分布统计矩阵相加特征为
[0092]
在得到交集矩阵和求和矩阵之后，可以基于梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征，进行图像检索。
[0093]
基于上述实施例，步骤162包括：
[0094]
步骤1621，基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，确定所述待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征；
[0095]
步骤1622，对所述比值特征进行指数增强，得到指数特征；所述指数增强用于增强相似度高区域比重，降低相似度低区域比重；
[0096]
步骤1623，基于所述指数特征之间的相似度排名，进行图像检索。
[0097]
具体地，在得到梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征之后，可以基于梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征，确定待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征。
[0098]
例如，梯度值分布统计矩阵交集特征可以用m3表示，梯度值分布统计矩阵相加特征可以用m4表示，基于梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征确定的比值特征可以表示为(m3*2)/m4，比值特征可以用m5表示。
[0099]
考虑到实际进行图像检索时，为了凸显待检索图像的目标特征和图像库中的各图像的目标特征之间相似度高的区域，需要给不同的区域增加权重。
[0100]
在得到比值特征之后，可以对比值特征进行指数增强，即m5*e-1，得到指数特征，指数特征可以用m6表示。此处的指数增强用于增强相似度高区域比重，降低相似度低区域比重。
[0101]
由此，待检索图像的目标特征m1，与图像库中的各图像的目标特征m2之间相似度高的特征区域得到增强，进一步提高了后续图像检索的准确性和可靠性。
[0102]
在得到比值特征和指数特征之后，可以基于指数特征之间的相似度排名，进行图像检索。
[0103]
例如，可以统计比值特征m5中非零区域的个数，再对指数特征m6进行求和，最后，计算指数特征m6求和值与比值特征m5中非零区域的个数的比值，作为待检索图像的目标特征与图像库中的各图像的目标特征之间的相似度。再取指数特征的相似度排名前n个的图像作为与待检索图像较相似的图像。
[0104]
基于上述实施例，步骤150包括：
[0105]
步骤151，以所述灰度图中各像素点在所述灰度值分布区间特征中的取值，以及所述各像素点在所述结构特征中的取值，定位各像素点在预设零值矩阵中的位置；
[0106]
步骤152，将所述各像素点在所述梯度特征中的取值，填入所述各像素点在预设零值矩阵中的位置，得到所述待检索图像的目标特征。
[0107]
具体地，可以以灰度图中各像素点在灰度值分布区间特征中的取值，以及各像素点在结构特征中的取值，定位各像素点在预设零值矩阵中的位置。
[0108]
例如，灰度图中各像素点在灰度值分布区间特征中的取值是1，各像素点在结构特征中的取值是255，定位各像素点在预设零值矩阵中的位置，即定位预设零值矩阵的第1行，第255列中的位置。
[0109]
又例如，灰度图中各像素点在灰度值分布区间特征中的取值是16，各像素点在结构特征中的取值是250，定位各像素点在预设零值矩阵中的位置，即定位预设零值矩阵的第16行，第250列中的位置。
[0110]
然后，可以将各像素点在梯度特征中的取值，填入各像素点在预设零值矩阵中的位置，得到待检索图像的目标特征。
[0111]
基于上述实施例，步骤130包括：
[0112]
步骤131，对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列；
[0113]
步骤132，基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征。
[0114]
具体地，在获取待检索图像的灰度图之后，可以对灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列。
[0115]
例如，滑窗下的灰度图像素矩阵为4为中心像素点，[3，7，2，8，1，2，3，5]为中心像素点的外圈像素点。
[0116]
例如，可以以3*3的滑动窗口进行滑窗，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，当每个滑窗下的中心像素点的外圈像素点的灰度值大于或等于中心像素点的灰度值时记为1，当每个滑窗下的中心像素点的外圈像素点的灰度值小于中心像素点的灰度值时记为0，这样窗口每滑动一步，可以得到一个8位01数值组合。
[0117]
由此，中心像素点的外圈像素点[3，7，2，8，1，2，3，5]会得到[0，1，0，1，0，0，0，1]的8位数值组合。
[0118]
例如：00110101可以表示每个滑窗下的中心像素点的左上角像素的灰度值小于中心像素点的灰度值，而中心像素点的右上角像素的灰度值大于或等于中心像素点的灰度值。
[0119]
在得到8位01数值组合之后，通过二进制转换十进制的计算原则，将8位01数值组合转换成十进制，8位01数值组合的情况共有2^8＝256种，即取值范围在0-255之间，由此，每个像素的结构特征就可以用一个十进制数来描述。
[0120]
由于待检索图像存在角度旋转等角度变换情况，一旦角度发生变换，待检索图像原本左上角的像素可能会转到了左下角，也就是8位二进制数组的计算起始位置发生了改变。
[0121]
为了有效应对图像旋转带来的影响，将每个窗口得到的二进制数组复制做一个镜像翻转，与原数组做拼接，得到一个16位的数组，之后依次从左往右开始取值每次取8位，第一次从第0位开始取，第二次从第1位开始取，第三次从第2位开始取，依次类推，共取8次，得到8个二进制数组，分别计算8个二进制数组的十进制值，并取8个二进制数组的十进制值中的最小值或者最大值作为当前滑动窗口的结构特征。
[0122]
由此，计算灰度图的每个像素的结构特征，得到灰度图的结构特征。
[0123]
基于上述实施例，步骤140包括：
[0124]
步骤141，对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值；
[0125]
步骤142，基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值，确定所述灰度图的梯度特征。
[0126]
具体地，可以对灰度图进行滑窗，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值。
[0127]
例如，灰度图滑窗下的中心像素点为30，中心像素点的外圈像素点为[50，50，20，20，20，50，20，50]，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值为[20，20，-10，-10，-10，20，-10，20]。
[0128]
在获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值之后，可以基于每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值，确定灰度图的梯度特征。
[0129]
基于上述任一实施例，一种图像描述及图像检索方法，步骤如下：
[0130]
第一步，可以获取待检索图像的灰度图。
[0131]
第二步，基于灰度图中各像素点的灰度值，统计灰度图的灰度值分布区间特征。
[0132]
第三步，对灰度图进行滑窗，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列；
[0133]
基于每个滑窗下的中心像素点与中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定灰度图的结构特征。
[0134]
第四步，对灰度图进行滑窗，获取每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值；
[0135]
基于每个滑窗下的中心像素点与中心像素点的外圈像素点之间的差值，确定灰度图的梯度特征。
[0136]
第五步，以灰度图中各像素点在灰度值分布区间特征中的取值，以及各像素点在结构特征中的取值，定位各像素点在预设零值矩阵中的位置；
[0137]
将各像素点在梯度特征中的取值，填入各像素点在预设零值矩阵中的位置，得到待检索图像的目标特征。
[0138]
第六步，基于待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征；
[0139]
第七步，基于梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，确定待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征；
[0140]
第八步，对比值特征进行指数增强，得到指数特征；
[0141]
第九步，基于指数特征之间的相似度排名，进行图像检索。
[0142]
下面对本发明提供的图像描述及图像检索装置进行描述，下文描述的图像描述及图像检索装置与上文描述的图像描述及图像检索方法可相互对应参照。
[0143]
基于上述任一实施例，本发明提供一种图像描述及图像检索装置，图2是本发明提供的图像描述及图像检索装置的结构示意图，如图2所示，图像描述及图像检索装置包括：
[0144]
获取单元210，用于获取待检索图像的灰度图；
[0145]
统计单元220，用于基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；
[0146]
确定结构特征单元230，用于基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；
[0147]
确定梯度特征单元240，用于基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；
[0148]
确定目标特征单元250，用于基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；
[0149]
图像检索单元260，用于基于所述待检索图像的目标特征，进行图像检索。
[0150]
本发明实施例提供的装置，基于灰度图的灰度值分布区间特征、结构特征和梯度特征，确定待检索图像的目标特征，再基于待检索图像的目标特征，进行图像检索，灰度图的结构特征是基于灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列确定的，灰度图的梯度特征是基于灰度图中各相邻像素点的灰度值之间的差值确定的，由此，提高了图像检索的准确性和可靠性，也进一步提高了图像检索的精度，并且此过程无需大量的样本和机器成本，降低了图像检索的成本。
[0151]
基于上述任一实施例，图像检索单元具体用于：
[0152]
确定单元，用于基于所述待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征；
[0153]
图像检索子单元，用于基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进行图像检索。
[0154]
基于上述任一实施例，图像检索子单元具体用于：
[0155]
基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，确定所述待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征；
[0156]
对所述比值特征进行指数增强，得到指数特征；所述指数增强用于增强相似度高区域比重，降低相似度低区域比重；
[0157]
基于所述指数特征之间的相似度排名，进行图像检索。
[0158]
基于上述任一实施例，确定目标特征单元具体用于：
[0159]
以所述灰度图中各像素点在所述灰度值分布区间特征中的取值，以及所述各像素点在所述结构特征中的取值，定位各像素点在预设零值矩阵中的位置；
[0160]
将所述各像素点在所述梯度特征中的取值，填入所述各像素点在预设零值矩阵中的位置，得到所述待检索图像的目标特征。
[0161]
基于上述任一实施例，确定结构特征单元具体用于：
[0162]
对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系；
[0163]
基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征。
[0164]
基于上述任一实施例，确定梯度特征单元具体用于：
[0165]
对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值；
[0166]
基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值，确定所述灰度图的梯度特征。
[0167]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行图像描述及图像检索方法，该方法包括：获取待检索图像的灰度图；基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；基于所述待检索图像的目标特征，进行图像检索。
[0168]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0169]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像描述及图像检索方法，该方法包括：获取待检索图像的灰度图；基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；基于所述待检索图像的目标特征，进行图像检索。
[0170]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像描述及图像检索方法，该方法包括：获取待检索图像的灰度图；基于所述灰度图中各像素点的灰度值，统计所
述灰度图的灰度值分布区间特征；基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；基于所述待检索图像的目标特征，进行图像检索。
[0171]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0172]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0173]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种图像描述及图像检索方法，其特征在于，步骤包括：获取待检索图像的灰度图；基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；基于所述待检索图像的目标特征，进行图像检索。2.根据权利要求1所述的图像描述及图像检索方法，其特征在于，所述基于所述待检索图像的目标特征，进行图像检索，包括：基于所述待检索图像的目标特征和图像库中的各图像的目标特征，确定梯度值分布统计矩阵交集特征和梯度值分布统计矩阵相加特征；基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进行图像检索。3.根据权利要求2所述的图像描述及图像检索方法，其特征在于，所述基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，进行图像检索，包括：基于所述梯度值分布统计矩阵交集特征和所述梯度值分布统计矩阵相加特征，确定所述待检索图像的目标特征和图像库中的各图像的目标特征之间的比值特征；对所述比值特征进行指数增强，得到指数特征；所述指数增强用于增强相似度高区域比重，降低相似度低区域比重；基于所述指数特征之间的相似度排名，进行图像检索。4.根据权利要求1所述的图像描述及图像检索方法，其特征在于，所述基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征，包括：以所述灰度图中各像素点在所述灰度值分布区间特征中的取值，以及所述各像素点在所述结构特征中的取值，定位各像素点在预设零值矩阵中的位置；将所述各像素点在所述梯度特征中的取值，填入所述各像素点在预设零值矩阵中的位置，得到所述待检索图像的目标特征。5.根据权利要求1所述的图像描述及图像检索方法，其特征在于，所述基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征，包括：对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系；基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征。6.根据权利要求1所述的图像描述及图像检索方法，其特征在于，所述基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征，包括：对所述灰度图进行滑窗，获取每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值；
基于每个滑窗下的中心像素点与所述中心像素点的外圈像素点之间的差值，确定所述灰度图的梯度特征。7.一种图像描述及图像检索装置，其特征在于，包括：获取单元，用于获取待检索图像的灰度图；统计单元，用于基于所述灰度图中各像素点的灰度值，统计所述灰度图的灰度值分布区间特征；确定结构特征单元，用于基于所述灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定所述灰度图的结构特征；确定梯度特征单元，用于基于所述灰度图中各相邻像素点的灰度值之间的差值，确定所述灰度图的梯度特征；确定目标特征单元，用于基于所述灰度图的灰度值分布区间特征、结构特征和梯度特征，确定所述待检索图像的目标特征；所述目标特征用于对所述待检索图像进行图像描述；图像检索单元，用于基于所述待检索图像的目标特征，进行图像检索。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图像描述及图像检索方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像描述及图像检索方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述图像描述及图像检索方法。

技术总结
本发明提供一种图像描述及图像检索方法、装置、电子设备及存储介质，其中步骤包括：获取待检索图像的灰度图；基于灰度图中各像素点的灰度值，统计灰度图的灰度值分布区间特征；基于灰度图中各相邻像素点的灰度值之间的大小对比关系组成的二进制序列，确定灰度图的结构特征；基于灰度图中各相邻像素点的灰度值之间的差值，确定灰度图的梯度特征；基于灰度图的灰度值分布区间特征、结构特征和梯度特征，确定待检索图像的目标特征；基于待检索图像的目标特征，进行图像检索。本发明提供的方法、装置、电子设备及存储介质，提高了图像检索的准确性和可靠性，进一步提高了图像检索的精度，此过程无需大量的样本和机器成本，降低了图像检索的成本。检索的成本。检索的成本。


技术研发人员：解光林 沈超锋 吴贻军 陈勇 熊永星 丁阳光
受保护的技术使用者：安徽科讯金服科技有限公司
技术研发日：2023.03.14
技术公布日：2023/7/26