一种基于图模型的大规模指纹检索方法

1.本发明涉及指纹检索技术领域，尤其涉及一种基于图模型的大规模指纹检索方法。


背景技术：

2.现有的基于局部描述子的传统指纹检索方法都是通过使用几何哈希技术量化细节点之间表层的三元组、四元组或mcc等几何特征从而进行检索。现有方法对指纹变形的敏感度较低，导致检索准确性差；并且复杂的几何结构在提取时有较高的计算复杂度，导致检索效率低，也是目前大规模指纹检索技术的发展瓶颈。


技术实现要素：

3.针对传统几何特征指纹检索方法中准确性差、效率低的缺陷，本发明提供了一种基于图模型的大规模指纹检索方法，以指纹特征构建图模型，采用图神经网络提取指纹特征点之间隐含的拓扑关系与指纹之间固有的相关性结构，突破了现有的表层几何结构，充分捕获了未曾被人们考虑过的图范式指纹深度特征，显著提升检索的准确性，并采用深度学习技术提升了指纹检索方法的效率。
4.为解决上述问题，本发明提供的技术方案为：
5.一种基于图模型的大规模指纹检索方法，包括：利用指纹图模型进行指纹检索，得到指纹图模型的步骤包括：
6.步骤1：构建训练数据集，并用指纹特征提取算法得到每枚指纹的指纹特征；
7.步骤2：构建指纹图结构，实现指纹特征向指纹图结构的转换；
8.步骤3：构造图神经网络，对指纹特征进行深度表征，并以图嵌入作为最终的特征格式；
9.步骤4：图神经网络训练，得到指纹图模型；
10.步骤5：指纹图模型性能测试。
11.可选的，将单枚指纹中的每个指纹特征点视为图模型中的一个节点，同时将每个指纹特征点信息作为每个节点的原始特征嵌入向量；计算各个节点之间原始特征嵌入的欧式距离，利用k个邻近算法建连边，将图节点和节点之间的连边融合在一起，进行指纹图构造。
12.可选的，对于由指纹特征点构成的无序点云数据v＝{v1,v2,
……
,vn}中的每一个节点vi，将其作为中心节点并提取与节点vi特征嵌入的欧式距离最近的k个节点作为邻居，记为n(vi)，同时对于所有的vj∈n(vi)在其与vi之间添加一条无向边e
ij
，进而得到每枚指纹图结构：g＝(v,em)，其中，n为指纹特征点数，v为由指纹特征点转换而得到的节点集，em为构造的连边集。
13.可选的，所述图神经网络包括微观层级的拓扑关系推理模块trm与宏观层级的相关性感知模块cam。
14.可选的，所述微观层级的拓扑关系推理模块trm与宏观层级的相关性感知模块cam分别采用edge conv与max-relative conv两种gcn架构，同时在最后补充了linear层、normalization层与gelu activation层。
15.可选的，所述拓扑关系推理模块trm采用edge conv作为微观层级gcn block的图嵌入特征提取层，在所述edge conv后拼接了batchnorm与gelu激活函数。
16.可选的，所述宏观层级的相关性感知模块cam采用max-relative conv作为宏观层级gcn block的图嵌入特征提取层，在所述max-relative conv后拼接了batchnorm与linear层。
17.可选的，所述步骤4：图神经网络训练，进一步为：将步骤2构建的指纹图结构作为训练数据，输入到步骤3构建的图神经网络，采用triplet_loss作为损失函数，采用adamw优化器，学习率采用余弦退火策略进行模型训练，最终得到指纹图模型。
18.采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
19.本发明提供了一种基于图模型的大规模指纹检索方法，以指纹特征构建图模型，采用图神经网络提取指纹特征点之间隐含的拓扑关系与指纹之间固有的相关性结构，突破了现有的表层几何结构，充分捕获了未曾被人们考虑过的图范式指纹深度特征，显著提升检索的准确性，并采用深度学习技术提升了指纹检索方法的效率。
附图说明
20.图1为本发明一实施例提供的微观层级的拓扑关系推理模块(trm)示意图。
21.图2为本发明一实施例提供的微观层级的拓扑关系推理模块(trm)的构图过程的图片形象化示意图。
22.图3为本发明一实施例提供的宏观层级的相关性感知模块(cam)示意图。
23.图4为本发明一实施例提供的宏观层级的相关性感知模块(cam)构图过程的图片形象化示意图。
24.图5为本发明一实施例提供的指纹图结构构造流程的指纹原始图像。
25.图6为本发明一实施例提供的指纹图结构构造流程的指纹细节点图像。
26.图7为本发明一实施例提供的指纹图结构构造流程的细节点抽象图模型。
27.图8为本发明一实施例提供的一种基于图模型的大规模指纹检索方法的流程图。
具体实施方式
28.为进一步了解本发明的内容，结合附图及实施例对本发明作详细描述。
29.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
30.实施例1
31.本实施例提出了一种基于图模型的大规模指纹检索方法，包括：利用指纹图模型进行指纹检索，得到指纹图模型的步骤包括：(1)构建训练数据集，并用指纹特征提取算法
得到每枚指纹的指纹特征；(2)构建指纹图结构，实现指纹特征向指纹图结构的转换；(3)构造图神经网络，对指纹特征进行深度表征，并以图嵌入作为最终的特征格式；(4)图神经网络训练，得到指纹图模型；(5)指纹图模型性能测试。具体地：
32.步骤1：构建指纹训练数据库，其中包含100万个类别，每个类别包含10幅指纹图像，采用传统指纹特征提取算法得到每枚指纹的指纹特征，指纹特征可以是细节点、方向场、频率场等中的一种，或将它们组合在本实施例技术方案中使用。
33.将单枚指纹中的每个指纹特征点视为图模型中的一个节点，同时将每个指纹特征点信息作为每个节点的原始特征嵌入向量；计算各个节点之间原始特征嵌入的欧式距离，利用k个邻近算法建连边，将图节点和节点之间的连边融合在一起，进行指纹图构造。
34.其中每枚指纹的指纹特征包含若干指纹特征点，对于指纹特征中的指纹细节点包含信息如下：x：指纹细节点x坐标；y：指纹细节点y坐标；d：指纹细节点方向。
35.对于指纹特征中的指纹方向场包含信息如下：x：指纹细节点x坐标；y：指纹细节点y坐标；d:以指纹细节点(x,y)为中心的局部区域方向场；
36.对于指纹特征中的指纹频率场包含信息如下：x：指纹细节点x坐标；y：指纹细节点y坐标；d:以指纹细节点(x,y)为中心的局部区域频率场；
37.步骤2：图节点构造，将单枚指纹中的每个指纹特征点视为图模型中的一个节点，若指纹特征为细节点、方向场、频率场中的一种时，同时将每个指纹特征点的(x,y,d)三维特征信息作为每个节点的初始特征嵌入向量。
38.若指纹特征包括细节点、方向场和频率场时，每枚指纹特征的指纹特征点包含信息如下：
39.x：指纹细节点x坐标；y：指纹细节点y坐标；d：指纹细节点方向；e：以指纹细节点(x,y)为中心的局部区域方向场；f:以指纹细节点(x,y)为中心的局部区域频率场。即将上述五维特征信息作为每个节点的初始特征嵌入向量。
40.若指纹特征包括方向场和频率场时，每枚指纹特征的指纹特征点包含信息如下：
41.x：指纹细节点x坐标；y：指纹细节点y坐标；e：以指纹细节点(x,y)为中心的局部区域方向场；f:以指纹细节点(x,y)为中心的局部区域频率场。即将上述四维特征信息作为每个节点的初始特征嵌入向量。
42.若指纹特征包括细节点和方向场时，每枚指纹特征的指纹特征点包含信息如下：
43.x：指纹细节点x坐标；y：指纹细节点y坐标；d：指纹细节点方向；e：以指纹细节点(x,y)为中心的局部区域方向场。即将上述四维特征信息作为每个节点的初始特征嵌入向量。
44.若指纹特征包括细节点和频率场时，每枚指纹特征的指纹特征点包含信息如下：
45.x：指纹细节点x坐标；y：指纹细节点y坐标；d：指纹细节点方向；f:以指纹细节点(x,y)为中心的局部区域频率场。即将上述四维特征信息作为每个节点的初始特征嵌入向量。
46.节点之间连边的构造：计算各个节点之间初始特征嵌入的欧式距离，利用k个邻近算法，构建连边，从而实现节点之间连边的构造。指纹图构造：将图节点和节点之间的连边融合在一起，从而实现由传统指纹特征点到指纹图结构的转换。
47.具体的，对于由指纹特征点构成的无序点云数据v＝{v1,v2,
……
,vn}(n为指纹特
指纹的特征嵌入，从而提升后续的指纹检索性能。
56.宏观层级的相关性感知模块(cam)中采用max-relative conv作为宏观层级gcn block的图嵌入特征提取层，在该组件后拼接了batchnorm与linear层以缓解图神经网络的过平滑问题。采用max-relative conv是为了利用最大值聚合器来聚合邻居之间的相关性特征，从而感知指纹中蕴含的固有相关性结构，并得到每枚指纹宏观层级的再表达特征嵌入，作为应用于检索任务端的最终特征。整个cam模块的操作表示为：
57.m(f)＝cam[g(m(f))]。
[0058]
采用上述trm与cam两个模块能够更全面地考虑指纹中存在却仍未被人们发掘的信息，尤其是指纹特征点之间隐含的拓扑关系以及指纹之间固有的相关性结构。基于对上述特征信息的学习，模型的检索精度能够得到显著的提升。
[0059]
综上所述，本实施例设计并构造了全新的gnn结构，并基于当前性能优异的两种gcn层——edge conv与max-relative conv搭建了trm与cam模块，从而使得模型能够学习到指纹中隐含的拓扑关系与固有的相关性结构，在保证检索高效性的前提下，显著提升模型的检索精度、稳定性与泛化性。
[0060]
步骤4：将步骤2构建的指纹图结构g＝(v,em)作为训练数据输入到步骤3构建的图神经网络，采用triplet_loss作为损失函数，采用adamw优化器，学习率采用余弦退火策略进行模型训练，最终得到指纹图模型。
[0061]
如图5-7为指纹图结构的构造流程图，图5为指纹原始图像，图6为指纹细节点图像，图7为指纹特征点抽象图模型。如图7所示，注意图7中的节点与图6中的指纹特征点应当是一一对应的，同时依据前面提到的k个邻近算法构建节点之间的连边。由于指纹特征点数量过大无法形象化地于一个图模型中展示，因此挑选了由一些指纹特征点(8个指纹特征点)构建的图进行了展示。
[0062]
步骤5：构建测试集，其中包含10万个类别，每个类别包含5幅图像，随机取出每个类别下的一幅图像用于注册，其余图像用于搜索。先通过步骤2获取测试数据的指纹图结构，输入到步骤4获取的图模型，最终得到测试数据的特征向量。
[0063]
指纹检索时，模型会根据比对得分进行排序，取前10名，此时如果搜索的指纹类别在前10名中，则认为搜索成功，否则认为搜索失败，在该top10的测试规则下进行搜索性能测试，测试结果如下表1所示，在保障搜索精度的前提下，搜索速度显著提升。
[0064]
表1 top10的测试规则下测试结果
[0065]
算法搜索精度(％)平均搜索速度(ms)常规的指纹搜索0.9206583本专利0.941572
[0066]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通
过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
[0067]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0068]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本技术构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种基于图模型的大规模指纹检索方法，其特征在于，包括：利用指纹图模型进行指纹检索，得到指纹图模型的步骤包括：步骤1：构建训练数据集，并用指纹特征提取算法得到每枚指纹的指纹特征；步骤2：构建指纹图结构，实现指纹特征向指纹图结构的转换；步骤3：构造图神经网络，对指纹特征进行深度表征，并以图嵌入作为最终的特征格式；步骤4：图神经网络训练，得到指纹图模型；步骤5：指纹图模型性能测试。2.根据权利要求1所述的一种基于图模型的大规模指纹检索方法，其特征在于，将单枚指纹中的每个指纹特征点视为图模型中的一个节点，同时将每个指纹特征点信息作为每个节点的初始特征嵌入向量；计算各个节点之间初始特征嵌入的欧式距离，利用k个邻近算法构建连边，将图节点和节点之间的连边融合在一起，进行指纹图构造。3.根据权利要求1所述的一种基于图模型的大规模指纹检索方法，其特征在于，对于由指纹特征点构成的无序点云数据v＝{v1,v2,
……
,v
n
}中的每一个节点v
i
，将其作为中心节点并提取与节点v
i
特征嵌入的欧式距离最近的k个节点作为邻居，记为n(v
i
)，同时对于所有的v
j
∈n(v
i
)在其与v
i
之间添加一条无向边e
ij
，进而得到每枚指纹图结构：g＝(v,e
m
)，其中，n为指纹特征点数，v为由指纹特征点转换而得到的节点集，e
m
为构造的连边集。4.根据权利要求1所述的一种基于图模型的大规模指纹检索方法，其特征在于，所述图神经网络包括微观层级的拓扑关系推理模块trm与宏观层级的相关性感知模块cam。5.根据权利要求4所述的一种基于图模型的大规模指纹检索方法，其特征在于，所述微观层级的拓扑关系推理模块trm与宏观层级的相关性感知模块cam分别采用edge conv与max-relative conv两种gcn架构，同时在其后补充了linear层、normalization层与gelu activation层。6.根据权利要求4所述的一种基于图模型的大规模指纹检索方法，其特征在于，所述拓扑关系推理模块trm采用edge conv作为微观层级gcn block的图嵌入特征提取层，在所述edge conv后拼接了batchnorm与gelu激活函数。7.根据权利要求4所述的一种基于图模型的大规模指纹检索方法，其特征在于，所述宏观层级的相关性感知模块cam采用max-relative conv作为宏观层级gcn block的图嵌入特征提取层，在所述max-relative conv后拼接了batchnorm与linear层。8.根据权利要求4所述的一种基于图模型的大规模指纹检索方法，其特征在于，所述步骤4：图神经网络训练，进一步为：将步骤2构建的指纹图结构作为训练数据，输入到步骤3构建的图神经网络，采用triplet_loss作为损失函数，采用adamw优化器，学习率采用余弦退火策略进行模型训练，最终得到指纹图模型。

技术总结
本发明公开了一种基于图模型的大规模指纹检索方法，属于指纹检索技术领域，包括：步骤1：构建训练数据集，并用指纹特征提取算法得到每枚指纹的指纹特征；步骤2：构建指纹图结构，实现指纹特征向指纹图结构的转换；步骤3：构造图神经网络，对指纹特征进行深度表征，并以图嵌入作为最终的特征格式；步骤4：图神经网络训练，得到指纹图模型；步骤5：指纹图模型性能测试。以指纹特征构建图模型，采用图神经网络提取指纹特征点之间隐含的拓扑关系与指纹之间固有的相关性结构，突破了现有的表层几何结构，充分捕获了未曾被人们考虑过的图范式指纹深度特征，显著提升检索的准确性，并采用深度学习技术提升了指纹检索方法的效率。学习技术提升了指纹检索方法的效率。学习技术提升了指纹检索方法的效率。


技术研发人员：刘中秋 赵彤 张伟 苏亚鹏 章东平
受保护的技术使用者：中国科学院大学
技术研发日：2023.06.07
技术公布日：2023/8/16