一种高效的行人图像重识别方法与流程

1.本发明涉及计算机视觉技术领域的一种图像重识别方法，具体而言，具体是涉及了一种高效的行人图像重识别方法。


背景技术：

2.随着智能驾驶、智慧城市、新零售等概念的发展，行人重识别的也得到了快速的发展，其在行人跟踪、行人检索、跨摄像头行人关联、行人轨迹预测等任务上都起到了决定性作用。
3.其中局部特征模型是当前最主流的方法，但是发现现有的相关方法均存在计算复杂度高，特征不匹配，或者特征缺失的情况。
4.pcb(beyond part models:person retrieval with refined part pooling，eccv2018)。将单个分支垂直切分成6块，然后做平均池化。该做法可能存在特征不匹配(垂直切分6块可能导致特征不匹配)，且丢失全局信息(都是垂直切分的局部特征，无全局特征)。
5.mgn(learning discriminative features with multiple granularities for person re-identification，mm 2018)。将特征分成3个分支，每个分支垂直切分成1、2、3块，并做最大池化。该做法计算复杂度高(分支多)，可能存在特征不匹配(垂直切分3块可能导致特征匹配错误)，且丢失全局信息(最大池化只取最大响应位置的特征，丢失其他信息)。
6.ppa(person re-identification with part prediction alignment，cviu 2021)。将单个分支垂直切分成6块并做最大池化，同时对未切分的特征也做最大池化。该做法可能存在特征不匹配(垂直切分6块可能导致特征不匹配)，且丢失全局信息(最大池化只取最大响应位置的特征，丢失其他信息)。
7.ph-gcn(ph-gcn:person retrieval with part-based hierarchical graph convolutional network，tmm 2022)。将特征分成3个分支，每个分支再垂直切分成1、3、6块，然后做平均池化，并接入图神经网络中。该做法计算复杂度高(分支多，还有额外的图神经网络)，可能存在特征不匹配(垂直切分3块或者6块可能导致特征匹配错误)。
8.因此，现有技术的重识别方法中，存在计算复杂度高、丢失全局信息、可能存在特征不匹配等等方面的问题。


技术实现要素：

9.为了解决背景技术中存在的问题，本发明提出了一种简单且高效的行人重识别结构，该结构计算复杂度适中，能够同时提取全局特征和局部特征，并解决了之前方法中特征不匹配的问题，在精度上得到了大幅度的提升。
10.本发明采用的技术方案是：
11.1)建立用于行人图像重识别的分类神经网络；
12.2)行人图像输入分类神经网络中输出行人图像对应的各项特征；
13.3)利用步骤2)获得的行人图像对应的各项特征进行拼接获得行人图像的融合特征；
14.4)将两幅行人图像均按照步骤1)～步骤2)进行处理获得各自的融合特征，根据两幅图像的融合特征计算相似度，根据相似度判断重识别结果。
15.所述的分类神经网络预先采用已知行人图像重识别结果的行人图像数据集及其标签输入后进行优化训练。
16.所述的分类神经网络中，接收到行人图像后，按照以下方式处理：
17.先将行人图像经一个基于分类任务预训练得到的神经网络提取获得初始特征f_in；
18.再将初始特征f_in分别送入两个分支网络n1和n2中处理：
19.在第一个分支网络n1中，将初始特征f_in分别进行全局最大池化操作和全局平均池化操作，分别得到第一局部特征fl1、第一全局特征fg1；
20.在第一个分支网络n1中，将初始特征f_in进行全局平均池化，得到第二全局特征fg2，同时还将初始特征f_in垂直切分成上下两个区域，上下两个分别进行全局最大池化处理得到各自的第二上局部特征fl2和第二下局部特征fl3；
21.最后将第一局部特征fl1、第一全局特征fg1、第二全局特征fg2、第二上局部特征fl2和第二下局部特征fl3分别做卷积降维至256维后构成了各项特征。
22.所述步骤4)中，根据两幅行人图像的融合特征计算两者之间的欧式距离作为相似度。
23.所述步骤4)中，两幅行人图像来源于行人视频中的连续两帧图像。
24.本发明的有益效果是：
25.本发明能够显著提升模型的性能，近一步减少了对行人检测模型的依赖，当检测得到行人图片并不准确或者存在缺失时，同样能取得较好的效果。
26.本发明能够在计算复杂度不高的情况下，不丢失全局信息，实现准确的特征匹配等优势效果。
附图说明
27.图1为常见的行人重识别数据集示意图；
28.图2为本发明的分类神经网络的流程图。
具体实施方式
29.下面结合附图及具体实施例对本发明作进一步详细说明。
30.本发明的实施情况如下：
31.如图1所示，常见的行人重识别数据集中，第一行是正常图像，能够较好对齐，但是第二行和第三行中的图像，无论是切分成3块还是6块，其依然会出现特征匹配错误。
32.而对于垂直切分，本发明只简单切成2块，以确保在极端情况下，仍有部分特征能够匹配。
33.实施过程具体如下：
34.1)建立用于行人图像重识别的分类神经网络；
35.分类神经网络预先采用已知行人图像重识别结果的行人图像数据集及其重识别标签输入后进行优化训练。
36.如图2所示，分类神经网络中，接收到行人图像后，按照以下方式处理：
37.先将行人图像经一个基于分类任务预训练得到的神经网络提取获得初始特征f_in；
38.再将初始特征f_in分别送入两个分支网络n1和n2中处理：
39.在第一个分支网络n1中，将初始特征f_in分别进行全局最大池化操作和全局平均池化操作，分别得到第一局部特征fl1、第一全局特征fg1；
40.在第一个分支网络n1中，将初始特征f_in进行全局平均池化，得到第二全局特征fg2，同时还将初始特征f_in垂直切分成上下两个区域，上下两个分别进行全局最大池化处理得到各自的第二上局部特征fl2和第二下局部特征fl3；
41.最后将第一局部特征fl1、第一全局特征fg1、第二全局特征fg2、第二上局部特征fl2和第二下局部特征fl3分别做卷积降维至256维后构成了各项特征。
42.图2中，gmp表示全局最大池化操作，gap表示全局平均池化操作，最后的五项特征进行拼接。
43.具体实施中，基于分类任务预训练得到的神经网络采用resnet神经网络等。
44.2)将实时的行人视频每一帧图像输入分类神经网络中，行人图像输入分类神经网络中输出行人图像对应的各项特征；
45.3)利用步骤2)获得的行人图像对应的各项特征进行拼接获得行人图像的融合特征f_out；
46.4)针对行人视频中的每相邻两帧行人图像进行处理，将两幅行人图像均按照步骤1)～步骤2)进行处理获得各自的融合特征f_out，根据两幅图像的融合特征f_out计算相似度，根据相似度判断实时的每一帧行人图像和前一帧行人图像之间的重识别结果。
47.具体是根据两幅行人图像的融合特征计算两者之间的欧式距离作为相似度。
48.具体实施中，进行了本发明方案实施与近些年其他基于局部特征的行人再识别方法的优劣势比较，结果情况如下表3所示。
49.表1不同的part划分和不同的信息采集方式
[0050][0051]
如表1中，1到6行所示，丢失全局信息或局部信息，都会导致性能变差。
[0052]
如表1中7到10行所示，当part划分等于2时，性能最佳，高于完全不划分part，当part划分大于2以后，性能会不断下降，说明特征不匹配会对性能造成影响。
[0053]
具体实施中，进行了本发明方案实施与近些年其他基于局部特征的行人再识别方法的性能测试，结果情况如下表2所示。
[0054]
表2为相同骨干网络，不同特征提取方法的结果
[0055][0056][0057]
如表3所示，本发明的方法计算量适中，性能大幅度超过其他相近方法。
[0058]
最终将本发明和其他现有网络处理方法进行比较，结果如下表。
[0059]
表3相关方法的特性对比
[0060][0061]
上表可见，本发明方法采用只简单切成2块的特征提取处理过程，能够在计算复杂
度不高的情况下，不丢失全局信息，全局特征和局部特征均能够准确提取获得，实现准确的特征匹配等优势效果。
[0062]
由此本发明确保了在极端情况下，仍有部分特征能够匹配，具有显著优势。

技术特征：
1.一种高效的行人图像重识别方法，其特征在于：1)建立用于行人图像重识别的分类神经网络；2)行人图像输入分类神经网络中输出行人图像对应的各项特征；3)利用步骤2)获得的行人图像对应的各项特征进行拼接获得行人图像的融合特征；4)将两幅行人图像均按照步骤1)～步骤2)进行处理获得各自的融合特征，根据两幅图像的融合特征计算相似度，根据相似度判断重识别结果。2.根据权利要求1所述的一种高效的行人图像重识别方法，其特征在于：所述的分类神经网络预先采用已知行人图像重识别结果的行人图像数据集及其标签输入后进行优化训练。3.根据权利要求1所述的一种高效的行人图像重识别方法，其特征在于：所述的分类神经网络中，接收到行人图像后，按照以下方式处理：先将行人图像经一个基于分类任务预训练得到的神经网络提取获得初始特征f_in；再将初始特征f_in分别送入两个分支网络n1和n2中处理：在第一个分支网络n1中，将初始特征f_in分别进行全局最大池化操作和全局平均池化操作，分别得到第一局部特征fl1、第一全局特征fg1；在第一个分支网络n1中，将初始特征f_in进行全局平均池化，得到第二全局特征fg2，同时还将初始特征f_in垂直切分成上下两个区域，上下两个分别进行全局最大池化处理得到各自的第二上局部特征fl2和第二下局部特征fl3；最后将第一局部特征fl1、第一全局特征fg1、第二全局特征fg2、第二上局部特征fl2和第二下局部特征fl3分别做卷积降维至256维后构成了各项特征。4.根据权利要求1所述的一种高效的行人图像重识别方法，其特征在于：所述步骤4)中，根据两幅行人图像的融合特征计算两者之间的欧式距离作为相似度。5.根据权利要求1所述的一种高效的行人图像重识别方法，其特征在于：所述步骤4)中，两幅行人图像来源于行人视频中的连续两帧图像。

技术总结
本发明公开了一种高效的行人图像重识别方法。建立用于行人图像重识别的分类神经网络；行人图像输入分类神经网络中输出行人图像对应的各项特征；利用行人图像对应的各项特征进行拼接获得行人图像的融合特征；将两幅行人图像均重复进行获得各自的融合特征，根据两幅图像的融合特征计算相似度，根据相似度判断重识别结果。本发明计算复杂度适中，能够同时提取全局特征和局部特征，并解决了之前方法中特征不匹配的问题，在精度上得到了大幅度的提升。升。升。


技术研发人员：赖申其 钱炜 杨政 何晓飞
受保护的技术使用者：杭州飞步科技有限公司
技术研发日：2023.02.28
技术公布日：2023/9/20