一种小样本环境下的行人重识别方法

1.本发明涉及模式识别与机器学习技术领域，且特别是有关于一种小样本环境下的行人重识别方法。


背景技术：

2.近年来，基于深度学习的行人重识别算法取得了许多重大突破，但该类算法严重依赖于海量的高质量标注行人图像。在很多实际应用场景中，仅能采集到少量可用行人图像和标记缺失的行人数据。因此，样本数量或类别标记不足导致的小样本问题成为行人重识别领域的一项巨大挑战。
3.受人类仅通过一个或几个示例就可以建立对新事物认知的启发，小样本学习概念被提出。其中，小样本学习主要解决两类问题：1)数据集规模有限，各类样本数量有限的学习和识别问题；2)数据集规模较大，但数据集中样本类别标记缺失或标记错误的学习与识别问题。其中，小样本环境下的行人重识别同样面临这两类挑战。
4.近年来的研究主要集中在类别标记不足的小样本行人重识别技术，缺少针对数据量不足问题的小样本行人重识别技术研究。
5.当前，解决数据量不足问题的小样本学习算法大致分成两个分支：1)基于数据增强的方法；2)基于迁移学习的方法。
6.基于数据增强的小样本学习方法：基于数据增强的方法旨在利用辅助数据或信息，对小样本数据集进行数据扩充或特征增强。该方法可以有效提高样本的多样性，缓解小样本环境下数据量不足的问题。但其未对增强后的数据或特征做进一步处理，容易引入噪声数据或噪声特征，无法显著改善分类边界。
7.基于迁移学习的小样本学习方法：基于迁移学习的方法旨在将已学会的知识快速地迁移到一个新的领域中，可细分为基于度量学习和基于元学习方法两大类。此类方法赋予模型自我学习的能力，使网络学习到更具判别性的样本特征，提升小样本环境下的识别准确率。但其在样本数量过少的情况下，模型的学习能力不足，最终导致识别性能不佳。
8.尽管当前针对数据不足的小样本学习问题已有较多研究，但受到行人重识别中众多干扰因素的影响，以上研究并未在行人重识别领域得以应用。


技术实现要素：

9.为解决上述问题，本发明提供一种小样本环境下的行人重识别方法。
10.为达到上述目的，本发明技术方案是：
11.一种小样本环境下的行人重识别方法，包括以下步骤：
12.步骤s1，增强处理行人特征，先由多头自注意力模块msm从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的第二特征集引入空间注意力模块sam将其在空间维度重标定获得第三特征集；
13.步骤s2，度量行人特征，所述第三特征集经双重度量模块与关系模块得到第一度
量得分和第二度量得分，再经加权融合得到联合度量得分。
14.上述多头自注意力模块msm定义为：
[0015][0016][0017]qn
＝f1×1(f
bn
(f3×3(f1)))
[0018]kn
,vn＝f
ch
(f1×1(f
bn
(f3×3(f1))))(1)
[0019]
经特征提取网络提取的特征图f1∈rb×
x
×y同时经3
×
3卷积层f3×3、batchnorm层f
bn
以及1
×
1卷积层f1×1后得到qn，是调节因子，再经张量分块函数f
ch
后获得kn和vn，kn为建矩阵和vn为建值矩阵，将与转置后的kn相乘后经过softmax函数f
sf
，其中qn为查询矩阵，再与vn相乘获得单个自注意力特征图其中n∈[1,n]。经多次相同操作获得后将其以cat方式f
cat
拼接，经layernorm层f
ln
和最大池化层f
ap
后得到m
msm
，即第二特征集。
[0020]
上述空间注意力模块sam定义为：
[0021]ms
＝f
sm
(f7×7(f
cat
(f
mp
(f2),f
ap
(f2))))(2)
[0022]
经第二特征集获得的特征集f2同时经过最大池化层f
mp
和平均池化层f
ap
后，经过f
cat
按通道维度拼接在一起，再经7
×
7卷积层f7×7和sigmoid函数f
sm
生成最终空间注意图ms，最后，ms×
f得到空间加权的第三特征集。
[0023]
上述关系度量的第二度量得分定义为：
[0024][0025]
经第三特征集获得的行人特征集f3，先经两次卷积f
cv
和最大池化层f
mp
得到s1，s1再经两个全连接层f
fc
、relu激活函数f
rl
以及sigmoid函数f
sm
组成的非线性分类器获得关系度量得分
[0026]
上述双重度量模块的第一度量得分公式为：
[0027][0028][0029][0030]
其中，f3表示经第三特征集获得特征集，表示余弦模块的相似度得分，表示余弦相似层，f
cv
表示卷积层，f
mp
表示最大池化层，f
ap
表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示重新修正后的第二度量得分，由于支持集样本中不包含查询集图片，因此二者之间的欧式距离不为0，因此公式(5)中分式成立。
[0031]
上述一种小样本环境下的行人重识别方法，还包括步骤s3，元学习。
[0032]
其中，行人特征的增强处理包括：在网络特征嵌入模块中引入特征集增强模块，其
中该模块先由多头自注意力模块从不同的特征层中获取包含多样行人特征的特征集，再由空间注意力模块将多头自注意力模块获得的特征集在空间维度重标定，使提取的行人特征更具多样性和判别性，从而弥补了行人数据不足的问题。
[0033]
其中，基于双相似度量的特征计算包括：使网络模型同时学习两种不同的相似性度量的方法，最后根据两种度量得分计算网络联合损失，用以反向调整网络参数。此方法可以有效降低行人特征的相似性偏差，提高模型在小样本环境下的行人重识别性能。
[0034]
其中，双相似度量方法包括关系度量和双重度量两种方法。
[0035]
其中，关系度量是以卷积层和sigmoid函数构建的非线性分类器的方法，可以有效学习样本间关系，确定分类结果。
[0036]
其中，双重度量是以欧式距离作为余弦度量权重的度量融合方法，综合考虑样本特征的方向差异与绝对距离,以获得更加可靠的度量得分。
[0037]
其中，基于元学习框架的元任务构建是以基于特征增强的特征提取层和基于双相似的度量学习层组成的度量学习网络为骨干，循环生成多个元任务，利用元任务完成网络的训练、验证以及测试。目标是在训练集的元任务中训练改进的神经网络，学习到可转移的行人重识别知识。其次，利用学习到的知识对验证集的元任务进行超参数调整。最后由测试集元任务中的模型精度平均值，报告泛化精度。
[0038]
本发明有益效果在于：
[0039]
本发明提供了一种小样本环境下的行人重识别方法，该重识别思想融合数据增强和迁移学习两类方法，能够克服基于传统深度学习的行人重识别方法过度依赖海量的高质量标注行人图像、网络复杂度高、训练难度大、无法应对真实环境下行人样本量不足问题等缺点，能够在行人数据量不足情况下实现高效的再识别。
[0040]
为让发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
[0041]
图1为基于特征集增强与度量融合的小样本行人重识别网络结构图。
[0042]
图2为特征集增强模块结构图。
[0043]
图3为多头自注意力结构图。
[0044]
图4为空间注意力结构图。
[0045]
图5为关系度量结构图。
[0046]
图6为双重度量结构图。
[0047]
图7为元任务框架结构图。
具体实施方式
[0048]
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
下面结合附图对本发明作进一步描述：
[0050]
图1为基于特征集增强与度量融合的小样本行人重识别网络结构图。
[0051]
本发明提供的小样本环境下的行人重识别方法，首先，步骤s1增强处理行人特征p1，特征提取网络block1，其以resnet12为骨干，包括特征提取层block11-41，所述步骤s1中引入特征集增强机制，增强小样本行人图像特征的判别能力。所述特征集增强机制，先由多头自注意力模块msm从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的特征集block2引入空间注意力模块sam将其在空间维度重标定，使提取的行人特征更具多样性和判别性，从而弥补了行人数据不足的问题。其次，步骤s2度量行人特征的过程中，特征集block3经关系模块与双重度量模块h
γ
得到不同的关系度量得分和双重度量得分再经加权融合得到联合度量得分s
i,j
。其中，双重度量模块h
γ
以欧式距离作为余弦度量权重，实现行人特征的空间绝对距离与方向差异的综合度量，提升了行人相似性度量的可靠性。最后，在元训练过程中，所述基于双相似度量的特征计算是使网络模型同时学习两种不同的相似性度量的方法，根据两种度量得分计算网络联合损失，用以反向调整网络参数，实现网络结构的元学习，最终实现基于特征集增强与度量融合的小样本行人重识别网络构建。
[0052]
步骤s1增强处理行人特征
[0053]
结合图2，所述步骤s1利用多头自注意力模块msm(multi-self-attentionmodule)和空间注意力模块sam(spatialattentionmodule)，其中多头自注意力模块msm用于探索不同特征提取层中的匹配特征集；空间注意力模块sam用于探索各级特征集空间维度内的关注区域。最后经空间注意力模块sam增强后的特征集在各级维度中以cat方式拼接，得到特征集block3。结合图3，给出了多头自注意力模块msm的结构图。多头自注意力从各子空间中分别推断像素相关性，得到具有全局视野的特征图，通过堆叠不同自注意力头对应的结果特征图，使语义表示更为丰富。但传统多头自注意力模块msm以全连接层生成查询矩阵、键矩阵以及值矩阵，本发明为应对小样本环境下行人样本不足情况，采用3
×
3的深度可分离卷积、batchnorm层以及1
×
1卷积代替传统自注意力全连接层作为wq、wk和wv，减少计算参数量，防止模型过拟合。
[0054]
多头自注意力模块msm定义为：
[0055][0056][0057]qn
＝f1×1(f
bn
(f3×3(f1)))
[0058]kn
,vn＝f
ch
(f1×1(f
bn
(f3×3(f1))))(1)
[0059]
经特征提取层blockn1提取的特征图f1∈rb×
x
×y同时经3
×
3卷积层f3×3、batchnorm层f
bn
以及1
×
1卷积层f1×1后得到qn，防止内积过大令其除以再经张量分块函数f
ch
后获得kn和vn，将与转置后的kn相乘后经过softmax函数f
sf
，再与vn相乘获得单个自注意力特征图其中n∈[1,n]。经多次相同操作获得后将其以cat方式f
cat
拼接，经layernorm层f
ln
和最大池化层f
ap
后得到m
msm
，即特征层blockn2。
[0060]
结合图4，给出了空间注意力模块sam的结构图。
[0061]
sam可定义为：
[0062]ms
＝f
sm
(f7×7(f
cat
(f
mp
(f2),f
ap
(f2))))(2)
[0063]
经特征层blockn2获得的特征集f2同时经过最大池化层f
mp
和平均池化层f
ap
后，经过f
cat
按通道维度拼接在一起，再经7
×
7卷积层f7×7和sigmoid函数f
sm
生成最终空间注意图ms。最后，ms×
f得到空间加权的特征集block3。
[0064]
在多头自注意力模块msm中，各元素间的内积操作使自注意力在本质上具有全局感受野。但由于自注意力机制仅仅计算不同像素特征间的相关性，没有考虑各像素的位置信息，缺乏空间感知能力，得到的输出会损失结构信息。因此，在不同尺度层的特征集融合前，引入空间注意力，使多头自注意力生成的特征集在空间维度重标定，增强其空间感知能力。
[0065]
步骤s2度量行人特征
[0066]
在行人特征的度量过程中，特征经关系模块与双重度量模块h
γ
得到不同的度量得分，再经加权融合得到联合度量得分，使行人特征同时受两种不同度量方法的约束，有效降低了特征的相似性偏差，联合得分公式为：
[0067][0068]
其中，s
i,j
表示联合度量得分，表示关系度量得分，表示双重度量得分，γ为联合得分的权重系数。
[0069]
结合图5，给出了关系模块的结构图。关系度量模块由两个包含最大池化层的卷积块和两个全连接层组成。该关系度量模块最终产生支持集样本每个类的原型与查询集之间的关系相似度得分，所述关系度量模块是以卷积层和sigmoid函数构建非线性分类器的方法，该关系度量模块的度量得分公式如下：
[0070][0071]
经特征集block3获得的行人特征集f3，先经两次卷积f
cv
和最大池化层f
mp
得到s1即block31，s1再经两个全连接层f
fc
、relu激活函数f
rl
以及sigmoid函数f
sm
组成的非线性分类器获得关系度量得分
[0072]
结合图6，给出了双重度量模块h
γ
的结构图。所述双重度量模块h
γ
是以欧式距离作为余弦度量权重的度量融合方法。首先，特征集block3的支持集样本与查询集样本特征经过两个卷积层，其中第一个卷积层包含最大池化层，第二个卷积层包含平均池化层。然后，将得到的特征集block32同时输入余弦相似层与欧式距离度量层，分别得到样本特征间的余弦相似得分和欧式距离得分最后，双重度量的度量得分公式为：
[0073][0074][0075]
[0076]
其中，f3表示经特征集block3获得特征集，表示余弦模块的相似度得分，表示余弦相似层，f
cv
表示卷积层，f
mp
表示最大池化层，f
ap
表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示双重度量模块的得分，由于支持集样本中不包含查询集图片，因此二者之间的欧式距离不为0，因此公式(5)中分式成立。
[0077]
步骤s3元训练。结合图7，给出了元任务框架结构图。数据量不足的小样本问题，通常被形式化为c-way k-shot问题，此问题中，模型可以将未标记的行人，正确的识别出c类中属于该行人的类。模型在元学习框架下完成学习，即循环生成多个元任务利用元任务完成训练、验证和测试。以训练集为例，实验从训练标签集l
train
中随机选取c个不同的行人，并从训练数据集d
train
中随机选取每个行人中的m张图片。其中每个行人的m张图片，分为k和m-k张图片两组，即c
×
k张图片作为支持集si，c
×
(m-k)张图片作为查询集qi，以此构成一个元任务。同样的，在验证集和测试集上按照相同方法生成元任务。
[0078]
所述基于元学习框架的元任务构建是以基于特征增强的特征提取层和基于双相似的度量学习层组成的度量学习网络为骨干，循环生成多个元任务，利用元任务完成网络的训练、验证以及测试；目标是在训练集的元任务中训练改进的神经网络，学习到可转移的行人重识别知识；其次，利用学习到的知识对验证集的元任务进行超参数调整；最后由测试集元任务中的模型精度平均值，报告泛化精度。
[0079]
经过以上三步即完成了小样本环境下的行人重识别。
[0080]
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。

技术特征：
1.一种小样本环境下的行人重识别方法，其特征在于，包括以下步骤：步骤s1，增强处理行人特征，先由多头自注意力模块msm从不同的尺度中获取样本更为充足的特征信息，再将多头自注意力模块获得的第二特征集引入空间注意力模块sam将其在空间维度重标定获得第三特征集；步骤s2，度量行人特征，所述第三特征集经双重度量模块与关系模块得到第一度量得分和第二度量得分，再经加权融合得到联合度量得分。2.如权利要求1所述一种小样本环境下的行人重识别方法，其特征在于，所述多头自注意力模块msm定义为：意力模块msm定义为：q
n
＝f1×1(f
bn
(f3×3(f1)))k
n
,v
n
＝f
ch
(f1×1(f
bn
(f3×3(f1))))(1)经特征提取网络提取的特征图f1∈r
b
×
x
×
y
同时经3
×
3卷积层f3×3、batchnorm层f
bn
以及1
×
1卷积层f1×1后得到q
n
，是调节因子，再经张量分块函数f
ch
后获得k
n
和v
n
，k
n
为建矩阵和v
n
为建值矩阵，将与转置后的k
n
相乘后经过softmax函数f
sf
，其中q
n
为查询矩阵，再与v
n
相乘获得单个自注意力特征图其中n∈[1,n]，经多次相同操作获得后将其以cat方式f
cat
拼接，经layernorm层f
ln
和最大池化层f
ap
后得到m
msm
，即第二特征集。3.如权利要求2所述一种小样本环境下的行人重识别方法，其特征在于，所述空间注意力模块sam定义为：m
s
＝f
sm
(f7×7(f
cat
(f
mp
(f2),f
ap
(f2))))(2)经第二特征集获得的特征集f2同时经过最大池化层f
mp
和平均池化层f
ap
后，经过f
cat
按通道维度拼接在一起，再经7
×
7卷积层f7×7和sigmoid函数f
sm
生成最终空间注意图m
s
，最后，m
s
×
f得到空间加权的第三特征集。4.如权利要求3所述一种小样本环境下的行人重识别方法，其特征在于，所述关系度量模块的第二度量得分为：经第三特征集获得的行人特征集f3，先经两次卷积f
cv
和最大池化层f
mp
得到s1，s1再经两个全连接层f
fc
、relu激活函数f
rl
以及sigmoid函数f
sm
组成的非线性分类器获得所述关系度量模块的第二度量得分5.如权利要求4所述一种小样本环境下的行人重识别方法，其特征在于，所述双重度量模块的第一度量得分公式为：公式为：
其中，f3表示经第三特征集获得特征集，表示余弦模块的相似度得分，表示余弦相似层，f
cv
表示卷积层，f
mp
表示最大池化层，f
ap
表示平均池化层，表示欧氏距离得分，表示欧式距离度量层，表示双重度量模块的第一度量得分。6.如权利要求1所述一种小样本环境下的行人重识别方法，其特征在于，还包括步骤s3，元学习。

技术总结
本发明公开了一种小样本环境下的行人重识别方法，属于模式识别与机器学习技术领域，包括行人特征的增强处理；基于双相似度量的特征计算；基于元学习框架的元任务构建。本发明一种小样本环境下的行人重识别方法，融合数据增强和迁移学习两类方法，能够克服基于传统深度学习的行人重识别方法过度依赖海量的高质量标注行人图像、网络复杂度高、训练难度大、无法应对真实环境下行人样本量不足问题等缺点，能够在行人数据量不足情况下实现高效的再识别。别。别。


技术研发人员：邹国锋 傅桂霞 陈贵震 刘月 高明亮 毛帅 潘金凤
受保护的技术使用者：山东理工大学
技术研发日：2023.03.24
技术公布日：2023/8/1