基于轨迹假设和轨迹验证的红外小目标检测方法及装置

1.本技术涉及图像处理技术领域，特别是涉及一种基于轨迹假设和轨迹验证的红外小目标检测方法及装置。


背景技术：

2.在杂波背景下，鲁棒高效的红外空中小目标检测是机载态势感知、飞行制导等领域的关键技术。此外，它一直是红外图像处理领域的一个热门话题。然而，对于受到快速相对运动和杂乱背景影响的红外探测系统来说，小型空中目标探测仍然是一个挑战。
3.红外小目标检测已经研究了几十年。包含在单个帧或多个连续帧中的信息被用于目标检测。因此，现有的方法可以分为基于单帧的方法和基于多个连续帧的方法。在单个红外图像中，小目标和背景之间的差异通常用于目标检测。小型红外目标通常被建模为各向同性分布的点目标。该分布是基于成像系统的点扩散函数来确定的，或者简单地通过高斯分布来近似。背景特征和局部对比度也广泛用于基于单帧的红外小目标检测。尽管这样的方法是有效的并且易于实现的，但是由单个帧提供的提示可能不足以用于鲁棒的小红外目标检测，特别是在目标非常弱并且背景杂乱的情况下。基于多个帧的方法通过连续帧之间的关联引入时间线索，以检测对象。基于多连续帧的方法通过关联多幅图像来提高小目标检测的性能，具有更好的潜力和前景。然而，时间线索的采用增加了现有方法的计算复杂性。此外，这种方法不能很好地处理快速变化的背景。最近，基于深度学习的方法被证明可以通过其强大的特征学习能力有效提高小目标检测的性能。然而，这种方法通常只利用小目标的空间信息，泛化能力较差。总之，现有的方法，包括基于单帧、基于多帧和基于网络的方法，都很难检测到机载小目标。kim和lee使用多尺度高斯拉普拉斯算子增强具有高斯分布的目标信号。zhang等人采用各向同性分布来近似目标。基于远程成像和红外成像的特点，研究人员近似地使用常见或均匀的成分对背景进行建模。与背景相比，小目标的空间扩散较小。通过减去估计的背景来检测小目标。gao等人使用红外块图像重建来对背景进行建模。lu等人提出了一种有效的在线更新方法，以改进传统的红外小目标检测字典学习算法。尽管这种方法易于实现且高效，但它们不适用于检测杂乱背景中的目标。sun等人通过感兴趣的像素检测和训练的轻量梯度提升机模型来检测每帧中的目标，并将目标轨迹的局部平滑性和全局连续性建模为短严格约束和长宽松约束。kwan和budavari利用光流技术来提高低质量和长距离红外视频中小型红外运动目标的检测性能。liu等人提出了一种利用非凸张量的低秩近似方法来精确估计杂波背景。这些方法无法处理背景快速变化的情况。此外，算法实现更加复杂，难以满足实时性要求。深度学习方面，dai等人将小目标的低级特征集成到更深层次的高级特征中，并将关于目标局部对比度的先验知识嵌入到学习网络中。du等人基于resnet50的浅层设计有效的小锚点。wang等人提出了两个上下文聚合网络，并使用u-skip连接将它们连接起来。gupta等人使用轻量级神经网络来增强传统的基于空间的检测处理链。这些方法主要依赖于红外图像中的空间信息，而忽略了时间线索的充分利用。同时，目前基于深度学习的方法需要对训练数据进行全面覆盖，因此此类方法的泛化性能
不佳。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高红外小目标检测泛化性能的基于轨迹假设和轨迹验证的红外小目标检测方法及装置。
5.一种基于轨迹假设和轨迹验证的红外小目标检测方法，所述方法包括：
6.获取待检测的红外图像集；利用惯性测量单元计算红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图；
7.根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标；
8.利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型；
9.将生成的轨迹假设映射到掩模图像，根据轨迹分类模型对掩模图像进行检测，得到第一真实轨迹段；
10.若当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧；
11.根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；
12.根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；第一真实轨迹段和第二真实轨迹段为目标检测结果。
13.在其中一个实施例中，根据单个红外图像的平均值和标准差对差异图像进行阈值设置，包括：
14.根据单个红外图像的平均值和标准差对差异图像进行阈值设置为
15.t
th
＝mean(d_img)+k*std(d_img)
16.其中，mean和std分别表示平均值和标准差，k是根据经验确定的常数。
17.在其中一个实施例中，利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，包括：
18.根据距离约束将当前图像帧中的候选目标与现有轨迹段链接，当轨迹段的最后一个目标所属图像帧与当前图像帧之间间隔不超过两帧时，在当前图像帧中搜索符合的候选目标，将轨迹段与符合的候选目标链接以生成新的轨迹并设置轨迹长度的比例系数c来删除候选目标数量小于c
×
l的轨迹，得到符合预先设置长度的轨迹假设，其中l表示单个序列段内图像帧的个数；符合的候选目标表示距离轨迹段末端的距离在指定范围内的候选目标。
19.在其中一个实施例中，将生成的轨迹假设映射到掩模图像之前还包括：
20.根据最小边界矩形裁剪生成的轨迹假设，并将裁剪区域调整为输入图像的大小生成多个掩模图像。
21.在其中一个实施例中，将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量，包括：
22.将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量为
[0023][0024]
其中，t1是在先序列段中真实的轨迹段，t2是当前序列段中未符合预先设置长度的轨迹假设，t表示图像帧号,表示真实轨迹段中的第k帧上的目标,pk表示真实轨迹段和轨迹假设依据匀速直线运动约束在第k帧上所计算出的插值，表示未符合预先设置长度的轨迹假设中第k帧上的目标。
[0025]
在其中一个实施例中，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵，包括：
[0026]
利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵为
[0027][0028]
其中，σ3是相邻轨迹段的相似性的松弛度的阈值。
[0029]
在其中一个实施例中，根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段，包括：
[0030]
若二进制链接矩阵中相似度矩阵的取值为1，则将矩阵中行对应的真实轨迹段与每行中具有最大相似度量值的列相对应的轨迹假设进行合并，得到第二真实轨迹段；
[0031]
若二进制链接矩阵中相似度矩阵的取值为0，则不进行轨迹假设合并。
[0032]
一种基于轨迹假设和轨迹验证的红外小目标检测装置，所述装置包括：
[0033]
差分运算模块，用于获取待检测的红外图像集；利用惯性测量单元计算红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图；
[0034]
候选目标选取模块，用于根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标；
[0035]
轨迹假设生成和模型训练模块，用于利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型；
[0036]
轨迹段检测模块，用于将生成的轨迹假设映射到掩模图像，根据轨迹分类模型对掩模图像进行检测，得到第一真实轨迹段；
[0037]
相似性计算模块，用于若当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中
第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧；
[0038]
轨迹段合并模块，用于根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；第一真实轨迹段和第二真实轨迹段为目标检测结果。
[0039]
上述基于轨迹假设和轨迹验证的红外小目标检测方法及装置，本技术使用惯性测量单元辅助的帧间差分方法来从单个图像中提取候选目标，基于目标轨迹的连续性和平滑性特征，通过链接相邻帧中的候选目标来生成所需长度的假设，将轨迹假设发送到经过训练的分类卷积神经网络进行验证，经过验证的轨迹追溯回一部分检测结果进行轨迹合并以链接相邻的轨迹段，通过将小目标检测问题转化为目标的轨迹假设和轨迹验证，充分利用了小型空中目标共有的运动轨迹连续性和平滑性特征，比现有方法获得了更好的广泛适用性，具有更好的鲁棒性，且不易受图像背景和目标形态的干扰；将轨迹验证视为一个分类问题，基于深度学习算法的思想，引入卷积神经网络，充分利用构建的大规模数据集对数据进行训练，利用训练好的模型对提取的轨迹假设进行预测，以分类出真实轨迹。相比于对小目标运动轨迹建模的传统方法，本发明引入的卷积神经网络能够更加充分的学习到小目标的真实运动轨迹特征，能够更好的适应运动复杂的轨迹，同时在当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段时将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量，根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段，通过在一些没有检测到真实目标的序列段中重新检测轨迹相比于传统轨迹约束方法提高了目标检测的召回率，且由于本技术只使用目标信息，因此对不同场景具有优异的泛化性能。
附图说明
[0040]
图1为一个实施例中一种基于轨迹假设和轨迹验证的红外小目标检测方法的流程示意图；
[0041]
图2为一个实施例中基于连续性的轨迹假设生成示意图；
[0042]
图3为一个实施例中用于分类的轨迹掩膜图像示意图；
[0043]
图4为另一个实施例中轨迹段合并的相似度量示意图；
[0044]
图5为一个实施例中一种基于轨迹假设和轨迹验证的红外小目标检测装置的结构框图。
具体实施方式
[0045]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0046]
在一个实施例中，如图1所示，提供了一种基于轨迹假设和轨迹验证的红外小目标
检测方法，包括以下步骤：
[0047]
步骤102，获取待检测的红外图像集；利用惯性测量单元计算红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图。
[0048]
相机拍摄的图像序列具有连续性的特点，背景在两个或三个连续帧之间具有类似的一致性。因此，不同图像之间的差异主要是由目标的移动引起的。利用惯性测量单元计算相邻图像间位姿并对相邻图像进行配准，然后在时间上对连续的三幅图像进行帧间差分运算，减去不同帧的对应像素点，并判断灰度差的绝对值，得到差分图。
[0049]
惯性测量单元是现代飞机上的一种标准设备。通过适当的设置，惯性测量单元可以直接输出相邻帧之间的相对位姿。并且，基于惯性测量单元的图像配准的耗时过程几乎可以忽略不计。
[0050]
惯性测量单元的输出数据是相邻时刻惯性测量单元之间的相对旋转δr和相对平移δt。惯性测量单元和相机之间的相对旋转r
ci
和相对平移t
ci
可以通过成像平台获得。因此可以得到相邻时刻相机的相对旋转δrc和相对平移δtc如下：
[0051][0052][0053]
相邻帧之间的单应矩阵可以通过以下公式计算
[0054][0055]
其中k表示相机内参矩阵，n
t
和d分别表示图像点所在的平面p的法向量和截距。本技术采用惯性测量单元设备对帧间连续运动进行短时间高精度测量。
[0056]
步骤104，根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标。
[0057]
步骤106，利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型。
[0058]
小目标的运动形式各不相同，其轨迹复杂多样。然而，它们的轨迹都是连续的。本技术根据距离约束准则从候选目标中生成轨迹假设，其准则如下：
[0059]
1)如图3所示，根据距离约束，将当前帧中的候选目标与现有轨迹链接。当轨迹段的最后一个目标属于前一帧时，我们在当前帧中搜索符合的候选目标，即距离轨迹段末端的距离在指定范围内的候选目标。然后，将轨迹段与符合的候选目标链接，以生成新的轨迹。
[0060]
2)考虑到一些帧没有分割出真实目标这一事实，本技术允许现有轨迹中相邻目标之间最多缺失两个帧，如图2上部分所示，其中现有轨迹上的目标由黑色实心圆圈表示，当前帧上的候选目标由灰色实心色圆圈表示。
[0061]
此外，两者之间的距离约束应根据它们之间的帧数按比例扩展。
[0062]
3)在根据上述原理提取所有轨迹假设后，设置轨迹长度的比例系数c来删除候选目标数量小于c
×
l的轨迹，这便于分类网络的训练和验证。
[0063]
轨迹假设生成的细节在算法1中给出。
[0064][0065][0066]
步骤108，将生成的轨迹假设映射到掩模图像，根据轨迹分类模型对掩模图像进行检测，得到第一真实轨迹段。
[0067]
在模型训练阶段，由于小目标的轨迹特征较为简单，因此本技术选用结构简单、参数较少的resnet-50作为分类模型的骨干网络用以提取特征。为了满足二进制分类任务的需要，resnet-50固有的全连接层被替换为两个全连接层的级联，这两个全连接层的输出维度分别为256和2。基于训练集图像，通过帧差法提取候选目标、轨迹假设生成步骤提取了大量的轨迹正负样本，随后将这些样本和对应的标签送入设计好的卷积神经网络中进行训练，最终得到轨迹分类模型。
[0068]
在预测阶段，本技术将生成的轨迹假设映射到与输入图像大小相同的掩模图像。由于轨迹假设的尺寸较小，根据最小边界矩形裁剪轨迹假设，并将裁剪区域调整为输入图像的大小。然后，生成多个轨迹掩模图像，并将其发送到分类网络进行验证，以检测真实的轨迹段。如图3所示，真实目标形成的轨迹近似于平滑曲线，而虚假目标生成的轨迹是杂乱分布的，无法使用曲线拟合。真实轨迹和虚假轨迹的几何特征分布差异很大，因此可以使用卷积神经网络来区分。
[0069]
步骤110，若当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或
者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧。
[0070]
本技术中的序列段包含多个图像帧，单个红外图像为一个图像帧，比如序列图像共有100帧，将其分为10个序列段，每个序列段长度为10，分别在每个序列段内生成符合长度要求的轨迹假设。
[0071]
在先序列段是指当前序列段的上一时刻拍摄的多个红外图像组成的图像帧集合。
[0072]
步骤112，根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；第一真实轨迹段和第二真实轨迹段为目标检测结果。
[0073]
在步骤108中，轨迹假设被发送到分类网络，以挑选出真实的轨迹。然而，部分序列段中可能没有生成满足所需长度的轨迹假设，或者没有检测出真实轨迹，这些情况降低了本技术方法的召回率。此外，由于长度不足，通过链接真实目标生成的一些轨迹假设在前一步中被丢弃。故本技术将在先前序列段中检测到的真实轨迹段用于与当前序列段的未满足长度要求的轨迹假设进行相似性计算用以和合并。以t1和t2两个轨迹段为样本，如图4所示，t1是在前一序列段中检测到的真实轨迹段，t2是由于长度不足而在当前序列段中被丢弃的轨迹假设。在进行相似性计算之前基于短时间内匀速运动的假设来补全t1和t2上的缺失目标。
[0074]
t1和t2在时间上是相邻的。t1结束于帧(t-4)，t2开始于帧(t-3)。如果t1和t2属于同一目标轨迹，则本发明将和链接起来。在均匀运动约束下，插值后的目标位置为{p
t-5
,p
t-4
,p
t-3
,p
t-2
}，如图4所示。插值的目标位置和实际位置之间的距离用于定义t1和t2之间的相似性度量s(t1,t2)，如等式(1)所示：
[0075][0076]
等式(1)是对两个轨迹段t1和t2的相似性定义的详细描述。相似度矩阵s＝[s(ti,tj)]n×m中的行是前一序列段的真实轨迹段，列是当前序列段的所选的轨迹假设。二进制链接矩阵a在等式(2)中给出：
[0077][0078]
其中σ3是相邻轨迹段的相似性的松弛度的阈值。在s＝[s(ti,tj)]n×m中，任何轨迹段ti只能与一个tj合并。因此，选择与每行中具有最大相似测量值的列相对应的轨迹假设进行合并。
[0079]
上述一种基于轨迹假设和轨迹验证的红外小目标检测方法中，本技术使用惯性测量单元辅助的帧间差分方法来从单个图像中提取候选目标，基于目标轨迹的连续性和平滑性特征，通过链接相邻帧中的候选目标来生成所需长度的假设，将轨迹假设发送到经过训练的分类卷积神经网络进行验证，经过验证的轨迹追溯回一部分检测结果进行轨迹合并以
链接相邻的轨迹段，通过将小目标检测问题转化为目标的轨迹假设和轨迹验证，充分利用了小型空中目标共有的运动轨迹连续性和平滑性特征，比现有方法获得了更好的广泛适用性，具有更好的鲁棒性，且不易受图像背景和目标形态的干扰；将轨迹验证视为一个分类问题，基于深度学习算法的思想，引入卷积神经网络，充分利用构建的大规模数据集对数据进行训练，利用训练好的模型对提取的轨迹假设进行预测，以分类出真实轨迹。相比于对小目标运动轨迹建模的传统方法，本发明引入的卷积神经网络能够更加充分的学习到小目标的真实运动轨迹特征，能够更好的适应运动复杂的轨迹，同时在当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段时将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量，根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段，通过在一些没有检测到真实目标的序列段中重新检测轨迹相比于传统轨迹约束方法提高了目标检测的召回率，且由于本技术只使用目标信息，因此对不同场景具有优异的泛化性能。
[0080]
在其中一个实施例中，根据单个红外图像的平均值和标准差对差异图像进行阈值设置，包括：
[0081]
根据单个红外图像的平均值和标准差对差异图像进行阈值设置为
[0082]
t
th
＝mean(d_img)+k*std(d_img)
[0083]
其中，mean和std分别表示平均值和标准差，k是根据经验确定的常数。
[0084]
在其中一个实施例中，利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，包括：
[0085]
根据距离约束将当前图像帧中的候选目标与现有轨迹段链接，当轨迹段的最后一个目标所属图像帧与当前图像帧之间间隔不超过两帧时，在当前图像帧中搜索符合的候选目标，将轨迹段与符合的候选目标链接以生成新的轨迹并设置轨迹长度的比例系数c来删除候选目标数量小于c
×
l的轨迹，得到符合预先设置长度的轨迹假设，其中l表示单个序列段内图像帧的个数；符合的候选目标表示距离轨迹段末端的距离在指定范围内的候选目标。
[0086]
在具体实施例中，比如当前图像帧号为5，有序列段的最后一个目标帧号分别为4，3，2时，均可以在当前图像帧中搜索符合的候选目标。
[0087]
在其中一个实施例中，将生成的轨迹假设映射到掩模图像之前还包括：
[0088]
根据最小边界矩形裁剪生成的轨迹假设，并将裁剪区域调整为输入图像的大小生成多个掩模图像。
[0089]
在其中一个实施例中，将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量，包括：
[0090]
将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量为
[0091]
[0092]
其中，t1是在先序列段中真实的轨迹段，t2是当前序列段中未符合预先设置长度的轨迹假设，t表示图像帧号,表示真实轨迹段中的第k帧上的目标,pk表示真实轨迹段和轨迹假设依据匀速直线运动约束在第k帧上所计算出的插值，表示未符合预先设置长度的轨迹假设中第k帧上的目标。
[0093]
在其中一个实施例中，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵，包括：
[0094]
利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵为
[0095][0096]
其中，σ3是相邻轨迹段的相似性的松弛度的阈值。
[0097]
在其中一个实施例中，根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段，包括：
[0098]
若二进制链接矩阵中相似度矩阵的取值为1，则将矩阵中行对应的真实轨迹段与每行中具有最大相似度量值的列相对应的轨迹假设进行合并，得到第二真实轨迹段；
[0099]
若二进制链接矩阵中相似度矩阵的取值为0，则不进行轨迹假设合并。
[0100]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0101]
在一个实施例中，如图5所示，提供了一种基于轨迹假设和轨迹验证的红外小目标检测装置，包括：差分运算模块502、候选目标选取模块504、轨迹假设生成和模型训练模块506、轨迹段检测模块508、相似性计算模块510和轨迹段合并模块512，其中：
[0102]
差分运算模块502，用于获取待检测的红外图像集；利用惯性测量单元计算红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图；
[0103]
候选目标选取模块504，用于根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标；
[0104]
轨迹假设生成和模型训练模块506，用于利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型；
[0105]
轨迹段检测模块508，用于将生成的轨迹假设映射到掩模图像，根据轨迹分类模型对掩模图像进行检测，得到第一真实轨迹段；
[0106]
相似性计算模块510，用于若当前序列段中未能从候选目标中提取出符合长度要
求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧；
[0107]
轨迹段合并模块512，用于根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，得到二进制链接矩阵；根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；第一真实轨迹段和第二真实轨迹段为目标检测结果。
[0108]
关于基于轨迹假设和轨迹验证的红外小目标检测装置的具体限定可以参见上文中对于基于轨迹假设和轨迹验证的红外小目标检测方法的限定，在此不再赘述。上述基于轨迹假设和轨迹验证的红外小目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0109]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0110]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于轨迹假设和轨迹验证的红外小目标检测方法，其特征在于，所述方法包括：获取待检测的红外图像集；利用惯性测量单元计算所述红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图；根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将所述差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标；利用距离约束准则从所述候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将所述轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型；将生成的轨迹假设映射到掩模图像，根据所述轨迹分类模型对所述掩模图像进行检测，得到第一真实轨迹段；若当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧；根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对所述相似度矩阵进行计算，得到二进制链接矩阵；根据所述二进制链接矩阵作为参考将所述相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；所述第一真实轨迹段和第二真实轨迹段为目标检测结果。2.根据权利要求1所述的方法，其特征在于，根据单个红外图像的平均值和标准差对差异图像进行阈值设置，包括：根据单个红外图像的平均值和标准差对差异图像进行阈值设置为t
th
＝mean(d_img)+k*std(d_img)其中，mean和std分别表示平均值和标准差，k是根据经验确定的常数。3.根据权利要求1所述的方法，其特征在于，利用距离约束准则从所述候选目标中生成符合预先设置长度的轨迹假设，包括：根据距离约束将当前图像帧中的候选目标与现有轨迹段链接，当轨迹段的最后一个目标所属图像帧与当前图像帧之间间隔不超过两帧时，在当前图像帧中搜索符合的候选目标，将轨迹段与符合的候选目标链接以生成新的轨迹并设置轨迹长度的比例系数c来删除候选目标数量小于c
×
l的轨迹，得到符合预先设置长度的轨迹假设，其中l表示单个序列段内图像帧的个数；所述符合的候选目标表示距离轨迹段末端的距离在指定范围内的候选目标。4.根据权利要求1至3任意一项所述的方法，其特征在于，将生成的轨迹假设映射到掩模图像之前还包括：根据最小边界矩形裁剪所述生成的轨迹假设，并将裁剪区域调整为输入图像的大小生成多个掩模图像。5.根据权利要求4所述的方法，其特征在于，将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量，包括：将在先序列段中真实的轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量为
其中，t1是在先序列段中真实的轨迹段，t2是当前序列段中未符合预先设置长度的轨迹假设，t表示图像帧号,表示真实轨迹段中的第k帧上的目标,p
k
表示真实轨迹段和轨迹假设依据匀速直线运动约束在第k帧上所计算出的插值目标位置，表示未符合预先设置长度的轨迹假设中第k帧上的目标。6.根据权利要求5所述的方法，其特征在于，利用预先设置的相似性松弛度阈值对所述相似度矩阵进行计算，得到二进制链接矩阵，包括：利用预先设置的相似性松弛度阈值对所述相似度矩阵进行计算，得到二进制链接矩阵为其中，σ3是相邻轨迹段的相似性的松弛度的阈值。7.根据权利要求6所述的方法，其特征在于，根据所述二进制链接矩阵作为参考将所述相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段，包括：若所述二进制链接矩阵中相似度矩阵的取值为1，则将矩阵中行对应的真实轨迹段与每行中具有最大相似度量值的列相对应的轨迹假设进行合并，得到第二真实轨迹段；若所述二进制链接矩阵中相似度矩阵的取值为0，则不进行轨迹假设合并。8.一种基于轨迹假设和轨迹验证的红外小目标检测装置，其特征在于，所述装置包括：差分运算模块，用于获取待检测的红外图像集；利用惯性测量单元计算所述红外图像集中相邻图像间位姿并对相邻图像进行配准，在时间上对连续的三幅红外图像进行帧间差分运算，得到差分图；候选目标选取模块，用于根据单个红外图像的平均值和标准差对差异图像进行阈值设置，利用设置的阈值将所述差分图二值化，将二值图中每个感兴趣目标区域的几何中心像素点作为候选目标；轨迹假设生成和模型训练模块，用于利用距离约束准则从所述候选目标中生成符合预先设置长度的轨迹假设，根据预先获取的训练集图像通过帧差法提取候选目标和轨迹假设构建大量的轨迹正负样本，将所述轨迹正负样本和对应的标签送入设计好的卷积神经网络中进行训练，得到轨迹分类模型；轨迹段检测模块，用于将生成的轨迹假设映射到掩模图像，根据所述轨迹分类模型对所述掩模图像进行检测，得到第一真实轨迹段；相似性计算模块，用于若当前序列段中未能从候选目标中提取出符合长度要求的轨迹假设或者轨迹分类模型没有从输入的轨迹假设中分类出真实轨迹段，将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，得到相似性度量；序列段包含多个图像帧；轨迹段合并模块，用于根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对所述相似度矩阵进行计算，得到二进制链接矩阵；根据所述二进制链接矩阵
作为参考将所述相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段；所述第一真实轨迹段和第二真实轨迹段为目标检测结果。

技术总结
本申请涉及一种基于轨迹假设和轨迹验证的红外小目标检测方法及装置。所述方法包括：利用距离约束准则从候选目标中生成符合预先设置长度的轨迹假设，将生成的轨迹假设映射到掩模图像，根据轨迹分类模型对掩模图像进行检测，得到第一真实轨迹段；将在先序列段中第一真实轨迹段与当前序列段中未符合预先设置长度的轨迹假设进行相似性计算，根据多个相似度度量构建相似度矩阵，利用预先设置的相似性松弛度阈值对相似度矩阵进行计算，根据二进制链接矩阵作为参考将相似度矩阵对应的轨迹假设进行合并，得到第二真实轨迹段。采用本方法能够提高红外小目标检测泛化性能。够提高红外小目标检测泛化性能。够提高红外小目标检测泛化性能。


技术研发人员：郭良超 孙晓亮 毕道明 于起峰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.06.28
技术公布日：2023/9/9