一种航空视频流目标识别算法性能提升方法与流程

1.本发明涉及图像处理和航空视频目标识别技术领域，尤其涉及一种航空视频流目标识别算法性能提升方法。


背景技术：

2.目标识别即找出图像中所有感兴趣的物体，同时确定物体的类别和位置。目前主流技术趋势是基于深度学习算法的目标识别。其主要着重于对目标图像的语义理解上，通过卷积积分网络对图像的边缘特征进行提取，随着网络加深，逐渐提取深层次目标特征，通过理解图像语义来检测目标位置。
3.航空目标识别算法的难点主要包括：
4.由于航空场景下弱(低信噪比)小(目标占全画幅较小)目标数量多，且其含有的信息较少，目前国内外目标识别技术普遍对弱小目标检测检测精度较低，或算法的使用条件限制较为苛刻，不具备普适性，一些算法只针对某种特定的场景有效，一些算法只针对某种特点波段的信号有效，算法没有实现即插即用，使用成本较高。很多算法均含有修改目标识别模型的步骤，而模型一旦修改，就需要使用者重新提供视频数据，重新训练，其耗时较长。
5.另外，识别能力较好的算法大多有较为复杂的计算步骤，需额外增加算力开销，部分硬件资源紧张的工业场景(例如卫星上，水下等)可能无法提供如此多的计算资源。


技术实现要素：

6.鉴于上述的分析，本发明实施例旨在提供一种航空视频流目标识别算法性能提升方法，用以解决现有目标识别技术普遍对弱小目标检测能力不佳，鲁棒性较差的问题。
7.本发明实施例提供了一种航空视频流目标识别算法性能提升方法，包括：
8.获取原始视频流图像和所述目标识别算法基于所述原始视频流图像输出的所有目标的位置、类别和置信度；
9.基于所有目标的位置，将原始视频流图像自适应分割成多个方格并使所有目标的中心尽可能分布在不同方格内；
10.基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，当判断需要修正时进行位置修正；
11.基于所述目标识别算法输出的同一目标的前后n帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，删除类别判断不准确的目标。
12.进一步的，将所述原始视频流图像自适应分割成m
×
n个方格，
13.m＝[w/w
max
+km×
δm]，
[0014]
n＝[h/h
max
+kn×
δn]；
[0015]
其中，w、h分别为所述输出图像的宽、高方向像素尺寸；w
max
、h
max
分别为所述目标识别算法输出的所有目标的宽、高方向的像素的最大值；δm和δn分别为宽、高方向的自适应系数；ki为循环控制常量,i取m或n分别代表宽和高方向。
[0016]
进一步的，所述相邻方格区域组包括与所述目标的中心点所处方格区域相邻的上下方格区域组、左右方格区域组和四角方格区域组；每两个相邻方格区域之间有部分重叠区域；上下方格区域组包括与目标的中心点所处方格区域a上下相邻的两个方格区域c1、c2，左右方格区域组包括与a左右相邻的两个方格区域d1、d2；四角方格区域组包括位于a四角处的四个方格区域b1、b2、b3、b4。
[0017]
进一步的，基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，包括：若下一帧检测到的该目标的位置没有出现在a方格区域而是出现在了关联度最高的相邻区域组，则认为是正确识别，保留该目标；否则判断需要对该目标位置进行修正；
[0018]
所述当判断需要修正时进行位置修正，包括：基于该目标的中心点位置在当前帧与下一帧的欧氏距离乘以a方格区域与下一帧检测到的该目标所在方格区域组的相似度信息得到校正距离值；基于校正距离值校正下一帧目标中心点位置依然位于当前帧与下一帧该目标的中心点所处连线上；如果校正后下一帧该目标的中心点重新回到a方格区域则对该目标予以保留，否则结合所述目标识别算法对下一帧检测到的该目标输出的置信度水平判断对该目标予以保留或舍弃。
[0019]
进一步的，通过卷积网络提取目标的中心点所处方格区域a以及各相邻方格区域组中每个方格区域的特征图，并进行匹配对比，得到所述关联度最高的相邻方格区域组。
[0020]
进一步的，通过卷积网络提取目标的中心点所处方格区域a以及各相邻方格区域组中每个方格的特征图，包括：
[0021]
将a以及8个相邻方格区域图像分别作为输入，均经过9个3-1结构输出每个方格区域特征图，每个3-1结构均包括3
×
3卷积和1
×
1卷积。
[0022]
进一步的，得到所述关联度最高的相邻方格区域组，包括：
[0023]
通过下述公式得到a与b1方格区域的相似度信息β(a,b1)：
[0024][0025]
其中，a
i，j
为a方格区域特征图中第i行、j列的像素值，b1
i，j
为b1方格区域特征图第i行第j列的像素值；
[0026]
同理求出β(a,b2)，β(a,b3)，β(a,b4)；
[0027]
β(a,b)＝[β(a,b1)+β(a,b2)+β(a,b3)+β(a,b4)]/4,同理求出β(a,c)，β(a,d)；
[0028]
比较β(a,b)，β(a,c)，β(a,d)，取三者中最小的β值对应的方格区域作为关联度最高的相邻方格区域组。
[0029]
进一步的，基于所述目标识别算法输出的同一目标的前后n帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，包括：
[0030]
根据以下公式更新当前帧的置信度：
[0031]
p＝pi+αi×
p
i-1
+αi×
p
i-2
+......+αi×
p1[0032]
其中，pi为当前帧的置信度，p
i-1
为上一帧的置信度，p1为第一帧置信度，αi为当前帧的衰减系数范围是[0,1]；若得到p大于置信度阈值p
th
，则认为该目标的类别识别准确；若
p低于置信度阈值p
th
，则通过执行多帧投票策略确定此目标的类别是否准确。
[0033]
进一步的，若p低于置信度阈值p
th
，则通过执行多帧投票策略确定此目标的类别是否准确，包括：
[0034]
取最近p帧的检测结果，若其中q帧的p大于阈值p
th
，其中q《p，则认定此检测结果准确；若其中少于q帧满足要求，则认定对该目标的类别检测不准确，对该目标舍弃。
[0035]
进一步的，将修正后的目标位置与判断准确的目标类别与获取的原视频流中图片进行信息融合，输出识别结果。
[0036]
与现有技术相比，本发明至少可实现如下有益效果之一：
[0037]
1、本发明提供了一种低算力占用的航空视频流目标识别算法性能提升方法，实现了对已有的目标识别算法性能提升的目的；
[0038]
2、本发明提供了一种可即插即用的算法模块，适应性强，只要能获取原有视频流图像和原有识别算法输出的位置坐标和类别信息，就能提高原有目标识别算法位置准确度，并降低虚警率，结合置信度水平可以提升原有目标识别算法目标类别识别准确度，同时降低了原有目标识别算法目标识别闪烁率。
[0039]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0040]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0041]
图1为本发明一个实施例一种航空视频流目标识别算法性能提升方法处理流程图；
[0042]
图2为本发明一个实施例所使用图像自适应分割算法分割成的m
×
n个方格示意图；
[0043]
图3为本发明一个实施例所使用局部注意力匹配算法中a方格区域以及8个相邻方格区域位置示意图；
[0044]
图4为本发明一个实施例所使用的局部注意力匹配算法中一个小型的卷积网络处理流程图。
具体实施方式
[0045]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0046]
本发明的一个具体实施例，公开了一种航空视频流目标识别算法性能提升方法，旨在提升原有目标识别算法的检测准确度，如图1所示，该方法包括以下步骤：
[0047]
步骤s1、获取原始视频流图像和所述目标识别算法基于所述原始视频流图像输出的所有目标的位置、类别和置信度；
[0048]
其中所述原始视频流图像作为自适应分割算法的输入，所述所有目标的位置信息
作为局部注意力匹配算法输入，所述所有目标的类别信息作为前后帧关联算法输入，所述所有目标的置信度信息作为局部注意力匹配算法和前后帧关联算法输入。
[0049]
步骤s2、基于所有目标的位置，将原始视频流图像自适应分割成多个方格并使所有目标的中心尽可能分布在不同方格内。
[0050]
统计原有目标识别算法识别结果的位置分布信息，将原始视频流中图像自适应分割成m
×
n个方格如图2所示，使得所述所有检测到的目标的中心尽可能分布在不同方格内，且所述目标最大置于9个方格内，具体步骤包括：
[0051]
通过公式m＝[w/w
max
+km×
δm]和n＝[h/h
max
+kn×
δn]，分别计算原始视频流图像宽和高方向的分割数m和n；
[0052]
其中，[]为取整运算，w、h分别为所述图像的宽、高方向像素尺寸，w
max
、h
max
分别为所述原有目标识别算法输出的所有检测到的目标的宽、高方向的像素的最大值，δm和δn分别为计算m、n时宽、高方向自适应度系数，系数较小可使m,n尽量小以减少运算空间，系数较大可使每个目标更独立处于不同方格以增加精准度，δm和δn最小为1，最大一般为4左右，可根据需要进行调整；ki为循环控制常量,i取m或n分别代表宽和高方向，按如下步骤确定：
[0053]
a)令ki＝0，检查是否有两个目标中心被分割到同一方格内，若无则进入c)，若有则继续b)；
[0054]
b)令ki＝ki+1，重复进入a)；
[0055]
c)检查是否有目标宽、高像素尺寸w、h分别超过3w/m、3h/n，若无，则完成ki的确定，若有则继续d)；
[0056]
d)ki＝k
i-1，重复c)。
[0057]
步骤s3、基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，当判断需要修正时进行位置修正。
[0058]
使用局部注意力匹配算法根据所述目标的中心点所处区域的特征信息匹配其关联度较高的区域，以此提高下一帧所述检测到的目标位置的稳定性。具体包括步骤s31-s33。
[0059]
步骤s31、确定目标的中心点所处方格区域a和它的相邻方格区域组。
[0060]
在步骤s2将获取到的原始视频流图像分割成m
×
n个方格基础上，扩大每个方格使每两个相邻方格区域之间有部分重叠，以稳定检测结果，避免检测结果落在两个方格交界处出现闪烁现象。方格区域a包括目标中心点所在的方格以及向四周扩大的区域。所述相邻方格区域组包括与所述目标的中心点所处方格区域a相邻的上下方格区域组、左右方格区域组和四角方格区域组；上下方格区域组包括与a上下相邻的两个方格区域c1、c2，左右方格区域组包括与a左右相邻的两个方格区域d1、d2；四角方格区域组包括位于a四角处的四个方格区域b1、b2、b3、b4，如图3所示。
[0061]
步骤s32、使用局部注意力匹配算法根据所述目标的中心点所处方格区域的特征信息匹配其关联度最高的相邻方格区域组，包括：
[0062]
通过卷积网络提取目标的中心点所处方格区域a以及各相邻方格区域组中每个方格区域的特征图，并进行匹配对比，选取关联度最高的相邻方格区域组。
[0063]
局部注意力匹配算法主要通过一个小型的卷积网络提取a区域以及它的8个相邻区域的特征图，并进行匹配对比，选取关联度较高的区域组。
[0064]
提取特征图的具体步骤如下：
[0065]
将a以及8个相邻方格区域图像分别作为输入，均经过9个3-1结构输出每个方格区域特征图，每个3-1结构均包括3
×
3卷积和1
×
1卷积。如图4所示；
[0066]
其中，3
×
3卷积，其将输入提取为第一层特征图，主要目的为提取图中关键点信息，为后续不同区域的对比提供基础信息；1指的是1
×
1卷积，其将第一层特征图转化为待输出特征图，其主要目的为整合不同区域的关键点信息并加以融合，以防止出现两个图仅轮廓相似其他细节不同也被匹配相似区域。
[0067]
选取关联度较高的区域组的具体步骤包括：
[0068]
通过下述公式得到a与b1的相似度信息β(a,b1)：
[0069][0070]
其中a
i,j
为输出的a方格区域特征图第i行第j列的像素值，b1
i,j
为输出的b1方格区域特征图第i行第j列的像素值。a
i,j
和b1
i,j
的取值范围是[0,255]；
[0071]
同理求出β(a,b2)，β(a,b3)，β(a,b4)；
[0072]
令β(a,b)＝[β(a,b1)+β(a,b2)+β(a,b3)+β(a,b4)]/4,同理求出β(a,c)，β(a,d)；
[0073]
比较β(a,b)，β(a,c)，β(a,d)，取三者中最小的β值对应的方格区域作为关联度最高的相邻方格区域组。
[0074]
步骤s33、若下一帧检测到的该目标的位置没有出现在a方格区域而是出现在了关联度最高的所述相邻区域组，则认为是正确识别，保留该目标；否则对该目标位置进行校正。校正的具体步骤包括：
[0075]
基于该目标的中心点位置在当前帧与下一帧的欧氏距离乘以min(β(a，b)，β(a，c)，β(a，d))得到校正距离值，基于校正距离值校正下一帧目标中心点位置依然位于当前帧与下一帧该目标的中心点所处连线上；如果校正后下一帧该目标的中心点重新回到a区域则对该目标予以保留，否则结合所述目标识别算法对下一帧检测到的该目标输出的置信度水平判断对该目标予以保留或舍弃，若所述输出置信度水平非常高则对该目标予以保留，否则舍弃。
[0076]
需要说明的是，将所述所有检测到的目标都进行上述判断，对判断失误的目标位置进行校正。
[0077]
步骤s4、基于所述目标识别算法输出的同一目标的前后n帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，删除类别判断不准确的目标。
[0078]
存储所述原有算法输出的同一目标的前后n帧信息，通过由前帧置信度加权滤波与多帧投票两部分组成的前后帧关联算法，实现将所述原有目标识别算法输出的目标类别信息可靠性提高。具体步骤包括s41-s42。
[0079]
步骤s41、根据下面公式更新当前帧的置信度：
[0080]
p＝pi+αi×
p
i-1
+αi×
p
i-2
+......+αi×
p1[0081]
其中pi为当前帧的置信度，p
i-1
为上一帧的置信度，p1为第一帧置信度，αi为当前帧的衰减系数，范围是[0,1]，可以0.1为步长通过试验取能使检测结果最稳定的值作为αi；若
得到p大于置信度阈值p
th
，则认为此目标的类别识别准确，输出结果；若得到p低于置信度阈值p
th
，则执行多帧投票策略。
[0082]
步骤s42、取最近p帧的检测结果，若其中q帧的p大于阈值pth，其中，q《p，则认定此检测结果准确，即使本帧p低于置信度阈值pth，但之前帧一直认定其为目标，本帧也认定其为目标；若其中少于q帧满足要求，则认定此检测结果不准确，删除该目标。
[0083]
步骤s5、将修正后的目标位置与判断准确的目标类别与获取的原视频流中图片进行信息融合，输出识别结果。
[0084]
与现有技术相比，本实施例提供的一种航空视频流目标识别算法性能提升方法，解决了现有技术中普遍对弱小目标检测能力不佳，鲁棒性较差的问题。本发明提供了一种低算力占用算法，不需要增加过多处理时间；同时也是一种可即插即用的算法模块，适应性强，只要能获取原视频流图像和原识别算法输出的位置坐标和类别信息，就能提高原有目标识别算法位置准确度，并降低虚警率，结合置信度水平可以提升原有目标识别算法目标类别识别准确度，同时降低了原有目标识别算法目标识别闪烁率。
[0085]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0086]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种航空视频流目标识别算法性能提升方法，其特征在于，包括：获取原始视频流图像和所述目标识别算法基于所述原始视频流图像输出的所有目标的位置、类别和置信度；基于所有目标的位置，将原始视频流图像自适应分割成多个方格并使所有目标的中心尽可能分布在不同方格内；基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，当判断需要修正时进行位置修正；基于所述目标识别算法输出的同一目标的前后n帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，删除类别判断不准确的目标。2.根据权利要求1所述的航空视频流目标识别算法性能提升方法，其特征在于，将所述原始视频流图像自适应分割成m
×
n个方格，m＝[w/w
max
+k
m
×
δ
m
]，n＝[h/h
max
+k
n
×
δ
n
]；其中，w、h分别为所述输出图像的宽、高方向像素尺寸；w
max
、h
max
分别为所述目标识别算法输出的所有目标的宽、高方向的像素的最大值；δ
m
和δ
n
分别为宽、高方向的自适应系数；k
i
为循环控制常量,i取m或n分别代表宽和高方向。3.根据权利要求1或2所述的航空视频流目标识别算法性能提升方法，其特征在于，所述相邻方格区域组包括与所述目标的中心点所处方格区域相邻的上下方格区域组、左右方格区域组和四角方格区域组；每两个相邻方格区域之间有部分重叠区域；上下方格区域组包括与目标的中心点所处方格区域a上下相邻的两个方格区域c1、c2，左右方格区域组包括与a左右相邻的两个方格区域d1、d2；四角方格区域组包括位于a四角处的四个方格区域b1、b2、b3、b4。4.根据权利要求3所述的航空视频流目标识别算法性能提升方法，其特征在于，基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，包括：若下一帧检测到的该目标的位置没有出现在a方格区域而是出现在了关联度最高的相邻区域组，则认为是正确识别，保留该目标；否则判断需要对该目标位置进行修正；所述当判断需要修正时进行位置修正，包括：基于该目标的中心点位置在当前帧与下一帧的欧氏距离乘以a方格区域与下一帧检测到的该目标所在方格区域组的相似度信息得到校正距离值；基于校正距离值校正下一帧目标中心点位置依然位于当前帧与下一帧该目标的中心点所处连线上；如果校正后下一帧该目标的中心点重新回到a方格区域则对该目标予以保留，否则结合所述目标识别算法对下一帧检测到的该目标输出的置信度水平判断对该目标予以保留或舍弃。5.根据权利要求4所述的航空视频流目标识别算法性能提升方法，其特征在于，通过卷积网络提取目标的中心点所处方格区域a以及各相邻方格区域组中每个方格区域的特征图，并进行匹配对比，得到所述关联度最高的相邻方格区域组。6.根据权利要求5所述的航空视频流目标识别算法性能提升方法，其特征在于，通过卷积网络提取目标的中心点所处方格区域a以及各相邻方格区域组中每个方格的特征图，包括：将a以及8个相邻方格区域图像分别作为输入，均经过9个3-1结构输出每个方格区域特
征图，每个3-1结构均包括3
×
3卷积和1
×
1卷积。7.根据权利要求5或6所述的航空视频流目标识别算法性能提升方法，其特征在于，得到所述关联度最高的相邻方格区域组，包括：通过下述公式得到a与b1方格区域的相似度信息β(a,b1)：其中，a
i，j
为a方格区域特征图中第i行、j列的像素值，b1
i，j
为b1方格区域特征图第i行第j列的像素值；同理求出β(a,b2)，β(a,b3)，β(a,b4)；β(a,b)＝[β(a,b1)+β(a,b2)+β(a,b3)+β(a,b4)]/4,同理求出β(a,c)，β(a,d)；比较β(a,b)，β(a,c)，β(a,d)，取三者中最小的β值对应的方格区域作为关联度最高的相邻方格区域组。8.根据权利要求4所述的航空视频流目标识别算法性能提升方法，其特征在于，基于所述目标识别算法输出的同一目标的前后n帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，包括：根据以下公式更新当前帧的置信度：p＝p
i
+α
i
×
p
i-1
+α
i
×
p
i-2
+......+α
i
×
p1其中，p
i
为当前帧的置信度，p
i-1
为上一帧的置信度，p1为第一帧置信度，α
i
为当前帧的衰减系数范围是[0,1]；若得到p大于置信度阈值p
th
，则认为该目标的类别识别准确；若p低于置信度阈值p
th
，则通过执行多帧投票策略确定此目标的类别是否准确。9.根据权利要求8所述的航空视频流目标识别算法性能提升方法，其特征在于，若p低于置信度阈值p
th
，则通过执行多帧投票策略确定此目标的类别是否准确，包括：取最近p帧的检测结果，若其中q帧的p大于阈值p
th
，其中q<p，则认定此检测结果准确；若其中少于q帧满足要求，则认定对该目标的类别检测不准确，对该目标舍弃。10.根据权利要求1或8所述的航空视频流识别算法性能提升方法，其特征在于，还包括：将修正后的目标位置与判断准确的目标类别与获取的原视频流中图片进行信息融合，输出识别结果。

技术总结
本发明涉及一种航空视频流目标识别算法性能提升方法，属于图像处理和航空视频目标识别技术领域。本发明的方法包括：获取原始视频流图像和所述目标识别算法基于原始视频流图像输出的所有目标的信息向量；基于所有目标的位置，将原始视频流图像自适应分割成多个方格并使所有目标的中心尽可能分布在不同方格内；基于目标的中心点所处方格区域与相邻方格区域组的关联度判断所述目标的位置是否需要修正，当判断需要修正时进行修正；基于所述目标识别算法输出的同一目标的前后N帧信息，通过前后帧关联算法，对所述目标的类别准确性进行判断，删除类别判断不准确的目标。解决了目前目标识别技术普遍对弱小目标检测能力不佳，鲁棒性较差的问题。棒性较差的问题。棒性较差的问题。


技术研发人员：岳宏宇 张连敏
受保护的技术使用者：浙江大立科技股份有限公司
技术研发日：2023.05.16
技术公布日：2023/8/23