一种机动敏捷目标的识别检测方法及系统与流程

1.本发明涉及目标识别技术领域，具体而言，涉及一种机动敏捷目标的识别检测方法及系统。


背景技术：

2.随着科技的进步与社会的发展，许多需要大量人力完成的工作现在可以交给计算机完成，计算机视觉就是近期的研究热点，计算机视觉的目标是利用计算机去代替人的视觉能力来处理问题。尽管运动目标检测问题在近年来已经取得了不错的进展，但在实际的复杂场景下仍会受到不同程度的影响，如光照变化、动态背景、不良气候、目标姿态变化和间歇性运动等，无法有效地应对各种复杂场景下的运动目标检测问题。
3.近年来，人们提出了很多运动目标检测算法以及相关的改进算法，随着深度学习技术在视频图像识别与检测领域的成功，越来越多的学者开始研究利用深度学习进行运动目标检测，并且在检测精度上取得了很大的进步。一些算法使用了网络模型学习前景和背景特征，从而识别分割出运动的前景目标，如基于补丁的分析训练方式通过预先确定的背景图像与当前帧串联作为网络输入，网络学习对比当前帧与背景像素的差异，从而分割前景与背景。但这种方式依赖于事先获取的背景图像，同时对于间歇运动、光照变化等复杂场景下的检测问题无法很好的解决，实用性较差。另外有些算法使用3d卷积与长短记忆网络的方法进行运动目标的识别与检测，如使用三维卷积来同时捕获时间和空间维度的特征信息，但由于网络复杂度较高，实用性相对较弱。也有些方法对局部区域提取特征来捕获背景的统计信息，如从区域中提取局部的纹理特征用于构建背景统计信息。但这些方法构成的背景在精度上略有不足，使得算法的识别检测效果仍有改进空间。


技术实现要素：

4.本发明的目的在于提供一种机动敏捷目标的识别检测方法，其能够充分提取历史帧中的运动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。
5.本发明的另一目的在于提供一种机动敏捷目标的识别检测系统，其能够充分提取历史帧中的运动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。
6.本发明的实施例是这样实现的：
7.第一方面，本技术实施例提供一种机动敏捷目标的识别检测方法，其包括如下步骤，主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出一种深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出一种动态前景分割模块，用于将当前帧与所述估计背景的提取
特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务。
8.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，使用历史帧的单通道灰度图像得到所述估计背景。
9.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，使用间隔k选取历史帧通过所述时空背景估计模型进行背景估计。
10.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，调整所述时空背景估计模型的训练参数得到最优模型。
11.在本发明的一些实施例中，上述训练参数包括尺寸、动量和学习率。
12.在本发明的一些实施例中，上述时空背景估计模块通过时间中值滤波算法进行背景估计。
13.第二方面，本技术实施例提供一种机动敏捷目标的识别检测系统，其基于第一方面所述的一种机动敏捷目标的识别检测方法实现。
14.相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
15.第一方面，本技术实施例提供一种机动敏捷目标的识别检测方法，其包括如下步骤，主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出一种深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出一种动态前景分割模块，用于将当前帧与所述估计背景的提取特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务。
16.第二方面，本技术实施例提供一种机动敏捷目标的识别检测系统，其基于第一方面所述的一种机动敏捷目标的识别检测方法实现。
17.针对第一方面～第二方面：本技术提供了一种机动敏捷目标的识别检测方法，其能够充分提取历史帧中的运动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。可以有效针对多种复杂场景进行识别与检测，提升复杂场景的识别检测精度。比如，能够对于存在光照变化、动态背景、不良气候、目标姿态变化和间歇性运动等挑战性场景进行识别检测。该方法构建的神经网络模型大小可以根据相应数据集大小而定，对机器硬件要求不高，降低了运算难度，能够广泛应用于自动驾驶和机器人智能等领域中使用。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1为本发明实施例1机动敏捷目标的识别检测方法的原理图；
20.图2为本发明实施例1机动敏捷目标的识别检测方法的流程图；
21.图3为本发明实施例2电子设备的原理图。
具体实施方式
22.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
23.实施例1
24.请参阅图1～图2，图1～图2所示为本技术实施例提供的机动敏捷目标的识别检测方法的示意图。机动敏捷目标的识别检测方法，其包括如下步骤，主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出一种深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出一种动态前景分割模块，用于将当前帧与所述估计背景的提取特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务。
25.主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，用于后续动态前景分割。时空背景估计模块用于改善网络对于运动目标的信息提取能力，从而得到特征预估的背景。动态前景分割模块使用当前帧与估计背景的提取特征作为输入，将估计背景与当前帧进行匹配，动态的对输入特征进行对比融合，将语义特征和背景特征进行自适应的同化融合，自适应提取特征之间的关联性，增强了特征对运动信息的识别能力。同时，使用坐标注意力模块对特征进行处理，最终由转置卷积组成的前景预测网络完成前景与背景的分割，完成了目标的识别与检测任务。可选的，时空背景估计模块能够利用多个自适应时空接收器同时处理多个识别检测任务。
26.本技术提供了一种机动敏捷目标的识别检测方法，其能够充分提取历史帧中的运动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。可以有效针对多种复杂场景进行识别与检测，提升复杂场景的识别检测精度。比如，能够对于存在光照变化、动态背景、不良气候、目标姿态变化和间歇性运动等挑战性场景进行识别检测。该方法构建的神经网络模型大小可以根据相应数据集大小而定，对机器硬件要求不高，降低了运算难度，能够广泛应用于自动驾驶和机器人智能等领域中使用。
27.机动敏捷目标识别与检测任务将视频连续图像帧中的运动目标提取出来，其中的运动目标称为前景，其余区域称为背景，整个视频画面被分为前景和背景的二值图像。机动
敏捷目标检测任务不同于传统的视频实例分割任务，运动目标检测一般是通过利用不同时序的视频帧进行背景像素和前景像素的标记划分，而不是仅仅针对某一帧的视频图像目标进行检测分割。传统的运动目标检测通常是通过背景建模完成对背景和前景的划分，而基于深度学习方法则是使用卷积神经网络提取前景与背景特征，来完成前景目标与背景区域识别。
28.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，使用历史帧的单通道灰度图像得到所述估计背景。由于灰度图像可以充分表达运动信息，同时为了降低模型的复杂度，因此选择使用历史帧的单通道灰度图像进行背景估计，能够满足识别精度和效率的需要。
29.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，使用间隔k选取历史帧通过所述时空背景估计模型进行背景估计。通过间隔一定时间多次选取历史帧，能够提高背景估计的可靠性，降低了网络的计算复杂度。
30.在本发明的一些实施例中，上述一种机动敏捷目标的识别检测方法，包括如下步骤，调整所述时空背景估计模型的训练参数得到最优模型。
31.在本发明的一些实施例中，上述训练参数包括尺寸、动量和学习率。除上述示例内容，还可以通过调整模型的其他常规训练参数，得到最优的时空背景估计模型。
32.在本发明的一些实施例中，上述时空背景估计模块通过时间中值滤波算法进行背景估计。
33.当使用额外的背景预测模块对背景进行预处理时，将得到的估计背景作为纯净背景，进行分割前景与背景。由于这种方式严重依赖于估计背景的准确性，这些额外的背景预测模块采用现有的算法，如时间中值滤波等算法进行背景预测，但是背景估计的精度有限，同时忽视了对运动信息的提取，因此在复杂场景下的检测效果通常更差。为了解决上述问题，本技术利用多尺度特征进行背景预测，并采用多种方法组合使用多尺度的卷积核捕获不同特征，从而完成了背景表示。使得网络从不同的区域中学习背景特征，可以更好地进行背景信息的提取。对于计算机视觉技术具有巨大的发展潜力与广泛的应用前景。
34.可以理解，图1所示的结构仅为示意，机动敏捷目标的识别检测方法还可通过比图1中所示更多或者更少的组件实现，或者通过与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
35.本发明能够充分提取历史帧中的运动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。
36.实施例2
37.请参阅图3，图3为本技术实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本技术实施例1所提供的实现机动敏捷目标的识别检测方法所对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处
理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
38.其中，存储器101可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
39.处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
40.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
41.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
42.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
43.综上所述，本技术实施例提供的一种机动敏捷目标的识别检测方法及系统：其中提供了一种机动敏捷目标的识别检测方法，其包括如下步骤，主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出一种深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出一种动态前景分割模块，用于将当前帧与所述估计背景的提取特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务。
44.本技术提供了一种机动敏捷目标的识别检测方法，其能够充分提取历史帧中的运
动信息和背景特征，使网络能够动态的估计当前帧的背景，增加了网络对时空信息的提取能力；并且结合当前帧的深层语义特征，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。可以有效针对多种复杂场景进行识别与检测，提升复杂场景的识别检测精度。比如，能够对于存在光照变化、动态背景、不良气候、目标姿态变化和间歇性运动等挑战性场景进行识别检测。该方法构建的神经网络模型大小可以根据相应数据集大小而定，对机器硬件要求不高，降低了运算难度，能够广泛应用于自动驾驶和机器人智能等领域中使用。
45.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，主干网络采用hrnetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出一种深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出一种动态前景分割模块，用于将当前帧与所述估计背景的提取特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务。2.如权利要求1所述的一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，使用历史帧的单通道灰度图像得到所述估计背景。3.如权利要求1所述的一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，使用间隔k选取历史帧通过所述时空背景估计模型进行背景估计。4.如权利要求1所述的一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，调整所述时空背景估计模型的训练参数得到最优模型。5.如权利要求4所述的一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，所述训练参数包括尺寸、动量和学习率。6.如权利要求1所述的一种机动敏捷目标的识别检测方法，其特征在于，包括如下步骤，所述时空背景估计模块通过时间中值滤波算法进行背景估计。7.一种机动敏捷目标的识别检测系统，其特征在于，基于权利要求1～6任一项所述的一种机动敏捷目标的识别检测方法实现。

技术总结
本发明提出了一种机动敏捷目标的识别检测方法及系统，涉及目标识别技术领域。其主干网络采用HRNetv2，将多尺度特征融合拼接后的特征作为主干网络的输出，提出深度可分离卷积构建时空背景估计模型，通过提取历史帧中的运动信息和背景特征，输出历史帧的估计背景；提出动态前景分割模块，用于将当前帧与所述估计背景的提取特征作为输入，动态的对输入特征进行对比融合，将运动信息和背景特征进行自适应的同化融合；使用坐标注意力模块对特征进行处理后，由转置卷积组成的前景预测网络完成前景与背景的分割，完成目标的识别与检测任务，改善了算法对前景与背景特征的识别能力，从而提升算法的识别检测性能，提升了模型的泛化性和鲁棒性。鲁棒性。鲁棒性。


技术研发人员：章双全
受保护的技术使用者：辰极智航(北京)科技有限公司
技术研发日：2023.06.28
技术公布日：2023/9/9