一种目标检测方法、装置、设备及存储介质与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种目标检测方法、装置、设备及存储介质。


背景技术：

2.现有的目标检测方案常使用单一算法确定最终的目标检测结果，例如，使用目标检测算法，通过对摄像头图像进行检测，获取目标物的位置及类别信息，再根据目标物是否发生移动来确定是否检测到移动目标。
3.但是，在夜间安防等特殊检测场景下，由于这种单纯依靠目标检测算法或是其他单一的检测算法进行目标检测的方式，会出现单一算法失效或者算法识别效率以及识别准确性较低等问题，导致在实际业务中对于目标的检测效率降低。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种目标检测方法、装置、设备及存储介质，以解决因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。
5.第一方面，本技术实施例提供了一种目标检测方法，所述目标检测方法包括：
6.获取待检测的图像序列；其中，所述图像序列中包括多帧拍摄时间连续的图像；
7.将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果；
8.根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。
9.第二方面，本技术实施例提供了一种目标检测装置，所述目标检测装置包括：
10.获取模块，用于获取待检测的图像序列；其中，所述图像序列中包括多帧拍摄时间连续的图像；
11.检测模块，用于将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果；
12.确定模块，用于根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。
13.第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的目标检测方法的步骤。
14.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的目标检测方法的步
骤。
15.本技术的实施例提供的技术方案可以包括以下有益效果：
16.本技术实施例提供的一种目标检测方法、装置、设备及存储介质，获取待检测的图像序列；将获取到的图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到移动侦测模型针对图像序列的第一目标检测结果，以及目标检测模型针对图像序列的第二目标检测结果；根据第一目标检测结果以及第二目标检测结果，确定针对图像序列的最终目标检测结果。通过这种方式，本技术可以解决因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。
17.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
18.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1示出了本技术实施例所提供的一种目标检测方法的流程示意图；
20.图2a示出了本技术实施例提供的一种确定第一目标检测结果的方法的流程示意图；
21.图2b示出了本技术实施例提供的一种图像序列中前后帧图像的示意图；
22.图3示出了本技术实施例提供的一种确定第二目标检测结果的方法的流程示意图；
23.图4a示出了本技术实施例提供的一种确定针对图像序列的最终目标检测结果的方法的流程示意图；
24.图4b示出了本技术实施例提供的一种第一目标对象与第二目标对象的示意图；
25.图5示出了本技术实施例提供的一种目标检测装置的结构示意图；
26.图6示出了本技术实施例提供的一种计算机设备600的结构示意图。
具体实施方式
27.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
28.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的
范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
30.目前，在夜间安防等特殊检测场景下，由于单纯依靠目标检测算法或是其他单一的检测算法进行目标检测的方式，会出现单一算法失效或者算法识别效率以及识别准确性较低等问题，导致在实际业务中对于目标的检测效率降低。
31.基于此，本技术实施例提供了一种目标检测方法、装置、设备及存储介质，获取待检测的图像序列；将获取到的图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到移动侦测模型针对图像序列的第一目标检测结果，以及目标检测模型针对图像序列的第二目标检测结果；根据第一目标检测结果以及第二目标检测结果，确定针对图像序列的最终目标检测结果。通过这种方式，本技术可以解决因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。
32.下面对本技术实施例提供的一种目标检测方法、装置、设备及存储介质进行详细介绍。
33.参照图1所示，图1示出了本技术实施例所提供的一种目标检测方法的流程示意图，所述目标检测方法包括步骤s101-s103；具体的：
34.s101，获取待检测的图像序列。
35.这里，上述图像序列中包括多帧拍摄时间连续的图像；也即，图像序列中包括多张连续图像帧；对于图像序列中包含的具体图像数量，以及图像序列中每帧图像中包括的实体对象的类型与数量，本技术实施例不作任何限定。
36.这里，在执行上述步骤s101时，可以通过安装于特定检测位置的图像采集装置，在一段连续的拍摄时间内对位于图像采集范围内的不同实体对象(如，行人、动物、车辆等)进行图像采集，以得到上述待检测的图像序列。
37.具体的，基于本技术主要用于解决因单一算法失效导致的对于目标的检测效率降低等问题，因此，在一种优选的实施例中，上述图像序列可以是图像采集装置在安装环境、安装位置、拍摄光线等拍摄条件不良(如，光线过强或者过暗等)的情况下，拍摄到的多张时间连续的图像；也即，在该优选的实施例中，上述图像序列中的图像可以是图像质量较差(低于预设质量阈值)不利于进行目标检测的图像。
38.需要说明的是，对于图像采集装置所属的具体设备型号(如，可以是不同型号的相机、摄像头等拍摄装置)以及上述图像序列中每帧图像的图像质量高低(如分辨率高低、清晰度大小等)，本技术实施例不作任何限定。
39.s102，将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果。
40.这里，上述目标检测模型与上述移动侦测模型分别表示用于对图像序列进行目标检测的两种并列检测方式，也即，移动侦测模型输出的第一目标检测结果与目标检测模型输出的第二目标检测结果是相互独立的；基于此，即使上述目标检测模型与上述移动侦测模型中的任意一个模型无法输出有效的目标检测结果(即置信度高于预设阈值的目标检测
结果)，本技术仍然可以依靠与之独立的另外一个模型得到至少一种有效的目标检测结果，从而克服了因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。
41.具体的，移动侦测模型中可以包括成熟的移动侦测算法以及一个图像分类模型，其中，移动侦测模型先基于移动侦测算法，对图像序列中相邻(拍摄时间相邻)的前后帧图像进行移动侦测，确定在上述前后帧图像中出现变化的图像区域作为感兴趣区域(即需要图像分类模型重点分析的图像区域)，并将确定出的每帧图像中包含的感兴趣区域输入图像分类模型中，以通过图像分类模型确定每帧图像中感兴趣区域内包含的实体对象的具体类别(即上述第一目标检测结果)。
42.需要说明的是，在上述第一目标检测结果中，实体对象的具体类别是通过移动侦测模型中的上述图像分类模型确定出的，而实体对象在每帧图像中的具体位置则相当于是移动侦测模型中的上述移动侦测算法确定出的上述感兴趣区域。
43.需要说明的是，上述图像分类模型可以是基于resnet网络构建的图像分类模型，也可以是基于efficientnet网络构建的图像分类模型；对于上述图像分类模型的具体模型结构，本技术实施例不作任何限定。
44.具体的，目标检测模型用于通过目标检测的方式输出得到针对图像序列的第二目标检测结果，也即，目标检测模型用于从图像序列内的每帧图像中，识别出该帧图像中包含的实体对象的位置与类别。
45.需要说明的是，上述目标检测模型可以是基于ssd(single shot multibox detector，单步多框目标检测)目标检测算法构建的目标检测模型，也可以是基于yolo目标检测算法构建的目标检测模型；对于上述目标检测模型的具体模型结构，本技术实施例不作任何限定。
46.s103，根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。
47.这里，第一目标检测结果是通过移动侦测模型得到的，第二目标检测结果是通过目标检测模型得到的；也即，第一目标检测结果与第二目标检测结果是通过不同目标检测方式得到的同一图像序列的目标检测结果；基于此，在具体实施过程中，第一目标检测结果以及第二目标检测结果可能都是有效检测结果(即识别出置信度高于预设阈值的实体对象作为检测目标)，也可能出现一个有效一个无效，还可能出现两个都无效的情况。
48.具体的，在第一目标检测结果和第二目标检测结果中出现一个有效一个无效的情况下，可以将有效的目标检测结果作为针对图像序列的最终目标检测结果。
49.具体的，当第一目标检测结果与第二目标检测结果都属于有效检测结果时，则可以将第一目标检测结果中置信度高于预设阈值的检测目标与第二目标检测结果中置信度高于预设阈值的检测目标进行合并，得到最终目标检测结果。
50.具体的，当第一目标检测结果与第二目标检测结果都属于无效检测结果时，则可以确定最终目标检测结果是没有检测到置信度高于预设阈值的实体对象。
51.需要说明的是，由于移动侦测模型与目标检测模型使用的目标检测方式是不同的，因此，在具体实施过程中，第一目标检测结果与第二目标检测结果都属于无效检测结果的概率明显低于现有技术中目标检测算法等单一算法失效的概率，从而，本技术可以解决
因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。
52.下面针对上述各步骤的具体实施过程，分别进行详细说明如下：
53.针对上述步骤s102的具体实施过程，在一种可选的实施方式中，如图2a所示，图2a示出了本技术实施例提供的一种确定第一目标检测结果的方法的流程示意图，在执行上述步骤s102时，所述方法包括步骤s201-s203，具体的：
54.s201，将所述图像序列输入预先训练好的所述移动侦测模型中，通过所述移动侦测模型，对所述图像序列中相邻的前后帧图像进行移动侦测，确定在所述前后帧图像中出现位置移动的图像区域作为第一图像区域。
55.具体的，移动侦测模型中可以包括成熟的移动侦测算法以及一个图像分类模型，其中，移动侦测模型可以通过移动侦测算法执行上述步骤s201，也即，通过移动侦测算法，对图像序列中相邻的前后帧图像进行移动侦测，确定在前后帧图像中出现位置移动的图像区域作为第一图像区域。
56.示例性的说明，图2b示出了本技术实施例提供的一种图像序列中前后帧图像的示意图，如图2b所示，在图像序列中，前帧图像210与后帧图像220是相邻的前后帧图像；其中，实体对象200在前帧图像210中所在的图像区域是211，实体对象200在后帧图像220中所在的图像区域是221，移动侦测模型通过对前帧图像210和后帧图像220进行移动侦测，可以确定实体对象200的位置在前帧图像210和后帧图像220中出现变化(即移动)，因此，可以确定前帧图像210中的图像区域211以及后帧图像220中的图像区域221都属于第一图像区域。
57.s202，通过所述移动侦测模型，对所述第一图像区域中包含的第一实体对象进行分类预测，得到所述第一实体对象的分类预测结果。
58.这里，分类预测结果表征第一实体对象属于每一预设实体类别的概率；其中，预设实体类别可以根据图像序列的拍摄环境(相当于图像采集装置的安装位置和安装环境)确定，例如，当图像序列的拍摄环境是交通场景时，预设实体类别可以包括人、车辆等；对于上述预设实体类别的具体种类本技术实施例不作任何限定。
59.具体的，移动侦测模型中可以包括成熟的移动侦测算法以及一个图像分类模型，其中，移动侦测模型可以通过图像分类模型执行上述步骤s202，也即，将移动侦测算法确定出的第一图像区域输入图像分类模型中，输出得到针对第一图像区域中包含的第一实体对象的分类预测结果。
60.示例性的说明，仍以图2b所示的前帧图像210与后帧图像220为例，此时，第一实体对象即为实体对象200，将前帧图像210中的图像区域211以及后帧图像220中的图像区域221(即第一图像区域)输入图像分类模型，输出得到实体对象200的分类预测结果是：实体对象200属于人的概率是96％，属于人形指示牌的概率是4％。
61.s203，根据所述分类预测结果中置信度最高的目标预设实体类别，确定所述第一实体对象所属的最终实体类别，并将所述第一实体对象以及所述最终实体类别作为所述第一目标检测结果。
62.这里，上述置信度最高也用于表示属于目标预设实体类别的概率最高。
63.示例性的说明，仍以上述示例为例，当实体对象200属于人的概率是96％，属于人形指示牌的概率是4％时，则可以确定实体对象200所属的最终实体类别是人。
64.针对上述步骤s201-s203，需要说明的是，基于移动侦测模型在确定第一目标检测结果的过程中，使用的上述第一图像区域是通过对前后帧图像进行移动侦测后得到，因此，上述识别出的第一实体对象可以是在前后帧图像的拍摄时间内处于移动状态，此时，上述第一目标检测结果中可以包括：针对图像序列中属于移动目标的实体对象的目标检测结果。
65.针对上述步骤s102的具体实施过程，在一种可选的实施方式中，如图3所示，图3示出了本技术实施例提供的一种确定第二目标检测结果的方法的流程示意图，在执行上述步骤s102时，所述方法包括步骤s301-s302，具体的：
66.s301，将所述图像序列输入预先训练好的所述目标检测模型中，通过所述目标检测模型，对所述图像序列中包含的每一帧图像进行目标检测，确定每一帧图像中包含的第二实体对象以及每一所述第二实体对象所属的实体类别。
67.这里，与上述图像分类模型不同的是，目标检测模型的输入就是图像序列中包括的每帧图像。
68.示例性的说明，以图2b所示的前帧图像210为例，目标检测模型通过对前帧图像210进行目标检测，可以确定出实体对象200在前帧图像210中所在的图像区域，并确定出实体对象200所属的具体实体类别。
69.s302，将确定出的每一所述第二实体对象以及每一所述第二实体对象所属的实体类别作为所述第二目标检测结果。
70.这里，与上述图像分类模型类似，目标检测模型同样可以根据预测出的第二实体对象属于每一预设类别的概率，确定概率最高的预设类别作为第二实体对象最终的所属类别。
71.示例性的说明，仍以图2b所示的前帧图像210为例，若目标检测模型确定出实体对象200属于人的概率是98％，属于人形指示牌的概率是2％，则可以确定实体对象200属于人作为第二目标检测结果。
72.需要说明的是，考虑到上述移动侦测模型得出的第一目标检测结果中包括属于移动目标的实体对象的目标检测结果，当需要通过本技术实现针对移动目标的目标检测时，在执行完上述步骤s301-s302之后，目标检测模型还可以通过分析每个第二实体对象在相邻的前后帧图像中是否发生移动，来从上述第二目标检测结果中进一步筛选出属于移动目标的目标实体对象。
73.下面针对不同情况下步骤s103的具体实施方式，分别进行详细说明如下：
74.1、在第一目标检测结果和第二目标检测结果中出现一个有效一个无效的情况下，可以将有效的目标检测结果作为针对图像序列的最终目标检测结果，此时，可以按照以下步骤a1或者步骤a2所述的方式执行上述步骤s103，具体的：
75.步骤a1、当第一目标检测结果属于无效检测结果且第二目标检测结果属于有效检测结果时，确定第二目标检测结果作为最终目标检测结果。
76.这里，有效检测结果表征第一目标检测结果或第二目标检测结果中包含置信度高于预设阈值的检测目标。
77.具体的，当第二目标检测结果属于有效检测结果时，则表示第二目标检测结果中包括置信度高于预设阈值的检测目标(即从图像序列中识别出置信度高于预设阈值的实体
对象)，此时，相当于目标检测模型的算法有效。
78.这里，无效检测结果表征第一目标检测结果或第二目标检测结果中不包含置信度高于预设阈值的检测目标。
79.具体的，当第一目标检测结果属于无效检测结果时，则表示第一目标检测结果中检测出的实体对象的置信度都小于或者等于预设阈值，此时，相当于移动侦测模型的算法失效。
80.基于此，在本技术实施例中，当移动侦测模型的算法失效时，仍然可以依靠算法有效的目标检测模型，将通过目标检测模型得到的上述第二目标检测结果作为针对图像序列的最终目标检测结果。
81.步骤a2、当第一目标检测结果属于有效检测结果且第二目标检测结果属于无效检测结果时，确定第一目标检测结果作为最终目标检测结果。
82.这里，有效检测结果与无效检测结果的定义与上述步骤a1相同，重复之处在此不再赘述。
83.具体的，当第一目标检测结果属于有效检测结果时，则表示第一目标检测结果中包括置信度高于预设阈值的检测目标(即从图像序列中识别出置信度高于预设阈值的实体对象)，此时，相当于移动侦测模型的算法有效。
84.具体的，当第二目标检测结果属于无效检测结果时，则表示第二目标检测结果中检测出的实体对象的置信度都小于或者等于预设阈值，此时，相当于目标检测模型的算法失效。
85.基于此，在本技术实施例中，当目标检测模型的算法失效时，仍然可以依靠算法有效的移动侦测模型，将通过移动侦测模型得到的上述第一目标检测结果作为针对图像序列的最终目标检测结果。
86.2、当第一目标检测结果与第二目标检测结果都属于有效检测结果时，则可以将第一目标检测结果中置信度高于预设阈值的检测目标与第二目标检测结果中置信度高于预设阈值的检测目标进行合并，得到最终目标检测结果。
87.此时，在一种可选的实施方式中，图4a示出了本技术实施例提供的一种确定针对图像序列的最终目标检测结果的方法的流程示意图，所述方法包括步骤s401-s403；具体的：
88.s401，从所述第一目标检测结果中，获取被所述移动侦测模型确定为检测目标的第一目标对象。
89.这里，结合上述步骤s201-s203可知，在第一目标检测结果中包括每一个第一实体对象以及该第一实体对象的所属类别；其中，当第一实体对象所属类别的置信度(相当于属于该类别的概率)高于预设阈值时，则可以确定该第一实体对象为检测目标，也即，确定该第一实体对象为上述第一目标对象。
90.需要说明的是，上述预设阈值的具体取值可以根据实际的目标检测需求进行设置，对于上述预设阈值的具体取值，本技术实施例不作任何限定。
91.s402，从所述第二目标检测结果中，获取被所述目标检测模型确定为检测目标的第二目标对象。
92.这里，结合上述步骤s301-s302可知，在第二目标检测结果中包括每一个第二实体
对象以及该第二实体对象的所属类别；其中，当第二实体对象所属类别的置信度(相当于属于该类别的概率)高于预设阈值时，则可以确定该第二实体对象为检测目标，也即，确定该第二实体对象为上述第二目标对象。
93.s403，当所述第一目标对象与所述第二目标对象出现于所述图像序列中的同一帧图像上时，从该帧图像中，获取所述第一目标对象与所述第二目标对象所在图像区域的合集作为所述最终目标检测结果。
94.示例性的说明，图4b示出了本技术实施例提供的一种第一目标对象与第二目标对象的示意图，如图4b所示，在同一帧图像230中，基于第一目标检测结果确定出的第一目标对象是实体对象411所在的第一目标图像区域410，基于第二目标检测结果确定出的第二目标对象是实体对象411所在的第二目标图像区域420(其中，虽然图像区域421与第二目标图像区域420存在重叠，但是由于图像区域421的置信度低于预设阈值，因此不需参与合并)，可以确定第一目标图像区域410和第二目标图像区域420的合集作为图像230对应的最终目标检测结果。
95.3、当第一目标检测结果与第二目标检测结果都属于无效检测结果时，可以确定本次目标检测没有检测到置信度高于预设阈值的实体对象，并可以通过移动侦测模型与目标检测模型分别针对图像序列重新进行目标检测。
96.针对本技术实施例中的移动侦测模型，其中，移动侦测模型包括成熟的移动侦测算法以及待训练的图像分类模型，作为一可选实施方式，可以按照以下步骤b1-b3所述的方式训练移动侦测模型中包括的上述图像分类模型，具体的：
97.步骤b1、获取拍摄时间连续的多帧第一样本图像。
98.这里，步骤b1的执行方式与步骤s101中获取图像序列的方式相同，重复之处在此不再赘述。
99.步骤b2、在每一第一样本图像中，对该第一样本图像中包含的每一实体对象的实体类别进行标注，得到每一第一样本图像的分类标注数据。
100.示例性的说明，以第一样本图像中包括车辆与人为例，则可以按照“人”对应的类别标记对人所在的图像区域进行标注，按照“车辆”对应的类别标记对车辆所在的图像区域进行标注。
101.步骤b3、基于每一第一样本图像以及每一第一样本图像的分类标注数据，对图像分类模型进行训练，直至图像分类模型达到收敛。
102.具体的，在执行步骤b3时，将每一第一样本图像输入至图像分类模型中，可以得到图像分类模型对输入的每一个第一样本图像中的实体对象进行图像分类的分类预测结果(即预测第一样本图像中的实体对象属于哪一个预设的实体类别)；从而，根据每一个第一样本图像的分类标注数据与上述分类预测结果之间的损失值，对图像分类模型的模型参数进行调整，得到包括调整好的模型参数在内的图像分类模型(也即图像分类模型达到收敛)。
103.需要说明的是，在对图像分类模型进行模型训练时，既可以使用交叉熵损失函数来计算上述分类标注数据与上述分类预测结果之间的损失，也可以使用log loss(对数损失函数)等其他图像分类模型中可用的损失函数进行计算；对此，本技术实施例不进行任何限定。
104.针对本技术实施例中的目标检测模型，作为一可选实施方式，可以按照以下步骤c1-c3所述的方式训练目标检测模型，具体的：
105.步骤c1、获取拍摄时间连续的多帧第二样本图像。
106.这里，步骤c1的执行方式与步骤s101中获取图像序列的方式相同，重复之处在此不再赘述。
107.步骤c2、在每一第二样本图像中，对该第二样本图像中包含的每一实体对象的实体类别、所在图像区域的位置以及尺寸信息进行标注，得到每一第二样本图像的检测标注数据。
108.具体的，在执行步骤c2时，可以在第二样本图像的像素坐标系下，对该第二样本图像中包含的每一实体对象在第二样本图像中的x轴坐标以及y轴坐标进行标记，得到该实体对象在第二样本图像中的图像位置；可以在第二样本图像的像素坐标系下，对该实体对象在第二样本图像中的宽度w以及高度h进行标记，得到该实体对象在第二样本图像中的图像尺寸。
109.步骤c3、基于每一第二样本图像以及每一第二样本图像的检测标记数据，对目标检测模型进行训练，直至目标检测模型达到收敛。
110.具体的，在执行步骤c3时，将每一第二样本图像输入至目标检测模型中，可以得到目标检测模型对输入的每一个第二样本图像中的实体对象进行目标检测的预测结果；从而，根据每一个第二样本图像的检测标记数据(相当于实体对象在每一个第二样本图像中的真实目标检测结果)与上述预测结果之间的损失值，对目标检测模型的模型参数进行调整，得到包括调整好的模型参数在内的目标检测模型(也即目标检测模型达到收敛)。
111.需要说明的是，在对目标检测模型进行模型训练时，既可以使用交叉熵损失函数来计算上述检测标记数据与上述预测结果之间的损失，也可以使用focal loss等其他目标检测模型中可用的损失函数进行计算；对此，本技术实施例不进行任何限定。
112.基于同一发明构思，本技术还提供了与上述目标检测方法对应的目标检测装置，由于本技术实施例中目标检测装置解决问题的原理与本技术实施例中上述目标检测方法相似，因此目标检测装置的实施可以参见上述目标检测方法的实施，重复之处在此不再赘述。
113.参照图5所示，图5示出了本技术实施例提供的一种目标检测装置的结构示意图，所述目标检测装置包括：
114.获取模块501，用于获取待检测的图像序列；其中，所述图像序列中包括多帧拍摄时间连续的图像；
115.检测模块502，用于将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果；
116.确定模块503，用于根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。
117.在一种可选的实施方式中，所述第一目标检测结果包括：针对所述图像序列中属于移动目标的实体对象的目标检测结果。
118.在一种可选的实施方式中，检测模块502，用于通过以下方法得到所述移动侦测模
型针对所述图像序列的第一目标检测结果：
119.将所述图像序列输入预先训练好的所述移动侦测模型中，通过所述移动侦测模型，对所述图像序列中相邻的前后帧图像进行移动侦测，确定在所述前后帧图像中出现位置移动的图像区域作为第一图像区域；
120.通过所述移动侦测模型，对所述第一图像区域中包含的第一实体对象进行分类预测，得到所述第一实体对象的分类预测结果；其中，所述分类预测结果表征所述第一实体对象属于每一预设实体类别的概率；
121.根据所述分类预测结果中置信度最高的目标预设实体类别，确定所述第一实体对象所属的最终实体类别，并将所述第一实体对象以及所述最终实体类别作为所述第一目标检测结果。
122.在一种可选的实施方式中，检测模块502，用于通过以下方法得到所述目标检测模型针对所述图像序列的第二目标检测结果：
123.将所述图像序列输入预先训练好的所述目标检测模型中，通过所述目标检测模型，对所述图像序列中包含的每一帧图像进行目标检测，确定每一帧图像中包含的第二实体对象以及每一所述第二实体对象所属的实体类别；
124.将确定出的每一所述第二实体对象以及每一所述第二实体对象所属的实体类别作为所述第二目标检测结果。
125.在一种可选的实施方式中，确定模块503，具体用于：
126.从所述第一目标检测结果中，获取被所述移动侦测模型确定为检测目标的第一目标对象；
127.从所述第二目标检测结果中，获取被所述目标检测模型确定为检测目标的第二目标对象；
128.当所述第一目标对象与所述第二目标对象出现于所述图像序列中的同一帧图像上时，从该帧图像中，获取所述第一目标对象与所述第二目标对象所在图像区域的合集作为所述最终目标检测结果。
129.在一种可选的实施方式中，确定模块503，具体用于：
130.当所述第一目标检测结果属于无效检测结果且所述第二目标检测结果属于有效检测结果时，确定所述第二目标检测结果作为所述最终目标检测结果；
131.或，
132.当所述第一目标检测结果属于有效检测结果且所述第二目标检测结果属于无效检测结果时，确定所述第一目标检测结果作为所述最终目标检测结果；其中，所述有效检测结果表征第一目标检测结果或第二目标检测结果中包含置信度高于预设阈值的检测目标；所述无效检测结果表征第一目标检测结果或第二目标检测结果中不包含置信度高于预设阈值的检测目标。
133.在一种可选的实施方式中，所述移动侦测模型包括成熟的移动侦测算法以及待训练的图像分类模型，检测模块502，用于通过以下方法训练所述移动侦测模型中包括的所述图像分类模型：
134.获取拍摄时间连续的多帧第一样本图像；
135.在每一所述第一样本图像中，对该第一样本图像中包含的每一实体对象的实体类
别进行标注，得到每一所述第一样本图像的分类标注数据；
136.基于每一所述第一样本图像以及每一所述第一样本图像的分类标注数据，对所述图像分类模型进行训练，直至所述图像分类模型达到收敛。
137.在一种可选的实施方式中，检测模块502，用于通过以下方法训练所述目标检测模型：
138.获取拍摄时间连续的多帧第二样本图像；
139.在每一所述第二样本图像中，对该第二样本图像中包含的每一实体对象的实体类别、所在图像区域的位置以及尺寸信息进行标注，得到每一所述第二样本图像的检测标注数据；
140.基于每一所述第二样本图像以及每一所述第二样本图像的检测标记数据，对所述目标检测模型进行训练，直至所述目标检测模型达到收敛。
141.如图6所示，本技术实施例提供了一种计算机设备600，用于执行本技术中的目标检测方法，该设备包括存储器601、处理器602及存储在该存储器601上并可在该处理器602上运行的计算机程序，其中，上述处理器602执行上述计算机程序时实现上述目标检测方法的步骤。
142.具体地，上述存储器601和处理器602可以为通用的存储器和处理器，这里不做具体限定，当处理器602运行存储器601存储的计算机程序时，能够执行上述目标检测方法。
143.对应于本技术中的目标检测方法，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述目标检测方法的步骤。
144.具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述目标检测方法。
145.在本技术所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
146.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
147.另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
148.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
149.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
150.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种目标检测方法，其特征在于，所述目标检测方法包括：获取待检测的图像序列；其中，所述图像序列中包括多帧拍摄时间连续的图像；将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果；根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。2.根据权利要求1所述的目标检测方法，其特征在于，通过以下方法得到所述移动侦测模型针对所述图像序列的第一目标检测结果：将所述图像序列输入预先训练好的所述移动侦测模型中，通过所述移动侦测模型，对所述图像序列中相邻的前后帧图像进行移动侦测，确定在所述前后帧图像中出现位置移动的图像区域作为第一图像区域；通过所述移动侦测模型，对所述第一图像区域中包含的第一实体对象进行分类预测，得到所述第一实体对象的分类预测结果；其中，所述分类预测结果表征所述第一实体对象属于每一预设实体类别的概率；根据所述分类预测结果中置信度最高的目标预设实体类别，确定所述第一实体对象所属的最终实体类别，并将所述第一实体对象以及所述最终实体类别作为所述第一目标检测结果。3.根据权利要求1所述的目标检测方法，其特征在于，通过以下方法得到所述目标检测模型针对所述图像序列的第二目标检测结果：将所述图像序列输入预先训练好的所述目标检测模型中，通过所述目标检测模型，对所述图像序列中包含的每一帧图像进行目标检测，确定每一帧图像中包含的第二实体对象以及每一所述第二实体对象所属的实体类别；将确定出的每一所述第二实体对象以及每一所述第二实体对象所属的实体类别作为所述第二目标检测结果。4.根据权利要求1所述的目标检测方法，其特征在于，所述根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果，包括：从所述第一目标检测结果中，获取被所述移动侦测模型确定为检测目标的第一目标对象；从所述第二目标检测结果中，获取被所述目标检测模型确定为检测目标的第二目标对象；当所述第一目标对象与所述第二目标对象出现于所述图像序列中的同一帧图像上时，从该帧图像中，获取所述第一目标对象与所述第二目标对象所在图像区域的合集作为所述最终目标检测结果。5.根据权利要求1所述的目标检测方法，其特征在于，所述根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果，包括：当所述第一目标检测结果属于无效检测结果且所述第二目标检测结果属于有效检测结果时，确定所述第二目标检测结果作为所述最终目标检测结果；或，
当所述第一目标检测结果属于有效检测结果且所述第二目标检测结果属于无效检测结果时，确定所述第一目标检测结果作为所述最终目标检测结果；其中，所述有效检测结果表征第一目标检测结果或第二目标检测结果中包含置信度高于预设阈值的检测目标；所述无效检测结果表征第一目标检测结果或第二目标检测结果中不包含置信度高于预设阈值的检测目标。6.根据权利要求1所述的目标检测方法，其特征在于，所述移动侦测模型包括成熟的移动侦测算法以及待训练的图像分类模型，通过以下方法训练所述移动侦测模型中包括的所述图像分类模型：获取拍摄时间连续的多帧第一样本图像；在每一所述第一样本图像中，对该第一样本图像中包含的每一实体对象的实体类别进行标注，得到每一所述第一样本图像的分类标注数据；基于每一所述第一样本图像以及每一所述第一样本图像的分类标注数据，对所述图像分类模型进行训练，直至所述图像分类模型达到收敛。7.根据权利要求1所述的目标检测方法，其特征在于，通过以下方法训练所述目标检测模型：获取拍摄时间连续的多帧第二样本图像；在每一所述第二样本图像中，对该第二样本图像中包含的每一实体对象的实体类别、所在图像区域的位置以及尺寸信息进行标注，得到每一所述第二样本图像的检测标注数据；基于每一所述第二样本图像以及每一所述第二样本图像的检测标记数据，对所述目标检测模型进行训练，直至所述目标检测模型达到收敛。8.一种目标检测装置，其特征在于，所述目标检测装置包括：获取模块，用于获取待检测的图像序列；其中，所述图像序列中包括多帧拍摄时间连续的图像；检测模块，用于将获取到的所述图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到所述移动侦测模型针对所述图像序列的第一目标检测结果，以及所述目标检测模型针对所述图像序列的第二目标检测结果；确定模块，用于根据所述第一目标检测结果以及所述第二目标检测结果，确定针对所述图像序列的最终目标检测结果。9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述目标检测方法的步骤。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述目标检测方法的步骤。

技术总结
本申请提供了一种目标检测方法、装置、设备及存储介质，所述目标检测方法包括：获取待检测的图像序列；将获取到的图像序列分别输入预先训练好的移动侦测模型和目标检测模型中，输出得到移动侦测模型针对图像序列的第一目标检测结果，以及目标检测模型针对图像序列的第二目标检测结果；根据第一目标检测结果以及第二目标检测结果，确定针对图像序列的最终目标检测结果。通过这种方式，本申请可以解决因单一算法失效导致的对于目标的检测效率降低等问题，有利于提高对于目标的检测效率以及检测准确度。测准确度。测准确度。


技术研发人员：唐勇
受保护的技术使用者：上海明胜品智人工智能科技有限公司
技术研发日：2023.01.16
技术公布日：2023/7/11