目标检测方法、装置、设备及介质与流程

1.本发明涉及计算机视觉领域，特别涉及目标检测方法、装置、设备及介质。


背景技术：

2.目标检测是计算机视觉领域的一个重要研究热点，可以应用于人脸检测、行人检测、车辆检测、卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等。例如在智能驾驶行业中，其主要利用摄像头、雷达等传感器的数据信息，通过模式识别或深度学习等算法从数据中检测到行人、车辆、道路边沿等具体目标。目标检测与车端的aeb(自动紧急刹车系统，即autonomous emergency braking)、acc(自适应巡航控制系统，即adaptive cruise control)、lks(车道保持系统)、apa(自动泊车辅助系统，即auto parking assist)、noa(自动辅助导航驾驶，即navigate on autopilot)等重要功能息息相关。
3.在现有技术中，需要利用卷积神经网络分别确定传统特征、深度特征的权重，以便利用加权后的传统特征、加权后的深度特征完成目标检测，但是，利用卷积神经网络达到确定特征权重值的目的，一方面，需要采集大量数据，构建规模庞大的模型，并且所需的计算资源较大，成本高；另一方面，在极端条件下利用卷积神经网络确定的权重，其存在不确定性，因此目标检测质量无法得到保障。
4.综上可见，如何在保障目标检测质量的同时降低其成本是本领域有待解决的问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种目标检测方法、装置、设备及介质，能够在保障目标检测质量的同时降低其成本。其具体方案如下：
6.第一方面，本技术公开了一种目标检测方法，包括：
7.采集当前待检测图像；
8.利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；
9.利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重；
10.利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；
11.利用所述特征图得到与所述当前待检测图像对应的标注信息。
12.可选的，所述采集当前待检测图像之前，还包括：
13.根据检测目标类型构建基于深度特征的初始目标检测网络；
14.基于所述检测目标类型确定多尺度的传统特征，并将多尺度的传统特征融合至所述初始目标检测网络的主干网络中，以得到基于传统特征和深度特征多模态融合的目标检测网络；其中，所述多尺度的传统特征为hog、lbp、gm、luv、sift特征中的任意几种特征组合。
15.可选的，所述利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重，包括：
16.利用isp硬件中全局统计工具对所述当前待检测图像进行光强测量，得到所述当前待检测图像的实际光强；
17.获取所述当前待检测图像的预设期望亮度，利用所述isp硬件中自动曝光工具对所述实际光强和所述预设期望亮度进行处理，以得到所述当前待检测图像的曝光强度，并利用所述曝光强度得到与所述深度特征对应的第一权重以及与所述目标传统特征对应的第二权重。
18.可选的，所述将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图，包括：
19.利用concatenation拼接方法将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图。
20.可选的，所述利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，包括：
21.利用所述第一权重获取当前层的所述深度特征的加权后深度特征，并利用所述第二权重获取当前层的所述目标传统特征的加权后传统特征；
22.将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征。
23.可选的，所述将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征，包括：
24.将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到当前层的拼接后特征；
25.确定当前层的目标计算逻辑，并利用所述当前层的目标计算逻辑对当前层的拼接后特征进行处理，以得到下一层的所述深度特征的加权后深度特征；其中，所述目标计算逻辑为若干卷积、批归一化和激活函数的集合。
26.可选的，所述利用所述特征图得到与所述当前待检测图像对应的标注信息之后，包括：
27.基于所述标注信息和所述当前待检测图像得到对应的目标图像，并利用预设平台将所述目标图像进行显示。
28.第二方面，本技术公开了一种目标检测装置，包括：
29.图像采集模块，用于采集当前待检测图像；
30.目标特征确定模块，用于利用基于传统特征和深度特征多模态融合的目标检测网
络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；
31.权重确定模块，用于利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对于的第一权重以及所述目标传统特征对应的第二权重；
32.特征图获取模块，用于利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；
33.目标图像获取模块，用于利用所述特征图得到与所述当前待检测图像对应的标注信息。
34.第三方面，本技术公开了一种电子设备，包括：
35.存储器，用于保存计算机程序；
36.处理器，用于执行所述计算机程序，以实现前述公开的目标检测方法的步骤。
37.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的目标检测方法的步骤。
38.可见，本技术采集当前待检测图像；利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重；利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；利用所述特征图得到与所述当前待检测图像对应的标注信息。由此可见，本技术中一方面采用基于规模较小的传统特征和深度特征多模态融合的目标检测网络对当前待检测图像进行检测，而不是利用传统的卷积神经网络模型，因此可以减少对输入数据量的采集，降低对硬件的算力要求降低，实现低成本目标检测；另一方面，本技术中利用isp硬件对所述当前待检测图像进行光强测量，以得到具有确定性、可量化的第一权重以及第二权重，进而使得目标检测质量得到有力的保障。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
40.图1为本技术公开的一种目标检测方法流程图；
41.图2为本技术公开的一种具体的当前待检测图像；
42.图3为本技术公开的一种具体的特征融合示意图；
43.图4为本技术公开的一种具体的目标图像；
44.图5为本技术公开的一种具体的目标检测方法流程图；
45.图6为本技术公开的一种具体的目标检测示意图；
46.图7为本技术公开的另一种具体的目标检测方法流程图；
47.图8为本技术公开的一种目标检测装置结构示意图；
48.图9为本技术公开的一种电子设备结构图。
具体实施方式
49.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.目标检测是计算机视觉领域的一个重要研究热点，可以应用于人脸检测、行人检测、车辆检测、卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等。例如在智能驾驶行业中，其主要利用摄像头、雷达等传感器的数据信息，通过模式识别或深度学习等算法从数据中检测到行人、车辆、道路边沿等具体目标。目标检测与车端的aeb、acc、lks、apa、noa等重要功能息息相关。
51.在现有技术中，需要利用卷积神经网络分别确定传统特征、深度特征的权重，以便利用加权后的传统特征、加权后的深度特征完成目标检测，但是，利用卷积神经网络达到确定特征权重值的目的，一方面，需要采集大量数据，构建规模庞大的模型，并且所需的计算资源较大，成本高；另一方面，在极端条件下利用卷积神经网络确定的权重，其存在不确定性，因此目标检测质量无法得到保障。
52.为此本技术相应的提供了一种目标检测方案，能够在保障目标检测质量的同时降低其成本。
53.参见图1所示，本技术实施例公开了一种目标检测方法，包括：
54.步骤s11：采集当前待检测图像。
55.例如在智能驾驶行业中，在车辆运行时采集了如图2所示的一种具体的当前待检测图像，可见当前待检测图像为原始图像，没有任何的标注信息，无法更好的实现智能驾驶。
56.本实施例中，所述采集当前待检测图像之前，还包括：根据检测目标类型构建基于深度特征的初始目标检测网络；基于所述检测目标类型确定多尺度的传统特征，并将多尺度的传统特征融合至所述初始目标检测网络的主干网络中，以得到基于传统特征和深度特征多模态融合的目标检测网络；其中，所述多尺度的传统特征为hog、lbp、gm、luv、sift特征中的任意几种特征组合。传统特征和深度特征的融合方法的网络结构基于yolov5，在backbone(主干网络)中，将原有的深度特征和传统的图像特征聚合在一起，整体构建为acf(autoencoder-based collaborative filtering)-yolo mixed net的网络模型。可以理解的是，本实施例多尺度的传统特征可以为hog(histogram of oriented gradient，即方向梯度直方图)、lbp(local binary patterns，即局部二值模式)、gm(gradient magnitude，即梯度幅值)、luv(cieluv颜色空间表示的特征)以及sift(scale-invariant feature transform，即尺度不变特征变换)中任意几种组合，还可以根据具体情况，加入其它传统特
征。
57.步骤s12：利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征。
58.在确定多尺度传统特征时需要根据检测目标类型来确定，所以融合后的目标检测网络更具有针对性，因此无需采集大量数据进行训练，就可以得到目标检测效果很好的目标检测网络；例如检测行人或车辆目标的时候，根据行人和车辆的特征通常会用到hog、lbp、gm、luv、sift特征的5种人工特征，由于hog是在图像的局部区域继续计算得到的，它对图像的几何和光学形变有较好的不变特性，在复杂的交通路况中对行人进行检测时，只要行人大体保持直立状态，允许行人在运动过程中存在一定肢体动作的变化，这里hog特征的几何不变性恰好能够应对图像中复杂形态行人检测场景中的相关挑战，还不可以根据检测目标的不同，设置不同的通道数或者采用具有针对性的特征进行融合；例如在检测限速或限重标识时，一般会增减、替换或强化对应的传统特征，会考虑将图像红色通道作为增加的传统特征，同时提高lbp在传统特征中的比重；例如gm可以很好的评估图像模糊程度、luv可以很好的获取图像的亮度和色度信息、sift对于光线和噪声的容忍度比较高。
59.本实施例中，确定的特征组合包含各个传统特征以及各个传统特征对应的比例，例如多尺度的目标传统特征为gm特征、sift特征，并且gm特征的比例为0.3，sift特征为0.7。
60.步骤s13：利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重。
61.需要注意的是，本实施例中可以是先利用目标检测网络提取当前待检测图像的深度特征和目标传统特征，然后利用isp硬件对当前待检测图像进行光强测量，得到深度特征对应的第一权重以及目标传统特征对应的第二权重，也可以先利用isp硬件对当前待检测图像进行光强测量，得到深度特征对应的第一权重以及目标传统特征对应的第二权重，然后利用目标检测网络提取当前待检测图像的深度特征和目标传统特征，还可以在利用目标检测网络提取当前待检测图像的深度特征和目标传统特征的同时，利用isp硬件对当前待检测图像进行光强测量，得到深度特征对应的第一权重以及目标传统特征对应的第二权重，也就是说，本技术对获取深度特征、传统特征的步骤与获取第一权重、第二权重的步骤的先后顺序不进行限定。
62.因为目标传统特征是多尺度的，也就是说目标传统特征中包含若干个传统特征，包含hog特征、lbp特征，hog特征、lbp特征、sift特征各自所占第二权重的比例可能相同，也可能不同，需要根据具体的当前待检测图像来确定，例如利用isp(image signal processing，即图像信号处理)硬件得到的第二权重总共为0.6，第一权重为0.4，多尺度的目标传统特征为gm特征、sift特征，并且gm特征的比例为0.3，sift特征为0.7，那么gm特征在所有特征中占比为0.18、sift特征在所有特征中占比为0.42。
63.步骤s14：利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图。
64.例如图3所示的一种具体的特征融合示意图，引入超参α和β以分别作为目标传统特征的第二权重和深度特征的第一权重，将当前层的目标传统特征和第二权重的积作为当前层的加权后传统特征，将当前层的深度特征和第一权重的积作为当前层的加权后深度特征，然后将当前层的加权后传统特征和当前层的加权后深度特征的和作为当前层的拼接后特征，再利用当前层的目标计算逻辑处理当前层的拼接后特征，就得到了下一层的深度特征，其中，目标计算逻辑(cbls，即convolution，batch normalization，leaky relu set)是若干卷积、批归一化和激活函数的集合。
65.步骤s15：利用所述特征图得到与所述当前待检测图像对应的标注信息。
66.本实施例中，所述利用所述特征图得到与所述当前待检测图像对应的标注信息之后，还包括：基于所述标注信息和所述当前待检测图像得到对应的目标图像，并利用预设平台将所述目标图像进行显示。利用目标检测网络对图2的当前待检测图像进行处理后得到特征图，利用特征图可以得到例如图4所示的一种具体的目标图像，其中，标注信息可以是图4中利用目标检测网络所得到的当前待检测图像的目标类型信息、位置信息，也就是说本实施例中的标注信息并不是目标检测网络的输入信息，也不是人工打标注得到的信息，目标图像可以在车辆的显示屏中，目标图像、标注信息可以被应用于aeb、acc、lks、apa、noa等功能中。
67.可见，本技术采集当前待检测图像；利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重；利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；利用所述特征图得到与所述当前待检测图像对应的标注信息。由此可见，本技术中一方面采用基于规模较小的传统特征和深度特征多模态融合的目标检测网络对当前待检测图像进行检测，而不是利用传统的卷积神经网络模型，因此可以减少对输入数据量的采集，降低对硬件的算力要求降低，实现低成本目标检测；另一方面，本技术中利用isp硬件对所述当前待检测图像进行光强测量，以得到具有确定性、可量化的第一权重以及第二权重，进而使得目标检测质量得到有力的保障。
68.参见图5所示，本技术实施例公开了一种具体的目标检测方法，包括：
69.步骤s21：采集当前待检测图像。
70.步骤s22：利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征。
71.步骤s23：利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重。
72.例如图6所示的一种具体的目标检测示意图，提取当前待检测图像的hog、lbp、gm、
luv、sift的传统特征和深度特征，目标检测网络根据具体情况分别确定传统特征的第一权重和深度特征的第二权重。其中，在提取深度特征和传统特征之前，还可以对当前待检测图像进行normalize gamma&color(归一化伽马矫正)处理以及downscale(下采样)处理。可以理解的是，目标检测网络确定出的各个传统特征的第二权重彼此之间可能相同，也可能不相同，是需要根据具体的当前待检测图像进行确定，例如在检测限速或限重标识时，特征组合为hog、lbp、gm、luv，一般会增减、替换或强化对应的传统特征，会考虑将图像红色通道作为增加的传统特征，同时提高lbp在传统特征中的比重，在实际应用中可以采用的权重分配方式为：hog的权重为0.25、lbp的权重为0.3、gm的权重为0.2、red的权重为0.25。
73.步骤s24：利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后利用concatenation拼接方法将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图。
74.本实施例中，所述利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，包括：利用所述第一权重获取当前层的所述深度特征的加权后深度特征，并利用所述第二权重获取当前层的所述目标传统特征的加权后传统特征；将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征。也就是说，引入超参α和β以分别作为目标传统特征的第二权重和深度特征的第一权重，将当前层的目标传统特征和第二权重的积作为当前层的加权后传统特征，将当前层的深度特征和第一权重的积作为当前层的加权后深度特征，然后将当前层的加权后传统特征和当前层的加权后深度特征的和作为当前层的拼接后特征，再利用当前层的目标计算逻辑处理当前层的拼接后特征，也就得到了下一层的深度特征。
75.本实施例中，所述将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征，包括：将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到当前层的拼接后特征；确定当前层的目标计算逻辑，并利用所述当前层的目标计算逻辑对当前层的拼接后特征进行处理，以得到下一层的所述深度特征的加权后深度特征；其中，所述目标计算逻辑为若干卷积、批归一化和激活函数的集合。可以理解的是，当得到最后一层的深度特征，利用最后一层的目标计算逻辑对最后一层的深度特征进行处理后，可以再进行相应的卷积处理，得到特征图。
76.步骤s25：利用所述特征图得到与所述当前待检测图像对应的标注信息。
77.可以理解的是，得到的特征图是需要解码处理的，所以如图6所示，利用后处理解码单元对特征图进行处理，得到处理后的特征图，利用处理后的特征图才可以得到当前待检测图像得到对应的标注信息。
78.由此可见，本技术目标传统特征的融合无需利用大量数据进行网络训练，就可以使得目标检测网络能够输出更好的目标检测结果，减少了对输入数据量的采集、过滤、标定成本；小模型减少了对存储和算力的硬件要求，从而调高产品在市场上的竞争力；计算功耗的减小对产品的稳定性带来极大的益处。
79.参见图7所示，本技术实施例公开了一种具体的目标检测方法，包括：
80.步骤s31：采集当前待检测图像。
81.步骤s32：利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征。
82.步骤s33：利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征。
83.步骤s34：利用isp硬件中全局统计工具对所述当前待检测图像进行光强测量，得到所述当前待检测图像的实际光强；获取所述当前待检测图像的预设期望亮度，利用所述isp硬件中自动曝光工具对所述实际光强和所述预设期望亮度进行处理，以得到所述当前待检测图像的曝光强度，并利用所述曝光强度得到与所述深度特征对应的第一权重以及与所述目标传统特征对应的第二权重。
84.本实施例中，用户可以预先设定期望亮度，即获取当前待检测图像的预设期望亮度lt(luma target)，将当前待检测图像is(image source)输入至自动曝光(automatic exposure，即ae)工具后，isp硬件中全局统计工具对当前待检测图像is进行光强测量，得到当前待检测图像的实际光强，如此一来，自动曝光工具就可以对实际光强和预设期望亮度进行处理，以得到当前待检测图像的曝光强度，具体计算公式如下所示：
85.ev＝fae(is，lt)；
86.式中，ev表示曝光强度，ev的区间值为(min(ev)，max(ev))，fae表示自动曝光工具的算法，is表示当前待检测图像，lt表示预设期望亮度，通常为130～140，。
87.获取曝光强度ev后，还需要得到曝光强度ev的归一化后的值evn，利用evn得到与深度特征对应的第一权重β以及与目标传统特征对应的第二权重α，具体计算公式如下所示：
88.α＝(1-2c)
×
evn2+c；
89.β＝1-α；
90.式中，α表示目标传统特征对应的第二权重，β表示与深度特征对应的第一权重，evn为曝光强度ev的归一化后的值，其区间为(-1，1)，c表示调节参数，其区间在0-0.5之间。
91.步骤s35：利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图。
92.步骤s36：利用所述特征图得到与所述当前待检测图像对应的标注信息。
93.由此可见，本技术将传统特征和深度特征结合，而传统特征更多地依赖于待检测图像的质量，因此通过isp硬件可以自适应调节相关参数，得到确定性、可量化的权重，弥补了极端条件下传统特征的不足，充分发挥现有硬件的优势，使得目标检测的效果得到了保障。
94.参见图8所示，本技术实施例公开了一种目标检测装置，包括：
95.图像采集模块11，用于采集当前待检测图像；
96.目标特征确定模块12，用于利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检
unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
105.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
106.其中，操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的目标检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
107.进一步的，本技术实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由目标检测过程中执行的方法步骤。
108.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
109.以上对本发明所提供的一种目标检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种目标检测方法，其特征在于，包括：采集当前待检测图像；利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重；利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；利用所述特征图得到与所述当前待检测图像对应的标注信息。2.根据权利要求1所述的目标检测方法，其特征在于，所述采集当前待检测图像之前，还包括：根据检测目标类型构建基于深度特征的初始目标检测网络；基于所述检测目标类型确定多尺度的传统特征，并将多尺度的传统特征融合至所述初始目标检测网络的主干网络中，以得到基于传统特征和深度特征多模态融合的目标检测网络；其中，所述多尺度的传统特征为hog、lbp、gm、luv、sift特征中的任意几种特征组合。3.根据权利要求1所述的目标检测方法，其特征在于，所述利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对应的第一权重以及所述目标传统特征对应的第二权重，包括：利用isp硬件中全局统计工具对所述当前待检测图像进行光强测量，得到所述当前待检测图像的实际光强；获取所述当前待检测图像的预设期望亮度，利用所述isp硬件中自动曝光工具对所述实际光强和所述预设期望亮度进行处理，以得到所述当前待检测图像的曝光强度，并利用所述曝光强度得到与所述深度特征对应的第一权重以及与所述目标传统特征对应的第二权重。4.根据权利要求1所述的目标检测方法，其特征在于，所述将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图，包括：利用concatenation拼接方法将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图。5.根据权利要求1所述的目标检测方法，其特征在于，所述利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，包括：利用所述第一权重获取当前层的所述深度特征的加权后深度特征，并利用所述第二权重获取当前层的所述目标传统特征的加权后传统特征；将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征。6.根据权利要求5所述的目标检测方法，其特征在于，所述将当前层的所述深度特征的
加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到下一层的所述深度特征的加权后深度特征，包括：将当前层的所述深度特征的加权后深度特征和当前层的所述目标传统特征的加权后传统特征进行拼接，以得到当前层的拼接后特征；确定当前层的目标计算逻辑，并利用所述当前层的目标计算逻辑对当前层的拼接后特征进行处理，以得到下一层的所述深度特征的加权后深度特征；其中，所述目标计算逻辑为若干卷积、批归一化和激活函数的集合。7.根据权利要求1至6任一项所述的目标检测方法，其特征在于，所述利用所述特征图得到与所述当前待检测图像对应的标注信息之后，包括：基于所述标注信息和所述当前待检测图像得到对应的目标图像，并利用预设平台将所述目标图像进行显示。8.一种目标检测装置，其特征在于，包括：图像采集模块，用于采集当前待检测图像；目标特征确定模块，用于利用基于传统特征和深度特征多模态融合的目标检测网络从hog特征、lbp特征、gm特征、luv特征、sift特征中确定出与所述当前待检测图像的检测目标类型对应的特征组合，以得到多尺度的目标传统特征；权重确定模块，用于利用所述目标检测网络提取所述当前待检测图像的深度特征和所述目标传统特征，并利用isp硬件对所述当前待检测图像进行光强测量，以得到所述深度特征对于的第一权重以及所述目标传统特征对应的第二权重；特征图获取模块，用于利用所述第一权重获取所述深度特征的加权后深度特征，并利用所述第二权重获取所述目标传统特征的加权后传统特征，然后将所述加权后深度特征和所述加权后传统特征进行拼接，以得到所述当前待检测图像的特征图；目标图像获取模块，用于利用所述特征图得到与所述当前待检测图像对应的标注信息。9.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的目标检测方法的步骤。10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目标检测方法的步骤。

技术总结
本申请公开了一种目标检测方法、装置、设备及介质，涉及计算机视觉领域，该方法包括：利用目标检测网络从HOG特征、LBP特征、GM特征、LUV特征、SIFT特征中确定出与当前待检测图像的检测目标类型对应的特征组合，得到多尺度的目标传统特征；利用目标检测网络提取当前待检测图像的深度特征和目标传统特征，利用ISP硬件对当前待检测图像进行光强测量，得到分别与深度特征、目标传统特征对应的第一权重、第二权重，以便得到深度特征的加权后深度特征、目标传统特征的加权后传统特征，利用对其拼接后得到的特征图获取与当前待检测图像对应的标注信息。通过上述方案，能够在保障目标检测质量的同时降低其成本。量的同时降低其成本。量的同时降低其成本。


技术研发人员：陈伟强 周卓赟 黄涛
受保护的技术使用者：知行汽车科技（苏州）股份有限公司
技术研发日：2023.04.27
技术公布日：2023/7/20