大分辨率交通图像的检测方法、设备、存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种大分辨率交通图像的检测方法、设备、存储介质。


背景技术：

2.随着人工智能的发展，智慧城市、智慧交通、智慧城市大脑等名词逐渐兴起，并被人们热议。其中，人工智能是这些智能化场景的基石，深度学习又是人工智能重要组成部分，而目标检测则是深度学习中的重要一环。
3.应用目标检测算法可以有效的识别出交通场景下各种目标，把目标通过时间序列或空间关系形成事件，把事件分析的结果可返回给自动驾驶车辆、交管部门、管控中心等控制方，可实现对自车或对交通的干预、调度等操作，高效服务于人民群众。
4.常用的目标检测算法网络可接收图像尺寸较小(比如：640*640，480*480等)，这对路端高分辨率图像(比如：3840*2160等)极不友好，因模型在训练中会把图像进行缩小操作，导致标注的目标框随之变得极小甚至消失，最后表现在模型识别效果较差，漏检和误检严重。因此，急需一种针对大分辨率交通图像的检测方法。


技术实现要素：

5.为了解决上述技术缺陷之一，本技术提供了一种大分辨率交通图像的检测方法、设备、存储介质。
6.本技术第一个方面，提供了一种大分辨率交通图像的检测方法，方法包括：
7.对大分辨率交通图像进行切图处理；
8.通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果；
9.目标检测模型是基于样本图像和补充样本图像训练得到的；
10.补充样本图像是根据样本图像的训练结果得到的。
11.可选地，通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果之前，还包括：
12.对样本大分辨率交通图像进行切图处理；
13.基于切图处理后的图像，获取样本图像；
14.对样本图像进行目标检测模型训练，得到检测结果；
15.基于检测结果，进行误检分析，确定误检率；
16.在误检率高于预设误检率阈值时，根据误检分析得到的误检图像，确定补充样本图像；基于切图处理后的图像和补充样本图像，获取样本图像；重复执行对样本图像进行目标检测模型训练的步骤和后续步骤，直至目标检测模型满足预设效果后，将当前的目标检测模型作为训练好的目标检测模型；
17.在误检率不高于预设误检率阈值时，将当前的目标检测模型作为训练好的目标检测模型。
18.可选地，基于检测结果，进行误检分析，确定误检率，包括：
19.确定误检分析得到的各误检图像所属相机标识；
20.确定各相机标识，在预设时间内所对应的误检图像数量；
21.将各相机标识在预设时间内所对应的误检图像数量与所述预设时间段内误检图像总数量的商确定为各相机标识的误检率；或者，将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。
22.可选地，根据误检分析得到的误检图像，确定补充样本图像，包括：
23.根据误检分析得到的误检图像，获取目标误检图像；目标误检图像所属相机标识的误检率高于预设误检率阈值；
24.确定目标误检图像的误检场景类型；误检类型为固定场景误检，通用场景误检，或者，不固定场景误检；
25.根据目标误检图像的误检场景类型，确定补充样本图像。
26.可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
27.若目标误检图像的误检场景类型为固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中时，在目标误检图像中粘贴目标小图；将粘贴目标小图后的图像确定为补充样本图像；
28.其中，目标小图表征目标误检图像的检测对象，且目标小图的粘贴位置基于缩放因子、旋转角度和目标小图的几何中心在目标误检图像中的位置确定；缩放因子基于目标误检图像的宽度、目标误检图像的高度、目标小图的几何中心在目标误检图像中的位置确定。
29.可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
30.若目标误检图像的误检场景类型为通用场景误检，则将目标误检图像作为补充样本图像。
31.可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
32.若目标误检图像的误检场景类型为不固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中，且目标误检图像的目标检测得分小于得分阈值时，将目标误检图像作为补充样本图像。
33.可选地，切图处理包括：目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。
34.本技术第二个方面，提供了一种电子设备，包括：
35.存储器；
36.处理器；以及
37.计算机程序；
38.其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。
39.本技术第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。
40.本技术提供一种大分辨率交通图像的检测方法、设备、存储介质，该方法包括：对大分辨率交通图像进行切图处理；通过预先训练的目标检测模型对切图后的图像进行目标
检测，得到检测结果；目标检测模型是基于样本图像和补充样本图像训练得到的；补充样本图像是根据样本图像的训练结果得到的。本技术提供的方法在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。
附图说明
41.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
42.图1为本技术实施例提供的一种大分辨率交通图像的检测方法的流程示意图；
43.图2为本技术实施例提供的切图处理的示意图；
44.图3为本技术实施例提供的mosaic增强效果示意图；
45.图4为本技术实施例提供的mixup增强效果示意图；
46.图5为本技术实施例提供的hsv色彩空间增强效果示意图；
47.图6为本技术实施例提供的图像翻转增强效果示意图；
48.图7为本技术实施例提供的切图预测方式的示意图；
49.图8为本技术实施例提供的固定场景误检的补充样本图像示意图；
50.图9为本技术实施例提供的不固定场景误检的示意图；
51.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
52.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
53.在实现本技术的过程中，发明人发现，常用的目标检测算法网络可接收图像尺寸较小，这对路端高分辨率图像极不友好，因模型在训练中会把图像进行缩小操作，导致标注的目标框随之变得极小甚至消失，最后表现在模型识别效果较差，漏检和误检严重。因此，急需一种针对大分辨率交通图像的检测方法。
54.针对上述问题，本技术实施例中提供了一种大分辨率交通图像的检测方法、设备、存储介质，该方法包括：对大分辨率交通图像进行切图处理；通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果；目标检测模型是基于样本图像和补充样本图像训练得到的；补充样本图像是根据样本图像的训练结果得到的。本技术提供的方法在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。
55.参见图1，本实施例所提供的大分辨率交通图像的检测方法实现过程如下：
56.101，对大分辨率交通图像进行切图处理。
57.其中，切图处理包括：目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。
58.在具体实现时，会在执行步骤101之前对大分辨率交通图像进行标注，如根据标注要求，使用标注工具在大分辨率图像上标注目标框信息，并且返回整体标注结果。然后执行步骤101对标注的结果进行切图处理，还可以同时基于切图方式对标注坐标进行对应映射。
59.另外，步骤101还处于对图像进行处理的阶段，因此目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理四种切图处理方式均会采用。无论那种切图处理方式，切图处理后的最小尺寸的宽高均需大于56个像素。
60.其中，如图2所示，目标切图处理是对单张图像上单个标注目标进行适当边界扩充，再切图的方法。通过该方法得到的切图后图像能够保证目标检测模型对大尺寸目标的识别能力。
61.最近邻切图处理是对单张图片上最相近的n(n》＝2)个标注目标进行合并，合并后边界适当扩充，再切图的方法。通过该方法得到的切图后图像能够保证目标检测模型对大中尺寸目标的识别能力。
62.滑窗重叠式切图处理是设定滑窗尺寸及重叠范围，从图像左上角到右下角滑动切图方法。通过该方法得到的切图后图像能够保证目标检测模型对中小尺寸目标的识别能力。
63.整图保留处理是对原始标注数据的标注结果直接使用。通过该方法得到的切图后图像能够保证目标检测模型对小微尺寸目标的识别能力。
64.在具体实现时，可以采用异步处理的方式进行目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。
65.另外，还会增加mosaic增强、mixup增强、hsv色彩空间增强、图像翻转增强等数据预处理方法。在具体实现时，mosaic增强、mixup增强、hsv色彩空间增强、图像翻转增强方式均会采用。
66.mosaic增强过程为：选取多组图像，对图像分别进行翻转、缩放、色域变化等处理，处理后的图像按照不同的位置摆放，形成一张图像，如图3所示。
67.mixup增强过程为：将两张或多张图像按照一定比例进行融合，成为一张图像，如图4所示。
68.hsv色彩空间增强过程为：将图像rgb空间转换到hsv空间，并调整对应的h(色调)、s(饱和度)、v(明度)值，以达到数据增强的目的，如图5所示。
69.图像翻转增强过程为：对图像进行水平或垂直翻转，翻转后成为一个新的图像，如图6所示。
70.102，通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果。
71.其中，目标检测模型是基于样本图像和补充样本图像训练得到的。补充样本图像是根据样本图像的训练结果得到的。
72.由于步骤102中会采用预先训练的目标检测模型进行目标检测，因此，在执行步骤
102之前，会训练目标检测模型。该训练过程可以是每次执行图1所示的大分辨率交通图像的检测方法时，均会在执行步骤102之前执行，也可以，达到执行条件(如每隔预设时间，或者，目标检测模型的检测精度低于某一阈值，或者，出现新场景的检测需求等)执行，本实施例不对目标检测模型的训练时间、训练次数等进行限定。
73.目标检测模型的训练过程如下：
74.1、对样本大分辨率交通图像进行切图处理。
75.此处的切图处理的过程与步骤101中切图处理的过程相同，此处不再进行详细阐述，详见步骤101。
76.另外，在进行步骤1之前也会对样本大分辨率交通图像进行标注。也会增加mosaic增强、mixup增强、hsv色彩空间增强、图像翻转增强等数据预处理方法。
77.2、基于切图处理后的图像，获取样本图像。
78.可以将切图处理后的全部图像作为样本图像，也可以将切图处理后的部分图像(如质量较好的图像等)作为样本图像，本实施例不对此进行限定。
79.3、对样本图像进行目标检测模型训练，得到检测结果。
80.目标检测模型最终是对目标进行检测，需要基于实际场景需要给出检测效果，其检测效果依赖图像分辨率的大小，因为图像分辨率太大在归一化后送入较小尺寸的目标检测模型中时，会导致目标同步缩小甚至丢失，造成漏检，因此，具体实现时可以采用切图预测方式进行目标检测，即先对样本图像进行切图(目的是提升目标检测算法所检测对象的尺寸，提高召回率)，再采用目标检测算法进行目标检测。
81.其中，
82.1)可以根据样本图像大小选择合适的切图方式，可使用：整图预测、图像n等份重叠预测、滑窗式重叠预测等方法。
83.如下图7所示，整图预测：使用模型对整幅图像做预测，模型输出结果即为预测结果，该方法能够对大中型目标识别效果较好。
84.图像n等份重叠预测：对图像进行有重叠的n(n》＝2，n＝1时为整图预测)等份切块，然后把切块的图像分别送模型预测，预测结果预测基于切图坐标映射回原图，之后再做非极大值抑制处理，处理后的结果即为最终结果。该方法根据n设定的不同，分别对大中小微型目标的有较好的识别效果。
85.滑窗式重叠预测：对图像按照设定的滑窗大小，有重叠的在图像上从左到右、从上到下进行滑动预测，预测结果坐标映射回原图坐标，之后在做非极大值抑制处理，处理后的结果即为最终结果。该方法根据滑动窗口的大小，分别对大中小微型目标的有较好的识别效果。
86.在具体实现时，可以根据输入图像(即切图后的图像)的像素情况选择合适的切图方式。
87.例如，
88.a)当输入图像(即切图后的图像)最长边像素小于等于1280时，选择整图预测。
89.b)当输入图像(即切图后的图像)最长边像素大于1280小于等于2560时，选择图像n等份重叠预测，其中n＝4。
90.c)当输入图像(即切图后的图像)最长边像素大于2560小于等于3840时，选择图像
n等份重叠预测，其中n＝9。
91.d)当输入图像(即切图后的图像)最长边大于3840时，采用滑窗式重叠预测，其中，滑窗最长边2160，长宽比例和网络结构输入尺寸比例一致，重叠比例为宽高对应比例的5％。
92.需要说明的是，在训练目标检测模型时，存在2次切图处理，一次是在步骤1中对样本大分辨率交通图像进行切图处理，另一次是在步骤3中对样本图像进行切图，再采用目标检测算法进行目标检测。两次切图处理的的数据来源不同，步骤1中的切图目的是训练模型，图片数据为离线数据。步骤3中切图目的为了进行目标检测，图片数据为在线数据，切图后的数据直接在线进行目标检测。
93.也就是说，步骤101中的切图处理是对大分辨率交通图像进行预处理，目的是保证切图后的图像长宽尺寸比例一致，进而保证步骤102中输入目标检测模型的图像长宽尺寸比例一致。本步骤中的切图方式是对输入的图像(也就是步骤101切图处理后的图像)进行再次切图随后进行预测，此处切图的目的是进行预测，进而得到预测结果，因此，步骤102中的切图方式中的切图不需要保证切图后的图像长宽尺寸比例一致，可以是任意多种比例尺寸，确定该种尺寸后，一张图都按照此尺寸截取。
94.本步骤中通过切图方式进行切图后，得到的切图预测结果会合并到原图上。
95.如果大分辨率图像直接去预测，会导致漏检问题。因为大分辨率图像在输入网络结构时会缩放到网络指定尺寸，比如512*512，1280*1280等，会使得目标缩小过程中直接丢失目标，导致漏检。通过本步骤中的切图方式之后，可以避免漏检问题，保证后续预测过程的准确性。
96.2)所采用的目标检测算法可以采用现有的算法，如one-stage、two-stage等，本实施例不对目标检测模型所采用的目标检测算法进行限定。
97.4、基于检测结果，进行误检分析，确定误检率。
98.确定误检率的方法有多种，
99.例如一种确定误检率的方法为：将各相机标识在预设时间内所对应的误检图像数量与所述预设时间段内误检图像总数量的商确定为各相机标识的误检率。
100.具体实现时，
101.1)确定误检分析得到的各误检图像所属相机标识。
102.每个误检图像均是由一个相机采集的，步骤会确定每个误检图像的采集相机的标识(如id，或ip地址)。
103.另外，误检图像可以采用现有方案识别，也可以通过人工验证的方式识别，例如，比如一张不存在施工锥的图片上，检测到了施工锥，那这个施工锥就属于误检。
104.在进行目标检测模型训练会频繁的在指定的召回和误检集上进行误检图像识别。
105.2)确定各相机标识，在预设时间内所对应的误检图像数量。
106.3)将各相机标识所对应的误检图像数量与预设时间段内误检图像总数量的商确定为各相机标识的误检率。
107.例如，对于相机标识i，统计一段时间内相机标识i所采集的图像被确定为误检图像的数量npi。获取该段时间内被定为误检图像的所有图像数量np，将npi/np的值确定为相机标识i的误检率。
108.再例如另一种确定误检率的方法为：将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。
109.具体实现时，
110.1)每个预设周期(如1分钟)确定一次误检图像所属相机标识。
111.例如，每1分钟确定误检分析得到的各误检图像所属相机标识。
112.2)将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。
113.例如相机标识i，将相机标识i在预设时间内连续被误检分析出误检图像的数量(如连续3分钟内均被识别出相机标识i采集的图像为误检图像)确定为各相机标识的误检率。
114.5、在误检率高于预设误检率阈值时(其中，预设误检率阈值与误检率的确定方法所对应，例如，误检率是个比例，那么误检率阈值也为比例。误检率为连续识别出的次数，那么误检率阈值也是一个次数)，则说明其对应的相机标识所采集的图像被持续识别，因此，执行如下步骤：
115.1)根据误检分析得到的误检图像，确定补充样本图像。
116.具体的，
117.(1)根据误检分析得到的误检图像，获取目标误检图像。
118.其中，目标误检图像所属相机标识的误检率高于预设误检率阈值。
119.在步骤(1)中会将误检率高于预设误检率阈值的相机标识所采集的误检图像作为目标误检图像，对于误检率不高于预设误检率阈值的相机标识所采集的误检图像，不进行处理。
120.(2)确定目标误检图像的误检场景类型。
121.其中，误检类型为固定场景误检，通用场景误检，或者，不固定场景误检。
122.在具体实现时，误检类型并非基于一张目标误检图像确定的，而是基于多张目标误检图像确定的。
123.误检场景类型确定方案可以采用现有的方案(如聚类方法，计算目标误检图像聚类至各误检场景类型的距离，将其聚类至距离最小的误检场景类型，那么其即该误检场景类型。或者，人工确定误检场景类型)，本实施例不对误检场景类型确定方案进行限定。
124.例如，在做施工锥检测时(即检测对象为施工锥)，不同时间段同一个路口的相同位置被频繁误检施工锥，那么这就是固定场景误检。固定场景误检的表现为目标检测模型持续在同一个摄像头拍摄的图像中的相同位置被持续误检。
125.再例如，不同图片不同位置的消防栓被误检为施工锥，这就是通用场景位置误检。
126.再例如，这张图像的花草被误检为施工锥，那种图像的行人被误检为施工锥，还有车体被误检为施工锥，道路标线被误检为施工锥，这一大类被称为不固定场景误检。不固定场景误检表示为模型在不同摄像头拍摄的图像中被误检。
127.(3)根据目标误检图像的误检场景类型，确定补充样本图像。
128.具体的，
129.·
若目标误检图像的误检场景类型为固定场景误检，则
130.在目标误检图像所属相机标识未位于报备的交通事件报备表中时，在目标误检图
像中粘贴目标小图。将粘贴目标小图后的图像确定为补充样本图像，如图8所示。
131.其中，目标小图表征目标误检图像的检测对象(如施工锥)，且目标小图的粘贴位置基于缩放因子、旋转角度和目标小图的几何中心在目标误检图像中的位置确定。缩放因子基于目标误检图像的宽度、目标误检图像的高度、目标小图的几何中心在目标误检图像中的位置确定。
132.对于固定场景误检的目标误检图像，在其所属相机标识未位于报备的交通事件报备表中时，则说明目标被错误识别，因此通过在误检位置旁放置目标小图(如在误检位置区域之外粘贴误检的类别的目标小图)，标注该数据，再将粘贴目标小图后的图像确定为补充样本图像，最后将补充样本图像作为正样本添加训练集训练模型，可有效降低甚至消除固定位置处的误检。在其所属相机标识位于报备的交通事件报备表中时，则说明目标被正确识别，不进行处理。
133.目标小图在具体粘贴时，目标小图可随图像分辨率及在误检图像上的贴图位置做适当缩放和旋转处理。即目标小图的粘贴位置基于缩放因子k、旋转角度θ和目标小图的几何中心在目标误检图像中的位置(t
x
,ty)确定。缩放因子k基于目标误检图像的宽度width、目标误检图像的高度hight、目标小图的几何中心在目标误检图像中的位置(t
x
,ty)确定。
134.例如，通过如下公式计算目标小图的粘贴位置。
[0135][0136][0136][0137][0138]
其中，x’，y’为目标小图的粘贴位置(即缩放和旋转处理后的位置)，θ为旋转角度，大于零表示逆时针旋转，小于零表示顺时针旋转，θ∈[-180
°
,180
°
]。t
x
，ty为目标小图的几何中心在目标误检图像中的位置(即目标小图几何中心在原始图像上贴图的位置)。
±
表示是否翻转，+表示不翻转，－表示翻转，第一行正负号表示是否水平翻转，第二行正负号表示是否垂直翻转。k为缩放因子k∈(0,+∞)，0《k《1进行缩小处理，k≥1进行扩张处理。为下取整运算。
[0139]
·
若目标误检图像的误检场景类型为通用场景误检，则
[0140]
将目标误检图像作为补充样本图像。
[0141]
具体的，可以将全部目标误检图像均作为补充样本图像，还可以对目标误检图像进行聚类，针对目标误检图像多的几类所对应的目标误检图像作为补充样本图像。
[0142]
·
若目标误检图像的误检场景类型为不固定场景误检，则
[0143]
在目标误检图像所属相机标识未位于报备的交通事件报备表中，且目标误检图像的目标检测得分小于得分阈值时，将目标误检图像作为补充样本图像。
[0144]
对于不固定场景误检的目标误检图像，在其所属相机标识未位于报备的交通事件报备表中，且目标误检图像的目标检测得分小于得分阈值时，则将其作为补充样本图像。在其所属相机标识位于报备的交通事件报备表中，或者，目标误检图像的目标检测得分不小
于得分阈值，则虽然是误检但是不需要进行样本补充，不进行处理。
[0145]
也就是说，对于误检场景类型为不固定场景误检的目标误检图像，是否将其作为补充样本图像，取决于目标误检图像的目标检测得分小于得分阈值，若小于，则作为补充样本图像，若不小于，则不作为样本图像。
[0146]
另外，如果在图像是否为误检图像的判断中，也采用得分的方式实现，例如，如果图像的目标检测得分小于一个阈值(为了方便将其记为阈值1)，那么确定该图像为误检图像。那么此处的得分阈值(为了方便将其记为阈值2)会小于判断误检图像时的阈值，即阈值2《阈值1。
[0147]
2)基于切图处理后的图像和补充样本图像，获取样本图像。
[0148]
·
对于固定场景误检的目标误检图像，
[0149]
将补充样本图像作为正样本和切图处理后的图像共同作为样本图像。
[0150]
·
对于通用场景误检的目标误检图像，
[0151]
将补充样本图像作为负样本和切图处理后的图像共同作为样本图像。
[0152]
·
对于不固定场景误检的目标误检图像，
[0153]
将补充样本图像作为一个新的类别和切图处理后的图像共同作为样本图像。
[0154]
3)重复执行对样本图像进行目标检测模型训练的步骤(即步骤3)和后续步骤，直至目标检测模型满足预设效果后，将当前的目标检测模型(即满足预设效果的目标检测模型)作为训练好的目标检测模型。
[0155]
在误检率高于预设误检率阈值时，对于固定场景误检的目标误检图像，若其所属相机标识未位于报备的交通事件报备表中，则在误检位置旁放置检测目标，标注该数据，作为正样本重新进行目标检测模型训练，可有效降低甚至消除固定位置处的误检。对于通用场景误检的目标误检图像，将目标误检图像做误检聚类，针对误检数量最多的前几类数据，作为负样本重新进行目标检测模型训练，可有效大量降低类似场景的误检。对于不固定场景误检的目标误检图像，若其所属相机标识未位于报备的交通事件报备表中，且其目标检测得分小于得分阈值，则将目标误检图像全部作为一个新类别，目标误检图像据添加训练集中重新进行目标检测模型训练(例如，将所有目标误检图像作为一个新的类别，并复用原始图像和目标框信息，放入训练集中训练模型)，该方法可适配任何场景的误检。
[0156]
对于不固定场景误检的目标误检图像，如图9所示，得分0.24。假设当前共有3个检测类别，类别分别为0，1，2。如果目标误检图像的相机标识没有在交通事件表中，判断得分0.24是否小于预设误检率阈值(假设0.5)，如果小于，记录下来误检框位置信息，并把该目标类别设置为新增类别3(所有误检类别都设置为误检3)，并把检测原始图片和目标框信息及类别信息输入到训练集中训练。
[0157]
另外，预期效果为预先设置的，例如召回集召回效果超过95％，误检集误检效果低于0.5％，达到这个指标视为达到预期效果(这个指标多基于实际业务制定，不同业务一般不同)。
[0158]
6、在误检率不高于预设误检率阈值时，将当前的目标检测模型作为训练好的目标检测模型。
[0159]
本实施例提供的大分辨率交通图像的检测方法可有效提高大分辨率交通图像上目标检测的效果，且可有效降低模型误检。另外，本实施例提供的大分辨率交通图像的检测
方法具有一般普适性，为通用高分辨率图像上的目标检测算法提供解决思路和优化方法。
[0160]
本实施例提供一种大分辨率交通图像的检测方法，该方法包括：对大分辨率交通图像进行切图处理；通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果；目标检测模型是基于样本图像和补充样本图像训练得到的；补充样本图像是根据样本图像的训练结果得到的。本实施例提供的方法在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。
[0161]
基于大分辨率交通图像的检测方法的同一发明构思，本实施例提供一种电子设备，该电子设备如图10所示，包括：存储器1001，处理器1002，以及计算机程序。
[0162]
其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行以实现上述大分辨率交通图像的检测方法。
[0163]
具体的，
[0164]
对大分辨率交通图像进行切图处理。
[0165]
通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果。
[0166]
目标检测模型是基于样本图像和补充样本图像训练得到的。
[0167]
补充样本图像是根据样本图像的训练结果得到的。
[0168]
可选地，通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果之前，还包括：
[0169]
对样本大分辨率交通图像进行切图处理。
[0170]
基于切图处理后的图像，获取样本图像。
[0171]
对样本图像进行目标检测模型训练，得到检测结果。
[0172]
基于检测结果，进行误检分析，确定误检率。
[0173]
在误检率高于预设误检率阈值时，根据误检分析得到的误检图像，确定补充样本图像。基于切图处理后的图像和补充样本图像，获取样本图像。重复执行对样本图像进行目标检测模型训练的步骤和后续步骤，直至目标检测模型满足预设效果后，将当前的目标检测模型作为训练好的目标检测模型。
[0174]
在误检率不高于预设误检率阈值时，将当前的目标检测模型作为训练好的目标检测模型。
[0175]
可选地，基于检测结果，进行误检分析，确定误检率，包括：
[0176]
确定误检分析得到的各误检图像所属相机标识。
[0177]
将各相机标识在预设时间内所对应的误检图像数量与预设时间段内误检图像总数量的商确定为各相机标识的误检率。或者，将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。
[0178]
可选地，根据误检分析得到的误检图像，确定补充样本图像，包括：
[0179]
根据误检分析得到的误检图像，获取目标误检图像。目标误检图像所属相机标识的误检率高于预设误检率阈值。
[0180]
确定目标误检图像的误检场景类型。误检类型为固定场景误检，通用场景误检，或
者，不固定场景误检。
[0181]
根据目标误检图像的误检场景类型，确定补充样本图像。
[0182]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0183]
若目标误检图像的误检场景类型为固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中时，在目标误检图像中粘贴目标小图。将粘贴目标小图后的图像确定为补充样本图像。
[0184]
其中，目标小图表征目标误检图像的检测对象，且目标小图的粘贴位置基于缩放因子、旋转角度和目标小图的几何中心在目标误检图像中的位置确定。缩放因子基于目标误检图像的宽度、目标误检图像的高度、目标小图的几何中心在目标误检图像中的位置确定。
[0185]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0186]
若目标误检图像的误检场景类型为通用场景误检，则将目标误检图像作为补充样本图像。
[0187]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0188]
若目标误检图像的误检场景类型为不固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中，且目标误检图像的目标检测得分小于得分阈值时，将目标误检图像作为补充样本图像。
[0189]
可选地，切图处理包括：目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。
[0190]
本实施例提供的电子设备，其上计算机程序被处理器执行以在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。
[0191]
基于大分辨率交通图像的检测方法的同一发明构思，本实施例提供一种计算机，且其上存储有计算机程序。计算机程序被处理器执行以实现上述大分辨率交通图像的检测方法。
[0192]
具体的，
[0193]
对大分辨率交通图像进行切图处理。
[0194]
通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果。
[0195]
目标检测模型是基于样本图像和补充样本图像训练得到的。
[0196]
补充样本图像是根据样本图像的训练结果得到的。
[0197]
可选地，通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果之前，还包括：
[0198]
对样本大分辨率交通图像进行切图处理。
[0199]
基于切图处理后的图像，获取样本图像。
[0200]
对样本图像进行目标检测模型训练，得到检测结果。
[0201]
基于检测结果，进行误检分析，确定误检率。
[0202]
在误检率高于预设误检率阈值时，根据误检分析得到的误检图像，确定补充样本
图像。基于切图处理后的图像和补充样本图像，获取样本图像。重复执行对样本图像进行目标检测模型训练的步骤和后续步骤，直至目标检测模型满足预设效果后，将当前的目标检测模型作为训练好的目标检测模型。
[0203]
在误检率不高于预设误检率阈值时，将当前的目标检测模型作为训练好的目标检测模型。
[0204]
可选地，基于检测结果，进行误检分析，确定误检率，包括：
[0205]
确定误检分析得到的各误检图像所属相机标识。
[0206]
将各相机标识在预设时间内所对应的误检图像数量与预设时间段内误检图像总数量的商确定为各相机标识的误检率。或者，将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。
[0207]
可选地，根据误检分析得到的误检图像，确定补充样本图像，包括：
[0208]
根据误检分析得到的误检图像，获取目标误检图像。目标误检图像所属相机标识的误检率高于预设误检率阈值。
[0209]
确定目标误检图像的误检场景类型。误检类型为固定场景误检，通用场景误检，或者，不固定场景误检。
[0210]
根据目标误检图像的误检场景类型，确定补充样本图像。
[0211]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0212]
若目标误检图像的误检场景类型为固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中时，在目标误检图像中粘贴目标小图。将粘贴目标小图后的图像确定为补充样本图像。
[0213]
其中，目标小图表征目标误检图像的检测对象，且目标小图的粘贴位置基于缩放因子、旋转角度和目标小图的几何中心在目标误检图像中的位置确定。缩放因子基于目标误检图像的宽度、目标误检图像的高度、目标小图的几何中心在目标误检图像中的位置确定。
[0214]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0215]
若目标误检图像的误检场景类型为通用场景误检，则将目标误检图像作为补充样本图像。
[0216]
可选地，根据目标误检图像的误检场景类型，确定补充样本图像，包括：
[0217]
若目标误检图像的误检场景类型为不固定场景误检，则在目标误检图像所属相机标识未位于报备的交通事件报备表中，且目标误检图像的目标检测得分小于得分阈值时，将目标误检图像作为补充样本图像。
[0218]
可选地，切图处理包括：目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。
[0219]
本实施例提供的计算机可读存储介质，其上的计算机程序被处理器执行以在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。
[0220]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0221]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0222]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0223]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0224]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0225]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种大分辨率交通图像的检测方法，其特征在于，所述方法包括：对大分辨率交通图像进行切图处理；通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果；所述目标检测模型是基于样本图像和补充样本图像训练得到的；所述补充样本图像是根据样本图像的训练结果得到的。2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果之前，还包括：对样本大分辨率交通图像进行切图处理；基于切图处理后的图像，获取样本图像；对样本图像进行目标检测模型训练，得到检测结果；基于检测结果，进行误检分析，确定误检率；在所述误检率高于预设误检率阈值时，根据误检分析得到的误检图像，确定补充样本图像；基于切图处理后的图像和所述补充样本图像，获取样本图像；重复执行对样本图像进行目标检测模型训练的步骤和后续步骤，直至目标检测模型满足预设效果后，将当前的目标检测模型作为训练好的目标检测模型；在所述误检率不高于预设误检率阈值时，将当前的目标检测模型作为训练好的目标检测模型。3.根据权利要求2所述的方法，其特征在于，所述基于检测结果，进行误检分析，确定误检率，包括：确定误检分析得到的各误检图像所属相机标识；将各相机标识在预设时间内所对应的误检图像数量与所述预设时间段内误检图像总数量的商确定为各相机标识的误检率；或者，将各相机标识在预设时间内连续被误检分析出误检图像的数量确定为各相机标识的误检率。4.根据权利要求3所述的方法，其特征在于，所述根据误检分析得到的误检图像，确定补充样本图像，包括：根据误检分析得到的误检图像，获取目标误检图像；所述目标误检图像所属相机标识的误检率高于预设误检率阈值；确定目标误检图像的误检场景类型；所述误检类型为固定场景误检，通用场景误检，或者，不固定场景误检；根据目标误检图像的误检场景类型，确定补充样本图像。5.根据权利要求4所述的方法，其特征在于，所述根据目标误检图像的误检场景类型，确定补充样本图像，包括：若所述目标误检图像的误检场景类型为固定场景误检，则在所述目标误检图像所属相机标识未位于报备的交通事件报备表中时，在所述目标误检图像中粘贴目标小图；将粘贴目标小图后的图像确定为补充样本图像；其中，目标小图表征所述目标误检图像的检测对象，且目标小图的粘贴位置基于缩放因子、旋转角度和目标小图的几何中心在所述目标误检图像中的位置确定；所述缩放因子基于所述目标误检图像的宽度、所述目标误检图像的高度、目标小图的几何中心在所述目标误检图像中的位置确定。
6.根据权利要求4所述的方法，其特征在于，所述根据目标误检图像的误检场景类型，确定补充样本图像，包括：若目标误检图像的误检场景类型为通用场景误检，则将所述目标误检图像作为补充样本图像。7.根据权利要求4所述的方法，其特征在于，所述根据目标误检图像的误检场景类型，确定补充样本图像，包括：若目标误检图像的误检场景类型为不固定场景误检，则在所述目标误检图像所属相机标识未位于报备的交通事件报备表中，且所述目标误检图像的目标检测得分小于得分阈值时，将所述目标误检图像作为补充样本图像。8.根据权利要求1或2所述的方法，其特征在于，所述切图处理包括：目标切图处理、最近邻切图处理、滑窗重叠式切图处理、整图保留处理。9.一种电子设备，其特征在于，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8任一项所述的方法。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的方法。

技术总结
本申请提供一种大分辨率交通图像的检测方法、设备、存储介质，该方法包括：对大分辨率交通图像进行切图处理；通过预先训练的目标检测模型对切图后的图像进行目标检测，得到检测结果；目标检测模型是基于样本图像和补充样本图像训练得到的；补充样本图像是根据样本图像的训练结果得到的。本申请提供的方法在进行大分辨率交通图像的检测时所采用的目标检测模型是基于样本图像和补充样本图像训练得到的，且补充样本图像是根据样本图像的训练结果得到的，通过补充样本图像作为训练样本，对目标检测模型进行优化训练，可以提升目标检测模型对于大分辨率交通图像的识别效果，有效降低目标检测模型的误检率和召回率，保证了大分辨率交通图像的检测质量。交通图像的检测质量。交通图像的检测质量。


技术研发人员：吕正 潘石尧 贺伟伟
受保护的技术使用者：智道网联科技（北京）有限公司
技术研发日：2023.04.23
技术公布日：2023/7/12