路面遗留物检测方法、装置、设备及存储介质与流程

1.本发明涉及数据识别技术领域，尤其涉及一种路面遗留物检测方法、装置、设备及存储介质。


背景技术：

2.高速公路上来往车辆频繁，而且车速较快，一旦因为抛洒物或遗留物发生事故，会产生非常严重的影响。这些路面上的障碍物对位于高速公路上的司机和乘客的安全构成了极大的威胁，更容易引发二次事故，严重影响高速公路的整体通行能力和运营效率。对高速公路上的抛洒物或遗留物进行实时准确的检测，对保障高速公路的交通安全有着非常重要的意义。
3.现有的抛洒物或遗留物检测算法可分为三大类：传统方法、基于深度学习的有监督算法以及基于深度学习的无监督算法。传统方法不依赖数据样本，但鲁棒性较差；基于深度学习的有监督方法优于传统方法，但需要大量的数据样本，且泛化能力不强。基于深度学习的无监督方法做到了性能和实用性上的良好平衡，但是性能不佳，且对应的类型有限。然而，现有的基于深度学习有监督算法或无监督算法构建的路面抛洒物检测方法均无法处理在数据样本作为训练集之外的其他的未知抛洒物类别，难以适应复杂多变的交通场景。
4.因此，减少或去除在路面抛洒物或遗留物检测方法中对数据样本的依赖性，进而提高确定路面抛洒物或遗留物的精度，已成为本领域亟待解决的技术问题。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种路面遗留物检测方法、装置、设备及存储介质。
6.第一方面，本发明提供一种路面遗留物检测方法，包括：
7.基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；
8.基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；
9.基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；
10.基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。
11.可选地，所述基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库，包括：
12.基于前第一数目个视频帧中各所述实例的实例标识以及各所述实例的检测框，确定属于同一所述实例标识的所有所述实例的所有检测框构成的运动轨迹；
13.基于具有同一所述实例标识的所述运动轨迹的平均值，确定每个所述背景实例对应的基准检测框；
14.基于所述背景实例对应的基准检测框和所述背景实例对应的实例标识，初始化所述背景库；
15.所述前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征是基于改进的双阶段目标检测器模型获得的。
16.可选地，所述基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库，包括：
17.确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iou值；
18.基于所述第一iou值，以及预设移动阈值，更新所述背景库；
19.所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
20.可选地，所述基于所述第一iou值，以及预设移动阈值，更新所述背景库，包括：
21.若所述第一iou值大于或等于预设移动阈值，则基于所述目标实例的检测框，更新目标背景实例的基准检测框；
22.若所述第一iou值小于所述预设移动阈值，则在所述背景库中删除所述目标背景实例。
23.可选地，所述基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例，包括：
24.确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iof值；
25.确定所述目标实例的检测框和所述目标背景实例的基准检测框之间的第二iou值；
26.基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例；
27.所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
28.可选地，所述基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例，包括：
29.若所述第一iof值和所述第二iou值均小于预设前景阈值，则确定所述目标实例是前景实例；
30.若所述第一iof值或所述第二iou值大于或等于预设前景阈值，则确定所述目标实例是背景实例。
31.可选地，所述基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例，包括：
32.筛选出所述前景实例对应的类别标签不在所述预设白名单之内的所述前景实例，作为路面遗留物对应的所述前景实例；
33.所述预设白名单包括交通场景中所有交通工具类别对应的类别标签。
34.第二方面，本发明还提供一种路面遗留物检测装置，包括：
35.初始化模块，用于基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；
36.背景实例模块，用于基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；
37.前景实例模块，用于基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；
38.筛选模块，用于基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。
39.第三方面，本发明还提供一种电子设备，包括存储器，收发机，处理器；
40.存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并实现如上所述第一方面所述路面遗留物检测方法。
41.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于使计算机执行实现如上所述第一方面所述的路面遗留物检测方法。
42.第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述第一方面所述的路面遗留物检测方法。
43.本发明提供的路面遗留物检测方法、装置、设备及存储介质，通过将每个视频帧包括的实例，以及各实例的结构化特征，采用iou结合iof的方式，区分各实例属于背景实例还是属于前景实例，同时对初始化后的背景库进行更新，使得确定前景实例的过程更准确，不需要依赖于数据样本进行训练，提高了处理速率和计算的精确度，适用性更广，可适应复杂多变的交通场景。
附图说明
44.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明提供的路面遗留物检测方法的流程示意图；
46.图2是本发明提供的交并比对应结果的示意图；
47.图3是本发明提供的前景实例筛选的流程示意图；
48.图4是本发明提供的路面遗留物检测方法的整体流程示意图；
49.图5是本发明提供的路面遗留物检测装置的结构示意图；
50.图6是本发明提供的一种电子设备的结构示意图。
具体实施方式
51.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施
例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.下面以图1至图6来说明本发明提供的路面遗留物检测方法、装置、设备及存储介质。
53.图1是本发明提供的路面遗留物检测方法的流程示意图，如图1所示，该方法包括：
54.步骤101、基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；
55.具体地，获取前第一数目个视频帧的所有实例，以及各实例对应的结构化特征后，需要进一步判断每个实例是运动还是静止的，也就是每个实例是前景实例还是背景实例。
56.前第一数目个视频帧是从开始时刻起的前第一数目个视频帧，这里的第一数目可以根据经验值设定，并根据实际运行结果进行调整，或者设定任意一个值，并根据实际运行结果进行调整。比如随机设定为100或根据前期统计结果设定为300。基于前第一数目个视频帧包括的所有实例，以及每个实例对应的结构化特征，确定这些实例中具有同一实例标识的所有实例的检测框进行平均或者加权求和，作为一个背景实例的基准检测框。这里的检测框可能是不规则的边框或者规则的四边形。确保实例的所有像素特征包括在检测框中即可。比如检测框为四边形的情况下，该检测框可表示为4个顶点的坐标，将具有相同实例标识的所有实例的检测框的坐标按照4个顶点的次序，依次求平均，得到一个新的4个顶点的坐标，作为该实例标识表征的背景实例的基准检测框。或者距离当前时刻越远的检测框对应的权值越小，距离当前时刻越近的检测框对应的权值越大，将具有相同实例标识的所有实例的检测框按照加权求和的方法，得到一个新的检测框，作为该实例标识表征的背景实例的基准检测框。上述背景实例的基准检测框可理解为一个背景实例的标准检测框，其他帧中包括的实例的检测框可通过与具有同样实例标识的背景实例的基准检测框来比较，进一步确定该实例是否为背景实例。
57.按照相同的方法可以确定每个实例标识表征的背景实例的基准检测框。最终得到的背景库具体可表示为：其中，i，j，k表示实例标识，表示第i个实例的基准检测框，表示第j个实例的基准检测框，表示第k个实例的基准检测框。
58.步骤102、基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；
59.具体地，将前第一数目个视频帧包括的所有实例以及各所述实例对应的结构化特征，完成背景库的初始化，可理解的是，初始状态的背景库中所有实例均是背景实例，基于各视频帧中具有相同实例标识的所有实例的检测框，采用平均的方法或者加权求和的方法，确定任一背景实例的基准检测框。然后基于后续的视频帧中各实例的检测框与上述背景实例的基准检测框进行比较，根据比较结果，确定这个实例应该是属于背景实例，还是不属于背景实例(属于前景实例)，这里的比较方式可以是计算交并比(intersection over union，iou)值或者重合度等。并根据上述实例属于背景实例或前景实例的结果更新初始化的背景库，使得背景库的数据更符合实际的场景。因为，初始化的过程相当于假设所有的实例均属于背景实例，但是实际可能并不是如此。上述交并比对应的公式可表示为：
[0060][0061]
其中，iou表示交并比，a表示当前视频帧中任一实例的检测框，b表示与a表示的实例具有相同实例标识的背景实例的基准检测框。
[0062]
a和b的重合区域越大，对应的iou值越大，相反，a和b的重合区域越小，对应的iou值越小，且iou的取值范围是0至1。在当前视频帧中某个实例的检测框和与该实例具有相同实例标识的背景实例的基准检测框完全重合的情况下，对应的iou值为1。
[0063]
图2是本发明提供的交并比对应结果的示意图，如图2所示，用方框a表示当前视频帧中任一实例的检测框对应的区域，用方框b表示与a表示的实例具有相同实例标识的背景实例的基准检测框对应的区域，斜线填充的a∩b区域表示当前视频帧中任一实例的检测框，和与a表示的实例具有相同实例标识的背景实例的基准检测框重合的区域，方框a的白色区域、方框b的白色区域以及斜线填充的a∪b区域表示当前视频帧中任一实例的检测框，和与a表示的实例具有相同实例标识的背景实例的基准检测框两者覆盖的区域。
[0064]
步骤103、基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；
[0065]
按照上述方法更新了背景库之后，得到更符合实际场景的各背景实例对应的基准检测框，在此基础上，采用iou结合前景交叉比(intersection over foreground，iof)的方式，确定当前视频帧中的所有实例是否为背景库中的实例，如果是背景库中的实例，那么更新背景库，如果不是背景库中的实例，那么该实例属于前景实例。这里iou结合iof的方式，可以避免检测物被遮挡的情况下，实例的检测框可能变小，直接根据iou值进行判定的情况下，可能导致将本属于背景实例误判成为前景实例，因此，在采用iou方式之后，结合iof的方式确定当前视频帧中实例的检测框和背景实例的基准检测框之间的iof值，从而进一步降低当检测物被遮挡情况下，实例被误判为背景实例的可能性。
[0066]
上述前景交叉比对应的公式可表示为：
[0067][0068]
其中，iof表示前景交叉比，a表示当前视频帧中任一实例的检测框。b表示与a表示的实例具有相同实例标识的背景实例的基准检测框。
[0069]
a和b的重合区域越大，对应的iof值越大，相反，a和b的重合区域越小，对应的iof值越小，且iof的取值范围是0至1。针对当前视频帧中任一实例的检测框与具有同一实例标识的背景实例的基准检测框之间的iou值小于上述两检测框之间的iof值。
[0070]
步骤104、基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。
[0071]
确定当前视频帧的所有实例中属于前景实例的部分后，进一步确定这些前景实例的类别标签是否在预设白名单中，如果在该预设白名单中，那么该前景实例属于非路面遗留物。如果不在该预设白名单中，那么该前景实例属于路面遗留物。这里的预设白名单主要用于定义交通场景中常见的运动实例(前景实例)，比如不同类型的汽车以及行人等。
[0072]
本发明提供的路面遗留物检测方法，通过将每个视频帧包括的实例，以及各实例
的结构化特征，采用iou结合iof的方式，区分各实例属于背景实例还是属于前景实例，同时对初始化后的背景库进行更新，使得确定前景实例的过程更准确，不需要依赖于数据样本进行训练，提高了处理速率和计算的精确度，适用性更广，可适应复杂多变的交通场景。
[0073]
可选地，所述基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库，包括：
[0074]
基于改进的双阶段目标检测器模型，获取所述前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征；
[0075]
基于前第一数目个视频帧中各所述实例的实例标识以及各所述实例的检测框，确定属于同一所述实例标识的所有所述实例的所有检测框构成的运动轨迹；
[0076]
基于具有同一所述实例标识的所述运动轨迹的平均值，确定每个所述背景实例对应的基准检测框；
[0077]
基于所述背景实例对应的基准检测框和所述背景实例对应的实例标识，初始化所述背景库。
[0078]
具体地，获取路面的监测视频，所有视频帧均通过本发明提供的改进的双阶段目标检测器模型，识别每个视频帧中包括的所有实例，以及每个实例对应的结构化特征。在进行背景库的初始化时，截取监测视频中前第一数目个视频帧，依次以视频中每一帧为单位，利用改进的双阶段目标检测器模型，识别每个视频帧中包括的所有实例，以及每个实例对应的结构化特征。其中，改进的双阶段目标检测器模型是在双阶段目标监测器模型的基础上引入对比文本图像预训练模型(contrastive language image pre-training，clip)作为分类头实现零样本目标检测。该检测器通过特定的分类损失函数，利用图像级训练数据来辅助目标检测任务训练，从而获得更强的零样本检测能力。双阶段目标检测器模型是根据基于区域的更快的卷积神经网络(faster region-based convolutional neural networks，faster rcnn)构建的，是一种常用的目标检测方法，分为候选位置提取、候选位置二次判别两部分。对比文本图像预训练模型clip，基于海量互联网图文数据进行自监督训练，训练完毕后可以进行图片和开放词汇文本的匹配，可简单理解为只需要提供图像类别的文本描述，就能将图像进行分类。特定的分类损失函数，是一种特殊设计的分类损失函数，主要特征在于，在传统的目标检测方法基础上引入图文预训练模型的特征来引导分类器的参数学习。在此基础上，确定不同视频帧中各实例是否属于同一个待检测物体，主要通过卡尔曼滤波和匈牙利算法进行位置匹配，获取任意相邻视频帧中所有实例以及各实例对应的检测框，任意两个检测框的重叠区域最大，就确定这两个检测框对应的实例属于同一个目标，也就是属于同一个待检测物体。
[0079]
通过改进的双阶段目标检测器模型，识别每个视频帧中包括的所有实例，以及每个实例对应的结构化特征，其中每个实例对应的结构化特征具体包括实例标识、检测框和类别标签；实例标识用于表示任意一个待检测物的唯一标识，在不同的视频帧中同一个待检测物体可能对应多个实例，但是这些实例具有相同的实例标识，而且每个实例均存在对应的检测框，以及类别标签。任意视频帧i
t
通过改进的双阶段目标检测器模型后，得到所有实例构成的集合实例构成的集合表示第t个视频帧中第i个实例，对应的结构化特征包括检测框和类别标签表示第t个视频帧中第i个实例的检测框，表示第t个视频
帧中第i个实例的类别标签，其中i表示实例对应的实例标识。上述所有实例可分为两类：前景实例和背景实例。背景实例可简单理解为静止的实例，前景实例可简单理解为运动的实例。
[0080]
在基于改进的双阶段目标检测器模型，获取所有视频帧包括的所有实例，以及各所述实例对应的结构化特征之后，截取其中从开始时刻起的前第一数目个视频帧，基于第一数目个视频帧的所有实例，以及各实例对应的结构化特征，确定具有同一实例标识的所有实例的检测框，作为该实例标识表示的背景实例的运动轨迹，可理解为同一个实例标识在多个视频帧中均存在该实例标识对应的实例的检测框，将这些检测框进行平均确定一个新的检测框，作为该实例标识表示的背景实例的基准检测框。
[0081]
将属于同一实例标识的多个实例的检测框进行平均，具体可通过确定各检测框的各边界点对应位置的最大值和最小值，取最大值和最小值的平均，更新各边界点的位置信息，从而得到新的检测框，作为该实例标识表示的背景实例的基准检测框。
[0082]
按照上述方法确定了每个实例标识表示的背景实例的基准检测框后，即完成了背景库的初始化，这里的背景库中包括一个或多个背景实例对应的基准检测框。
[0083]
可选地，所述基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库，包括：
[0084]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iou值；
[0085]
基于所述第一iou值，以及预设移动阈值，更新所述背景库；
[0086]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0087]
具体地，完成背景库的初始化之后，需要结合新的视频帧中各实例的检测框，对背景库进行实时更新或周期性更新。
[0088]
获取当前视频帧中所有实例中的任一个实例，作为目标实例，以及该目标实例的结构化特征，比如实例标识，检测框和类别标签。在背景库中确定与该目标实例具有同一实例标识的背景实例，作为目标背景实例，以及目标背景实例对应的基准检测框。
[0089]
采用交并比(intersection over union，iou)方式，确定目标实例的检测框与目标背景实例的基准检测框之间的iou的值，即第一iou值。比较这个第一iou值和预设移动阈值的大小，进而确定该目标实例是否为背景实例，如果是背景实例，需要更新背景库的信息。可能是更新已有的背景实例对应的基准检测框，或者删除某个背景实例，或者增加某个背景实例。这里的预设移动阈值主要用于区分不同视频帧中同一个实例标识的实例是否发生了移动，可以根据实际需求设定，如果预设移动阈值较小，可能将存在晃动的实例判断为发生了移动，如果预设移动阈值设置较大，可能存在将实际发生了移动的实例，误判为没有发生移动，因此，预设移动阈值需要根据实际场景和实际需求，进行合理的设置，当然在后续过程中也可以根据实际结果进行调整。上述交并比对应的公式还可表示为：
[0090][0091]
其中，iou表示交并比，表示第t个视频帧中第i个实例的检测框。表示第i个
背景实例的基准检测框，t为任意正整数，i为实例标识，具有相同的实例标识的实例属于同一个检测物。
[0092]
可选地，所述基于所述第一iou值，以及预设移动阈值，更新所述背景库，包括：
[0093]
若所述第一iou值大于或等于预设移动阈值，则基于所述目标实例的检测框，更新目标背景实例的基准检测框；
[0094]
若所述第一iou值小于所述预设移动阈值，则在所述背景库中删除所述目标背景实例。
[0095]
具体地，采用iou方式，确定目标实例的检测框与目标背景实例的基准检测框之间的iou的值，即第一iou值之后，比较该第一iou值和预设移动阈值的大小关系，从而更新初始化后的背景库。
[0096]
如果上述第一iou值大于或等于预设移动阈值，表示该目标实例和目标背景实例的重合度较高，那么确定该目标实例属于背景实例，再次计算该目标实例的检测框和目标背景实例的基准检测框的平均值，更新该目标背景实例的基准检测框。
[0097]
如果上述第一iou值小于预设移动阈值，表示该目标实例和目标背景实例的重合度较低，那么确定该目标实例可能发生了移动，进而确定具有同一实例标识的目标背景实例不属于背景实例，将该目标背景实例从背景库中删除。
[0098]
通过上述方法可以实时更新背景库或者周期性的更新背景库，具体根据应用需求设定。周期性更新时对应的周期值可设定为第一数目个视频帧对应的时长或者任意的时长。
[0099]
可选地，所述基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例，包括：
[0100]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iof值；
[0101]
确定所述目标实例的检测框和所述目标背景实例的基准检测框之间的第二iou值；
[0102]
基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例；
[0103]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0104]
具体地，更新上述背景库后，获取当前视频帧中任一实例，作为目标实例，在背景库中获取与该目标实例具有同一实例标识的背景实例，目标背景实例。结合iou和前景交叉比iof的方式，确定目标实例的检测框和目标背景实例的iou值，以及iof值，进而比较该iou值和预设前景阈值的大小，以及该iof值和预设前景阈值的大小，确定所述目标实例为前景实例或背景实例。其中，预设前景阈值可以根据需求设定，或者根据之前统计结果设定，并在后续实现过程中不断调整。
[0105]
在实例检测的过程中，有时候会出现对象被遮挡的情况，当检测对象被遮挡时，检测对象由改进的双阶段目标检测器模型识别，并得到对应的实例，以及该实例对应的结构化特征时，该实例的检测框可能因为检测对象被遮挡，而使得其对应的实例的检测框变小，如果继续采用iou计算得到的指标进行评判，容易将该检测对象的可见部分误判为与该检
测对象在之前视频帧中识别出的实例不属于同一个检测对象。为了平衡检测对象遮挡的敏感性和鲁棒性，提出了iou结合iof的方式，也就是将iof方式作为iou方式的补充，其中前景交叉比对应的公式还可表示为：
[0106][0107]
其中，iof表示前景交叉比，表示第t个视频帧中第i个实例的检测框。表示第i个背景实例的基准检测框，t为任意正整数，i为实例标识，具有相同的实例标识的实例属于同一个检测物。如图2所示，用方框a表示对应的区域，用方框b表示对应的区域，斜线填充的a∩b区域表示对应的区域。当前视频帧中第i个实例的检测框和第i个背景实例的基准检测框重合区域越大，则对应的iof值越大，相反，当前视频帧中第i个实例的检测框和第i个背景实例的基准检测框重合区域越小，则对应的iof值越小，且iof的取值范围是0至1。在当前视频帧中第i个实例的检测框和第i个背景实例的基准检测框完全重合的情况下，对应的iof值为1。针对当前视频帧中任一实例的检测框与具有同一实例标识的背景实例的基准检测框之间的iou值小于上述两检测框之间的iof值。
[0108]
在前景实例筛选阶段，将当前视频帧的检测结果与背景库中背景实例进行匹配，并使用iou结合iof的方式，也就是确定具有同一实例标识的实例的检测框和背景实例的基准检测框，确定两者之间的iou值以及iof值，根据上述iou值和iof值确定当前视频帧中的实例是否属于前景实例，具体的流程可表示为如图3所示：
[0109]
获取第t个视频帧包括的所有实例以及背景库；
[0110]
分别在第t个视频帧包括的所有实例，和背景库中，提取具有同一实例标识i的实例i的检测框和背景实例的基准检测框
[0111]
根据iof结合iou的方式，确定检测框和基准检测框的iou值和iof值，针对同一个实例标识i的检测框和基准检测框对应的第一iof值，通常大于实例标识i的检测框和基准检测框对应的第二iou值；
[0112]
比较上述iou值和预设前景阈值的大小，上述iof值和预设前景阈值的大小，即比较第二iou值和预设前景阈值的大小，以及第一iof值和预设前景阈值的大小；
[0113]
根据上述大小关系，进一步确定实例i是否为前景实例。
[0114]
可选地，所述基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例，包括：
[0115]
若所述第一iof值和所述第二iou值均小于预设前景阈值，则确定所述目标实例是前景实例；
[0116]
若所述第一iof值或所述第二iou值大于或等于预设前景阈值，则确定所述目标实例是背景实例。
[0117]
具体地，如果第一iof值和第二iou值都小于预设前景阈值，那么认为该实例是发生过移动，确定该实例属于前景实例。相反，如果第一iof值或第二iou值大于或等于预设前
景阈值，那么认为该实例未发生过移动，确定该实例属于前景实例。
[0118]
上述对应的选择规则可表示为：
[0119][0120]
其中，表示第t个视频帧中第i个实例，fg表示前景实例，bg表示背景实例，t
fore
表示预设前景阈值，表示第t个视频帧中第i个实例的检测框。表示第i个背景实例的基准检测框，i为实例标识，表示和之间的iou值，表示和之间的iof值。
[0121]
可选地，所述基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例，包括：
[0122]
筛选出所述前景实例对应的类别标签不在所述预设白名单之内的所述前景实例，作为路面遗留物对应的所述前景实例；
[0123]
所述预设白名单包括交通场景中所有交通工具类别对应的类别标签。
[0124]
具体地，筛选出当前视频帧中属于前景实例的实例之后，这些前景实例虽然处于运动状态，但是不一定都是属于路面遗留物。需要进一步的根据预设白名单确定这些前景实例是否为路面遗留物。这里的预设白名单通常为交通场景中所有交通工具对应的类别标签。比如行人，巴士汽车，卡车等，将具有这些类别标签的前景实例筛除之后，剩下的其他前景实例就认为是路面遗留物。
[0125]
本发明提供的路面遗留物检测方法，通过将每个视频帧包括的实例，以及各实例的结构化特征，采用iou结合iof的方式，区分各实例属于背景实例还是属于前景实例，同时对初始化后的背景库进行更新，使得确定前景实例的过程更准确，不需要依赖于数据样本进行训练，提高了处理速率和计算的精确度，适用性更广，可适应复杂多变的交通场景。
[0126]
图4是本发明提供的路面遗留物检测方法的整体流程示意图，如图4所示，该方法包括：
[0127]
步骤401、获取整个视频文件的前n个视频帧，输入的全实例检测模型进行检测；这里的全实例检测模型是改进的双阶段目标检测器模型，在双阶段目标监测器模型的基础上引入对比文本图像预训练模型clip作为分类头实线零样本目标检测。n为正整数，具体数值根据需求设定；
[0128]
步骤402、由全实例检测模型对前n个视频帧进行检测完毕后，得到每个视频帧的所述实例和各实例的结构化特征；
[0129]
步骤403、基于步骤402中的所有实例以及各实例的结构化特征，对背景模型(背景库)进行初始化；
[0130]
步骤404、获取当前视频帧，输入全实例检测模型进行检测；
[0131]
步骤405、由全实例检测模型对当前视频帧进行检测完毕后，得到当前视频帧的所述实例和各实例的结构化特征；
[0132]
步骤406、基于步骤405中得到的当前视频帧中所有实例以及各实例的结构化特征，结合iou方式，确定当前视频帧中的每个实例是否为初始的背景模型(背景库)中的背景
实例，如果是，更新背景模型；如果不是，删除背景库中和该实例有相同实例标识的背景实例；背景模型的更新过程是持续进行的，一旦有新的视频帧，由全实例检测模型检测得到的实例，按照上述方法，更新背景库。
[0133]
步骤407、获取当前视频帧中任一实例，比如根据实例标识i，得到实例i对应的检测框，同时在背景库中获取实例标识为i的背景实例的基准检测框；
[0134]
步骤408、基于iou结合iof方式的前景实例筛选规则，确定实例i对应的检测框和背景实例的基准检测框的iou值，以及iof值，比较这两个值和筛选规则中包括的预设前景阈值的大小；
[0135]
步骤409、筛选出前景实例，如果上述iou值和iof值均小于预设前景阈值，则确定实例i为前景实例；
[0136]
步骤410、交通场景常见的类别标签对应前景实例去除，比较实例i的结构化特征中类别标签是否在交通场景常见的类别标签中，如果在，那么确定该实例不是路面遗留物；如果不在，那么确定该实例是路面遗留物；
[0137]
步骤411、输出路面遗留物检测结果。可以通过显示屏中告警或者提示音等方式告知用户存在的路面遗留物。
[0138]
图5是本发明提供的路面遗留物检测装置的结构示意图，如图5所示，该装置包括：
[0139]
初始化模块501，用于基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述背景库中包括多个背景实例，以及所述背景实例的基准检测框；所述结构化特征包括实例标识、检测框和类别标签；所述背景实例的基准检测框是在前第一数目个视频帧中，具有同一实例标识各所述实例的所有检测框的平均值；所述第一数目为正整数；
[0140]
背景实例模块502，用于基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；
[0141]
前景实例模块503，用于基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；
[0142]
筛选模块504，用于基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。
[0143]
可选地，所述初始化模块501在基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库的过程中，具体用于：
[0144]
基于前第一数目个视频帧中各所述实例的实例标识以及各所述实例的检测框，确定属于同一所述实例标识的所有所述实例的所有检测框构成的运动轨迹；
[0145]
基于具有同一所述实例标识的所述运动轨迹的平均值，确定每个所述背景实例对应的基准检测框；
[0146]
基于所述背景实例对应的基准检测框和所述背景实例对应的实例标识，初始化所述背景库；
[0147]
所述前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征是基于改进的双阶段目标检测器模型获得的。
[0148]
可选地，所述背景实例模块502在基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库的过程中，具体用于：
[0149]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iou值；
[0150]
基于所述第一iou值，以及预设移动阈值，更新所述背景库；
[0151]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0152]
可选地，所述基于所述第一iou值，以及预设移动阈值，更新所述背景库，包括：
[0153]
若所述第一iou值大于或等于预设移动阈值，则基于所述目标实例的检测框，更新目标背景实例的基准检测框；
[0154]
若所述第一iou值小于所述预设移动阈值，则在所述背景库中删除所述目标背景实例。
[0155]
可选地，前景实例模块503在基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例的过程中，具体用于：
[0156]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iof值；
[0157]
确定所述目标实例的检测框和所述目标背景实例的基准检测框之间的第二iou值；
[0158]
基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例；
[0159]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0160]
可选地，所述基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例，包括：
[0161]
若所述第一iof值和所述第二iou值均小于预设前景阈值，则确定所述目标实例是前景实例；
[0162]
若所述第一iof值或所述第二iou值大于或等于预设前景阈值，则确定所述目标实例是背景实例。
[0163]
可选地，所述筛选模块504在基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例的过程中，具体用于：
[0164]
筛选出所述前景实例对应的类别标签不在所述预设白名单之内的所述前景实例，作为路面遗留物对应的所述前景实例；
[0165]
所述预设白名单包括交通场景中所有交通工具类别对应的类别标签。
[0166]
具体地，本发明提供的上述路面遗留物检测装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0167]
图6是本发明提供的一种电子设备的结构示意图；如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行路面遗留物检测方法，例如该方法包括：
[0168]
基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；
[0169]
基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；
[0170]
基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；
[0171]
基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。
[0172]
可选地，所述基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库，包括：
[0173]
基于前第一数目个视频帧中各所述实例的实例标识以及各所述实例的检测框，确定属于同一所述实例标识的所有所述实例的所有检测框构成的运动轨迹；
[0174]
基于具有同一所述实例标识的所述运动轨迹的平均值，确定每个所述背景实例对应的基准检测框；
[0175]
基于所述背景实例对应的基准检测框和所述背景实例对应的实例标识，初始化所述背景库；
[0176]
所述前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征是基于改进的双阶段目标检测器模型获得的。
[0177]
可选地，所述基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库，包括：
[0178]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iou值；
[0179]
基于所述第一iou值，以及预设移动阈值，更新所述背景库；
[0180]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0181]
可选地，所述基于所述第一iou值，以及预设移动阈值，更新所述背景库，包括：
[0182]
若所述第一iou值大于或等于预设移动阈值，则基于所述目标实例的检测框，更新目标背景实例的基准检测框；
[0183]
若所述第一iou值小于所述预设移动阈值，则在所述背景库中删除所述目标背景实例。
[0184]
可选地，所述基于iou结合iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例，包括：
[0185]
确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一iof值；
[0186]
确定所述目标实例的检测框和所述目标背景实例的基准检测框之间的第二iou值；
[0187]
基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例；
[0188]
所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。
[0189]
可选地，所述基于所述第一iof值和预设前景阈值的大小关系，以及所述第二iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例，包括：
[0190]
若所述第一iof值和所述第二iou值均小于预设前景阈值，则确定所述目标实例是前景实例；
[0191]
若所述第一iof值或所述第二iou值大于或等于预设前景阈值，则确定所述目标实例是背景实例。
[0192]
可选地，所述基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例，包括：
[0193]
筛选出所述前景实例对应的类别标签不在所述预设白名单之内的所述前景实例，作为路面遗留物对应的所述前景实例；
[0194]
所述预设白名单包括交通场景中所有交通工具类别对应的类别标签。
[0195]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0196]
在此需要说明的是，本发明提供的上述电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0197]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的路面遗留物检测方法。
[0198]
另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述各实施例提供的路面遗留物检测方法。
[0199]
另一方面，本发明还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的路面遗留物检测方法。
[0200]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0201]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0202]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0203]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种路面遗留物检测方法，其特征在于，包括：基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；基于交并比iou结合前景交叉比iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。2.根据权利要求1所述的路面遗留物检测方法，其特征在于，所述基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库，包括：基于前第一数目个视频帧中各所述实例的实例标识以及各所述实例的检测框，确定属于同一所述实例标识的所有所述实例的所有检测框构成的运动轨迹；基于具有同一所述实例标识的所述运动轨迹的平均值，确定每个所述背景实例对应的基准检测框；基于所述背景实例对应的基准检测框和所述背景实例对应的实例标识，初始化所述背景库；所述前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征是基于改进的双阶段目标检测器模型获得的。3.根据权利要求1所述的路面遗留物检测方法，其特征在于，所述基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库，包括：确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一交并比iou值；基于所述第一交并比iou值，以及预设移动阈值，更新所述背景库；所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。4.根据权利要求3所述的路面遗留物检测方法，其特征在于，所述基于所述第一交并比iou值，以及预设移动阈值，更新所述背景库，包括：若所述第一交并比iou值大于或等于预设移动阈值，则基于所述目标实例的检测框，更新目标背景实例的基准检测框；若所述第一交并比iou值小于所述预设移动阈值，则在所述背景库中删除所述目标背景实例。5.根据权利要求1所述的路面遗留物检测方法，其特征在于，所述基于交并比iou结合前景交叉比iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例，包括：确定当前视频帧中目标实例的检测框和目标背景实例的基准检测框之间的第一前景交叉比iof值；
确定所述目标实例的检测框和所述目标背景实例的基准检测框之间的第二交并比iou值；基于所述第一前景交叉比iof值和预设前景阈值的大小关系，以及所述第二交并比iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例；所述目标实例是当前视频帧中所有所述实例中的任一个；所述目标背景实例是在所述背景库中与所述目标实例具有相同实例标识的背景实例。6.根据权利要求5所述的路面遗留物检测方法，其特征在于，所述基于所述第一前景交叉比iof值和预设前景阈值的大小关系，以及所述第二交并比iou值和所述预设前景阈值的大小关系，确定所述目标实例为前景实例或背景实例，包括：若所述第一前景交叉比iof值和所述第二交并比iou值均小于预设前景阈值，则确定所述目标实例是前景实例；若所述第一前景交叉比iof值或所述第二交并比iou值大于或等于预设前景阈值，则确定所述目标实例是背景实例。7.根据权利要求1所述的路面遗留物检测方法，其特征在于，所述基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例，包括：筛选出所述前景实例对应的类别标签不在所述预设白名单之内的所述前景实例，作为路面遗留物对应的所述前景实例；所述预设白名单包括交通场景中所有交通工具类别对应的类别标签。8.一种路面遗留物检测装置，其特征在于，所述装置包括：初始化模块，用于基于前第一数目个视频帧包括的所有实例，以及各所述实例对应的结构化特征，初始化背景库；所述结构化特征包括实例标识、检测框和类别标签；所述背景库中包括一个或多个背景实例对应的基准检测框；所述第一数目为正整数；背景实例模块，用于基于当前视频帧中各所述实例的结构化特征和所述背景库中背景实例对应的基准检测框，更新所述背景库；前景实例模块，用于基于交并比iou结合前景交叉比iof的方式，以及所述背景库，筛选出当前视频帧的所有所述实例中的前景实例；筛选模块，用于基于所述前景实例对应的类别标签，以及预设白名单，筛选出路面遗留物对应的所述前景实例。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述路面遗留物检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1至7任一项所述的路面遗留物检测方法。

技术总结
本发明提供一种路面遗留物检测方法、装置、设备及存储介质，涉及数据识别技术领域，其中该方法包括：基于前第一数目个视频帧包括的所有实例，以及各实例对应的结构化特征，初始化背景库；基于当前视频帧中各实例的结构化特征和背景库中背景实例的基准检测框，更新背景库；基于IoU结合IoF的方式，筛选出当前视频帧中的前景实例；基于前景实例的类别标签，以及预设白名单，筛选出路面遗留物。本发明通过采用IoU结合IoF的方式，区分所有实例属于背景实例或前景实例，同时更新背景库，使得确定前景实例的过程更准确，不依赖于数据样本进行训练，提高了处理速率和计算的精确度，适用性更广，可适应复杂多变的交通场景。可适应复杂多变的交通场景。可适应复杂多变的交通场景。


技术研发人员：王金桥 赵旭 安永琪 赵帅华
受保护的技术使用者：中科视语（句容）科技有限公司
技术研发日：2023.04.27
技术公布日：2023/8/21