基于神经网络的暴露垃圾监控方法及系统与流程

1.本技术涉及监控技术领域，具体涉及一种基于神经网络的暴露垃圾监控方法及系统。


背景技术：

2.随着物联网、互联网、云计算等新一代信息技术的快速发展，多功能智能杆已成为建设智慧城市必不可少的产物。相关的ai应用场景需求不断的增长，涉及到目标检测、目标属性分析、目标跟踪等多种技术结合的应用场景难以满足现有市场需求。
3.针对以上问题，本领域技术人员一直在寻求解决方法。


技术实现要素：

4.本技术要解决的技术问题在于，针对上述现有技术的缺陷，提供一种基于神经网络的暴露垃圾监控方法及系统。
5.为了实现上述目的，本技术是通过如下的技术方案来实现：
6.一种基于神经网络的暴露垃圾监控方法，包括以下步骤：
7.通过所述垃圾识别模块根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据所述神经网络垃圾识别模型输出暴露垃圾检测信息；
8.通过所述垃圾状态分析模块将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息；所述垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息；
9.通过所述垃圾信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。
10.可选地，所述通过所述垃圾状态分析模块将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息，包括：
11.通过所述垃圾状态分析模块根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态；所述当前帧垃圾状态包括无垃圾暴露、存在垃圾暴露中任一项；通过所述垃圾状态分析模块根据所述当前帧垃圾状态输出所述当前帧垃圾状态信息。
12.可选地，所述通过所述垃圾状态分析模块根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态，包括：
13.通过所述垃圾状态分析模块将检测的所述垃圾坐标信息分别与所述多个子图像进行位置区域匹配，并输出多个匹配值；若所述匹配值超过预设值，则确定单个或多个子图像中存在垃圾暴露，并输出所述多个子图像的当前帧垃圾状态信息。
14.可选地，通过所述垃圾信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露，包括：
15.通过所述垃圾信息整合模块对同一子图像的所述当前帧垃圾状态信息和所述上
一帧垃圾状态信息进行一致性对比；若对比一致，则确定多个区域存在垃圾暴露，或确定多个区域无垃圾暴露；若对比不一致，则根据所述当前帧垃圾状态信息确定多个区域是否存在垃圾暴露。
16.可选地，通过所述垃圾信息整合模块对同一子图像的所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比之后，包括：
17.根据对比结果输出对应的告警信息；
18.所述根据对比结果输出对应的告警信息之后，包括：
19.通过所述垃圾信息整合模块将所述当前帧垃圾状态信息更新为上一帧垃圾状态信息；通过所述垃圾状态分析模块获取所述当前帧垃圾状态信息。
20.本技术还提供一种基于神经网络的暴露垃圾监控系统，包括：垃圾识别模块、垃圾状态分析模块、垃圾信息整合模块；
21.所述垃圾识别模块用于根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据所述神经网络垃圾识别模型输出暴露垃圾检测信息；
22.所述垃圾状态分析模块用于将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息；所述垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息；
23.所述垃圾信息整合模块用于根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。
24.可选地，所述暴露垃圾检测信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型、垃圾类型阈值中至少一项；所述垃圾状态信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型中至少一项。
25.可选地，所述垃圾状态分析模块还用于根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态并输出所述当前帧垃圾状态信息。
26.可选地，所述垃圾状态分析模块还用于将检测的所述垃圾坐标信息分别与所述多个子图像进行位置区域匹配，并根据输出的匹配值确定当前帧单个或多个子图像中是否存在垃圾暴露，以及输出单个或多个子图像的所述当前帧垃圾状态信息。
27.可选地，所述垃圾信息整合模块还用于对所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比以确定多个区域是否存在垃圾暴露。
28.本技术的基于神经网络的暴露垃圾监控方法及系统，垃圾识别模块基于神经网络建立神经网络垃圾识别模型，垃圾状态分析模块对暴露垃圾检测图像的多个子图像分别进行分析，垃圾信息整合模块根据当前帧和上一帧垃圾状态信息确定多个子图像是否存在垃圾暴露，可实时监控已暴露垃圾的状态，满足边端ai应用的实时性。
29.为让本技术的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
30.下面结合附图和具体实施方式来详细说明本技术；
31.图1是本技术一实施例提供的暴露垃圾监控方法的流程示意图；
32.图2是本技术一实施例提供的暴露垃圾监控系统的结构示意图。
具体实施方式
33.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
34.图1是本技术一实施例提供的暴露垃圾监控方法的流程示意图，请参阅图1，一种基于神经网络的暴露垃圾监控方法，包括以下步骤：
35.s1：通过垃圾识别模块根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据神经网络垃圾识别模型输出暴露垃圾检测信息。
36.暴露垃圾检测信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型、垃圾类型阈值中至少一项。
37.本技术中的暴露垃圾包括但不限于生活垃圾、建筑垃圾、道路施工残留垃圾、混合垃圾、大件垃圾、装潢垃圾。
38.s2：通过垃圾状态分析模块将暴露垃圾检测图像分割为多个子图像，并根据多个子图像和暴露垃圾检测信息输出多个区域的垃圾状态信息；垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息。
39.垃圾状态信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型中至少一项。
40.垃圾状态分析模块可将暴露垃圾检测图像进行平均分割，也可以将暴露垃圾检测图像进行不平均分割，分割后子图像的数量大于或等于二。在本实施例中，垃圾状态分析模块将暴露垃圾检测图像进行平均分割，分割后子图像的数量为5*3＝15；例如将1920*1080分辨率的暴露垃圾检测图像进行区域平均分割，分割成每个规格为384*360分辨率的15个区间。在其他实施例中，还可以人为将暴露垃圾检测图像进行不平均分割，并将分割结果输出垃圾状态分析模块。例如非垃圾场暴露垃圾高发地带，将暴露垃圾高发地带的检测图像不平均分割为2～15个子图像，其中暴露垃圾高发区域子图像的分辨率最大。
41.s3：通过垃圾信息整合模块根据当前帧垃圾状态信息和上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。
42.可选地，步骤s2包括：
43.s21：通过垃圾状态分析模块根据暴露垃圾检测信息确定多个子图像的当前帧垃圾状态；当前帧垃圾状态包括无垃圾暴露、存在垃圾暴露中任一项；
44.s22：通过垃圾状态分析模块根据当前帧垃圾状态输出当前帧垃圾状态信息。
45.本实施例中，步骤s21具体实施流程为：
①
将15个子图像的当前帧垃圾状态设置为空；
②
暴露垃圾检测信息为无垃圾暴露，则整个暴露垃圾检测图像中未检测到暴露垃圾，此时将15个子图像的当前帧垃圾状态均设置为“无暴露垃圾”；
③
暴露垃圾检测信息为存在垃圾暴露，即整个暴露垃圾检测图像中有到暴露垃圾，则进入步骤s21，即分别将检测到的垃圾的坐标信息根据位置关系进行iou匹配。
46.可选地，步骤s21包括：
47.s211：通过垃圾状态分析模块将检测的垃圾坐标信息分别与多个子图像进行位置区域匹配，并输出多个匹配值；
48.s212：若匹配值超过预设值，则确定单个或多个子图像中存在垃圾暴露，并输出多个子图像的当前帧垃圾状态信息。
49.应当注意的是，暴露垃圾检测图像为矩形，则可分别求矩形与15个子图像的iou匹
配值。在本实施例中，匹配值的预设值为0.3，若有一子图像的iou匹配值大于0.3，则将该子图像的当前帧垃圾状态设置为“垃圾暴露”。其他子图像的当前帧垃圾状态同理可得。
50.根据暴露垃圾检测图像可以得到大致的暴露垃圾检测信息，难以检测存在少数半遮掩的暴露垃圾，因此将暴露垃圾检测图像分割为多个子图像，并对子图像进行具体分析，可提高暴露垃圾检测的准确性，扩展暴露垃圾检测的范围。
51.可选地，步骤s3包括：
52.步骤s31：通过垃圾信息整合模块对同一子图像的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比；
53.步骤s32：若对比一致，则确定多个区域存在垃圾暴露，或确定多个区域无垃圾暴露；
54.步骤s33：若对比不一致，则根据当前帧垃圾状态信息确定多个区域是否存在垃圾暴露。
55.本技术中，步骤s3为垃圾信息整合模块对当前是否存在垃圾暴露进行进一步确定。示例性地，有一子图像编号为a，对于子图像a的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比，有以下几种情况：
56.(1)上一帧垃圾状态为“无垃圾暴露”，当前帧垃圾状态为“无垃圾暴露”，上一帧和当前帧垃圾状态一致，皆为“无垃圾暴露”，则确定子图像a的区域中无垃圾暴露；
57.(2)上一帧垃圾状态为“存在垃圾暴露”，当前帧垃圾状态为“无垃圾暴露”，上一帧和当前帧垃圾状态不一致，则表示子图像a的区域中垃圾已被清除，则确定子图像a的区域中无垃圾暴露；
58.(3)上一帧垃圾状态为“无垃圾暴露”，当前帧垃圾状态为“存在垃圾暴露”，上一帧和当前帧垃圾状态不一致，则表示子图像a的区域中存在新增垃圾，则确定子图像a的区域中存在垃圾暴露；
59.(4)上一帧垃圾状态为“存在垃圾暴露”，当前帧垃圾状态为“存在垃圾暴露”，上一帧和当前帧垃圾状态一致，皆为“存在垃圾暴露”，则确定子图像a的区域中存在垃圾暴露。
60.若仅仅根据一帧垃圾状态信息判断是否存在垃圾暴露太过绝对，因此对同一子图像的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比，可提升暴露垃圾检测的准确性，可加大对暴露垃圾检测的实时监控力度。
61.可选地，步骤s31之后，包括：
62.s32：根据对比结果输出对应的告警信息。
63.具体地，根据上述四种一致性对比情况，垃圾信息整合模块输出对应的告警信息，例如“子图像a的区域中无垃圾暴露”、“子图像a的区域中垃圾已被清除”、“子图像a的区域中存在垃圾暴露”。特别地，对第(4)种情况，若子图像a的区域间隔上一次上报告警信息的时间超过3分钟，则再次上报子图像a的区域垃圾还未处理；若子图像a的区域中垃圾持续未处理，每间隔3分钟上报告警信息。
64.步骤s32之后，包括：
65.s321：通过垃圾信息整合模块将当前帧垃圾状态信息更新为上一帧垃圾状态信息。
66.具体地，当前帧垃圾状态赋值给上一帧垃圾状态，当前帧垃圾状态进行信息初始
化。
67.s322：通过垃圾状态分析模块获取当前帧垃圾状态信息。
68.具体地，根据步骤s322中获取当前帧垃圾状态信息对步骤s321中信息初始化的当前帧垃圾状态进行数据更新。
69.图2是本技术一实施例提供的暴露垃圾监控系统的结构示意图，请参阅图2，本技术还提供一种基于神经网络的暴露垃圾监控系统，包括：垃圾识别模块10、垃圾状态分析模块20、垃圾信息整合模块30。
70.垃圾识别模块10用于根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据神经网络垃圾识别模型输出暴露垃圾检测信息。
71.垃圾状态分析模块20用于将暴露垃圾检测图像分割为多个子图像，并根据多个子图像和暴露垃圾检测信息输出多个区域的垃圾状态信息；垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息。
72.垃圾信息整合模块30用于根据当前帧垃圾状态信息和上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。
73.可选地，暴露垃圾检测信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型、垃圾类型阈值中至少一项；垃圾状态信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型中至少一项。
74.可选地，垃圾状态分析模块20还用于根据暴露垃圾检测信息确定多个子图像的当前帧垃圾状态并输出当前帧垃圾状态信息。
75.可选地，垃圾状态分析模块20还用于将检测的垃圾坐标信息分别与多个子图像进行位置区域匹配，并根据输出的匹配值确定当前帧单个或多个子图像中是否存在垃圾暴露，以及输出单个或多个子图像的当前帧垃圾状态信息。
76.iou(intersection over union)，即本文中的位置区域匹配，也称为交并比，是指目标预测边界框和真实边界框的交集和并集的比值，即物体预测框与地面实况的重叠度，iou的定义是为了衡量物体定位精度的一种标准。
77.在本技术中，垃圾状态分析模块先对整个暴露垃圾检测图像是否存在垃圾暴露进行初步分析，确定整个暴露垃圾检测图像存在垃圾暴露后利用iou匹配分别对各子图像进行具体分析，以确定暴露垃圾的具体位置。
78.可选地，垃圾信息整合模块30还用于对当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比以确定多个区域是否存在垃圾暴露。
79.在本技术中，垃圾信息整合模块对多个子图像的当前帧和上一帧垃圾状态信息进行统筹整合，输出每个子图像的暴露垃圾实况信息，并对用户做出告警。
80.本技术的暴露垃圾监控方法及系统针对垃圾暴露的应用场景，设计深度学习网络模型，利用ai图像算法进行垃圾暴露检测，并且提出一种3*5＝15宫格的垃圾暴露实时监控系统，实时监控已暴露垃圾的状态，可提高暴露垃圾检测的准确性，扩展暴露垃圾检测的范围，且边端ai应用的实时性好。
81.显然，以上显示和描述了本技术的基本原理和主要特征和本技术的优点。本行业的技术人员应该了解，本技术不受上述实施例的限制，实施例和说明书中描述的只是说明本技术的原理，凡在本技术的精神和原则之内所作的任何修改、等同替换或改进等，均应包
含在本技术的保护范围之内。

技术特征：
1.一种基于神经网络的暴露垃圾监控方法，其特征在于，包括以下步骤：通过垃圾识别模块根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据所述神经网络垃圾识别模型输出暴露垃圾检测信息；通过垃圾状态分析模块将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息；所述垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息；通过垃圾信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露；暴露垃圾检测信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型、垃圾类型阈值中至少一项；垃圾状态信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型中至少一项。2.如权利要求1所述的暴露垃圾监控方法，其特征在于，所述通过所述垃圾状态分析模块将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息，包括：通过所述垃圾状态分析模块根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态；所述当前帧垃圾状态包括无垃圾暴露、存在垃圾暴露中任一项；通过所述垃圾状态分析模块根据所述当前帧垃圾状态输出所述当前帧垃圾状态信息。3.如权利要求2所述的暴露垃圾监控方法，其特征在于，所述通过所述垃圾状态分析模块根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态，包括：通过所述垃圾状态分析模块将检测的所述垃圾坐标信息分别与所述多个子图像进行位置区域匹配，并输出多个匹配值；若所述匹配值超过预设值，则确定单个或多个子图像中存在垃圾暴露，并输出所述多个子图像的当前帧垃圾状态信息。4.如权利要求1所述的暴露垃圾监控方法，其特征在于，通过所述垃圾信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露，包括：通过所述垃圾信息整合模块对同一子图像的所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比；若对比一致，则确定多个区域存在垃圾暴露，或确定多个区域无垃圾暴露；若对比不一致，则根据所述当前帧垃圾状态信息确定多个区域是否存在垃圾暴露。5.如权利要求4所述的暴露垃圾监控方法，其特征在于，通过所述垃圾信息整合模块对同一子图像的所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比之后，包括：根据对比结果输出对应的告警信息；所述根据对比结果输出对应的告警信息之后，包括：通过所述垃圾信息整合模块将所述当前帧垃圾状态信息更新为上一帧垃圾状态信息；通过所述垃圾状态分析模块获取所述当前帧垃圾状态信息。6.一种基于神经网络的暴露垃圾监控系统，其特征在于，包括：垃圾识别模块、垃圾状态分析模块、垃圾信息整合模块；
所述垃圾识别模块用于根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据所述神经网络垃圾识别模型输出暴露垃圾检测信息；所述垃圾状态分析模块用于将所述暴露垃圾检测图像分割为多个子图像，并根据所述多个子图像和所述暴露垃圾检测信息输出多个区域的垃圾状态信息；所述垃圾状态信息包括当前帧垃圾状态信息和上一帧垃圾状态信息；所述垃圾信息整合模块用于根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。7.如权利要求6所述的暴露垃圾监控系统，其特征在于，所述暴露垃圾检测信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型、垃圾类型阈值中至少一项；所述垃圾状态信息包括无垃圾暴露、存在垃圾暴露、垃圾坐标信息、垃圾类型中至少一项。8.如权利要求7所述的暴露垃圾监控系统，其特征在于，所述垃圾状态分析模块还用于根据所述暴露垃圾检测信息确定所述多个子图像的当前帧垃圾状态并输出所述当前帧垃圾状态信息。9.如权利要求8所述的暴露垃圾监控系统，其特征在于，所述垃圾状态分析模块还用于将检测的所述垃圾坐标信息分别与所述多个子图像进行位置区域匹配，并根据输出的匹配值确定当前帧单个或多个子图像中是否存在垃圾暴露，以及输出单个或多个子图像的所述当前帧垃圾状态信息。10.如权利要求9所述的暴露垃圾监控系统，其特征在于，所述垃圾信息整合模块还用于对所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比以确定多个区域是否存在垃圾暴露。

技术总结
本申请涉及一种基于神经网络的暴露垃圾监控方法及系统，方法包括：通过垃圾识别模块根据获取的暴露垃圾检测图像建立神经网络垃圾识别模型，并根据神经网络垃圾识别模型输出暴露垃圾检测信息；通过垃圾状态分析模块将暴露垃圾检测图像分割为多个子图像，并根据多个子图像和暴露垃圾检测信息输出多个区域的垃圾状态信息；通过垃圾信息整合模块根据当前帧垃圾状态信息和上一帧垃圾状态信息确定多个区域是否存在垃圾暴露。本申请的暴露垃圾监控方法及系统，可实时监控已暴露垃圾的状态，满足边端AI应用的实时性。足边端AI应用的实时性。足边端AI应用的实时性。


技术研发人员：傅东生 王连民 李立赛
受保护的技术使用者：深圳奇迹智慧网络有限公司
技术研发日：2023.05.29
技术公布日：2023/9/9