一种垃圾桶满溢轻量化检测方法、设备及存储设备

1.本发明涉及目标检测领域，尤其涉及一种垃圾桶满溢轻量化检测方法、设备及存储设备。


背景技术：

2.目前垃圾清运主要是依靠人工定期定点检查清扫，社区垃圾与地理位置有关，角落偏僻位置较容易产生垃圾，且与人流量有关，产生地点和总量极不规律，因此，在现代社会发展中，人工清扫垃圾的方式工作量较大并且效率不高。所以，实现垃圾溢出智能检测，减少人工成本和提高智能化环保工作效率，是当前问题的解决思路。
3.目前，检测垃圾溢出主要是由智能化硬件和软件两种方式处理。利用智能化硬件检测垃圾溢出，主要是在垃圾桶上安装各种类型的传感器，通过感受桶内垃圾的高度、温度、湿度和气味等等，当传感器处理结果达到所设定的阈值，即为垃圾满溢，触发自动报警，提醒相关工作人员处理事件。例如，易航通信息技术有限公司专注建设“智慧环卫”信息化系统平台，所设计的垃圾满溢检测系统结合物联网技术，在垃圾箱正上方中心位置安装传感器，提前设定报警阈值，当桶内垃圾达到阈值，触发报警系统，提示垃圾已满，及时处理。北醒的tf系列激光雷达模组利用激光雷达自动检测垃圾量，将设备置于垃圾桶内桶盖上，当垃圾量达到80％便传输到数据管理系统，提示垃圾清运。以上通过传感器检测垃圾溢出，受限于定点提示，并且加重了垃圾桶成本，若传感器受损、丢失等需要更换时，进一步提高了成本。利用智能化软件检测垃圾溢出，主要是基于深度学习，将成熟的垃圾检测系统搭载在智能装备中，通过智能装备巡检，实时检测垃圾溢出，并上报溢满事件。
4.目前通过深度学习算法检测垃圾溢出，虽可搭载在智能装备中，但受限于模型的大小，现有工业化卷积网络模型无法平衡实时性以及准确性。
5.综合分析，目前垃圾溢出检测存在以下问题：
6.(1)通过安装硬件检测垃圾溢出，一是受限于定点提示，不具备灵活性，二是需要考虑成本问题，无法做到全覆盖；
7.(2)通过部署软件系统检测垃圾溢出，需要考虑模型大小，现有网络模型不够轻量化，不利于部署在装备中，不能兼顾保证准确性和实时性。
8.因此，一个有效的检测垃圾溢出的方法及系统应当实现：较高的检测准确率、较低的计算复杂度、较好的鲁棒性以及易于部署。


技术实现要素：

9.为了解决现有的垃圾桶满溢检测模型中，检测准确率和检测速度、鲁棒性难以兼顾的问题，本发明提出采用改进的卷积网络模型yolov5检测垃圾溢出，由于yolov5模型不够轻量化，不易于部署在智能装备中，因此，本发明结合分组卷积以及高效聚合网络的思想，改进yolov5模型，实现更轻量化且高准确率实时检测垃圾溢出。
10.具体的，本发明提供一种垃圾桶满溢轻量化检测方法，包括以下步骤：
11.步骤s101，构建垃圾桶和垃圾样本数据集；
12.步骤s102，标注样本数据集并按比例分为训练集、验证集和测试集；
13.步骤s103，构建垃圾桶满溢检测模型，将垃圾桶满溢检测模型轻量化，并结合e-elan模块增强网络学习能力，得到轻量化改进垃圾桶满溢检测模型；步骤s103中，所述轻量化改进垃圾桶满溢检测模型包括：输入模块、backbone模块、neck模块和head模块；其中输入模块对输入图像进行预处理；backbone模块用于提取图像深层特征；neck模块用于提高特征提取能力；head模块用于评价轻量化改进垃圾桶满溢检测模型；
14.步骤s104，利用所述训练集、验证集和测试集，对所述轻量化改进垃圾桶满溢检测模型进行训练、验证和检测；
15.步骤s105，基于预测的结果输出训练完成的垃圾桶满溢检测模型，并将该模型部署至智能机器人；
16.步骤s106，将智能机器人巡查待检测区域，并利用训练完成的垃圾桶满溢检测模型实时检测；
17.步骤s107，若检测到垃圾桶，根据制定的垃圾满溢规则判断当前垃圾桶是否存在垃圾溢出，若是，则将垃圾溢出结果实时上报；否则，不予处置。
18.一种存储设备，所述存储设备存储指令及数据用于实现一种垃圾桶满溢轻量化检测方法。
19.一种垃圾桶满溢轻量化检测设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种垃圾桶满溢轻量化检测方法。
20.本发明提供的有益效果是：
21.(1)本发明具备灵活性和灵敏性，不受限于地点和成本，具有较强的实用性；
22.(2)本发明更易于部署在任何智能装备中，本发明提出的改进垃圾满溢检测模型更轻量化，在降低模型计算复杂度的同时，检测速度和检测精度得到较好的改善，易于实时检测，提供更准确的信息。
附图说明
23.图1是本发明方法流程示意图；
24.图2是本发明中轻量化改进垃圾桶满溢检测模型结构示意图；
25.图3是本发明硬件设备工作示意图。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
27.请参考图1是本发明方法流程示意图。
28.本发明提供了一种垃圾桶满溢轻量化检测方法，包括以下步骤：
29.步骤s101，构建垃圾桶和垃圾样本数据集；
30.所述步骤s101中样本数据集包括一定数量的垃圾桶和垃圾数据，分为正样本和负样本。所述垃圾桶和垃圾数据可根据网络图片搜集以及现实中采集得到。
31.本实施例中，根据网络搜集以及现实生活中采集得到1991张图片，将含有垃圾桶
和垃圾的图片作为正样本，不含垃圾桶和垃圾的图片作为负样本，构成包含1991张图片的数据集。
32.步骤s102，标注样本数据集并按比例分为训练集、验证集和测试集；
33.所述步骤s102使用图片标注工具对所述样本数据集进行标注，生成相应的标注文件，所述标注文件包括：文件格式、文件内容。其中，文件格式可以是xml，文件内容是目标的类别和位置信息，所述目标的位置信息包括真实目标的左上角和右下角坐标信息。依据预设比例将标注后的所述样本数据集划分成训练集、验证集和测试集。
34.这里，所述标注工具可以是但不限于是图片标注工具，例如精灵标注助手软件；所述预设比例为一个给定值，例如8:1:1。
35.本实施例中，对收集的所述垃圾桶和垃圾图片，分别标注为垃圾桶(trashcan)和垃圾(trash)，使用精灵标注助手软件标注出图像中垃圾桶或者垃圾的位置和对应类别；根据8:1:1将所述垃圾桶和垃圾图片以及对应的标注文件划分成所述训练集、验证集和测试集。
36.步骤s103，构建垃圾桶满溢检测模型，将垃圾桶满溢检测模型轻量化，并结合e-elan模块增强网络学习能力，得到轻量化改进垃圾桶满溢检测模型；步骤s103中，所述轻量化改进垃圾桶满溢检测模型包括：输入模块、backbone模块、neck模块和head模块；其中输入模块对输入图像进行预处理；backbone模块用于提取图像深层特征；neck模块用于提高特征提取能力；head模块用于评价轻量化改进垃圾桶满溢检测模型。
37.所述轻量化改进垃圾桶满溢检测模型基于深度学习框架搭建，所述深度学习框架不限于pytorch框架。
38.本实施例中，采用pytorch框架进行搭建。请参考图2，图2是本发明中轻量化改进垃圾桶满溢检测模型结构示意图。
39.需要说明的是，输入模块用于对图像进行预处理；具体的，所述输入模块根据预设的网格尺寸640
×
640，将每一张图像缩放，再统一归一化。同时采用数据增强处理，例如mosaic方法，提高模型的精度和训练速度。
40.需要说明的是，backbone模块，构建过程中将所述分组卷积igcv3和e-elan模块替换传统backbone模块中的部分c3模块和部分conv模块，构成新的所述backbone模块的十六层网络结构，如下：
41.第一层：conv模块，32个大小为6
×
6的卷积核，步长为2，得到特征为320
×
320
×
32的数据；
42.第二层：conv模块，64个大小为3
×
3的卷积核，步长为2，得到特征为160
×
160
×
64的数据；
43.第三层：重复3个c3模块，64个大小为3
×
3的卷积核，步长为1，得到特征为160
×
160
×
64的数据；
44.第四层：conv模块，128个大小为3
×
3的卷积核，步长为2，得到特征为80
×
80
×
128的数据；
45.第五层：重复6个c3模块，128个大小为3
×
3的卷积核，步长为1，得到特征为80
×
80
×
128的数据；
46.第六层：igcv3模块，128个卷积核，步长为2，扩征系数为2，得到特征为40
×
40
×
128的数据；
47.第七层：conv模块，64个大小为1
×
1的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
48.第八层：conv模块，64个大小为1
×
1的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
49.第九层：conv模块，64个大小为3
×
3的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
50.第十层：conv模块，64个大小为3
×
3的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
51.第十一层：conv模块，64个大小为3
×
3的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
52.第十二层：conv模块，64个大小为3
×
3的卷积核，步长为1，得到特征为40
×
40
×
64的数据；
53.第十三层：将新的所述backbone模块的网络结构的第七、八、十和十二层的输出连接，输出特征为40
×
40
×
256的数据
54.第十四层：conv模块，256个大小为1
×
1的卷积核，步长为1，得到特征为40
×
40
×
256的数据；
55.第十五层：igcv3模块，512个卷积核，步长为2，扩征系数为2，得到特征为20
×
20
×
512的数据；
56.第十六层：sppf模块，3
×
3的池化窗，步长为1，得到特征为20
×
20
×
512的数据。
57.这里，所述sppf模块为空间金字塔池化，解决输入图像尺寸不统一问题。
58.可以理解的是，在所述轻量化改进垃圾桶满溢检测模型中所述backbone模块是用于提取特征，原轻量化改进垃圾桶满溢检测模型是由卷积conv和c3模块组成；改进后轻量化改进垃圾桶满溢检测模型更具轻量化和更高精度，具体是将分组卷积igcv3和e-elan模块替换所述backbone模块中的部分模块；而所述分组卷积igcv3模块用于轻量化网络结果，其结构是先进行1
×
1的点卷积，分为两组，用于升维；再进行3
×
3的深度分组卷积，分为若干组，用于提取特征；最后进行1
×
1的点卷积，分为两组，用于降维。所述e-elan模块用于提升模型性能，提高网络学习能力，其结果分为两条分支，第一条分支是经过一个1
×
1的卷积做通道数的变化，第二条分支经过一个1
×
1的卷积模块，做通道数的变化，再经过四个3
×
3的卷积模块，做特征提取。
59.如此，本发明可以基于将分组卷积igcv3和e-elan模块替换部分所述轻量化改进垃圾桶满溢检测模型中backbone模块的部分模块，在保证精度的情况下轻量化网络，具有更少的计算参数量，进而提高检测效率灵敏度。
60.需要说明的是，neck模块。将所述分组卷积igcv3融合到所述轻量化改进垃圾桶满溢检测模型中，构建所述更轻量化垃圾满溢检测模型，包括：将所述分组卷积igcv3模块替换所述neck模块中的部分c3模块，构成新的所述neck模块。
61.这里，所述neck模块紧跟backbone模块，即所述backbone模块的最终输出作为所述neck模块的输入。将所述igcv3模型替换所述neck模块中的全部c3模块，构成新的所述neck模块的十五层网络结构，如下：
62.第一层：conv模块，256个大小为1
×
1的卷积核，步长为1，得到特征为20
×
20
×
256的数据；
63.第二层：2倍上采样，得到特征为40
×
40
×
256的数据；
64.第三层：将新的所述neck模块的网络结构的第二层与新的所述backbone模块的网络结构的第十四层的输出连接，输出特征为40
×
40
×
512的数据；
65.第四层：igcv3模块，256个卷积核，步长为1，扩征系数为2，得到特征为40
×
40
×
256的数据；
66.第五层：conv模块，128个大小为1
×
1的卷积核，步长为1，扩征系数为2，得到特征为40
×
40
×
128的数据；
67.第六层：2倍上采样，得到特征为80
×
80
×
128的数据；
68.第七层：将新的所述neck模块的网络结构的第六层与新的所述backbone模块的网络结构的第五层的输出连接，输出特征为80
×
80
×
256的数据；
69.第八层：igcv3模块，128个卷积核，步长为1，扩征系数为2，得到特征为80
×
80
×
128的数据；
70.第九层：conv模块，128个大小为3
×
3的卷积核，步长为2，得到特征为40
×
40
×
128的数据；
71.第十层：将新的所述neck模块的网络结构的第九层和第五层的输出连接，输出特征为40
×
40
×
256的数据；
72.第十一层：igcv3模块，256个卷积核，步长为1，扩征系数为2，得到特征为40
×
40
×
256的数据；
73.第十二层：cnov模块，256个大小为3
×
3的卷积核，步长为2，得到特征为20
×
20
×
256的数据；
74.第十三层：将新的所述neck模块的网络结构的第十二层和第一层的输出连接，输出特征为20
×
20
×
512的数据；
75.第十四层：igcv3模块，512个卷积核，步长为1，扩征系数为2，得到特征为20
×
20
×
512的数据；
76.第十五层：detect模块，得到特征分别为80
×
80、40
×
40和20
×
20的数据，用于检测不同尺寸下的目标。
77.可以理解的是，通过多层卷积对目标的特征提取，所述neck模块最终输出的特征尺寸分别为80
×
80、40
×
40和20
×
20的数据，不同尺寸的网格特征数据，用于检测不同尺寸下的目标，具体而言，20
×
20的特征图预测大尺寸的目标，20
×
20和40
×
40的特征图共同预测中等尺寸目标，20
×
20、40
×
40和80
×
80的特征图预测小尺寸的目标。
78.可以理解的是，所述neck模块用于提高提取特征能力，在所述轻量化改进垃圾桶满溢检测模型中其包括sppf结构和panet结构；所述分组卷积igcv3模块替换的是轻量化改进垃圾桶满溢检测模型中的neck模块中所有c3模块。如此，本发明可以基于将分组卷积igcv3模块替换所述轻量化改进垃圾桶满溢检测模型中的neck模块中的c3模块，保持模型精度的同时减少计算量，满足实时性要求，适宜部署在智能机器人，用于实时检测。
79.需要说明的是，所述head模块用于衡量所述垃圾满溢检测模型预测结果的好坏，该模块包括分类损失函数、定位损失函数和置信度损失函数；这里，所述分类损失函数用于
计算锚框与所述目标框的分类损失；所述定位损失函数用于计算所述预测框与所述目标框的误差，可以确定所述垃圾满溢检测模型的平均精度均值(mean average precision，map)；所述置信度损失函数用于计算所述垃圾满溢检测模型的置信度。
80.步骤s104，利用所述训练集、验证集和测试集，对所述轻量化改进垃圾桶满溢检测模型进行训练、验证和检测；
81.所述步骤s104包括：利用所述训练集训练所述轻量化改进垃圾满溢检测模型；利用所述验证集验证训练后的所述垃圾满溢检测模型；利用测试集检测所述垃圾满溢检测模型。本实施例中，具体步骤如下：
82.步骤s104-1，训练和验证模型。训练可提前设置轮次，基于所述训练集，训练轻量化改进垃圾桶满溢检测模型。一般情况下，设置300轮或者600轮，可达到收敛状态。可以理解的是，每一轮次的训练和验证后，都会获得当前所述垃圾满溢检测模型的map，以便结束训练后求取最终的所述轻量化改进垃圾满桶溢检测模型的map，而最终的map是所述轻量化改进垃圾满桶溢检测模型在所述验证集上的最佳map。
83.步骤s104-2，测试模型。利用验证后的所述轻量化改进垃圾满桶溢检测模型对待识别的所述测试集进行预测，获得在所述测试集上的预测结果。提前设定准确性阈值，若所述准确度小于预设准确度阈值，则停止训练并输出所述轻量化改进垃圾满桶溢检测模型。这里，所述预设准确度阈值是一个给定值，例如80％。
84.步骤s105，基于预测的结果输出训练完成的垃圾桶满溢检测模型，并将该模型部署至智能机器人；
85.所述步骤s105包括将输出的所述训练完成的垃圾桶满溢检测模型部署到智能机器人。给定预测准确率阈值，若最终预测的结果达到阈值，即可使用该模型。将该模型部署到智能机器人，保证该模型可以运行。
86.步骤s106，将智能机器人巡查待检测区域，并利用训练完成的垃圾桶满溢检测模型实时检测；
87.所述步骤s106包括：提前设定需检测区域，将智能机器人巡查待检测区域，并利用训练完成的垃圾桶满溢检测模型实时检测；所述设定需检测区域是一个范围，可以是一个社区或者一个路口等。
88.本实施例中，使用者规划一个社区作为待检测区域，将智能机器人在社区内巡检，所述模型实时解析视频流，并实时检测每一帧，得到垃圾桶和垃圾位置。
89.步骤s107，若检测到垃圾桶，根据制定的垃圾满溢规则判断当前垃圾桶是否存在垃圾溢出，若是，则将垃圾溢出结果实时上报；否则，不予处置。
90.所述步骤s107包括制定垃圾溢出规则。当检测到垃圾桶和垃圾位置时，通过垃圾溢出规则判定是否存在垃圾溢出，若是，则上报至社区管理中心，通知相关工作人员及时处理。
91.本实施例中，垃圾溢出规则可以是在限定的垃圾桶周围区域内检测到垃圾，即判断为垃圾溢出，其中垃圾桶高度为h，宽度为w，限定区域为垃圾桶上方和下方的1/2h和垃圾桶左方和右方的w范围内。
92.请参见图3，图3是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种垃圾桶满溢轻量化检测设备401、处理器402及存储设备403。
93.一种垃圾桶满溢轻量化检测设备401：所述一种垃圾桶满溢轻量化检测设备401实现所述一种垃圾桶满溢轻量化检测方法。
94.处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种垃圾桶满溢轻量化检测方法。
95.存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种垃圾桶满溢轻量化检测方法。
96.本发明的有益效果是：
97.(1)本发明具备灵活性和灵敏性，不受限于地点和成本，具有较强的实用性；
98.(2)本发明更易于部署在任何智能装备中，本发明提出的改进垃圾满溢检测模型更轻量化，在降低模型计算复杂度的同时，检测速度和检测精度得到较好的改善，易于实时检测，提供更准确的信息。
99.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种垃圾桶满溢轻量化检测方法，其特征在于：包括以下步骤：步骤s101，构建垃圾桶和垃圾样本数据集；步骤s102，标注样本数据集并按比例分为训练集、验证集和测试集；步骤s103，构建垃圾桶满溢检测模型，将垃圾桶满溢检测模型轻量化，并结合e-elan模块增强网络学习能力，得到轻量化改进垃圾桶满溢检测模型；步骤s103中，所述轻量化改进垃圾桶满溢检测模型包括：输入模块、backbone模块、neck模块和head模块；其中输入模块对输入图像进行预处理；backbone模块用于提取图像深层特征；neck模块用于提高特征提取能力；head模块用于评价轻量化改进垃圾桶满溢检测模型；步骤s104，利用所述训练集、验证集和测试集，对所述轻量化改进垃圾桶满溢检测模型进行训练、验证和检测；步骤s105，基于预测的结果输出训练完成的垃圾桶满溢检测模型，并将该模型部署至智能机器人；步骤s106，将智能机器人巡查待检测区域，并利用训练完成的垃圾桶满溢检测模型实时检测；步骤s107，若检测到垃圾桶，根据制定的垃圾满溢规则判断当前垃圾桶是否存在垃圾溢出，若是，则将垃圾溢出结果实时上报；否则，不予处置。2.如权利要求1所述的一种垃圾桶满溢轻量化检测方法，其特征在于：步骤s103中所述垃圾桶满溢检测模型，采用改进yolov5模型。3.如权利要求2所述的一种垃圾桶满溢轻量化检测方法，其特征在于：步骤s103中将垃圾桶满溢检测模型轻量化，具体指，将分组卷积和e-elan模块融合至yolov5模型，使其轻量化。4.如权利要求1所述的一种垃圾桶满溢轻量化检测方法，其特征在于：所述backbone模块的构建过程如下：利用分组卷积igcv3和e-elan模块替换掉传统backbone模块中的部分c3模块和conv模块，得到所述backbone模块。5.如权利要求4所述的一种垃圾桶满溢轻量化检测方法，其特征在于：所述backbone模块的结构包括：第一层：conv模块；第二层：conv模块；第三层：重复3个c3模块；第四层：conv模块；第五层：重复6个c3模块；第六层：igcv3模块；第七层：conv模块；第八层：conv模块；第九层：conv模块；第十层：conv模块；第十一层：conv模块；第十二层：conv模块；第十三层：将前述的第七、八、十和十二层的输出连接；第十四层：conv模块；第十五层：igcv3模块；第十六层：sppf模块。6.如权利要求1所述的一种垃圾桶满溢轻量化检测方法，其特征在于：所述neck模块的构建过程如下：将分组卷积igcv3模块替换掉传统neck模块中的部分c3模块，构成所述neck模块。7.如权利要求6所述的一种垃圾桶满溢轻量化检测方法，其特征在于：所述neck模块的结构包括：第一层：conv模块；第二层：2倍上采样；第三层：将第二层与所述backbone模块的网络结构的第十四层的输出连接；第四层：igcv3模块；第五层：conv模块；第六层：2倍上采样；第七层：将第六层与所述backbone模块的网络结构的第五层的输出连接；第八层：igcv3模块；第九层：conv模块；第十层：将第九层和第五层的输出连接；第十一层：igcv3模块；第
十二层：cnov模块；第十三层：将第十二层和第一层的输出连接；第十四层：igcv3模块；第十五层：detect模块。8.如权利要求1所述的一种垃圾桶满溢轻量化检测方法，其特征在于：步骤s107中，所述垃圾满溢规则具体为：在限定的垃圾桶周围区域内检测到垃圾，即判断为垃圾溢出，其中垃圾桶高度为h，宽度为w，限定区域为垃圾桶上方和下方的1/2h和垃圾桶左方和右方的w范围内，其中h、w均为预设值。9.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～6所述的任意一种垃圾桶满溢轻量化检测方法。10.一种垃圾桶满溢轻量化检测设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～6所述的任意一种垃圾桶满溢轻量化检测方法。

技术总结
本发明公开了一种垃圾桶满溢轻量化检测方法、设备及存储设备，方法包括：构建垃圾桶和垃圾样本数据集；标注样本数据集并按比例分为训练集、验证集和测试集；构建垃圾桶满溢检测模型，将垃圾桶满溢检测模型轻量化，并结合E-ELAN模块增强网络学习能力，得到轻量化改进垃圾桶满溢检测模型；对轻量化改进垃圾桶满溢检测模型进行训练，得到训练完成的模型，并将该模型部署至智能机器人；将智能机器人巡查待检测区域，完成实时检测；若检测到垃圾桶，根据制定的垃圾满溢规则判断当前垃圾桶是否存在垃圾溢出，若是，则将垃圾溢出结果实时上报；否则，不予处置。本发明有益效果是：能够兼顾检测实时性、准确率。准确率。准确率。


技术研发人员：段木 杨超 胡楚丽 侯瑶瑶 王涛 姚世红
受保护的技术使用者：中国地质大学（武汉）
技术研发日：2023.06.08
技术公布日：2023/8/24