基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统与流程

1.本发明涉及照明领域，特别是涉及一种基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统。


背景技术：

2.随着各地智能化城市建设的推广和发展，道路照明系统逐渐受到重视。传统照明系统一般根据路灯所在经纬度、不同天气的定时开关时控系统，逐一按片区开启，路灯照明时保持固定不变的灯源亮度，检修需要人工不断到现场定时巡视、维护观察每个路灯的照明情况，查看是否有路灯出现故障或者损毁，这浪费了大量的照明资源、人力资源、财力和物力。在能源紧缺、信息技术越来越发达的今天，传统路灯照明系统已经无法满足现今的使用需求。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统，用于解决以上现有技术问题。
4.为实现上述目的及其他相关目的，本发明提供一种基于图像识别的路灯照明监测方法，所述方法包括：获取实时采集的路灯场景图像；对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；将所述照明故障路灯位置信息上传至监测控制中心进行监测。
5.于本发明的一实施例中，所述对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像包括：基于特征提取网络，根据输入的路灯场景图像获得对应所述路灯场景图像的特征图；基于目标检测框架，根据所述路灯场景图像的特征图生成对应路灯区域的一或多个检测框；基于语义分割模型，预测各检测框内图像的实例掩膜，以输出对应的路灯掩模图像；其中，所述路灯掩模图像中的路灯区域为rgb色彩图像，非路灯区域为黑色图像。
6.于本发明的一实施例中，所述筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯包括：基于所述路灯场景图像的采集环境信息，筛选所述路灯掩模图像中的有效路灯区域；按照路灯数量将所述有效路灯区域划分为多个路灯区块；表征每个路灯区块中的路灯亮度值；基于各路灯亮度值判断各路灯区块存在的故障路灯。
7.于本发明的一实施例中，所述表征每个路灯区块中各路灯的路灯亮度值包括：将各个路灯区块从rgb色彩空间转移至yuv色彩空间，并提取其中的y分量来表征各路灯区块的路灯亮度值。
8.于本发明的一实施例中，所述基于各路灯亮度值判断各路灯区块存在的故障路灯包括：基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度值判断各路灯区块的路灯照明状态是否正常；基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯。
9.于本发明的一实施例中，所述基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度判断各路灯区块的路灯照明状态是否正常包括：基于每个路灯区块的路灯亮度值及由各路灯亮度值计算的所有路灯区块的平均亮度值，计算各个路灯区块的亮度离均差；将各个路灯区块的亮度离均差与设定路灯区块阈值进行对比；若路灯区块的亮度离均差小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态正常；若路灯区块的亮度离均差不小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态不正常。
10.于本发明的一实施例中，所述基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯包括：统计路灯照明状态不正常的路灯区块以及其相邻区块的所有路灯的亮度值，并计算获得路灯区块以及其相邻区块的所有路灯的平均亮度值以及路灯照明状态不正常的路灯区块的每个路灯的亮度值；计算路灯照明状态不正常的路灯区块的每个路灯的亮度离均差；将各个路灯的亮度离均差与设定路灯阈值进行对比；若路灯的亮度离均差小于所述设定路灯阈值，则对应路灯亮度正常，判断不为照明故障路灯；若路灯的亮度离均差不小于所述设定路灯阈值，则对应路灯熄灭，判断对应路灯为照明故障路灯。
11.于本发明的一实施例中，所述对各故障路灯进行定位并生成故障路灯信息包括：从左到右遍历所述路灯掩模图像，对所述路灯掩模图像中的所有路灯区块和路灯依次编号；基于各判断为照明故障路灯的路灯以及其所在的路灯区块的编号生成照明故障路灯位置信息。
12.于本发明的一实施例中，所述采集环境信息包括：道路宽度、路灯间距以及采集路灯场景图像的图像采集设备的旋转角度。
13.为实现上述目的及其他相关目的，本发明提供一种基于图像识别的路灯照明监测系统，所述系统包括：图像获取模块，用于获取由图像采集设备实时采集的路灯场景图像；路灯区域分割模块，连接所述图像获取模块，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；照明亮灭判别模块，连接所述路灯区域分割模块，用于筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；路灯定位模块，连接所述路灯区域分割模块以及照明亮灭判别模块，用于对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；信息上传模块，连接所述路灯定位模块，用于将所述照明故障路灯位置信息上传至监测控制中心进行监测。
14.为实现上述目的及其他相关目的，本发明提供一种基于图像识别的路灯照明监测终端，包括：一或多个存储器及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行所述基于图像识别的路灯照明监测方法。
15.为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被一个或多个处理器运行时执行所述基于图像识别的路灯照明监测方法。
16.为实现上述目的及其他相关目的，本发明提供一种路灯照明系统，所述系统包括：图像采集设备、边缘节点、信息上传装置以及中央处理器；其中，所述图像采集设备，用于实时采集路灯场景图像；所述边缘节点，通信连接所述图像采集设备，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；所述信息上传装置，通信连接所述边缘节点以及中央处理器，用于将所述照明故障路灯位置信息上传至中央处理器进行监测。
17.如上所述，本发明是一种基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统，具有以下有益效果：本发明通过对实时采集的路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像，再筛选所述路灯掩模图像中的有效路灯区域，判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯，最后将对各照明故障路灯进行定位生成的照明故障路灯位置信息上传至监测控制中心进行监测。本发明通过对实时路灯场景图片进行处理分区判别，可精确地判别道路中的照明故障路灯，有效地利用电力资源，尽量避免能源的浪费，提高城市基础设施管理水平，有效地节省人力物力及财力。
附图说明
18.图1显示为本发明一实施例中的基于图像识别的路灯照明监测方法的流程示意图。
19.图2显示为本发明一实施例中的路灯掩模图像分割方法的流程示意图。
20.图3显示为本发明一实施例中的照明故障路灯判别方法的流程示意图。
21.图4显示为本发明一实施例中的照明故障路灯判别方法的流程示意图。
22.图5显示为本发明一实施例中的生成照明故障路灯位置信息的流程示意图。
23.图6显示为本发明一实施例中的基于图像识别的路灯照明监测系统的结构示意图。
24.图7显示为本发明一实施例中的路灯照明系统的结构示意图。
25.图8显示为本发明一实施例中的路灯照明系统的结构示意图。
26.图9显示为本发明一实施例中的路灯照明系统的应用方法示意图。
27.图10显示为本发明一实施例中的亮暗判别模块进行故障路灯判别的方式的流程示意图。
28.图11显示为本发明一实施例中的基于图像识别的路灯照明监测终端的结构示意图。
具体实施方式
29.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
30.需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、
““
下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
31.在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
32.其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成分、区域、层或段。
33.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
34.本发明的一种基于图像识别的路灯照明监测方法，通过对实时采集的路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像，再筛选所述路灯掩模图像中的有效路灯区域，判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯，最后将对各照明故障路灯进行定位生成的照明故障路灯位置信息上传至监测控制中心进行监测。本发明通过对实时路灯场景图片进行处理分区判别，可精确的判别道路中的照明故障路灯，有效地利用电力资源，尽量避免能源的浪费，提高城市基础设施管理水平，有效地节省人力物力及财力。
35.下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
36.如图1展示本发明实施例中的一种基于图像识别的路灯照明监测方法的流程示意图。
37.所述方法包括：
38.步骤s1：获取实时采集的路灯场景图像。
39.在一实施例中，获取的路灯场景图像可通过图像采集设备进行实时采集，该路灯场景图像中具有多个排列在道路两边的路灯，路灯之间具有一定间距，且每条道路具有一定宽度。
40.图像采集设备安装方式和拍摄角度不受限定，可采用固定安装于不同位置的图像采集设备或者移动式图像采集设备，固定安装的图像采集设备例如用于道路监控的道路监控摄像设备，移动式图像采集设备例如无人机、移动车辆上配备的图像采集设备等。图像采集设备可以为具有图像采集功能的任意装置，例如摄像头。
41.步骤s2：对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像。
42.在一实施例中，由于图像采集设备拍摄范围内采集的实时路灯场景图片中的光源不仅仅只有路灯，还可能存在沿街商店的店内灯、店外招牌灯、道路车灯、装饰灯、指示灯等形成的光源，会对路灯照明情况的判定产生偏差，所以需对实时的路灯场景图像进行处理；
43.如图2所示，步骤s2包括：
44.步骤s21：基于特征提取网络，根据输入的路灯场景图像获得对应所述路灯场景图像的特征图；
45.步骤s22：基于目标检测框架，根据所述路灯场景图像的特征图生成对应路灯区域的一或多个检测框；即将路灯场景图像的特征图输入至目标检测框架，生成路灯roi区域的检测框；
46.步骤s23：基于语义分割模型，预测各检测框内图像的实例掩膜，以输出对应的路灯掩模图像；其中，所述路灯掩模图像中的路灯区域为rgb色彩图像，非路灯区域为黑色图像。即输出图像除路灯(不包括灯杆)之外均为黑色，路灯(不包括灯杆)保留rgb色彩。
47.步骤s3：筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯。
48.在一实施例中，如图3所示，步骤s3包括：
49.步骤s31：基于所述路灯场景图像的采集环境信息，筛选所述路灯掩模图像中的有效路灯区域；
50.步骤s32：按照路灯数量将所述有效路灯区域划分为多个路灯区块；
51.具体的，考虑到遍历矩形区块像素相较于直接遍历不规则路灯像素的复杂度较低，所以本技术先通过对有效路灯区域进行分块的策略，判断每个路灯区块是否存在路灯熄灭，随后再在存在问题的有效路灯区域内部遍历不规则的路灯像素找到故障路灯，只需要遍历存在问题的有效路灯区域内的路灯，一定程度上可降低计算复杂度。
52.由此将有效路灯区域按照路灯数量划分成n个路灯区块，若有余数则将余数路灯单独划分为一个路灯区块；举例来说，每三个路灯划分为一个路灯区块。
53.步骤s33：表征每个路灯区块中的路灯亮度值；
54.步骤s34：基于各路灯亮度值判断各路灯区块存在的故障路灯。
55.在一实施例中，由于实时路灯场景图像拍摄角度和拍摄位置不限，如何更精确地在一排“非等间距，非等大小，非等亮度值”的路灯判别是本技术的需重点解决的问题；所述采集环境信息包括：道路宽度、路灯间距以及采集路灯场景图像的图像采集设备的旋转角度；根据根据道路宽度、路灯间距、图像采集设备的旋转角度筛选有效路灯区域已排除离图
像采集设备距离较远的路灯。
56.在一具体实施例中，所述表征每个路灯区块中各路灯的路灯亮度值包括：将各个路灯区块从rgb色彩空间转移至yuv色彩空间，并提取其中的y分量来表征各路灯区块的路灯亮度值。
57.在一实施例中，所述基于各路灯亮度值判断各路灯区块存在的故障路灯包括：
58.基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度值判断各路灯区块的路灯照明状态是否正常；
59.基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯。
60.在一具体实施例中，如图4所示，所述基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度判断各路灯区块的路灯照明状态是否正常包括：
61.基于每个路灯区块的路灯亮度值及由各路灯亮度值计算的所有路灯区块的平均亮度值，计算各个路灯区块的亮度离均差；具体的，此处的离均差为一路灯区块的路灯亮度值与所有路灯区块的平均亮度值之差；
62.将各个路灯区块的亮度离均差与设定路灯区块阈值进行对比；
63.若路灯区块的亮度离均差小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态正常；
64.若路灯区块的亮度离均差不小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态不正常。
65.在一实施例中，如图4所示，所述基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯包括：
66.统计路灯照明状态不正常的路灯区块以及其相邻区块的所有路灯的亮度值，并计算获得路灯区块以及其相邻区块的所有路灯的平均亮度值以及路灯照明状态不正常的路灯区块的每个路灯的亮度值；具体的，若路灯区块i为非靠边区块，则统计路灯区块i、路灯区块i-1及路灯区块i+1内所有路灯的亮度值，分别计算路灯区块i内每个路灯的亮度值及路灯区块i内所有路灯的平均亮度值。若路灯区块i为靠边区块，对于最左侧的第一路灯区块，只需统计第一个路灯区块和第二个路灯区块内所有路灯的平均亮度值；对于最右侧路灯区块x，只需计算路灯区块x与路灯区块x-1所有路灯的平均亮度值；需要说明的是，为了考虑到路灯区块i内所有路灯全灭的特殊情况，统计路灯区块及相邻路灯区块是考虑到路灯区块内所有路灯全灭的特殊情况。
67.计算路灯照明状态不正常的路灯区块的每个路灯的亮度离均差；具体的，此处的离均差为路灯照明状态不正常的路灯区块的一路灯的亮度值与路灯区块以及其相邻区块的所有路灯的平均亮度值之差；
68.将各个路灯的亮度离均差与设定路灯阈值进行对比；
69.若路灯的亮度离均差小于所述设定路灯阈值，则对应路灯亮度正常，判断对应路灯不为照明故障路灯；
70.若路灯的亮度离均差不小于所述设定路灯阈值，则对应路灯熄灭，判断对应路灯为照明故障路灯。
71.步骤s4：对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息。
72.在一实施例中，步骤s4包括：
73.从左到右遍历所述路灯掩模图像，对所述路灯掩模图像中的所有路灯区块和路灯依次编号；
74.基于各判断为照明故障路灯的路灯以及其所在的路灯区块的编号生成照明故障路灯位置信息。
75.具体的，如图5所示，步骤s4包括：
76.获取实例分割后的路灯掩模图像；
77.从左至右遍历路灯掩模图像，对路灯掩模图像中的所有路灯区块和路灯依次编号；
78.获取判断为照明故障路灯的路灯以及其所在的路灯区块的编号；
79.根据判断为照明故障路灯的路灯以及其所在的路灯区块的编号生成照明故障路灯位置信息。
80.步骤s5：将所述照明故障路灯位置信息上传至监测控制中心进行监测。
81.在一实施例中，在定位故障路灯并生成照明故障路灯位置信息后，将照明故障路灯位置信息上传至监测控制中心，监测控制中心对故障路灯情况进行研判上报，供工作人员对故障路灯进行后续维护处理。
82.与上述实施例原理相似的是，本发明提供一种基于图像识别的路灯照明监测系统。
83.以下结合附图提供具体实施例：
84.如图6展示本发明实施例中的一种基于图像识别的路灯照明监测系统的结构示意图。
85.所述系统包括：
86.图像获取模块61，用于获取由图像采集设备实时采集的路灯场景图像；
87.路灯区域分割模块62，连接所述图像获取模块61，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；
88.照明亮灭判别模块63，连接所述路灯区域分割模块62，用于筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；
89.路灯定位模块64，连接所述路灯区域分割模块62以及照明亮灭判别模块63，用于对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；
90.信息上传模块65，连接所述路灯定位模块64，用于将所述照明故障路灯位置信息上传至监测控制中心进行监测。
91.需说明的是，应理解图6系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现；
92.例如各模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或
多个微处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
93.由于该基于图像识别的路灯照明监测系统的实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。
94.在一实施例中，所述路灯区域分割模块62用于基于特征提取网络，根据输入的路灯场景图像获得对应所述路灯场景图像的特征图；基于目标检测框架，根据所述路灯场景图像的特征图生成对应路灯区域的一或多个检测框；基于语义分割模型，预测各检测框内图像的实例掩膜，以输出对应的路灯掩模图像；其中，所述路灯掩模图像中的路灯区域为rgb色彩图像，非路灯区域为黑色图像。
95.在一实施例中，所述照明亮灭判别模块63用于基于所述路灯场景图像的采集环境信息，筛选所述路灯掩模图像中的有效路灯区域；按照路灯数量将所述有效路灯区域划分为多个路灯区块；表征每个路灯区块中的路灯亮度值；基于各路灯亮度值判断各路灯区块存在的故障路灯。
96.在一实施例中，所述表征每个路灯区块中各路灯的路灯亮度值包括：将各个路灯区块从rgb色彩空间转移至yuv色彩空间，并提取其中的y分量来表征各路灯区块的路灯亮度值。
97.在一实施例中，所述基于各路灯亮度值判断各路灯区块存在的故障路灯包括：基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度值判断各路灯区块的路灯照明状态是否正常；基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯。
98.在一实施例中，所述基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度判断各路灯区块的路灯照明状态是否正常包括：基于每个路灯区块的路灯亮度值及由各路灯亮度值计算的所有路灯区块的平均亮度值，计算各个路灯区块的亮度离均差；将各个路灯区块的亮度离均差与设定路灯区块阈值进行对比；若路灯区块的亮度离均差小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态正常；若路灯区块的亮度离均差不小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态不正常。
99.在一实施例中，所述基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯包括：统计路灯照明状态不正常的路灯区块以及其相邻区块的所有路灯的亮度值，并计算获得路灯区块以及其相邻区块的所有路灯的平均亮度值以及路灯照明状态不正常的路灯区块的每个路灯的亮度值；计算路灯照明状态不正常的路灯区块的每个路灯的亮度离均差；将各个路灯的亮度离均差与设定路灯阈值进行对比；若路灯的亮度离均差小于所述设定路灯阈值，则对应路灯亮度正常，判断对应路灯不为照明故障路灯；若亮度离均差不小于所述设定路灯阈值，则对应路灯熄灭，判断对应路灯为照明故障路灯。
100.在一实施例中，所述路灯定位模块用于从左到右遍历所述路灯掩模图像，对所述
路灯掩模图像中的所有路灯区块和路灯依次编号；基于各判断为照明故障路灯的路灯以及其所在的路灯区块的编号生成照明故障路灯位置信息。
101.如图7展示本发明实施例中的一种路灯照明系统的结构示意图。
102.所述系统包括：图像采集设备1、边缘节点2、信息上传装置3以及中央处理器4；
103.其中，所述图像采集设备1，用于实时采集路灯场景图像；
104.所述边缘节点2，通信连接所述图像采集设备1，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；
105.所述信息上传装置3，通信连接所述边缘节点2以及中央处理器4，用于将所述照明故障路灯位置信息上传至中央处理器进行监测。所述中央处理器4为具有数据处理功能的处理装置，对上传的照明故障路灯位置信息的数据进行处理以及分析，进而实现对图像中各路灯的照明状态进行监测。
106.需要说明的是，为减少网络传输和多级转发带来的宽度和时延损耗，本技术的边缘节点负责处理网络边缘侧的部分数据处理和数据存储。
107.在一优选的实施例中即所述边缘节点2内设置有图像获取模块、路灯区域分割模块、照明亮灭判别模块以及路灯定位模块；可以实现如图6所示的图像获取模块61、路灯区域分割模块62、照明亮灭判别模块63以及路灯定位模块64；所述信息上传装置3实现如图6所示的信息上传模块65的功能。因此在此不做赘述。
108.即本发明将主要数据处理和数据存储设置于边缘节点，能有效减少网络传输和多级转发所带来的宽度和时延损耗，减少请求响应时间。
109.为了更好的说明上述一种路灯照明系统，本发明提供以下具体实施例。
110.实施例1：一种路灯照明系统。图8为基于图像识别的路灯照明系统的结构示意图。
111.所述系统包括：图像采集模块、边缘节点处理器、信息上传模块和中央处理器；
112.其中，图像采集模块，用于获取实时路灯场景图片；边缘节点处理器用于将输入的路灯场景图片分割出掩膜图像进行故障路灯判别，并定位故障路灯的定位信息；信息上传模块用于上传故障路灯信息至中央处理器进数据处理分析。
113.具体的，边缘节点处理器包括路灯分割模块、亮暗判别模块和路灯定位模块；其中，路灯分割模块用于将图像采集模块所采集的实时路灯场景图片分割出路灯掩膜图像；亮暗判别模块用于筛选路灯掩膜图像中的有效路灯区域，并将有效路灯区域划分成n个路灯区块，逐一判断各个路灯区块内是否存在故障路灯，再进一步判别故障路灯区块内的故障路灯；路灯定位模块用于定位故障路灯的位置，生成故障路灯信息。
114.如图9所示，路灯照明系统的应用方法包括：
115.图像采集模块获取实时路灯场景图片；路灯场景图片输入到路灯分割模块分割出路灯掩膜图像；路灯掩膜图像输入至亮暗判别模块进行故障路灯判别；路灯定位模块获取故障路灯的定位信息；信息上传模块上传故障路灯信息。
116.其中，如图10所示，亮暗判别模块进行故障路灯判别的方式包括：
117.获取实例分割后的路灯掩膜图像；
118.在获取到实例分割后的路灯掩膜图像后，根据道路宽度、路灯间距、图像采集设备
的旋转角度筛选有效路灯区域；
119.将有效路灯区域按照路灯数量划分成n个路灯区块(n≥3)，若有余数则将余数路灯单独划分为一个路灯区块；
120.将各个路灯区块从rgb色彩空间转移至yuv色彩空间，提取其中的y分量来表征路灯亮度值，分别计算每个路灯区块的平均亮度及所有区块的平均亮度；
121.先逐一判断各个路灯区块i的亮度离均差是否小于设定路灯区块阈值，若路灯区块i的亮度离均差小于设定路灯区块阈值，则判断路灯区块i内的路灯均正常，若路灯区块i的亮度离均差大于等于设定路灯区块阈值，则进入下一步处理；
122.统计路灯区块i及路灯区块i-1、路灯区块i+1内所有路灯的平均亮度(此处统计路灯区块i及其左右路灯区块i-1,路灯区块i+1是考虑到路灯区块i内所有路灯全灭的特殊情况)，分别计算路灯区块内每个路灯(不规则形状)的平均亮度及路灯区块内所有路灯的平均亮度；
123.逐一判断路灯j的亮度离均差是否小于设定路灯阈值，如果路灯j的亮度离均差小于设定路灯阈值，则判断该路灯正常，如果路灯j的亮度离均差大于等于设定路灯阈值，则判定该路灯为故障路灯，以供定位故障路灯的位置形成故障路灯信息。
124.因此，本实施例具有以下优势：
125.1、通过对实时路灯场景图片进行处理分区判别，可精确的判别道路中的故障路灯，有效地利用电力资源，尽量避免能源的浪费，提高城市基础设施管理水平，有效地节省人力物力及财力。
126.2、将主要数据处理和数据存储设置于边缘节点，能有效减少网络传输和多级转发所带来的宽度和时延损耗，减少请求响应时间。
127.如图11展示本发明实施例中的基于图像识别的路灯照明监测终端80的结构示意图。
128.所述基于图像识别的路灯照明监测终端80包括：存储器81及处理器82。所述存储器81用于存储计算机程序；所述处理器82运行计算机程序，实现如图1所述的基于图像识别的路灯照明监测方法。
129.可选的，所述存储器81的数量均可以是一或多个，所述处理器82的数量均可以是一或多个，而图11中均以一个为例。
130.可选的，所述基于图像识别的路灯照明监测终端80中的处理器82会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器81中，并由处理器82来运行存储在第一存储器81中的应用程序，从而实现如图1所述基于图像识别的路灯照明监测方法中的各种功能。
131.可选的，所述存储器81，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器82，可能包括但不限于中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
132.可选的，所述处理器82可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
133.本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的基于图像识别的路灯照明监测方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、cd-rom(只读光盘存储器)、磁光盘、rom(只读存储器)、ram(随机存取存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
134.综上所述，本发明的基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统，通过对实时采集的路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像，再筛选所述路灯掩模图像中的有效路灯区域，判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯，最后将对各照明故障路灯进行定位生成的照明故障路灯位置信息上传至监测控制中心进行监测。本发明通过对实时路灯场景图片进行处理分区判别，可精确的判别道路中的照明故障路灯，有效地利用电力资源，尽量避免能源的浪费，提高城市基础设施管理水平，有效地节省人力物力及财力。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
135.上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种基于图像识别的路灯照明监测方法，其特征在于，所述方法包括：获取实时采集的路灯场景图像；对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；将所述照明故障路灯位置信息上传至监测控制中心进行监测。2.根据权利要求1中所述的基于图像识别的路灯照明监测方法，其特征在于，所述对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像包括：基于特征提取网络，根据输入的路灯场景图像获得对应所述路灯场景图像的特征图；基于目标检测框架，根据所述路灯场景图像的特征图生成对应路灯区域的一或多个检测框；基于语义分割模型，预测各检测框内图像的实例掩膜，以输出对应的路灯掩模图像；其中，所述路灯掩模图像中的路灯区域为rgb色彩图像，非路灯区域为黑色图像。3.根据权利要求1中所述的基于图像识别的路灯照明监测方法，其特征在于，所述筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯包括：基于所述路灯场景图像的采集环境信息，筛选所述路灯掩模图像中的有效路灯区域；按照路灯数量将所述有效路灯区域划分为多个路灯区块；表征每个路灯区块中的路灯亮度值；基于各路灯亮度值判断各路灯区块存在的故障路灯。4.根据权利要求3中所述的基于图像识别的路灯照明监测方法，其特征在于，所述表征每个路灯区块中各路灯的路灯亮度值包括：将各个路灯区块从rgb色彩空间转移至yuv色彩空间，并提取其中的y分量来表征各路灯区块的路灯亮度值。5.根据权利要求3中所述的基于图像识别的路灯照明监测方法，其特征在于，所述基于各路灯亮度值判断各路灯区块存在的故障路灯包括：基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度值判断各路灯区块的路灯照明状态是否正常；基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯。6.根据权利要求5中所述的基于图像识别的路灯照明监测方法，其特征在于，所述基于各路灯区块的路灯亮度值以及由各路灯亮度值计算的所有路灯区块的平均亮度判断各路灯区块的路灯照明状态是否正常包括：基于每个路灯区块的路灯亮度值及由各路灯亮度值计算的所有路灯区块的平均亮度值，计算各个路灯区块的亮度离均差；将各个路灯区块的亮度离均差与设定路灯区块阈值进行对比；若路灯区块的亮度离均差小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态正常；
若路灯区块的亮度离均差不小于所述设定路灯区块阈值，则判断对应路灯区块的路灯照明状态不正常。7.根据权利要求5中所述的基于图像识别的路灯照明监测方法，其特征在于，所述基于路灯照明状态不正常的路灯区块以及其相邻区块的各路灯的路灯亮度值判定路灯照明状态不正常的路灯区块中存在的照明故障路灯包括：统计路灯照明状态不正常的路灯区块以及其相邻区块的所有路灯的亮度值，并计算获得路灯区块以及其相邻区块的所有路灯的平均亮度值以及路灯照明状态不正常的路灯区块的每个路灯的亮度值；计算路灯照明状态不正常的路灯区块的每个路灯的亮度离均差；将各个路灯的亮度离均差与设定路灯阈值进行对比；若路灯的亮度离均差小于所述设定路灯阈值，则对应路灯亮度正常，判断对应路灯不为照明故障路灯；若路灯的亮度离均差不小于所述设定路灯阈值，则对应路灯熄灭，判断对应路灯为照明故障路灯。8.根据权利要求7中所述的基于图像识别的路灯照明监测方法，其特征在于，所述对各故障路灯进行定位并生成故障路灯信息包括：从左到右遍历所述路灯掩模图像，对所述路灯掩模图像中的所有路灯区块和路灯依次编号；基于各判断为照明故障路灯的路灯以及其所在的路灯区块的编号生成照明故障路灯位置信息。9.根据权利要求3中所述的基于图像识别的路灯照明监测方法，其特征在于，所述采集环境信息包括：道路宽度、路灯间距以及采集路灯场景图像的图像采集设备的旋转角度。10.一种基于图像识别的路灯照明监测系统，其特征在于，所述系统包括：图像获取模块，用于获取由图像采集设备实时采集的路灯场景图像；路灯区域分割模块，连接所述图像获取模块，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；照明亮灭判别模块，连接所述路灯区域分割模块，用于筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；路灯定位模块，连接所述路灯区域分割模块以及照明亮灭判别模块，用于对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；信息上传模块，连接所述路灯定位模块，用于将所述照明故障路灯位置信息上传至监测控制中心进行监测。11.一种基于图像识别的路灯照明监测终端，其特征在于，包括：一或多个存储器及一或多个处理器；所述一或多个存储器，用于存储计算机程序；所述一或多个处理器，连接所述存储器，用于运行所述计算机程序以执行如权利要求1至9所述的方法。12.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被一个或多个处理器运行时执行如权利要求1至9中任一项所述的方法。
13.一种路灯照明系统，其特征在于，所述系统包括：图像采集设备、边缘节点、信息上传装置以及中央处理器；其中，所述图像采集设备，用于实时采集路灯场景图像；所述边缘节点，通信连接所述图像采集设备，用于对所述路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像；筛选所述路灯掩模图像中的有效路灯区域，并判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯；对各照明故障路灯进行定位并生成对应的照明故障路灯位置信息；所述信息上传装置，通信连接所述边缘节点以及中央处理器，用于将所述照明故障路灯位置信息上传至中央处理器进行监测。

技术总结
本发明提供一种基于图像识别的路灯照明监测方法、系统、终端、介质及照明系统，通过对实时采集的路灯场景图像进行路灯区域分割，并从路灯区域分割出路灯掩模图像，再筛选所述路灯掩模图像中的有效路灯区域，判别由有效路灯区域划分的多个路灯区块中分别存在的照明故障路灯，最后将对各照明故障路灯进行定位生成的照明故障路灯位置信息上传至监测控制中心进行监测。本发明通过对实时路灯场景图片进行处理分区判别，可精确的判别道路中的照明故障路灯，有效地利用电力资源，尽量避免能源的浪费，提高城市基础设施管理水平，有效地节省人力物力及财力。力物力及财力。力物力及财力。


技术研发人员：姜玉稀 陈琪 文星 林聪毅
受保护的技术使用者：上海三思科技发展有限公司 嘉善三思光电技术有限公司 浦江三思光电技术有限公司 浙江浦照光电技术有限公司
技术研发日：2023.03.20
技术公布日：2023/7/31