一种用于施工监控系统的异常识别方法与流程

1.本发明涉及数据处理技术领域，具体涉及一种用于施工监控系统的异常识别方法。


背景技术：

2.施工现场情况复杂且存在较多安全隐患，而有些施工人员安全意识薄弱，不能及时意识到危险，造成不可挽回的损失。由多个监控设备以及显示监控画面的设备组成的施工监控系统，只能实时采集施工现场的画面并显示，通过人为观看监控视频才能发现施工现场的异常情况，效率低下，及时性差。
3.随着科技的发展，出现了用于及时发现施工现场的危险情况，识别异常情况的智能施工监控系统。智能施工监控系统一般通过学习大量数据构建识别模型，识别采集的施工现场图像中的异常行为，但是这种识别异常的方法需要大量数据支撑，成本过高。或者是通过对比监控视频图像与预先获取的标准图像之间的差异来判断是否存在异常，但是施工人员在进行施工作业时并不是一成不变的，仅仅通过与标准图像对比进行异常判断很容易误检，造成异常识别不准确。


技术实现要素：

4.为了解决是施工监控系统异常识别不准确的问题，本发明提供一种用于施工监控系统的异常识别方法，所采用的技术方案具体如下：获取施工现场的监控画面，所述监控画面为连续的监控图像；基于每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值；通过计算每相邻两帧监控图像对应位置像素点的信息值之差得到对应的帧差图像；识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配，获取每个物体的移动距离；根据每帧帧差图像与相邻帧帧差图像之间的时间间隔以及移动距离获取对应物体的速度异常值，基于每个物体在帧差图像中的面积获取面积异常值；利用预设时段下的帧差图像的面积变化获取正常活动范围，依据所述正常活动范围获取异常调整值；通过每帧帧差图像中所有物体的速度异常值、面积异常值结合所述异常调整值以及预设的衰减值获取对应帧差图像的异常程度；将所有帧差图像的异常程度累加得到综合异常程度，当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常。
5.进一步的，所述信息值的获取方法为：对每个像素点的灰度值和梯度值分别进行归一化，将得到的两个归一化结果加权求和得到对应像素点的所述信息值。
6.进一步的，所述帧差图像的获取方法为：对于相邻的两帧监控图像，以后一帧监控图像中任意一个像素点的信息值减去前一帧监控图像中对应位置像素点的信息值，得到的差值绝对值作为该像素点处的帧差值，
以帧差值作为对应像素点的像素值生成所述帧差图像。
7.进一步的，所述移动距离的获取方法为：通过角点匹配的结果获取物体的质心像素点在相邻两帧帧差图像中的坐标，根据两帧帧差图像中质心像素点的坐标获取质心像素点的移动距离作为对应物体的移动距离。
8.进一步的，所述速度异常值的获取方法为：获取施工现场的最大规范速度，以每个物体的移动距离与对应的时间间隔的比值作为该物体的移动速度，当移动速度大于所述最大规范速度时，该物体存在异常移动，计算所述移动速度与所述最大规范速度的速度差，以所述速度差在移动速度中的占比作为所述速度异常值。
9.进一步的，所述面积异常值的获取方法为：当物体存在异常移动时，以物体在帧差图像中的面积开方的结果作为所述面积异常值。
10.进一步的，所述异常调整值的获取方法为：计算所述正常活动范围占所在监控图像面积的比例作为所述异常调整值。
11.进一步的，所述异常程度的获取方法：对于帧差图像中的每个物体，当物体存在异常移动时，计算所述速度异常值和所述面积异常值的和，乘上所述异常调整值得到异常值，利用所述预设的衰减值对异常值进行调整，帧差图像中所有存在异常移动的物体调整后的异常值求和得到对应帧差图像的所述异常程度。
12.本发明至少具有如下有益效果：通过结合每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值，将灰度值和梯度值相结合得到更加明显反映像素点信息的信息值；然后通过对信息值进行帧差获取帧差图像，加强相邻两帧监控图像之间的差异，对相邻的帧差图像进行角点匹配来获取物体的移动距离，通过相邻帧差图像中同一物体的变化反映该物体的移动情况，进而获取速度异常值以判断出现移动异常的可能，以每帧帧差图像本身的面积来反映出现面积异常的可能；进一步的根据预设时段下的帧差图像的面积变化获取正常活动范围，施工人员作业时往往只在固定范围内活动，通过一段时间下帧差图像中的面积变化反映施工人员的正常活动范围，进而得到异常调整值，在已知正常活动范围的情况下得到异常调整值，然后结合速度异常值、面积异常值以及衰减值获取每帧帧差图像的异常程度，结合多方面的异常指标共同获取异常程度；然后累加所有帧差图像的异常程度作为综合异常程度进行异常识别。本发明能够通过数据处理在多方面获取反映异常的指标，进而结合各个指标得到准确的异常识别结果，减少对施工现场异常情况的误检，保证施工安全，提高施工效率。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
14.图1为本发明一个实施例提供的一种用于施工监控系统的异常识别方法的步骤流
程图。
具体实施方式
15.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于施工监控系统的异常识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
16.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
17.下面结合附图具体的说明本发明所提供的一种用于施工监控系统的异常识别方法的具体方案。
18.请参阅图1，其示出了本发明一个实施例提供的一种用于施工监控系统的异常识别方法的步骤流程图，该方法包括以下步骤：步骤s001，获取施工现场的监控画面，监控画面为连续的监控图像；基于每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值。
19.施工监控系统中包括监控摄像头和监控中心，能够实时采集所有施工现场的监控画面，每个监控画面对应一个监控视角，包括连续多帧监控图像。监控摄像头需要画面质量尽量高，例如采用400万超清网络球机。
20.施工现场采集到的画面中的内容包括施工人员、器械设备、建筑设施以及背景如地面天空等。考虑到监控画面会因信号波动等原因出现少量噪声，因此在本实施例中通过中值滤波去除图像中的噪声，避免噪声干扰。其中中值滤波为图像处理领域的公知技术，本实施例不再赘述具体过程。
21.对于每帧监控图像，分别计算每个像素点的梯度值，获取每个像素点的像素值，对每个像素点的灰度值和梯度值分别进行归一化，将得到的两个归一化结果加权求和得到对应像素点的信息值。
22.将第n个像素点的像素值归一化结果记为 、梯度值归一化结果为，则和的取值范围均为[0,1]，像素值和梯度值均反映像素点自身的信息，对两个归一化结果加权求和得到第n个像素点的信息值。由于画面中的背景信息如光线的变化等情况，会使移动的物体的亮度发生变化，帧差图像能够捕捉到该变化。因此比起传统的基于像素值的帧差计算，本发明以梯度值作为主要判断依据，同时本发明主要是通过物体的移动进行异常判定，因此梯度值的权重应该略大于像素值，所以在本实施例中对于梯度值和像素值，分别给予0.6和0.4的权重。将灰度值和梯度值相结合得到的信息值能够更加明显地反映像素点的信息。
[0023]
步骤s002，通过计算每相邻两帧监控图像对应位置像素点的信息值之差得到对应的帧差图像；识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配，获取每个物体的移动距离；根据每帧帧差图像与相邻帧帧差图像之间的时间间隔以及移动距离获取对应物体的速度异常值，基于每个物体在帧差图像中的面积获取面积异常值。
[0024]
对于相邻的两帧监控图像，以后一帧监控图像中任意一个像素点的信息值减去前一帧监控图像中对应位置像素点的信息值，得到的差值绝对值作为该像素点处的帧差值，以帧差值作为对应像素点的像素值生成帧差图像。
[0025]
对于相邻的第i帧监控图像和第i+1帧监控图像，以第n个像素点为例，计算得到的帧差值为：，其中，表示第i帧帧差图像中第n个像素点的帧差值，表示第i+1帧监控图像中第n个像素点的信息值，表示第i帧监控图像中第n个像素点的信息值，表示与的差值的绝对值。
[0026]
以每个像素点的帧差值作为对应的像素值生成帧差图像，通过相邻两帧监控图像在对应位置处的信息值差异反映监控图像中的物体移动情况，包括设备的移动以及施工人员的移动或动作。
[0027]
因为固定的施工内容所带来的施工人员活动内容是重复的，对应的在相邻帧差图像中的改变是较小的，同时改变的面积大小也较为连续，并且均分布在活动范围中。而当连续的帧差画面中，突然出现额外的内容，更可能为高空坠物或监控画面外进来的车辆等突发情况。而当这些额外内容出现时，可能会对监控图像内的施工人员的人身安全构成程度不等的危险，此时通过帧差图像的变化来进行后续异常的识别。
[0028]
具体的，首先识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配。识别物体的方法为连通域分析，对帧差图像中每个像素点通过连通域分析判断对应的八邻域范围内是否出现相连通的像素点，直至相连通的所有像素点形成一个连通域，每个连通域为一个物体。
[0029]
通过角点检测获取每个物体的所有角点，然后通过flann算法对相邻两帧帧差图像进行角点匹配，通过各个角点的匹配结果来判断相邻帧差图像中对应物体的对应关系。需要说明的是，flann算法为图像数据处理领域常用的匹配算法，本发明实施例不再赘述具体过程。
[0030]
通过角点匹配的结果获取物体的质心像素点在相邻两帧帧差图像中的坐标，根据两帧帧差图像中质心像素点的坐标获取质心像素点的移动距离作为对应物体的移动距离。
[0031]
获取每个物体在每帧帧差图像中的质心像素点坐标，利用两点间距离公式计算相邻两帧帧差图像的质心像素点坐标之间的距离作为对应物体的移动距离，并将第c个物体的移动距离记为。
[0032]
获取施工现场的最大规范速度，以每个物体的移动距离与对应的时间间隔的比值作为该物体的移动速度，当移动速度大于最大规范速度时，该物体存在异常移动，计算移动速度与最大规范速度的速度差，以速度差在移动速度中的占比作为速度异常值。
[0033]
获取施工现场在安全范围内产生的最大速度作为对应的最大规范速度记为，由于施工场景不同，在对应施工场景下能够接受的最大规范速度不同，例如高空施工作业的最大规范速度与地面作业的最大规范速度可能存在较大差异，因此最大规范速度在不同施工场景下的取值不同，需要根据实际情况设定。
[0034]
计算第c个物体的移动速度，其中，t表示移动距离对应的两帧帧差图
像之间的间隔时间。当移动速度大于最大规范速度时，该物体存在异常移动，此时计算移动速度与最大规范速度的速度差，以速度差在移动速度中的占比作为速度异常值：，代表了第c个物体的移动速度超出最大规范速度的程度，即移动速度与最大规范速度相差越大，速度越异常，速度异常值越大。
[0035]
突然出现在监控画面中的物体，无论是可能出现的高空坠物或是画面外开进来的运输车等信息，对于正在施工的人员来说都具有潜在的危险。并且突然出现的物体的危险程度会随着物体的速度、体积等直观的外在物理表现体现出来。无论是提醒施工人员可能出现的高空坠物进行预警，或是提醒有大型车辆的进入小心避让，异常值都是同步增加的。
[0036]
因此当物体存在异常移动时，同时计算面积异常值。以物体在帧差图像中的面积开方的结果作为面积异常值，即，其中，表示第c个物体的面积异常值，表示第c个物体在帧差图像中的面积。第c个物体在帧差图像中的面积通过统计帧差图像中第c个物体的像素点数量得到。面积异常值是根据物体自身在帧差图像中的面积大小得到的，帧差图像本身便反映了物体的异动情况，面积越大，说明该物体移动越多，根号的目的是用来调节面积对应的异常值的数值大小，防止面积异常值的数值过大影响平衡。
[0037]
通过速度异常值和面积异常值能够表示出现在监控画面中的物体的危险程度随着自身速度和体积的增加而增加。
[0038]
步骤s003，利用预设时段下的帧差图像的面积变化获取正常活动范围，依据正常活动范围获取异常调整值；通过每帧帧差图像中所有物体的速度异常值、面积异常值结合异常调整值以及预设的衰减值获取对应帧差图像的异常程度。
[0039]
考虑到施工人员的人身安全问题以及施工现场的施工规范，无论是施工人员的移动还是器械的移动，对应的移动路径以及速度都是有一定规范的。这一特征反应在连续的帧差画面中，表现为在相邻帧之间的改变幅度是有一定界限的。并且在施工监控画面中，除施工人员以及设备外，画面中其余部分即背景内容的改变是较小的，甚至几乎不会发生改变。
[0040]
也就是说，在同一监控视角下，施工人员在一段时间内的施工内容都是固定的，具有很强的重复性，而固定的施工内容即表现为人员的活动范围固定，反映在帧差图像中即为出现移动的部分的面积变化范围一定。
[0041]
因此利用预设时段下的帧差图像的面积变化获取正常活动范围，具体的，获取预设时段下的连续多帧帧差图像，统计每帧帧差图像中像素点不为0的部分的面积，并计算这些帧差图像中这些面积的平均值作为正常活动范围。
[0042]
像素点不为0的部分即为出现移动的部分，通过统计预设时段下移动部分的面积平均值作为正常情况下的活动范围，即正常活动范围，记为。在本发明实施例中预设时段为10分钟，即统计10分钟内所有帧差图像中像素点不为0的部分的面积的平均值作为正常活动范围。在其他实施例中，可以根据实际情况对预设时段的时长进行调节。
[0043]
计算正常活动范围占所在监控图像面积的比例作为异常调整值。即异常调整值的计算方法为：，其中，表示异常调整值，表示正常活动范围，表示监控图像
面积。由于连续多帧监控图像为同一监控视角下采集的，因此用于计算正常活动范围的所有监控图像大小相同，均为。
[0044]
施工人员的正常活动范围的面积在监控画面中的所占比例越大，则对应的非活动区域的外围区域的范围越小，而如果此时外围区域出现异常物体后，其需要的反应时间越少，对于施工人员来说越危险，此时的异常调整值越大，对后续计算异常程度时的影响越大。
[0045]
对于帧差图像中的每个物体，当物体存在异常移动时，计算速度异常值和面积异常值的和，乘上所述异常调整值得到异常值，利用预设的衰减值对异常值进行调整，帧差图像中所有存在异常移动的物体调整后的异常值求和得到对应帧差图像的异常程度。
[0046]
以第i帧帧差图像为例，基于可能存在异常移动的物体，计算异常程度：
[0047]
其中，表示第i帧帧差图像的异常程度，表示异常调整值，表示第i帧帧差图像中第c个物体的面积异常值，表示第i帧帧差图像中第c个物体的速度异常值，表示衰减值，c表示第i帧帧差图像中物体的总数量。
[0048]
需要说明的是，衰减值为预先设定的，作用是对异常程度的单向增加的情况进行一定程度的抑制，防止因正常情况下出现的一些较弱异常行为得到的异常值无限制叠加。在本发明实施例中衰减值预设为20，在其他实施例中科院根据实际情况调整衰减值的取值。
[0049]
为异常值，反映第c个物体的异常程度，然后再通过异常值减去预设的衰减值完成异常值的调整，将所有物体的调整后的异常程度加和作为第i帧帧差图像的异常程度。速度异常值和面积异常值均基于自身特征来表征危险程度，再结合异常调整值来获取异常程度，反映第i帧帧差图像的异常。
[0050]
当移动速度不大于最大规范速度时，即物体不存在异常移动时，对应的异常值为0。
[0051]
步骤s004，将所有帧差图像的异常程度累加得到综合异常程度，当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常。
[0052]
将所有帧差图像的异常程度累加得到综合异常程度，即从第一帧帧差图像开始累加到当前帧的异常程度，得到综合异常程度，在参考历史图像的基础上反映实时的异常程度。
[0053]
当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常，通过发出预警或显示警示信息等措施对监控人员进行警示提醒。
[0054]
在本发明实施例中异常阈值取值为200，在其他实施例中可以根据实际情况调整异常阈值的取值。且此时的异常阈值仅仅为基准阈值，在实际情况中根据具体监控画面所监控的施工场景进行对应的调整。例如对于高空作业和地面作业来说，速度引起的异常对高空作业产生的危险程度要远高于地面作业，因此对于高空作业的施工场景下，可以将基准阈值进行调低，以此来增大该场景下，对于危险信息的敏感程度，得到高空作业下的异常
阈值。
[0055]
进一步的，在施工监控系统中显示监控画面的监控中心由多个监控视角下的监控画面组合而成，在实时情况下，每个监控视角下都能够得到一个异常程度，将所有监控视角下的监控视角下从大到小排序，按照排序顺序将监控画面排序，令最大的异常程度对应的监控画面处于第一位，以提醒监控人员对该画面进行优先关注。
[0056]
综上所述，本发明实施例获取施工现场的监控画面，监控画面为连续的监控图像；基于每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值；通过计算每相邻两帧监控图像对应位置像素点的信息值之差得到对应的帧差图像；识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配，获取每个物体的移动距离；根据每帧帧差图像与相邻帧帧差图像之间的时间间隔以及移动距离获取对应物体的速度异常值，基于每个物体在帧差图像中的面积获取面积异常值；利用预设时段下的帧差图像的面积变化获取正常活动范围，依据正常活动范围获取异常调整值；通过每帧帧差图像中所有物体的速度异常值、面积异常值结合异常调整值以及预设的衰减值获取对应帧差图像的异常程度；将所有帧差图像的异常程度累加得到综合异常程度，当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常。本发明能够结合多方面的异常判断，得到准确的异常识别结果，减少对施工现场异常情况的误检，保证施工安全，提高施工效率。
[0057]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0058]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0059]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种用于施工监控系统的异常识别方法，其特征在于，该方法包括以下步骤：获取施工现场的监控画面，所述监控画面为连续的监控图像；基于每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值；通过计算每相邻两帧监控图像对应位置像素点的信息值之差得到对应的帧差图像；识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配，获取每个物体的移动距离；根据每帧帧差图像与相邻帧帧差图像之间的时间间隔以及移动距离获取对应物体的速度异常值，基于每个物体在帧差图像中的面积获取面积异常值；利用预设时段下的帧差图像的面积变化获取正常活动范围，依据所述正常活动范围获取异常调整值；通过每帧帧差图像中所有物体的速度异常值、面积异常值结合所述异常调整值以及预设的衰减值获取对应帧差图像的异常程度；将所有帧差图像的异常程度累加得到综合异常程度，当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常。2.根据权利要求1所述的一种用于施工监控系统的异常识别方法，其特征在于，所述信息值的获取方法为：对每个像素点的灰度值和梯度值分别进行归一化，将得到的两个归一化结果加权求和得到对应像素点的所述信息值。3.根据权利要求1所述的一种用于施工监控系统的异常识别方法，其特征在于，所述帧差图像的获取方法为：对于相邻的两帧监控图像，以后一帧监控图像中任意一个像素点的信息值减去前一帧监控图像中对应位置像素点的信息值，得到的差值绝对值作为该像素点处的帧差值，以帧差值作为对应像素点的像素值生成所述帧差图像。4.根据权利要求1所述的一种用于施工监控系统的异常识别方法，其特征在于，所述移动距离的获取方法为：通过角点匹配的结果获取物体的质心像素点在相邻两帧帧差图像中的坐标，根据两帧帧差图像中质心像素点的坐标获取质心像素点的移动距离作为对应物体的移动距离。5.根据权利要求1所述的一种用于施工监控系统的异常识别方法，其特征在于，所述速度异常值的获取方法为：获取施工现场的最大规范速度，以每个物体的移动距离与对应的时间间隔的比值作为该物体的移动速度，当移动速度大于所述最大规范速度时，该物体存在异常移动，计算所述移动速度与所述最大规范速度的速度差，以所述速度差在移动速度中的占比作为所述速度异常值。6.根据权利要求5所述的一种用于施工监控系统的异常识别方法，其特征在于，所述面积异常值的获取方法为：当物体存在异常移动时，以物体在帧差图像中的面积开方的结果作为所述面积异常值。7.根据权利要求1所述的一种用于施工监控系统的异常识别方法，其特征在于，所述异常调整值的获取方法为：计算所述正常活动范围占所在监控图像面积的比例作为所述异常调整值。8.根据权利要求5所述的一种用于施工监控系统的异常识别方法，其特征在于，所述异
常程度的获取方法：对于帧差图像中的每个物体，当物体存在异常移动时，计算所述速度异常值和所述面积异常值的和，乘上所述异常调整值得到异常值，利用所述预设的衰减值对异常值进行调整，帧差图像中所有存在异常移动的物体调整后的异常值求和得到对应帧差图像的所述异常程度。

技术总结
本发明涉及数据处理技术领域，具体涉及一种用于施工监控系统的异常识别方法，该方法获取施工现场的监控画面；基于每帧监控图像中像素点的灰度值和梯度值获取每个像素点的信息值；通过计算每相邻两帧监控图像对应位置像素点的信息值之差得到对应的帧差图像；识别出帧差图像中的物体并将相邻两帧帧差图像进行角点匹配，获取每个物体的移动距离；获取每个物体的速度异常值和面积异常值；获取异常调整值；通过帧差图像中所有物体的速度异常值、面积异常值结合异常调整值以及预设的衰减值获取综合异常程度，当综合异常程度大于预设的异常阈值时，识别为施工现场出现异常。本发明能够通过图像数据处理减少对施工现场异常情况的误检，保证施工安全。保证施工安全。保证施工安全。


技术研发人员：李正刚 蔡春晓 尚知宇 孙火兵 庞小朋
受保护的技术使用者：苏州开普岩土工程有限公司
技术研发日：2023.05.06
技术公布日：2023/7/12