一种基于resNet模型与FasterRCNN算法的吸烟识别方法及装置与流程

一种基于resnet模型与faster rcnn算法的吸烟识别方法及装置
技术领域
1.本发明涉及图像处理技术领域，具体涉及一种基于resnet模型与faster rcnn算法的吸烟识别方法及装置。


背景技术：

2.食品行业的许多环节都会出现禁止吸烟的规定，例如粮仓内就严禁吸烟。在食品行业，吸烟会对食物造成污染。香烟中的气味会使食物内出现异味，吸烟者的气管受到刺激引起咳嗽，可能造成病原体污染。最重要的是，粮仓为了储存粮食，比较干燥，吸烟带来的明火可能会造成火灾。因此需要及时发现粮仓内的吸烟行为并制止。然而现有的吸烟识别方法大多无法准确高效的识别吸烟行为。
3.如中国专利cn115187497a，公开日2022年10月14日，本发明一种吸烟检测方法、系统、设备及介质，该方法包括：获取各个角度的人脸图像与待融合目标物图像，对所述人脸图像与所述待融合目标物图像进行融合处理，得到吸烟图像，将所述吸烟图像与非吸烟图像构成数据集；基于所述数据集建立神经网络模型，进行训练，得到吸烟检测模型；获取待测的目标检测视频，将所述目标检测视频的目标图像输入所述吸烟检测模型进行检测，得到预测概率；根据所述目标图像的预测概率确定所述目标检测视频的吸烟结果，通过以多个角度的人脸图像为基础将待融合目标物图像进行融合处理，得到丰富数据集，通过该数据集训练得到烟检测模型大大提高了吸烟检测的准确度、泛化能力、以及场景迁移的通用能力。该吸烟检测方法的效率和准确率不够高。


技术实现要素：

4.本发明要解决的技术问题是：现有吸烟检测方法的准确率和效率不高的技术问题。提出了一种基于resnet模型与faster rcnn算法的吸烟识别方法及装置，可以有效提高吸烟检测的准确率和效率。
5.为解决上述技术问题，本发明所采取的技术方案为：一种基于resnet模型与faster rcnn算法的吸烟识别方法，包括如下步骤：s1：采集图像数据，获得图像集；s2：利用训练完的头肩识别模型，对图像集进行人员头肩坐标检测，获得头肩小图；s3：缩放头肩小图，通过图像质量检测模型判断头肩小图的图像质量是否合格；s4：对图像质量合格的头肩小图，通过训练完的人脸区域识别模型判断头肩小图中是否存在人脸头像；s5：对存在人脸头像的头肩小图进行腐蚀及膨胀操作，进行烟支初验；s6：将通过烟支初验的头肩小图输入烟支目标检测模型，判断是否存在违规吸烟；s7：将提示信息发送到前端平台。
6.一种基于resnet模型与faster rcnn算法的吸烟识别方法，通过粮仓内设置的摄像头实时采集图像数据，形成数据集，将数据集通过头肩识别模型进行人员头肩与人脸位置的判断和定位，随后筛选出图像质量合格并且存在人脸的图像，将这些图像通过腐蚀及膨胀操作进行烟支初验，通过的图像输入烟支目标检测模型，判断是否存在吸烟行为，最后如果存在吸烟行为，立即向前段平台发送提示警报，操作人员及时对吸烟行为进行制止。
7.作为优选，所述步骤s4的人脸区域识别模型将图像集g作为输入，构建resnet单分类模型，完成人脸区域识别模型训练，包括以下步骤：s41：对原始图像集g进行零均值化处理，使用7*7卷积核进行卷积操作，使用relu函数激活网络。
8.s42：利用2阶3*3卷积核对图像集g进行最大池化处理，通过relu函数进行再次激活。
9.s43：利用4组3*3卷积核对图像集g进行深度卷积，完成平均池化。
10.s44：构建残差网络，计算每两个卷积层的残差值，利用shortcut将残差值作为输入进行网络优化。由于所拍摄的入仓人员图像各个像素间差别较少，因此深度学习过程中，容易出现梯度消失的问题，步骤s44中构建残差网络可以解决梯度消失的问题，利用shortcut将残差值作为输入进行网络优化可以提升图像分类的准确性。
11.作为优选，所述步骤s4的判断过程包括以下内容：将图像质量合格的头肩小图输入至resnet单分类模型，获得人脸预测值；设置人脸置信阈值，基于置信度指标分析判断头肩小图中是否存在人脸图像，若人脸预测值小于人脸置信阈值，则返回步骤s1，若人脸预测值大于等于人脸置信阈值则判定存在人脸图像，执行步骤s5。设置的人脸置信阈值是根据粮仓环境设置，本发明中采用的人脸置信阈值为0.95。
12.作为优选，所述步骤s6中的烟支目标检测模型基于faster rcnn算法，对图像集g进行训练，构建烟支目标检测模型，包括以下步骤：s61：使用imagenet对图像集g进行预训练；s62：利用rpn网络对图像集g中的图像进行可能存在烟支的图像预筛选，计算得到符合要求的候选框与预测值；s63：将图像集g、候选框、预测值作为输入，通过fast r-cnn网络对候选框对应的特征图进行金字塔池化，形成维数一致的特征向量；s64:将提取到的特征向量输入全连接层，用softmax进行分类，对候选框的位置进行回归，利用非极大值抑制算法消除重复边框，完成模型训练。将图像数据输入烟支目标检测模型，可以得到烟支预测值，将烟支预测值与设置好的烟支置信阈值进行对比，可以判断是否存在吸烟行为。
13.作为优选，所述步骤s2基于yolo-v5深度学习模型完成头肩识别模型训练，包括以下步骤：s21：处理深度学习模型输入图像集：采用mosaic数据增强方式处理图像集g，再利用自适应锚框与自适应图片缩放方式进行处理；s22：构建深度学习模型backbone：利用focus结构对输入图像进行切片操作，利用32个卷积核完成一次卷积操作，利用csp1方式构建backbone的网络结构；s23：构建深度学习模型neck：结合csp1方式，构建fpn+pan的neck主结构，利用
sppf结构改进空间金字塔池化，设置图像固定输出尺度；s24：构建深度学习模型损失函数，利用giou_loss算法构建损失函数，优化学习模型。采用mosaic数据增强方式处理图像集g，平衡图像数据集与gpu之间的关系，利用自适应锚框与自适应图片缩放方式，减少图像冗余，提升推理检测速度。
14.作为优选，所述步骤s3通过图像质量检测模型筛选出比例合适、位置居中、曝光度清晰度适中的头肩小图，包括以下步骤：s31：通过获得的头肩坐标构建矩形s，计算矩形s的像素长度和像素宽度，设置像素长度阈值和像素宽度阈值，若矩形s的像素长度小于像素长度阈值或矩形s的像素宽度小于像素宽度阈值，则头肩大小不合格，返回进行步骤s1，若矩形s的像素长度大于等于像素长度阈值并且矩形s的像素宽度大于等于像素宽度阈值，则进行步骤s32；s32：计算矩形s与所检测图像上边沿之间的距离，计算矩形s与所检测图像下边沿之间的距离，设置上边沿距离阈值参数和下边沿距离阈值参数，若矩形s与所检测图像上边沿之间的距离小于上边沿距离阈值参数或矩形s与所检测图像下边沿之间的距离小于下边沿距离阈值参数，返回进行步骤s1，若矩形s与所检测图像上边沿之间的距离大于等于上边沿距离阈值参数并且矩形s与所检测图像下边沿之间的距离大于等于下边沿距离阈值参数，则进行步骤s33；s33：计算图像亮度和图像对比度，设置图像亮度阈值和对比度阈值，若图像亮度在图像亮度阈值范围内并且图像对比度在对比度阈值范围内，则图像合格，进行步骤s4，若图像亮度不在图像亮度阈值范围内或图像对比度不在对比度阈值范围内，返回进行步骤s1。图像亮度的计算公式为图像对比度的计算公式为其中n＝50176，bi指图像数据，i
max
为bi最亮像素点，i
min
为bi最暗像素点。
15.作为优选,所述图像集g的构成包括以下步骤：采集n张图像，通过均值滤波去除白噪声，通过非线性滤波强化边缘结构梯度，通过归一化算法完成图像预处理，对预处理后的所有图像进行等比例缩放，得到图像集g。粮仓内前端摄像头截取250段40秒的吸烟视频，每秒抓取5帧图像，共得50000张图像集g，利用均值滤波去除白噪声，利用非线性滤波强化边缘结构梯度，并通过归一化算法完成图像预处理，对预处理后的图像g中所有图像进行等比例缩放，缩放后尺寸为640*384。
16.作为优选，所述步骤s5包括以下内容：去除小面积连通区域和无关区域，计算最大连通域像素点占整幅人脸图像的比例，设置最大连通域占比阈值，若最大连通域像素点占整幅人脸图像的比例在最大连通域占比阈值内，则图像中可能存在烟支，进行步骤s6，若最大连通域像素点占整幅人脸图像的比例不在最大连通域占比阈值内，返回步骤s1。通过腐蚀及膨胀操作，去除一些无效图像，提高图像识别的效率。
17.作为优选，所述步骤s7中根据用户设定时间，定时将粮库人员入仓吸烟图像以及异常告警发送至前端平台进行显示。将识别到吸烟的人员入仓吸烟告警信息和图像存储到分布式文件系统并获取url链接地址中，通过消息中间件定时将人员入仓吸烟告警信息和图像存链接发送到前端平台，系统内产生日志进行存储。
18.一种基于语义分割的水岸异常情况监测装置，包括采样模块，所述采样模块与数据处理模块连接，所述数据处理模块与前端平台连接。
19.采集模块包括粮仓仓内摄像头，能够实时获取粮仓前端摄像头视频画面，将采集模块采集到的图像数据传输到数据处理模块，数据处理模块通过yolo-v5以及resnet单分类头肩检测模型对入仓人员头肩与人脸区域进行判断与定位，随后基于faster rcnn目标检测算法判断粮仓内人员是否存在吸烟行为，并能将识别结果反馈至前端平台进行展示。
20.本发明的实质性效果是：本发明公开了一种基于resnet模型与faster rcnn算法的吸烟识别方法及装置，通过构建resnet单分类模型，利用训练后的resnet单分类模型进行人脸识别，可以解决梯度消失的问题，提高识别的准确性；利用自适应锚框与自适应图片缩放方式，减少图像冗余，提升识别效率。
附图说明
21.图1为实施例的流程图；图2为实施例的吸烟识别方法流程图；图3为实施例的装置结构框图。
22.其中:1、采样模块，2、数据处理模块，3、前端平台。
具体实施方式
23.下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。
24.一种基于resnet模型与faster rcnn算法的吸烟识别方法及装置，如图1和图2所示，首先采集实时图像数据，根据头肩识别模型从实时图像数据中获得头肩坐标。然后根据头肩坐标截取头肩小图，并进行压缩变换。接着通过质量检测模型判断头肩小图是否质量合格。质量合格的头肩小图根据人脸区域识别模型判断是否存在人脸。存在人脸的头肩小图再通过腐蚀和膨胀等操作进行烟支初验。最后通过烟支目标检测模型判断是否存在违规吸烟的行为。
25.而在进行吸烟行为识别之前，需要对数据处理模块中所用到的各种算法模型进行训练，优化算法模型，提高最终的识别精度。
26.首先构建图像数据集。通过粮仓内前端摄像头截取250段40秒的吸烟视频，每秒抓取5帧图像，得到含有50000张图像的图像集g。利用均值滤波去除白噪声，利用非线性滤波强化边缘结构梯度，并通过归一化算法完成图像预处理。对预处理后的图像集g中所有图像进行等比例缩放，缩放后尺寸为640*384。
27.接着，将图像集g输入基于yolo-v5深度学习模型，完成头肩识别模型的训练。头肩识别模型用于获取图像中入仓人员的头肩区域坐标，根据头肩区域坐标可以获得头肩小图。
28.由于所拍摄的入仓人员图像各个像素间差别较少，因此深度学习过程中，容易出现梯度消失的问题，通过resnet单分类模型可以解决该问题。将图像集g作为输入，构建resnet单分类模型，完成人脸区域识别模型训练。用于筛选出人脸面向摄像头的图像。
29.最后，基于faster rcnn算法，对图像集g进行训练，构建烟支目标检测模型，用于判断粮仓入仓人员是否存在吸烟行为。
30.完成算法模型训练后，就可以根据这些算法进行吸烟行为的识别了。利用粮仓内摄像头，以8帧/秒的速度从实时视频流中自动获取当前时间下仓内图像数据，构成图像集
集a，a＝[a1，a2，
……an
]，n＝1,2，
…
8；利用训练完成的yolo-v5深度学习模型，对图像an进行仓内人员头肩坐标检测。若头肩坐标不存在，则步骤结束；若头肩坐标存在，则记录坐标结果o＝[o
ii
，o
ij
，o
ji
，o
jj
]，o
ii
＝(xi，yi)，o
ij
＝(xi，yj)，o
ji
＝(xj，yi)，o
jj
＝(xj，yj)，其中i＝1，2...640；j＝12...384。
[0031]
按坐标结果o截图对应头肩小图om，对om进行压缩变换，至尺寸224*224，记为图像bm。将压缩变换后的头肩小图bm输入图像质量检测模型，用于筛选出比例合适、位置居中、曝光度清晰度适中的头肩小图。若图像质量合格，则继续下一步操作，若图像质量不合格，则重新采集图像信息进行识别。
[0032]
将图像质量合格的头肩小图bm输入至resnet单分类模型，获得人脸预测值α。设置人脸置信阈值ρ，ρ结合粮仓环境设定，本实施例中按经验设定为0.95。基于置信度指标分析判断头肩小图bm中是否存在人脸图像，若α＜ρ,则判定不存在人脸图像，则重新采集图像信息进行识别；若α≥ρ，则判定存在人脸图像，继续下一步操作。
[0033]
将头肩小图bm进行腐蚀及膨胀操作，去除小面积连通区域和无关区域，通过计算最大连通域像素点占整幅人脸图像的比例r，进行烟支初验。设置阈值θ1、θ2；θ1表示最大连通域占比的最小阈值；θ2表示最大连通域占比的最大阈值；θ1、θ2结合粮仓环境进行设定；若θ1≤r≤θ2则表示图像中可能存在烟支，继续下一步操作；反之，则重新采集图像信息进行识别。
[0034]
将头肩小图bm输入基于faster rcnn算法的烟支目标检测模型，进行烟支终验，获得烟支预测值β，设置烟支置信阈值ρ1，ρ1结合粮仓环境进行设定,利用置信度分析指标进行判断，本实施例中按经验设定ρ1＝0.9。若β＜ρ1,则重新采集图像信息进行识别，若β≥ρ1，则判断粮仓内人员存在违规吸烟的行为，并绘制异常画面。并将异常画面与警示信息定时反馈至前端平台进行展示，前台工作人员收到警示信息后就会及时对吸烟行为进行制止。
[0035]
警示信息的传输过程包括三个步骤：将识别到吸烟的人员入仓吸烟告警信息和图像存储到分布式文件系统并获取url链接地址中；通过消息中间件定时将人员入仓吸烟告警信息和图像存链接发送到前端平台；系统内产生日志进行存储。
[0036]
如图3所示，采样模块1包括包括粮仓仓内摄像头和有线或无线网络，能够实时获取粮仓前端摄像头视频画面，并将这些图像信息实时传输到数据处理模块2。数据处理模块采用基于resnet的头肩检测模型和基于faster rcnn目标检测的吸烟识别算法对这些图像信息进行处理，从而判断是否有人员在粮仓内吸烟。当检测当有人吸烟时，产生警示信息，并将警示信息和异常画面反馈至前端平台进行展示。工作人员接收到警示信息后，会及时制止吸烟行为，避免意外事故的发生。
[0037]
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，包括如下步骤：s1：采集图像数据，获得图像集；s2：利用训练完的头肩识别模型，对图像集进行人员头肩坐标检测，获得头肩小图；s3：缩放头肩小图，通过图像质量检测模型判断头肩小图的图像质量是否合格；s4：对图像质量合格的头肩小图，通过训练完的人脸区域识别模型判断头肩小图中是否存在人脸头像；s5：对存在人脸头像的头肩小图进行腐蚀及膨胀操作，进行烟支初验；s6：将通过烟支初验的头肩小图输入烟支目标检测模型，判断是否存在违规吸烟；s7：将提示信息发送到前端平台。2.根据权利要求1所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s4的人脸区域识别模型将图像集g作为输入，构建resnet单分类模型，完成人脸区域识别模型训练，所述步骤s4的判断过程包括以下内容：s41：对原始图像集g进行零均值化处理，使用7*7卷积核进行卷积操作，使用relu函数激活网络。s42：利用2阶3*3卷积核对图像集g进行最大池化处理，通过relu函数进行再次激活。s43：利用4组3*3卷积核对图像集g进行深度卷积，完成平均池化。s44：构建残差网络，计算每两个卷积层的残差值，利用shortcut将残差值作为输入进行网络优化。3.根据权利要求1所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s4的判断过程包括以下内容：将图像质量合格的头肩小图输入至resnet单分类模型，获得人脸预测值；设置人脸置信阈值，基于置信度指标分析判断头肩小图中是否存在人脸图像，若人脸预测值小于人脸置信阈值，则返回步骤s1，若人脸预测值大于等于人脸置信阈值则判定存在人脸图像，执行步骤s5。4.根据权利要求1所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s6中的烟支目标检测模型基于faster rcnn算法，对图像集g进行训练，构建烟支目标检测模型，包括以下步骤：s61：使用imagenet对图像集g进行预训练；s62：利用rpn网络对图像集g中的图像进行可能存在烟支的图像预筛选，计算得到符合要求的候选框与预测值；s63：将图像集g、候选框、预测值作为输入，通过fast r-cnn网络对候选框对应的特征图进行金字塔池化，形成维数一致的特征向量；s64:将提取到的特征向量输入全连接层，用softmax进行分类，对候选框的位置进行回归，利用非极大值抑制算法消除重复边框，完成模型训练。5.根据权利要求1或2或3或4所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s2基于yolo-v5深度学习模型完成头肩识别模型训练，包括以下步骤：s21：处理深度学习模型输入图像集：采用mosaic数据增强方式处理图像集g，再利用自适应锚框与自适应图片缩放方式进行处理；
s22：构建深度学习模型backbone：利用focus结构对输入图像进行切片操作，利用32个卷积核完成一次卷积操作，利用csp1方式构建backbone的网络结构；s23：构建深度学习模型neck：结合csp1方式，构建fpn+pan的neck主结构，利用sppf结构改进空间金字塔池化，设置图像固定输出尺度；s24：构建深度学习模型损失函数，利用giou_loss算法构建损失函数，优化学习模型。6.根据权利要求1或2或3或4所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s3通过图像质量检测模型筛选出比例合适、位置居中、曝光度清晰度适中的头肩小图，包括以下步骤：s31：通过获得的头肩坐标构建矩形s，计算矩形s的像素长度和像素宽度，设置像素长度阈值和像素宽度阈值，若矩形s的像素长度小于像素长度阈值或矩形s的像素宽度小于像素宽度阈值，则头肩大小不合格，返回进行步骤s1，若矩形s的像素长度大于等于像素长度阈值并且矩形s的像素宽度大于等于像素宽度阈值，则进行步骤s32；s32：计算矩形s与所检测图像上边沿之间的距离，计算矩形s与所检测图像下边沿之间的距离，设置上边沿距离阈值参数和下边沿距离阈值参数，若矩形s与所检测图像上边沿之间的距离小于上边沿距离阈值参数或矩形s与所检测图像下边沿之间的距离小于下边沿距离阈值参数，返回进行步骤s1，若矩形s与所检测图像上边沿之间的距离大于等于上边沿距离阈值参数并且矩形s与所检测图像下边沿之间的距离大于等于下边沿距离阈值参数，则进行步骤s33；s33：计算图像亮度和图像对比度，设置图像亮度阈值和对比度阈值，若图像亮度在图像亮度阈值范围内并且图像对比度在对比度阈值范围内，则图像合格，进行步骤s4，若图像亮度不在图像亮度阈值范围内或图像对比度不在对比度阈值范围内，返回进行步骤s1。7.根据权利要求2或3或4所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述图像集g的构成包括以下步骤：采集n张图像，通过均值滤波去除白噪声，通过非线性滤波强化边缘结构梯度，通过归一化算法完成图像预处理，对预处理后的所有图像进行等比例缩放，得到图像集g。8.根据权利要求1或2或3或4所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s5包括以下内容：去除小面积连通区域和无关区域，计算最大连通域像素点占整幅人脸图像的比例，设置最大连通域占比阈值，若最大连通域像素点占整幅人脸图像的比例在最大连通域占比阈值内，则图像中可能存在烟支，进行步骤s6，若最大连通域像素点占整幅人脸图像的比例不在最大连通域占比阈值内，返回步骤s1。9.根据权利要求1或2或3或4所述的一种基于resnet模型与faster rcnn算法的吸烟识别方法，其特征在于，所述步骤s7中根据用户设定时间，定时将粮库人员入仓吸烟图像以及异常告警发送至前端平台进行显示。10.一种基于resnet模型与faster rcnn算法的吸烟识别装置，利用如权利要求1-9所述的任意一种基于resnet模型与faster rcnn算法的吸烟识别方法进行识别，其特征在于，包括采样模块，所述采样模块与数据处理模块连接，所述数据处理模块与前端平台连接。

技术总结
本发明公开了一种基于resNet模型与Faster RCNN算法的吸烟识别方法及装置，包括如下步骤：S1：采集图像数据，获得图像集；S2：利用训练完的头肩识别模型，对图像集进行人员头肩坐标检测，获得头肩小图；S3：缩放头肩小图，通过图像质量检测模型判断头肩小图的图像质量是否合格；S4：对图像质量合格的头肩小图，通过训练完的人脸区域识别模型判断头肩小图中是否存在人脸头像；S5：对存在人脸头像的头肩小图进行腐蚀及膨胀操作，进行烟支初验；S6：将通过烟支初验的头肩小图输入烟支目标检测模型，判断是否存在违规吸烟；S7：将提示信息发送到前端平台；本发明可以有效提高吸烟行为的识别效率和准确性。别效率和准确性。别效率和准确性。


技术研发人员：张加胜 陈明华 鞠政 柳瑞芸 金献军 封晨波
受保护的技术使用者：华信咨询设计研究院有限公司
技术研发日：2023.05.12
技术公布日：2023/9/20