一种眨眼检测方法、系统及装置与流程

1.本发明公开了一种眨眼检测方法、系统及装置，涉及互联网计算机技术领域。


背景技术：

2.基于人脸的生物特征识别技术给人们的日常生活带来了极大的便利，提高用户在账户登录、身份识别、人机交互等场景的体验性。当前手势、肢体动作及面部表情等识别使人机交互方式迅速发展，眨眼动作不仅可以替代传统的机械输入“确认”，而且在面部识别中可以证明用户是“活着的生命体”，便于系统确认用户状态，增强系统安全性。
3.当前主流眨眼检测方法有两种，一种是基于连续帧中像素灰度变化率判断是否存在眨眼行为，这种检测方法计算量较大，误检率较高，另一种是基于连续帧中眼睛宽高比变化判断是否存在眨眼行为，这种方法易受到其他面部表情变化影响，鲁棒性较差。因此，急需一种稳定高效的眨眼识别系统和方法。


技术实现要素：

4.本发明针对上述背景技术中的缺陷，提供一种眨眼检测方法、系统及装置，稳定高效的识别眨眼行为。
5.为实现上述目的，本发明采用的技术方案如下：一种眨眼检测方法，包括以下方法：获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的roi区域；对于roi区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合，周围邻域为：以核心关键点的质心点为中心点的8个邻域区域；根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。
6.进一步的，所述的关键点包括：一个左眼角相关关键点、若干上眼睑相关关键点、一个右眼角相关关键点、若干下眼睑相关关键点；其中，上眼睑相关关键点为所述的核心关键点。
7.进一步的，所述人脸识别图像包含眼睛的关键点信息包括：左眼角相关关键点、右眼角相关关键点、下眼睑相关关键点以及至少一个上眼睑相关关键点。
8.进一步的，所述设定眼睛周围的roi区域具体包括以下步骤：左边界以左眼角相关关键点x坐标为参考点，向左偏移第一设定像素点；右边界以右眼角相关关键点x坐标为参考点，向右偏移第一设定像素点；当上眼睑相关关键点只有一个时，上边界以上眼睑相关关键点y轴为参考点，向上偏移第二设定像素点，当上眼睑有多个关键点时，以上眼睑相关关键点中y轴坐标最小值为参考点，向上
偏移第二设定像素点；当下眼睑相关关键点只有一个时，下边界以下眼睑相关关键点y轴为参考点，向上偏移第一设定像素点，当下眼睑有多个关键点时，以下眼睑相关关键点中y轴坐标最大值为参考点，向下偏移第一设定像素点；第一设定像素点为8~12个像素点；最佳为10个像素点；第二设定像素点为12~18个像素点；最佳为15个像素点。
9.进一步的，判断眨眼的方法具体为：在连续帧的眼睛人脸识别图像上计算每帧图像上的核心关键点集合各点的光流值并得到各点的光流场，对光流场进行阈值分割；计算每帧图像上的核心关键点集合的质心点坐标；当每帧图像上的质心点坐标的像素距离之差大于设定阈值，且光流场方向为向上或向下时，判定眨眼行为发生。
10.进一步的，所述的设定阈值为3像素，所述的光流场方向为向上或向下，且光场流与y轴正负方向所成角度在0~7
°
。
11.一种眨眼检测系统，包括：图像获取模块：用于获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；roi区域建立模块：用于对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的roi区域；关键点集合建立模块：用于对于roi区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合；判断模块：用于根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。
12.一种眨眼检测装置，包括：终端、服务器、无线网络模块；终端包括：摄像头和存储器；所述摄像头用于获取人脸图像，并存储到存储器中；所述无线网模块用于将人脸图像传输到服务器中；所述服务器用于根据算法对存储器中的人脸图像进行读取以及处理，并判断是否发生眼眨动作。
13.有益效果：本发明巧妙的使用了光流法在距离相机恒定距离平移的矢量性，对眨眼过程中的上眼睑运动进行检测，当发生眨眼动作时，上眼睑的变化最为明显，本发明通过四个关键点用于定位眼睛位置用于roi区域的裁剪，以人脸检测模型检测出的核心关键点作为光流计算对象，降低计算量的同时提高了鲁棒性，同时根据不同场景提出了终端-服务器两种部署模式，拓展其适用性。
附图说明
14.图1为人脸检测模型检测出的包含眼睛关键点的眼睛张开图像；图2为截取的roi区域；
图3为区域生长后的关键点集合；图4位眼睛闭合时关键点集合的光流场变化。
实施方式
15.下面结合附图对技术方案的实施作进一步的详细描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
16.如图1所示的一种实施例，本发明提供了：一种眨眼检测方法，包括以下方法：头获取具有连续帧的人脸识别后的图像，连续帧至少包含两帧，且每帧人脸图像包含眼睛至少四个关键点（以dlib人脸检测模型为例，眼睛区域包含：左眼角相关关键点ep1、上眼睑相关关键点ep2（ep2包括：ep20、ep21
……
多个关键点）、右眼角相关关键点ep3、下眼睑相关关键点ep4（ep4包括：ep40、ep41
……
多个关键点）），上眼睑相关关键点、下眼睑相关关键点只需要分别在对应的上、下眼睑位置即可；上眼睑相关关键点至少有一个，且上眼睑相关关键点为核心关键点；如图2所示，对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的roi区域；根据关键点的像素坐标提取roi区域，左边界a以ep1点x坐标为参考点，向左偏移10个像素点；右边界b以ep3点x坐标为参考点，向右偏移10个像素点；当上眼睑只有一个关键点时，上边界c以ep20点y轴为参考点，向上偏移15个像素，当上眼睑有多个关键点时，以ep20、ep21
…
关键点中y轴坐标值最小的点为参考点，向上偏移15个像素，本实施例中选取的参考点为ep20；下边界d的确定与上边界a的确定相同，以ep40或ep40、ep41点y轴坐标最大值为参考点，向下偏移10个像素；上述边界确定及像素偏移是为了保护ep1、ep20、ep3、ep40关键点在图像处理过程中不发生越界行为。
17.如图3~4所示，当发生眨眼动作时，相邻两帧或以上图像中的关键点在两帧或以上图像中具有相似的速度矢量变化，与背景速度矢量存在明显差别，因此只需计算出第二帧图像中各点的光流场，并区分前景和背景，找到与第一帧速度矢量相似的光流场，在根据垂直方向的角度位置判定是否为同一关键点；本实施例中根据上述边界abcd从第一帧图像中提取眼睛roi区域，对于roi区域的核心关键点（本实施例选取：ep20），以ep20的像素坐标点ep20_barycenter为中心点，进行8邻域区域生长，生成新的核心关键点集合ekp20（包含9个像素点），在连续两帧或者两帧眼睛图像以上计算核心关键点集合epk20各点的光流值并得到各点的光流场，对光流场进行阈值分割，区分前景和背景；在第二帧图中重复第一帧中的计算过程，寻找与上一帧关键点集合epk20在第二帧中出现的位置epk20``，并计算其质心坐标点ep20_barycenter``，当ep20_barycenter与ep20_barycenter``的像素距离之差大于设定阈值3时且光流场方向为垂直向上或向下时（与y轴正负方向所成角度在0-7
°
以内即可），判定眨眼行为发生。
18.一种眨眼检测系统，包括：图像获取模块：用于获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；roi区域建立模块：用于对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其
中一个象限内，并设定眼睛周围的roi区域；关键点集合建立模块：用于对于roi区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合；判断模块：用于根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。
19.一种眨眼检测装置，包括：终端、服务器、无线网络模块；终端包括：摄像头和存储器；所述摄像头用于获取人脸图像，并存储到存储器中；所述无线网模块用于将人脸图像传输到服务器中；所述服务器用于根据算法对存储器中的人脸图像进行读取以及处理，并判断是否发生眼眨动作。
20.终端用于采集图像，并通过网络发送至服务器，服务器处理后返回结果值，终端响应。
21.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：
1.一种眨眼检测方法，其特征在于，包括以下方法：获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的roi区域；对于roi区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合；根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。2.根据权利要求1所述的一种眨眼检测方法，其特征在于，所述的关键点包括：一个左眼角相关关键点、若干上眼睑相关关键点、一个右眼角相关关键点、若干下眼睑相关关键点；其中，上眼睑相关关键点为所述的核心关键点。3.根据权利要求2所述的一种眨眼检测方法，其特征在于，所述人脸识别图像包含眼睛的关键点信息包括：左眼角相关关键点、右眼角相关关键点、下眼睑相关关键点以及至少一个上眼睑相关关键点。4.根据权利要求3所述的一种眨眼检测方法，其特征在于，所述设定眼睛周围的roi区域具体包括以下步骤：左边界以左眼角相关关键点x坐标为参考点，向左偏移第一设定像素点；右边界以右眼角相关关键点x坐标为参考点，向右偏移第一设定像素点；当上眼睑相关关键点只有一个时，上边界以上眼睑相关关键点y轴为参考点，向上偏移第二设定像素点，当上眼睑有多个关键点时，以上眼睑相关关键点中y轴坐标最小值为参考点，向上偏移第二设定像素点；当下眼睑相关关键点只有一个时，下边界以下眼睑相关关键点y轴为参考点，向上偏移第一设定像素点，当下眼睑有多个关键点时，以下眼睑相关关键点中y轴坐标最大值为参考点，向下偏移第一设定像素点。5.根据权利要求3所述的一种眨眼检测方法，其特征在于，判断眨眼的方法具体为：在连续帧的眼睛人脸识别图像上计算每帧图像上的核心关键点集合各点的光流值并得到各点的光流场，对光流场进行阈值分割；计算每帧图像上的核心关键点集合的质心点坐标；当每帧图像上的质心点坐标的像素距离之差大于设定阈值，且光流场方向为向上或向下时，判定眨眼行为发生。6.根据权利要求5所述的一种眨眼检测方法，其特征在于，所述的设定阈值为3像素，所述的光流场方向为向上或向下，且光场流与y轴正负方向所成角度在0~7
°
。7.一种眨眼检测系统，其特征在于，包括：图像获取模块：用于获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；roi区域建立模块：用于对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的roi区域；
关键点集合建立模块：用于对于roi区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合；判断模块：用于根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。8.一种眨眼检测装置，其特征在于，包括：终端、服务器、无线网络模块；终端包括：摄像头和存储器；所述摄像头用于获取人脸图像，并存储到存储器中；所述无线网模块用于将人脸图像传输到服务器中；所述服务器用于根据算法对存储器中的人脸图像进行读取以及处理，并判断是否发生眼眨动作。

技术总结
本发明公开了一种眨眼检测方法、系统及装置，包括以下方法：获取连续帧的人脸识别图像，且每帧人脸识别图像包含眼睛的关键点信息；对连续帧的人脸识别图像建立直角坐标系，将眼睛处于其中一个象限内，并设定眼睛周围的ROI区域；对于ROI区域的的核心关键点，以其质心点为中心点进行周围邻域区域生长，生成核心关键点集合；根据同一核心关键点集合在连续帧的人脸识别图像的质心点坐标位置变化判断是否发生眨眼。本方法使用了光流法在距离相机恒定距离平移的矢量性，对眨眼过程中的上眼睑运动进行检测，以人脸检测模型检测出的关键点作为光流计算对象，降低计算量的同时提高了鲁棒性，根据不同场景提出了终端-服务器两种部署模式，拓展其适用性。拓展其适用性。拓展其适用性。


技术研发人员：张润泽 薛力戈 王辉 陈学海 闫跃兴 郑爽
受保护的技术使用者：徐州威卡电子控制技术有限公司
技术研发日：2023.04.14
技术公布日：2023/8/21