一种基于瞳孔-角膜反射向量法的2D注视点估计方法

一种基于瞳孔-角膜反射向量法的2d注视点估计方法
技术领域
1.本发明属于图像处理以及眼动追踪技术领域，涉及到2d注视点估计，特别涉及到一种基于瞳孔-角膜反射向量法的2d注视点估计方法。


背景技术：

2.假设人类眼角膜为规则球面，不管其如何旋转，辅助光源在球面上形成的角膜光斑在空间中的绝对位置都不会发生明显变化。也就是说，当眼球转动时，角膜光斑在眼球上的位置基本不会改变。当人眼注视方向发生改变时，可以通过利用角膜光斑位置做为参考标准，计算注视点与平面映射的交点，从而获得注视信息，这一方法被称为瞳孔-角膜反射技术(pupil center corneal reflection，pccr)，是基于特征的注视估计算法中广泛应用的一种技术。
3.这一技术分为图像预处理、特征提取与映射函数构造三个部分。在瞳孔中心与角膜特征提取部分进行相应改进，可以显著提高注视点估计准确性。


技术实现要素：

4.本发明目的是提出一种基于瞳孔-角膜反射向量法的2d注视点估计方法，结合提取的角膜特征建立视线映射模型，把每一帧图像中检测出的瞳孔-角膜反射向量v(v
x
,vy)映射到屏幕上的注视点坐标g(g
x
,gy)，实现了2d注视点估计。
5.本发明利用以下技术方案实现：
6.一种基于瞳孔-角膜反射向量法的2d注视点估计方法，包括以下步骤：
7.步骤s1：进行待处理图片降噪及边缘检测，实现图像预处理；
8.步骤s2：利用星射线法进行瞳孔中心定位；
9.步骤s3：进行角膜特征提取，依据误差函数极点所对应的阈值得到自适应后的最佳阈值，经二值化处理的眼区图像以最佳阈值为限找到面积最大的反射光斑，然后求取反射光斑中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置坐标；
10.所述误差函数公式如下式所示：
[0011][0012]
其中，r
ratio
为误差函数，s
max
为反射光斑面积阈值，s
all
为眼图面积；
[0013]
步骤s4：建立视线映射模型，即根据步骤s2得到的瞳孔中心位置和步骤s3得到的角膜反射光斑中心位置建立视线映射模型，利用所述视线映射模型把每一帧图像中检测出的瞳孔-角膜反射向量v(v
x
,vy)映射到屏幕上的注视点坐标g(g
x
,gy)，映射函数模型为：
[0014][0015][0016]
其中，a
0-a7,b
0-b7为待定系数；
[0017]
完成基于瞳孔-角膜反射向量法的2d注视点估计。
[0018]
与现有技术相比，本发明能够达成以下有益技术效果：
[0019]
1)增加分类检测机制与增设红外光源的方式，从而有效提高瞳孔中心定位的准确性及角膜特征提取的成功率以及提高2d注视点估计准确度；
[0020]
2)完善的2d注视点估计流程，从而可以有效地进行2d注视点估计。
附图说明
[0021]
图1是一种基于瞳孔-角膜反射向量法的2d注视点估计方法整体流程图；
[0022]
图2是一种基于瞳孔-角膜反射向量法的2d注视点估计方法实施过程框图；
[0023]
图3是利用星射线法进行瞳孔中心定位的过程示例图；
[0024]
图4是角膜特征提取算法中多红外光源产生眼图及光斑位置关系示意图；(a)多红外光源眼图示例，(b)4光斑位置关系示意。
具体实施方式
[0025]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述。
[0026]
如图1所示，是一种基于瞳孔-角膜反射向量法的2d注视点估计方法整体流程图，具体步骤包括：
[0027]
步骤s1：采用中值滤波与sobel算子进行待处理图片降噪及边缘检测，实现图像预处理，该步骤在消除冲击噪声的同时很好地保留边缘特性；
[0028]
步骤s2：利用星射线法进行瞳孔中心定位：在预处理后的待处理图片中，采用边界拟合法拟合出瞳孔区域边界，其中椭圆拟合公式为：
[0029][0030]
以第一帧图像的中心为起始点，发散240条星射线搜索出最大梯度值的像素点作为瞳孔边缘点，射线的辐射角度在-60
°
到60
°
、120
°
至240
°
这两个区域内，这2个区域可以覆盖大部分瞳孔，拟合出最佳的椭圆。增加分类瞳孔检测机制进行误差修正处理，即添加修正函数，通过前两帧图像的平均值来估计当前帧的方法来减少误差。记t时刻瞳孔中心坐标为(x
t(t)
,y
t(t)
)，t时刻与(t-1)时刻瞳孔中心位置在x、y方向的差值分别为&
x1
＝x
t(t)-x
t(t-1)
、&
y1
＝y
t(t)-y
t(t-1)
；记t时刻与(t-2)时刻瞳孔中心位置在x、y方向的差值分别为&
x2
＝x
t(t)-x
t(t-2)
、&
y2
＝y
t(t)-y
t(t-2)
，前两帧图像瞳孔坐标在x、y方向的均值a
x
＝(x
t(t-1)
+x
t(t-2)
)/2，ay＝(y
t(t-1)
+y
t(t-1)
)/2，修正后的当前帧(t时刻)的瞳孔中心坐标表达式如下：
[0031][0032][0033]
其中，h、p为修正系数，是一个经验值常数，根据图像分辨率进行相应设置。
[0034]
步骤s3：进行角膜特征提取：误差函数极点所对应的阈值就是自适应后的最佳阈值。经二值化处理的眼区图像以最佳阈值为限，找到面积最大的反射光斑，然后求取其中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置坐标。
[0035]
相关原理如下：角膜反射光斑从中间往外亮度逐渐减小，其它的光斑都是杂质点。一般通过二值化眼图(眼区图像)来提取角膜反射光斑的中心坐标，当阈值高时，只有亮度比较高的点可以通过。这时的杂质点比较少，但是角膜反射光斑面积也较小，由此提取出的中心坐标误差较大。随着阈值的降低，可以通过的光斑点慢慢增加，从而使得杂质点也有所增加，但是角膜反射光斑的面积同时也变大了，从而使得提取中心坐标的误差减小，精度增加。当阈值降低到一定程度后再继续下降时，杂质点还会继续增多，但是角膜反射光斑的面积没有了明显的增加，提取中心坐标的误差将再度增大。可见，以恒定不变的二值化阈值并不是最佳选择，需要根据每帧眼图的具体情况给出一个自适应变化的阈值。有关误差函数公式如下式所示：
[0036][0037]
其中，r
ratio
为误差函数，s
max
为反射光斑面积阈值，s
all
为眼图面积。该公式描述了前述的阈值和角膜反射光斑中心坐标提取精度的这一变化的过程。以阈值为自变量的误差函数公式是一个先增后减的函数。
[0038]
步骤s4：建立视线映射模型，即根据瞳孔中心位置和角膜反射光斑中心位置建立视线映射模型，利用所述视线映射模型把每一帧图像中检测出的瞳孔-角膜反射向量v(v
x
,vy)映射到屏幕上的注视点坐标g(g
x
,gy)，其中，瞳孔-角膜反射向量即为瞳孔中心坐标与角膜中心坐标的差值向量，映射函数模型为：
[0039][0040][0041]
其中，a
0-a7,b
0-b7为待定系数；
[0042]
至此，步骤s1到步骤s4，完成了基于瞳孔-角膜反射向量法的2d注视点估计方法。
[0043]
综上所述，本发明的整体流程需要对受试者进行注视点校准，获取注视校准点时的瞳孔中心坐标及角膜向量特征中心坐标，从而求解待定系数，完成视线映射函数模型的建立，至此完成基于瞳孔-角膜反射向量法的2d注视点估计。
[0044]
所述步骤s3还包括对受试者注视进行九点校准的过程，即设计校准视频，以屏幕左下角为原点建立水平坐标系；横轴区间为[0,1920]，纵轴区间为[0,1080]，校准点以小球的形式呈现，在校准过程中，受试者通过视觉跟踪出现在屏幕上不同位置时的小球，校准点小球依次移动，并在小球停留时保持注视。如表1所示，为9个校准点的坐标。
[0045]
表1
[0046][0047]
如图3所示，是利用星射线法进行瞳孔中心定位的过程示例图。具体描述如下：
[0048]
通过瞳孔边缘抓取第一帧图像，并以该图像的中心为起始点，向四周发出18条射
线，射线的间隔角度为20
°
；接着沿18条射线，依次前进，如图3(a)所示。当相邻两点像素的差值∈大于设定阈值φ时射线停止，这里仅考虑灰度值上升的情况，最终得到一个候选边缘点的集合，如图3(b)所示。
[0049]
依次以每个候选边缘点为起始点，于经过该候选边缘点射线的两侧
±
50
°
范围内再次发出射线，射线之间的间隔角度为100/n度，其中，n为射线条数，n＝5∈/φ，(最小值为5)，如图3(b)和图3(c)所示。
[0050]
上述步骤完成第一次迭代，计算所有候选边缘点的几何中心作为下次迭代的起始点，如图3(d)所示；重复执行前述的步骤2.1-步骤2.2，直至所有候选边缘点的几何中心收敛于相对稳定的位置，即前后两次迭代计算出的几何中心位置之间的距离不大于10个像素点，如图3(e)所示。将符合条件的几何中心位置定位成瞳孔中心。
[0051]
如图4所示，是角膜特征提取算法中多红外光源产生眼图及光斑位置关系示意图。
[0052]
通过增设红外光源的方式来提高阈值，左右眼分别使用4个近红外辅助光源，将在眼区图像中形成四个角膜光斑，如图4(a)所示。由于红外光源与其光斑一一对应的关系，使得其光斑位置固定且存在关联性，当存在光斑提取失败情况，光斑数量仅为3个时依然可以通过其向量关联性确认其余光斑位置，如图4(b)所示。
[0053]
虽然结合附图描述了本发明的实施方式，但是本发明并不局限于上述技术方案的描述，凡是本领域技术人员在不脱离本发明的精神和范围的情况下做出各种修改和变型的，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种基于瞳孔-角膜反射向量法的2d注视点估计方法，其特征在于，包括以下步骤：步骤s1：进行待处理图片降噪及边缘检测，实现图像预处理；步骤s2：利用星射线法进行瞳孔中心定位；步骤s3：进行角膜特征提取，依据误差函数极点所对应的阈值得到自适应后的最佳阈值，经二值化处理的眼区图像以最佳阈值为限找到面积最大的反射光斑，然后求取反射光斑中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置坐标；所述误差函数公式如下式所示：其中，r
ratio
为误差函数，s
max
为反射光斑面积阈值，s
all
为眼图面积；步骤s4：建立视线映射模型，即根据步骤s2得到的瞳孔中心位置和步骤s3得到的角膜反射光斑中心位置建立视线映射模型，利用所述视线映射模型把每一帧图像中检测出的瞳孔-角膜反射向量v(v
x
,v
y
)映射到屏幕上的注视点坐标g(g
x
,g
y
)，映射函数模型为：)，映射函数模型为：其中，a
0-a7,b
0-b7为待定系数；完成基于瞳孔-角膜反射向量法的2d注视点估计。2.如权利要求1所述的一种基于瞳孔-角膜反射向量法的2d注视点估计方法，其特征在于，所述步骤2进一步包括以下流程：步骤2.1：拟合出瞳孔区域边界，通过瞳孔边缘抓取第一帧图像，以该图像的中心为起始点，向四周发出18条射线，射线的间隔角度为20
°
；当相邻两条射线边缘点像素的差值∈大于设定阈值φ时射线停止，得到一个候选边缘点的集合；步骤2.2：依次以每个候选边缘点为起始点，于经过该候选边缘点射线的两侧
±
50
°
范围内再次发出射线，射线之间的间隔角度为度，其中n为射线条数；步骤2.3：上述步骤完成第一次迭代，计算所有候选边缘点的几何中心作为下次迭代的起始点；重复执行前述的步骤2.1-步骤2.2，直至所有候选边缘点的几何中心收敛于相对稳定的位置，即前后两次迭代计算出的几何中心位置之间的距离不大于10个像素点，将符合条件的几何中心位置定位成瞳孔中心。3.如权利要求1所述的一种基于瞳孔-角膜反射向量法的2d注视点估计方法，其特征在于，所述步骤2中还进一步包括增加分类瞳孔检测机制进行误差修正处理，通过前两帧图像的平均值来估计当前帧来减少误差，记t时刻瞳孔中心坐标为(x
t(t)
,y
t(t)
)，t时刻与(t-1)时刻瞳孔中心位置在x、y方向的差值分别为&
x1
＝x
t(t)-x
t(t-1)
、&
y1
＝y
t(t)-y
t(t-1)
，y时刻与(t-2)时刻瞳孔中心位置在x、y方向的差值分别为&
x2
＝x
t(t)-x
t(t-2)
、&
u2
＝y
t(t)-y
t(t-2)
，前两帧图像瞳孔中心坐标在x、y方向的均值a
x
＝(x
t(t-1)
+x
t(t-2)
)/2，a
y
＝(y
t(t-1)
+y
t(t-1)
)/2，所述修正后的当前帧的瞳孔中心坐标表达式如下：
其中，h、p为修正系数，t为时刻。4.如权利要求1所述的一种基于瞳孔-角膜反射向量法的2d注视点估计方法，其特征在于：在步骤3的进行角膜特征提取之后，还进一步包括进行九点校准的步骤：即设计校准视频，以屏幕左下角为原点建立水平坐标系；横轴区间为[0,1920]，纵轴区间为[0,1080]，校准点以小球的形式呈现，在校准过程中，受试者通过视觉跟踪出现在屏幕上不同位置时的小球，校准点小球依次移动，并在小球停留时保持注视。如权利要求1所述的一种基于瞳孔-角膜反射向量法的2d注视点估计方法，其特征在于，所述瞳孔-角膜反射向量为瞳孔中心坐标与角膜中心坐标的差值向量。

技术总结
本发明公开了一种基于瞳孔-角膜反射向量法的2D注视点估计方法，利用星射线法进行瞳孔中心定位，增加分类瞳孔检测机制进行误差修正处理；进行角膜特征提取，即得到角膜反射光斑的中心位置坐标；步骤4：建立视线映射模型，把每一帧图像中检测出的瞳孔-角膜反射向量V(V


技术研发人员：刘昱 李振君
受保护的技术使用者：天津大学浙江国际创新设计与智造研究院
技术研发日：2023.06.02
技术公布日：2023/8/21