一种对Demura相机拍摄结果进行透视变换矫正的方法与流程

一种对demura相机拍摄结果进行透视变换矫正的方法
技术领域
1.本发明属于计算机图形学处理技术领域，尤其涉及一种减轻拍摄结果畸变、进行透视变换矫正的方法。


背景技术：

2.在对手机屏幕进行demura时，经常会遇到如何对手机显示屏进行数据采集的问题，采集的手段一般是使用高精度的工业相机对手机显示屏进行拍摄。在拍摄过程中不可避免的会遇到手机屏没有完全横平竖直摆放的情况，且相机镜头成像本身有着一定的畸变，导致最后的拍摄结果会有一定程度上的形变。这种形变很有可能肉眼难以观测，但是到数据计算时却有着不能忽视的影响。比如当一行像素首尾偏差超过一行像素间距时，最终映射结果就会把部分像素点映射成其他相邻像素点的值，从而对demura效果造成影响，要尽可能的消除或者减弱这种影响我们进行了许多尝试，在此公开一种可以较为有效减轻拍摄结果形变影响的方法。


技术实现要素：

3.本发明提供一种对demura相机拍摄结果进行透视变换矫正的方法，包括以下步骤：
4.步骤一，对图像进行二值化处理；
5.步骤二，对二值化结果先膨胀再同强度腐蚀；
6.步骤三，提取所述步骤二结果中的最大轮廓；
7.步骤四，计算所述最大轮廓的凸包；
8.步骤五，对所述凸包数据做多边形逼近；
9.步骤六，对多边形结果处理得到畸变包围盒；
10.步骤七，参考包围盒顶点进行透视变换。
11.进一步地，步骤一中包括：
12.首先将拍摄到的亮度数据使用最大类间方差法进行二分化，类间方差表达式为σ2＝p1p2(m1-m2)2，其中p1、p2为被分成两类的亮度值的概率，也就是占比，而m1、m2则是这两类亮度值的各自均值；
13.其次，所求的二值化结果为使得所述类间方差σ2为最大的一组结果，采用遍历所有亮度作为分割点来找到最符合表达式的二分结果的最优解，或利用类间方差随分割点数值从小到大递增呈现出先增后减的趋势进行二分比较来加速寻找出最优解；
14.最后，得到分割点数值后，将所述分割点数值两侧的数据分别用0、1表示，完成二值化处理。
15.进一步地，腐蚀操作：
16.膨胀操作：
17.步骤二中的膨胀是指形态学中的对二值化物体边界点进行扩充，而腐蚀则是膨胀的逆操作，步骤二中的操作均为全方向，
18.膨胀和腐蚀的强度相同，均为大于相邻像素点之间边界的间距。
19.进一步地，对所述步骤二中结果进行分析，提取出所有联通区域的外轮廓，排除噪声，仅保留外轮廓最大的部分，即屏幕区域的外轮廓。
20.进一步地，步骤四中的凸包为：在一个实数向量空间v中，对于给定集合x，所有包含x的凸集的交集s被称为x的凸包，x的凸包可以用x内所有点(x1，...xn)的凸组合来构造，采用graham扫描法，或者直接调用各种图形库中的计算凸包的方法。
21.进一步地，将所述外轮廓的离散点表达转换为线段表达，从而得到屏幕区域四边的直线表达式，因为相机的成像畸变，所述直线表达式实际围成的屏幕区域是一个非常接近矩形的不规则四边形，使用douglas-peucker方法使得连续离散点简化为线段，屏幕的四个圆角部分会因为本身离散点不在一条直线上变成多条线段，而除圆角部分以外的任意一条长直边则最终逼近结果得到一条贴合该边的长线段。
22.进一步地，对所述步骤五中的逼近结果做分析，首先剔除圆角部分的短线段，定位贴合屏幕四条直边最近的四条线段，从线段的首尾两点坐标计算出四条线段所在直线的方程式，相邻的方程式联立可以求出线段延长线交点，四个延长线交点依次相连围成的区域就是屏幕区域变形后的包围盒，包围盒的四个角坐标确定且为浮点类型。
23.进一步地，步骤七中使用包围盒四个顶点坐标对所述不规则四边形做透视变换，将不规则区域内容映射到一个矩形中：
24.使用包围盒四个顶点和想映射出的图片的四个顶点计算出透视变换矩阵，利用该透视变换矩阵将包围盒内数据映射到输出图片，此时输出图片中的像素排列就更接近实际面板的位置。
附图说明
25.图1所示是本发明的流程图；
26.图2所示为本发明的步骤一的效果图；
27.图3所示为本发明的步骤二的效果图；
28.图4所示为本发明的步骤三的效果图；
29.图5所示为本发明的步骤四的效果图；
30.图6所示为本发明的步骤五的效果图；
31.图7所示为本发明的步骤六的包围盒示意图；
32.图8所示为本发明的步骤七的映射结果。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.请参见图1-8，本发明提供一种对demura相机拍摄结果进行透视变换矫正的方法，
首先找出屏幕区域，使用二值化把较亮的屏幕区域和其余暗的区域进行区分(步骤一)。接着对二值化后的图像进行膨胀操作填充像素与像素之间的空隙，使整个屏幕区域变成联通的整体，再对这个整体进行同样强度的腐蚀操作来还原到屏幕区域的真实尺寸(步骤二)。之后提取前一步结果中的所有图像轮廓，并遍历全部区域轮廓找出面积最大的轮廓即为屏幕的大致轮廓(步骤三)。随后对这个大致轮廓进行凸包计算(步骤四)，这一步的目的是为了规避现如今屏幕上边缘常有的notch区域，或者其他边缘上的凹陷。得到凸包数据后，再使用douglas-peucker或类似算法来进行多边形逼近(步骤五)，目的是得到四边形的贴合包围盒(步骤六)。使用四边形的贴合包围盒的四个顶点作为透视变换的四个顶点，对其内容进行透视变换(步骤七)，映射到和坐标系横平竖直的矩形中，至此完成了对相机拍摄结果的矫正。此方法的流程图参见图1，流程如下：
35.步骤一，对图像进行二值化处理；
36.步骤二，对二值化结果先膨胀再同强度腐蚀；
37.步骤三，提取所述步骤二结果中的最大轮廓；
38.步骤四，计算所述最大轮廓的凸包；
39.步骤五，对所述凸包数据做多边形逼近；
40.步骤六，对多边形结果处理得到畸变包围盒；
41.步骤七，参考包围盒顶点进行透视变换。
42.步骤一中包括：
43.首先将拍摄到的亮度数据使用最大类间方差法进行二分化，类间方差表达式为σ2＝p1p2(m1-m2)2，其中p1、p2为被分成两类的亮度值的概率，也就是占比，而m1、m2则是这两类亮度值的各自均值；
44.其次，所求的二值化结果为使得所述类间方差σ2为最大的一组结果，采用遍历所有亮度作为分割点来找到最符合表达式的二分结果的最优解，或利用类间方差随分割点数值从小到大递增呈现出先增后减的趋势进行二分比较来加速寻找出最优解；
45.最后，得到分割点数值后，将所述分割点数值两侧的数据分别用0、1表示，完成二值化处理。
46.步骤二中的膨胀是指形态学中的对二值化物体边界点进行扩充，而腐蚀则是膨胀的逆操作，步骤二中的操作均为全方向，膨胀和腐蚀的强度相同，均为略大于相邻像素点之间边界的间距，目的是为了使二值化结果中离散的一个个像素点联通成一个完整区域，使屏幕区域外轮廓能够被方便的计算。这一步结果肉眼很难观察出整体的变形，需要放大观察边缘可以看到每隔几百或几千像素时竖直边会在水平方向偏移一个像素，水平边也同样会每隔几百或几千像素时在垂直方向偏移一个像素：
47.腐蚀操作：
48.膨胀操作：
49.对所述步骤二中结果进行分析，提取出所有联通区域的外轮廓，排除噪声，仅保留外轮廓最大的部分，即屏幕区域的外轮廓。其中外轮廓围成面积较小的认为是噪声。图4a显示外轮廓示意图，图4b显示放大后的轮廓边缘由离散点直接构成。
50.步骤四中的凸包是一个计算几何(图形学)中的概念，在一个实数向量空间v中，对
于给定集合x，所有包含x的凸集的交集s被称为x的凸包。x的凸包可以用x内所有点(x1，...xn)的凸组合来构造。在二维欧几里得空间中，凸包可想象为一条刚好包着所有点的橡皮圈。这边可以使用graham扫描法，也可以直接调用各种图形库中实现好的计算凸包的方法。计算凸包的作用是主要是填充边界上notch区域，方便之后的多边形逼近计算。图5显示计算凸包修补缺口和notch区域。
51.步骤五主要的作用是将之前轮廓的离散点表达转换为线段表达，从而得到屏幕区域四边的直线表达式，因为相机的成像畸变，直线表达式实际围成的屏幕区域是一个非常接近矩形的不规则四边形，具体做法为使用douglas-peucker或其他类似方法使得连续离散点简化为线段，屏幕的四个圆角部分会因为本身离散点不在一条直线上变成多条线段，而除圆角部分以外的任意一条长直边则最终逼近结果得到一条贴合该边的长线段。图6a显示多边形逼近结果，看上去和凸包一样，实际数据表达不同，图6b显示放大后的逼近结果边缘由连接相邻两点的线段构成。
52.对所述步骤五中的逼近结果做分析，首先剔除圆角部分的短线段，定位贴合屏幕四条直边最近的四条线段，从线段的首尾两点坐标计算出四条线段所在直线的方程式，相邻的方程式联立可以求出线段延长线交点，四个延长线交点依次相连围成的区域就是屏幕区域变形后的包围盒，包围盒的四个角坐标确定且为浮点类型。
53.步骤七中使用包围盒四个顶点坐标对所述不规则四边形做透视变换，将不规则区域内容映射到一个矩形中：具体做法为使用包围盒四个顶点和想映射出的图片的四个顶点计算出透视变换矩阵，利用该矩阵将包围盒内数据映射到输出图片。此时输出图片中的像素排列就更接近实际面板的位置，在测试样例中原始数据在每行和每列首尾偏差最大约三个像素。而经过整个矫正流程后，每行和每列首尾偏差均小于一个像素。
54.本发明的优势主要在于计算快速，使用图形学方法得到性能优化非常好的透视变换，对数据的预处理等要求不高，效果也能满足一般工业生产的需求。
55.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限制。

技术特征：
1.一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，包括以下步骤：步骤一，对图像进行二值化处理；步骤二，对二值化结果先膨胀再同强度腐蚀；步骤三，提取所述步骤二结果中的最大轮廓；步骤四，计算所述最大轮廓的凸包；步骤五，对所述凸包数据做多边形逼近；步骤六，对多边形结果处理得到畸变包围盒；步骤七，参考包围盒顶点进行透视变换。2.根据权利要求1所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，步骤一中包括：首先将拍摄到的亮度数据使用最大类间方差法进行二分化，类间方差表达式为σ2＝p1p2(m1-m2)2，其中p1、p2为被分成两类的亮度值的概率，也就是占比，而m1、m2则是这两类亮度值的各自均值；其次，所求的二值化结果为使得所述类间方差σ2为最大的一组结果，采用遍历所有亮度作为分割点来找到最符合表达式的二分结果的最优解，或者利用类间方差随分割点数值从小到大递增呈现出先增后减的趋势进行二分比较来加速寻找出最优解；最后，得到分割点数值后，将所述分割点数值两侧的数据分别用0、1表示，完成二值化处理。3.根据权利要求1所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，腐蚀操作：膨胀操作：步骤二中的膨胀是指形态学中的对二值化物体边界点进行扩充，而腐蚀则是膨胀的逆操作，步骤二中的操作均为全方向，膨胀和腐蚀的强度相同，均为大于相邻像素点之间边界的间距。4.根据权利要求3所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，对所述步骤二中结果进行分析，提取出所有联通区域的外轮廓，排除噪声，仅保留外轮廓最大的部分，即屏幕区域的外轮廓。5.根据权利要求1所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，步骤四中的凸包为：在一个实数向量空间v中，对于给定集合x，所有包含x的凸集的交集s被称为x的凸包，x的凸包可以用x内所有点(x1，...xn)的凸组合来构造，采用graham扫描法，或者直接调用各种图形库中的计算凸包的方法。6.根据权利要求4所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，将所述外轮廓的离散点表达转换为线段表达，从而得到屏幕区域四边的直线表达式，因为相机的成像畸变，所述直线表达式实际围成的屏幕区域是一个非常接近矩形的不规则四边形，使用douglas-peucker方法使得连续离散点简化为线段，屏幕的四个圆角部分会因为本身离散点不在一条直线上变成多条线段，而除圆角部分以外的任意一条长直边则最终逼近结果得到一条贴合该边的长线段。
7.根据权利要求6所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，对所述步骤五中的逼近结果做分析，首先剔除圆角部分的短线段，定位贴合屏幕四条直边最近的四条线段，从线段的首尾两点坐标计算出四条线段所在直线的方程式，相邻的方程式联立可以求出线段延长线交点，四个延长线交点依次相连围成的区域就是屏幕区域变形后的包围盒，包围盒的四个角坐标确定且为浮点类型。8.根据权利要求7所述的一种对demura相机拍摄结果进行透视变换矫正的方法，其特征在于，步骤七中使用包围盒四个顶点坐标对所述不规则四边形做透视变换，将不规则区域内容映射到一个矩形中：使用包围盒四个顶点和想映射出的图片的四个顶点计算出透视变换矩阵，利用该透视变换矩阵将包围盒内数据映射到输出图片，此时输出图片中的像素排列就更接近实际面板的位置。

技术总结
本发明提出了一种对Demura相机拍摄结果进行透视变换矫正的方法，包括以下步骤：对图像进行二值化处理、对二值化结果先膨胀再同强度腐蚀、提取结果中的最大轮廓、计算最大轮廓的凸包、对凸包数据做多边形逼近、对多边形结果处理得到畸变包围盒、参考包围盒顶点进行透视变换。通过计算机图形学处理来减轻拍摄结果畸变，进行透视变换矫正。进行透视变换矫正。进行透视变换矫正。


技术研发人员：孙斐 秦良 吴樟福
受保护的技术使用者：合肥昇显微电子有限公司
技术研发日：2023.06.09
技术公布日：2023/9/12