一种二次曲线拟合的点坐标去畸变方法、系统及存储介质与流程

1.本发明涉及图像数据处理技术领域，特别涉及图像去畸变领域。


背景技术：

2.图像畸变是指由于透镜制造精度以及组装工艺的偏差引入畸变，原始图像产生的失真。去除图像中的畸变，可以更好地还原真实场景。点坐标去畸变一般用于去除图像特征点的畸变，标定相机内参和畸变系数之后，点坐标去畸变可以通过相机内参和畸变系数去除畸变的影响，避免整幅图像去畸变的繁杂处理，提高了计算效率。同时，在部分应用场景中，特征点提取是在硬件中能够实现的，此时更适合采用点坐标去畸变。
3.图像的特征点提取方法广泛应用于相机标定、图像匹配、人脸检测等技术。从图像中提取特征点时，由于图像中往往存在畸变，需要先去除图像中的畸变，再进行特征点提取。图像去畸变过程中，需要对图像中的所有坐标进行映射，并通过插值获取去畸变后的图像，然而，待提取的特征点数量仅占图像中的一小部分。
4.在部分应用场景中，由于硬件资源有限以及计算速度的要求，一般不会采用图像去畸变的方法，而是采用点坐标去畸变。若采用畸变模型迭代计算，则需要进行除法运算和迭代求解，会相当耗费资源。
5.针对上述问题，本发明提出了一种二次曲线拟合的点坐标去畸变方法，该方法分别对水平方向的像素行和垂直方向的像素列进行拟合，计算去畸变前后的二次曲线方程参数。可以对图像中的坐标进行下采样以减小运算量。对点坐标去畸变时，利用距离畸变点最近的二次曲线方程参数计算横坐标和纵坐标，并插值计算去畸变坐标。
6.中国专利公开号cn 115587952 a扩展现实设备的畸变系数标定方法、装置和存储介质，公开了一种种扩展现实设备的畸变系数标定方法，其中的步骤：获取待拟合畸变关系；所述待拟合畸变关系包括待确定的畸变系数，用于表征所述标准标定图像与所述畸变标定图像之间标定点坐标的映射关系。该步骤也涉及畸变图像和去畸变后图像的像素点之间的坐标映射关系，但该专利中的映射关系使用的是像素点本身的坐标，使用例如经典布朗模型来表述这种映射关系。本发明则从水平方向和垂直方向分别进行拟合，获取映射关系。
7.综上所述，现有的图像去畸变技术存在以下不足：（1）一般需要获得整张图像，才能进行后续处理，硬件可能无法实现；（2）需要存储映射表，当图像较大时，可能会占用较多的存储空间。


技术实现要素：

8.本发明提出的一种二次曲线拟合的点坐标去畸变方法、系统及存储介质，可至少解决上述技术问题之一。
9.为实现上述目的，本发明提出了以下技术方案：一种二次曲线拟合的点坐标去畸变方法，包括：
获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据；对于图像上每一行的像素点，拟合去畸变前的横坐标和去畸变后的横坐标之间的对应关系；对于图像上每一列的像素点，拟合去畸变前的纵坐标和去畸变后的纵坐标之间的对应关系；保存所述对应关系，相机进行拍摄，根据所述对应关系对所拍摄的图像上的像素点进行去畸变操作。
10.进一步地，所述对于图像上每一行的像素点，拟合去畸变前的坐标和去畸变后的坐标之间的对应关系，包括：畸变图像上每一行像素的横坐标为自变量，去畸变后图像上同一行像素的横坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，作为所述对应关系；所述对于图像上每一列的像素点，拟合去畸变前的坐标和去畸变后的坐标之间的对应关系，包括：畸变图像上每一列像素的纵坐标为自变量，去畸变后图像上同一列像素的纵坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，作为所述对应关系。
11.进一步地，所述畸变图像上每一行像素的横坐标为自变量，去畸变后图像上同一行像素的横坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，包括：畸变图像上第i行像素点有m个，记为：；去畸变图像上第i行像素点为：；使用下式进行二次曲线拟合：；其中a
xi
,b
xi
,c
xi
为二次曲线拟合参数；所述畸变图像上每一列像素的纵坐标为自变量，去畸变后图像上同一列像素的纵坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，包括：畸变图像上第k列像素点有n个，记为：；去畸变图像上第k列像素点为：；使用下式进行二次曲线拟合：；其中a
yk
,b
yk
,c
yk
,为二次曲线拟合参数。
12.进一步地，所述根据所述对应关系对所拍摄的图像上的每个像素点进行去畸变操作，包括：计算距离当前像素点最近的四条拟合曲线；根据所述四条拟合曲线计算距离当前像素点最近的，位于拟合曲线上的四个去畸变后的横坐标和纵坐标；
根据所述四个去畸变后的横坐标和纵坐标与当前像素点之间的位置关系，通过插值的方式计算当前像素点去畸变后的坐标；对所拍摄的图像上的每个像素点进行上述去畸变操作。
13.进一步地，还包括：对图像上每一列像素点和每一行像素点均进行多倍下采样后，再拟合去畸变前的横坐标和去畸变后的横坐标之间的对应关系和，拟合去畸变前的纵坐标和去畸变后的纵坐标之间的对应关系。
14.进一步地，所述通过插值的方式计算当前像素点去畸变后的坐标，包括：当前像素点去畸变前的坐标为(xd,yd)，下采样的采样点倍数为ds；计算匹配点坐标(x
p
,y
p
)，其中：；计算两个距离当前像素点最近的横坐标x1和x2，其中：；；计算两个距离当前像素点最近的纵坐标y1和y2，其中：；；则(xd,yd)去畸变后的坐标(xu,yu)为：；其中，。
15.进一步地，获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据，包括：根据相机拍摄图像的高度和宽度生成像素坐标平面，得到所述去畸变前的畸变图像数据，其中每个像素点具有已知的横坐标和纵坐标；根据相机的内参和畸变系数计算所述像素坐标平面中每个像素点去畸变后的坐标，得到所述去畸变后的去畸变图像数据。
16.进一步地，获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据，包括：相机拍摄标定板图像，得到所述标定板去畸变前的畸变图像数据；根据相机的内参和畸变系数对获取的标定板图像进行去畸变操作，得到所述标定板去畸变后的去畸变图像数据。
17.另一方面，本发明还提出了一种二次曲线拟合的点坐标去畸变系统，包括：图像获取模块，用于获取图像数据；参数保存模块，用于保存图像数据去畸变前的横坐标和去畸变后的横坐标之间的对应关系，以及畸变前的纵坐标和去畸变后的纵坐标之间的对应关系；去畸变模块，用于执行上述的二次曲线拟合的点坐标去畸变方法，并输出去畸变
后的图像数据。
18.再一方面，本发明又提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的二次曲线拟合的点坐标去畸变方法。
19.本发明的有益效果如下：（1）不需要硬件去存储整张图像，直接针对点坐标进行去畸变操作，减轻了硬件的压力；（2）在进行图像去畸变操作时，只需要存储拟合曲线的参数，数据量小，算法更加简单。
附图说明
20.图1是本发明的二次曲线拟合的点坐标去畸变方法流程图；图2是本实施例中选择纵轴坐标为1000时点坐标去畸变效果图；图3是本实施例中选择纵轴坐标为2000时点坐标去畸变效果图；图4是本实施例中选择横轴坐标为1000时点坐标去畸变效果图；图5是本实施例中选择横轴坐标为2000时点坐标去畸变效果图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
22.本实施例首先提出一种二次曲线拟合的点坐标去畸变方法。
23.本发明所述二次曲线拟合的点坐标畸变矫正方法，是指借助二次曲线拟合保存的参数，矫正点坐标的畸变。本发明提出的一种二次曲线拟合的点坐标畸变矫正方法，其实施例包括以下步骤：生成训练数据集。为了获取去畸变操作使用的参数，需要获取理想的相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据。一种优选的实施例是该数据直接根据相机所获取图像的大小和相机的内参和畸变系数去生成。假设相机录取图像的高度为h，宽度为w，生成坐标平面，共计h
×
w个坐标点，作为存在畸变的坐标点，记作p
dis
，其中，x坐标的取值范围为0-w，y坐标的取值范围为0-h。上述存在畸变的坐标点，计算去畸变之后的坐标，记作p
undis
。该生成的训练数据可以避免实际拍摄图像产生的各种随机误差，是一种理想的数据。在另一实施方式中，训练数据集也可以根据相机实际拍摄的图像获取，如相机拍摄标定板图像，得到标定板去畸变前的畸变图像数据，然后根据相机的内参和畸变系数对获取的标定板图像进行去畸变操作，得到标定板去畸变后的去畸变图像数据，但此实施方式中，相机拍摄的图像存在一些噪声与误差，并不是理想数据。
24.上述生成训练数据集的步骤，可以根据需要进行适当倍数的下采样。本实施例中，图像大小为(3216,2208)，水平方向和垂直方向均采用了16倍的下采样，生成训练数据集的大小为27738。
25.本实施例在图像的水平方向和垂直方向分别进行二次曲线拟合，也即对采样后的
图像的每一行和每一列上的像素点进行二次曲线拟合。
26.水平方向和垂直方向分别进行二次曲线拟合：将存在畸变的坐标点作为自变量，去畸变之后的坐标作为因变量，拟合两者之间的关系。其中，拟合水平方向的二次曲线时，固定纵轴坐标不变，以横轴坐标作为变量；拟合垂直方向的二次曲线时，固定横轴方向不变，以纵轴坐标作为变量。根据以上思想，对坐标点进行二次曲线拟合。如前文所述，生成数据集的图像大小为(3216,2208)，水平方向和垂直方向均采用了16倍的下采样，那么，水平方向拟合的曲线个数为201，但是考虑到边界条件，所需拟合的曲线个数为202，同理，垂直方向拟合的曲线个数为139。在曲线拟合的过程中，存在畸变的坐标点作为自变量，去畸变之后的坐标作为因变量，拟合两者之间的关系。
27.在水平方向的拟合中，假设第i行（纵轴坐标为i）存在畸变的坐标点有m个，记为，第i行去畸变之后的坐标点为，其中，i=1,2,...,202，那么，待拟合的方程为：，j=1,2,...,m即
28.其中a
xi
,b
xi
,c
xi
为二次曲线拟合参数。
29.同理，假设第k列（横轴坐标为k）存在畸变的坐标点有n个，记为，第k列去畸变之后的坐标点为，其中，k=1,2,...,139，同理，待拟合的方程为：。
30.其中a
yk
,b
yk
,c
yk
,为二次曲线拟合参数。
31.根据上面的描述可以知道，需要拟合的方程个数为202+139=341，参数总数为1023。将以上参数保存于参数表中，即可用于同一相机的畸变点坐标矫正。
32.本实施例通过已有参数实现点坐标去畸变的步骤如下。
33.点坐标去畸变时，需要对待去畸变的点坐标进行插值。假设待处理的点坐标为(xd,yd)，下采样率为ds，去畸变后的点坐标为(xu,yu)，实现过程如下：一、根据采样间隔，计算(xd,yd)对应的匹配点坐标(x
p
,y
p
)，该匹配点坐标用于匹配拟合方程，位置的计算结果如下：，其中，表示向下取整。
34.二、计算水平方向上用于插值的值x
1，
x2，x1和x2是两个距离当前像素点最近的横坐标。x1的值利用第y
p
列对应的方程参数、和，并将y
p
代入，得到：；
x2的值利用第y
p
+1列对应的方程参数、和，并将y
p
+1代入，得到：。
35.三、计算垂直方向用于插值的值y1，y2，y1和y2是两个距离当前像素点最近的纵坐标。y1的值利用第x
p
行对应的方程参数、、，并将y
p
代入，得到：；y2的值利用第x
p
+1行对应的方程参数、、，并将y
p
+1代入，得到：。
36.四、插值计算去畸变后的点坐标为(xu,yu)。设其中，，则可以利用如下公式计算去畸变之后的结果：；获得(xu,yu)结果，完成点坐标的去畸变。
37.在一种实施例中，不进行下采样操作，此时ds=1，上述去畸变运算过程仍然适用。
38.为了验证本发明所述的二次曲线拟合方法的有效性，随机生成10000条测试数据，并在数据中增加均值为0、方差为1的高斯噪声，数据的坐标点的数值范围均在图像内。计算去畸变后的坐标与理想坐标之间的统计量，可以得到：横轴坐标误差的均值为-1.00e-06，标准差为0.0064；纵轴坐标误差的均值为0.00019，标准差为0.024。从统计量的数值可以看出，通过二次曲线拟合的点畸变矫正方法可以很好地去除特征点中存在的畸变，去畸变之后的坐标值接近理想值。
39.为了可视化验证所提方法的效果，进一步地，利用本发明提出的方法对存在畸变的水平直线（纵轴坐标固定）和垂直直线（横轴坐标固定）进行畸变矫正，得到的结果如图2、图3、图4和图5所示，其中，图中的圆形符号表示的坐标点为存在畸变的坐标点，图中的点划线符号表示的坐标点为去畸变之后的坐标点。图2、图3、图4和图5中，在显示时进行了50倍的下采样。
40.图2、图3中，存在畸变的坐标共有3216个。图2和图3分别选择纵轴坐标为1000和2000对应的畸变坐标验证本发明的有效性。
41.图2中的纵坐标为1000，由于畸变的存在，纵轴的坐标存在接近0.5个像素点的坐标浮动，畸变矫正之后的纵轴坐标则基本在1000左右。计算去畸变前后的纵轴坐标的均值和标准差，可以得到：去畸变前纵轴坐标均值为999.814、标准差为0.165；去畸变后纵轴的均值为1000.000、标准差为0.00197。去畸变后的纵轴坐标均值更接近理想值，标准差也更小。
42.图3的纵坐标为2000，由于畸变的存在，纵轴的坐标存在接近10个像素点的坐标浮动，畸变矫正之后的纵轴坐标则基本在2000左右。计算去畸变前后的纵轴坐标的均值和标
准差，可以得到：去畸变前纵轴的均值为1996.322、标准差为2.365；去畸变后纵轴的均值为2000.000、标准差为0.0330。去畸变后的纵轴坐标均值更接近理想值，标准差也更小。
43.图4、图5中，存在畸变的坐标共有2208个。图4和图5分别选择横轴坐标为1000和2000对应的畸变坐标验证本发明的有效性。
44.图4的横轴坐标为1000，由于畸变的存在，横轴的坐标存在接近1.4个像素点的坐标浮动，畸变矫正之后的横轴坐标则基本在1000左右。计算去畸变前后的横轴坐标的均值和标准差，可以得到：去畸变前横轴的均值为1000.800、标准差为0.202；去畸变后横轴的均值为999.999、标准差为0.00296。去畸变后的横轴坐标均值更接近理想值，标准差也更小。
45.图5的横轴坐标为2000，由于畸变的存在，横轴的坐标存在接近0.8个像素点的坐标浮动，畸变矫正之后的横轴坐标则基本在2000左右。计算去畸变前后的横轴坐标的均值和标准差，可以得到：去畸变前横轴的均值为1999.641、标准差为0.144；去畸变后横轴的均值为2000.001、标准差为0.00384。去畸变后的横轴坐标均值更接近理想值，标准差也更小。
46.图2、图3、图4和图5选择的横轴、纵轴坐标去畸变前后的均值和标准差如下表所示：
47.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
48.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种二次曲线拟合的点坐标去畸变方法，其特征在于，包括：获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据；对于图像上每一行的像素点，拟合去畸变前的横坐标和去畸变后的横坐标之间的对应关系；对于图像上每一列的像素点，拟合去畸变前的纵坐标和去畸变后的纵坐标之间的对应关系；保存所述对应关系，相机进行拍摄，根据所述对应关系对所拍摄的图像上的像素点进行去畸变操作。2.根据权利要求1所述的二次曲线拟合的点坐标去畸变方法，其特征在于，所述对于图像上每一行的像素点，拟合去畸变前的坐标和去畸变后的坐标之间的对应关系，包括：畸变图像上每一行像素的横坐标为自变量，去畸变后图像上同一行像素的横坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，作为所述对应关系；所述对于图像上每一列的像素点，拟合去畸变前的坐标和去畸变后的坐标之间的对应关系，包括：畸变图像上每一列像素的纵坐标为自变量，去畸变后图像上同一列像素的纵坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，作为所述对应关系。3.根据权利要求2所述的二次曲线拟合的点坐标去畸变方法，其特征在于，所述畸变图像上每一行像素的横坐标为自变量，去畸变后图像上同一行像素的横坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，包括：畸变图像上第i行像素点有m个，记为：；去畸变图像上第i行像素点为：；使用下式进行二次曲线拟合：；其中a
xi
,b
xi
,c
xi
为二次曲线拟合参数；所述畸变图像上每一列像素的纵坐标为自变量，去畸变后图像上同一列像素的纵坐标为因变量，使用二次曲线拟合自变量和因变量之间的变化关系，包括：畸变图像上第k列像素点有n个，记为：；去畸变图像上第k列像素点为：；使用下式进行二次曲线拟合：；其中a
yk
,b
yk
,c
yk
,为二次曲线拟合参数。4.根据权利要求3所述的二次曲线拟合的点坐标去畸变方法，其特征在于，所述根据所述对应关系对所拍摄的图像上的每个像素点进行去畸变操作，包括：
计算距离当前像素点最近的四条拟合曲线；根据所述四条拟合曲线计算距离当前像素点最近的，位于拟合曲线上的四个去畸变后的横坐标和纵坐标；根据所述四个去畸变后的横坐标和纵坐标与当前像素点之间的位置关系，通过插值的方式计算当前像素点去畸变后的坐标；对所拍摄的图像上的每个像素点进行上述去畸变操作。5.根据权利要求4所述的二次曲线拟合的点坐标去畸变方法，其特征在于，还包括：对图像上每一列像素点和每一行像素点均进行多倍下采样后，再拟合去畸变前的横坐标和去畸变后的横坐标之间的对应关系和，拟合去畸变前的纵坐标和去畸变后的纵坐标之间的对应关系。6.根据权利要求5所述的二次曲线拟合的点坐标去畸变方法，其特征在于，所述通过插值的方式计算当前像素点去畸变后的坐标，包括：当前像素点去畸变前的坐标为(x
d
,y
d
)，下采样的采样点倍数为ds；计算匹配点坐标(x
p
,y
p
)，其中：；计算两个距离当前像素点最近的横坐标x1和x2，其中：；；计算两个距离当前像素点最近的纵坐标y1和y2，其中：；；则(x
d
,y
d
)去畸变后的坐标(x
u
,y
u
)为：；其中，。7.根据权利要求1所述的二次曲线拟合的点坐标去畸变方法，其特征在于，获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据，包括：根据相机拍摄图像的高度和宽度生成像素坐标平面，得到所述去畸变前的畸变图像数据，其中每个像素点具有已知的横坐标和纵坐标；根据相机的内参和畸变系数计算所述像素坐标平面中每个像素点去畸变后的坐标，得到所述去畸变后的去畸变图像数据。8.根据权利要求1所述的二次曲线拟合的点坐标去畸变方法，其特征在于，获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据，包括：相机拍摄标定板图像，得到所述标定板去畸变前的畸变图像数据；根据相机的内参和畸变系数对获取的标定板图像进行去畸变操作，得到所述标定板去畸变后的去畸变图像数据。9.一种二次曲线拟合的点坐标去畸变系统，其特征在于，包括：图像获取模块，用于获取图像数据；参数保存模块，用于保存图像数据去畸变前的横坐标和去畸变后的横坐标之间的对应关系，以及畸变前的纵坐标和去畸变后的纵坐标之间的对应关系；
去畸变模块，用于执行权利要求1至8任一所述的二次曲线拟合的点坐标去畸变方法，并输出去畸变后的图像数据。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的二次曲线拟合的点坐标去畸变方法。

技术总结
本发明公开了一种二次曲线拟合的点坐标去畸变方法、系统及存储介质，该方法包括：获取相机去畸变前的畸变图像数据，和去畸变后的去畸变图像数据；对于图像上每一行的像素点，拟合畸变前的横坐标和去畸变后的横坐标之间的对应关系；对于图像上每一列的像素点，拟合畸变前的纵坐标和去畸变后的纵坐标之间的对应关系；保存所述对应关系，相机进行拍摄，根据所述对应关系对所拍摄的图像上的像素点进行去畸变操作。本发明不需要硬件去存储整张图像，直接针对点坐标进行去畸变操作，减轻了硬件的压力；在进行图像去畸变操作时，只需要存储拟合曲线的参数，数据量小，算法更加简单。算法更加简单。算法更加简单。


技术研发人员：沈曦 张光宇 邵云峰 唐俊峰 曹桂平 董宁
受保护的技术使用者：合肥埃科光电科技股份有限公司
技术研发日：2023.06.12
技术公布日：2023/7/18