一种机器视觉环境下的钢筋交叉点精确坐标解算方法

一种机器视觉环境下的钢筋交叉点精确坐标解算方法
[技术领域]
[0001]
本发明涉及智能建造领域，尤其涉及一种机器视觉环境下的钢筋交叉点精确坐标解算方法。
[

背景技术：
]
[0002]
随着计算机科学的不断发展，基于机器视觉的钢筋交叉点自动绑扎技术已在建筑施工领域得到广泛应用。该技术可分为视觉系统和绑扎系统两个主要模块，前者基于目标检测算法，通过图像处理和特征提取，准确识别并确定钢筋交叉点的位置(即场地坐标)；后者则基于前者提供的场地坐标，通过路径规划和运动控制执行绑扎操作。提升钢筋交叉点的位置确定精度，可为绑扎系统提供更精确的目标，进而提高绑扎质量。
[0003]
钢筋交叉点的位置需由相机坐标系和场地坐标系共同表达，视觉系统仅可获取各点在相机坐标系下的坐标，而绑扎系统仅接受各点在场地坐标系下的坐标。因此，由相机坐标系到场地坐标系的坐标解算精度，将直接决定钢筋交叉点的绑扎质量。
[0004]
在相机坐标系到场地坐标系的坐标解算方面，现有技术存在以下缺陷：
[0005]
(1)适用范围较小
[0006]
现有技术通常采用线性布尔莎模型构建两坐标系间的关系。然而，当相机坐标系相对于场地坐标系的旋转角大于5
°
时，线性布尔莎模型的精度会急剧下降。实际施工中，两坐标系的旋转角由待绑扎平面的位置决定，难以保证其小于5
°
。因此，现有技术仅适用于旋转角较小的特定待绑扎平面，无法应用于旋转角较大的待绑扎平面，其适用范围较小。对于这一问题，部分工程人员尝试使用广义布尔莎模型，以提升现有技术的适用范围，但目前求解广义布尔莎模型的方法都需要较高的计算成本，无法直接应用于钢筋智能绑扎工作。
[0007]
(2)转换精度较低
[0008]
现有技术通常基于一组相机坐标和场地坐标均易于测量的钢筋交叉点(以下称为已知点)，通过各已知点在相机坐标系和场地坐标系下的坐标，建立线性布尔莎模型，以构建两坐标系间的关系。然而，该方法忽视了已知点的坐标测量误差，其简单地认为各已知点的坐标精度相同，并采用全部已知点建立线性布尔莎模型。因此，部分误差较大的已知点会极大地影响坐标解算的准确性，造成钢筋交叉点的定位精度下降，进而严重影响钢筋绑扎质量。
[0009]
综上，钢筋智能绑扎的实施急需一种适用性强、精度高且低计算成本的坐标解算方法。
[

技术实现要素：
]
[0010]
本发明提出了一种机器视觉环境下的钢筋交叉点精确坐标解算方法，有效扩展了现有技术的适用范围，同时提升了钢筋交叉点的坐标解算精度。
[0011]
所述的一种机器视觉环境下的钢筋交叉点精确坐标解算方法，首先基于广义布尔莎坐标转换模型的思想，通过相机坐标系和场地坐标系下一组已知点的坐标，建立钢筋交
叉点场地坐标参数解算模型，再采用智能优化算法求解该模型。每次求解后，计算各点的转换误差并更新已知点集合，通过多次迭代提升钢筋交叉点场地坐标参数解算模型的精度。最终获得由相机坐标系到场地坐标系的坐标转换参数，进而实现钢筋交叉点坐标的精确解算。
[0012]
所述的智能优化算法，可为任意一种鲁棒性强且全局搜索能力较好的既有算法，如遗传算法和模拟退火算法等。
[0013]
一种机器视觉环境下的钢筋交叉点精确坐标解算方法，其特征在于，该方法包括以下步骤：
[0014]
步骤1：选取已知钢筋交叉点并测量其坐标：在深度相机所覆盖的钢筋绑扎作业空间内，选取n个分布均匀且易于测量坐标的钢筋交叉点p1,p2,...,pn，称p1,p2,...,pn为已知点，p1,p2,...,pn组成的集合为已知点集合w，测量并记录各已知点在相机坐标系o-xyz和场地坐标系o-xyz下的坐标。
[0015]
步骤2：建立钢筋交叉点场地坐标参数解算模型：设已知点集合w中，点pi(i＝1,2,...,n)在相机坐标系o-xyz和场地坐标系o-xyz下的坐标分别为(xi,yi,zi)与(xi,yi,zi)。根据广义布尔莎模型，以δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3为参数，建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换关系如下：
[0016][0017]
式中，δx,δy,δz分别为场地坐标系原点o在x,y,z方向上相对于相机坐标系原点o的坐标平移量，a1,a2,a3分别为场地坐标系的x轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，b1,b2,b3分别为场地坐标系的y轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，c1,c2,c3分别为场地坐标系的z轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，m为场地坐标系与相机坐标系的单位长度所对应的实际距离之比。
[0018]
根据方向余弦的定义，参数a1,a2,a3,b1,b2,b3,c1,c2,c3满足：
[0019][0020]
以分别表示点pi(i＝1,2,...,n)在x,y,z三个坐标轴方向上的误差分量，则：
[0021][0022]
式(3)可进一步表示为：
[0023][0024]
记误差分量的平方和vi为点pi(i＝1,2,...,n)的转换误差，则：
[0025][0026]
定义各已知点p1,p2,...,pn的转换误差之和为已知点集合w的总转换误差v，则：
[0027][0028]
已知点p1,p2,...,pn转换误差的平均值称为已知点集合w的平均转换误差，则：
[0029][0030]
以广义布尔莎模型的参数(δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3)为决策变量，已知点集合w的总转换误差v为目标函数，式(2)为约束条件，建立基于w的钢筋交叉点场地坐标参数解算模型如下：
[0031][0032]
步骤3：钢筋交叉点场地坐标参数解算模型的求解：采用鲁棒性强且全局搜索能力较好的智能优化算法，如模拟退火算法或差分进化算法，求解步骤2中的钢筋交叉点场地坐标参数解算模型，并计算出基于已知点集合w的最优坐标转换参数(δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3)、总转换误差v、平均转换误差v以及各已知点p1,p2,...,pn的转换误差v1,v2,...,vn。
[0033]
步骤4：已知点精度排序：将集合w中各已知点p1,p2,...,pn按转换误差的大小依次降序排列，记排序后所得的已知点集合w为{p
(1)
,p
(2)
,...,p
(n)
}，其中p
(1)
为转换误差最大的点，p
(n)
为转换误差最小的点。
[0034]
步骤5：已知点集合更新：移除集合w中转换误差最大的已知点p
(1)
，称其余各点p
(2)
,p
(3)
,...,p
(n)
为剩余点，剩余点p
(2)
,p
(3)
,...,p
(n)
共同组成的集合为剩余点集合w
remain
，即：
[0035]wremain
＝{p
(2)
,p
(3)
,...,p
(n)
}
ꢀꢀ
(9)
[0036]
返回步骤2建立基于剩余点集合w
remain
对应的钢筋交叉点场地坐标参数解算模型，并采用步骤3中的智能优化算法加以求解。记已知点集合w和剩余点集合w
remain
对应钢筋交
叉点场地坐标参数解算模型的平均转换误差分别为与若则更新已知点集合w，并使w＝w
remain
。
[0037]
若则放弃当前的w
remain
，并按误差递减的顺序，依次选择并判断集合w中的其他已知点p
(2)
,p
(3)
,...,p
(n)
，具体过程如下：
[0038]
设当前选择的已知点为p
(k)
，以除去p
(k)
外的其余各已知点p
(1)
,...,p
(k-1)
,p
(k+1)
,
…
,p
(n)
建立剩余点集合并按步骤2与步骤3的方法，建立并求解基于的钢筋交叉点场地坐标参数解算模型。若当前剩余点集合对应的钢筋交叉点场地坐标参数解算模型的平均转换误差满足则更新已知点集合w并使
[0039]
若仍小于则放弃当前的并选择已知点p
(k+1)
，以除去p
(k+1)
外的其余各已知点p
(1)
，
…
p
(k)
，p
(k+2)
,
…
,p
(n)
重新建立剩余点集合并评估与的大小关系。依此类推，直至找到已知点p
(m)
，其所确定的剩余点集合对应的钢筋交叉点场地坐标参数解算模型的平均转换误差满足更新已知点集合w以使
[0040]
步骤6：已知点集合的循环迭代：设更新后的集合w共有m个已知点p1,p2,...,pm，根据步骤2至步骤4，建立并求解w对应的钢筋交叉点场地坐标参数解算模型，计算出各已知点的转换误差v1,v2,...,vm，再根据步骤5进一步更新已知点集合w。
[0041]
迭代以上过程，直至集合w满足以下条件之一，停止迭代并输出此时集合w对应的钢筋交叉点场地坐标参数，并建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换模型。
[0042]
(1)已知点数量m小于限值m0，其中m0为不超过(0.6
×
m)的最大整数：
[0043]
(2)v1,v2,...,vm的标准差σ小于限值σ0＝50。
[0044]
[有益效果]
[0045]
本发明提出了一种机器视觉环境下的钢筋交叉点精确坐标解算方法，该方法提升了钢筋交叉点坐标解算的精度及适用范围，降低了钢筋交叉点坐标解算的计算成本，有效提升了钢筋绑扎的质量。
[附图说明]
[0046]
图1为本发明的流程图；
[0047]
图2为本发明所附实施例中，模型平均转换误差随迭代次数k的变化曲线；
[0048]
图3为本发明所附实施例中，模型各已知点转换误差的标准差σ随迭代次数k的变化曲线。
[具体实施方式]
[0049]
为使本发明的目的、技术方案和特点更加清晰，下面结合实施例和附图，对本发明作进一步说明。该实施例仅用于解释本发明，不作为对本发明的限定。
[0050]
步骤1：在深度相机所覆盖的钢筋绑扎作业空间内随机选取100个已知点p1,p2,...,p
100
，其共同组成已知点集合w。测量并记录各点在相机坐标系和场地坐标系中的坐
标，如表1所示。
[0051]
表1各已知点在相机坐标系和场地坐标系中的坐标
[0052]
[0053][0054]
步骤2：根据集合w中已知点pi(i＝1,2,...,100)在相机坐标系和场地坐标系下的坐标，结合广义布尔莎模型，建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换关系如下：
[0055][0056]
式中，δx,δy,δz分别为场地坐标系原点o在x,y,z方向上相对于相机坐标系原点o的坐标平移量；a1,a2,a3分别为场地坐标系的x轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦；b1,b2,b3分别为场地坐标系的y轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦；c1,c2,c3分别为场地坐标系的z轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦；m为场地坐标系与相机坐标系的单位长度所对应的实际距离之比。
[0057]
参数a1,a2,a3,b1,b2,b3,c1,c2,c3满足：
[0058][0059]
以表示已知点pi(i＝1,2,...,100)在x,y,z三个坐标轴方向上的误差分量，则：
[0060][0061]
记误差分量的平方和vi为点pi(i＝1,2,...,100)的转换误差，则：
[0062][0063]
定义各已知点p1,p2,...,p
100
的转换误差之和为已知点集合w的总转换误差v，则：
[0064][0065]
已知点p1,p2,...,p
100
转换误差的平均值称为已知点集合w的平均转换误差，
则：
[0066][0067]
根据最小二乘准则及非线性平差原理，建立基于集合w的坐标转换优化模型如下：
[0068][0069]
步骤3：选取鲁棒性强且全局搜索能力较好的模拟退火算法求解，算法的初始温度t
start
＝10000，终止温度t
end
＝10，初始温度衰减系数η0＝0.98，马尔科夫链长度l＝50。此外，算法的温度衰减系数随迭代次数的增加而减小，设ηk为第k次迭代的温度衰减系数，α0＝0.997为温度衰减系数的改变率，则第k+1次迭代的温度衰减系数η
k+1
满足：
[0070]
η
k+1
＝ηk×
α0ꢀꢀ
(17)
[0071]
基于该算法，求得集合w对应模型的总转换误差v＝35456.378，平均转换误差误差最大的已知点为p
41
，其对应的转换误差为v
41
＝766.16。
[0072]
步骤4：移除集合w中转换误差最大的已知点p
41
，记剩余各已知点p1,p2,...,p
40
,p
42
,
…
,p
100
共同组成的剩余点集合为w
remain
。返回步骤2建立基于剩余点集合w
remain
对应的钢筋交叉点场地坐标参数解算模型，并采用步骤3中的模拟退火算法加以求解。求得集合w
remain
对应模型的总转换误差v
remain
＝34690.221，平均转换误差由于更新已知点集合w并使w＝w
remain
。
[0073]
步骤5：已知点集合的循环迭代。设更新后的集合w共有m个已知点p1,p2,...,pm，根据步骤2至步骤4，建立并求解w对应的钢筋交叉点场地坐标参数解算模型，计算出各已知点的转换误差v1,v2,...,vm，再根据以下方法进一步更新已知点集合w。
[0074]
迭代以上过程，直至集合w满足以下条件之一，停止迭代并输出此时集合w对应的钢筋交叉点场地坐标参数，并建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换模型。
[0075]
(1)已知点数量m小于限值m0，其中m0为不超过(0.6
×
m)的最大整数：
[0076]
(2)v1,v2,...,vm的标准差σ小于限值σ0＝50。
[0077]
基于以上循环终止条件，由初始点p1,p2,...,p
100
所建立的钢筋交叉点场地坐标参数解算模型共迭代40次。平均转换误差模型各已知点转换误差的标准差σ随迭代次数k的变化曲线分别如附图2、附图3所示，最终的求解结果如表2所示。
[0078]
表2模型最终求解结果
[0079][0080]
基于表2的坐标转换参数，建立钢筋交叉点由相机坐标系到场地坐标系的转换模型如下：
[0081][0082]
式中(x,y,z)与(x,y,z)分别为钢筋交叉点在相机坐标系和场地坐标系下的坐标。
[0083]
从附图2和附图3可知，在40次迭代后，模型各已知点的平均误差由354.56下降至228.61，精度提升35.5％，模型各已知点平均误差的标准差σ由174.66下降至73.41，稳定性提升57.9％。因此，本发明大幅提升了钢筋交叉点的定位精度，进而改善了钢筋交叉点的绑扎质量。

技术特征：
1.一种机器视觉环境下的钢筋交叉点精确坐标解算方法，其特征在于，该方法包括以下步骤：步骤1：选取已知钢筋交叉点并测量其坐标：在深度相机所覆盖的钢筋绑扎作业空间内，选取n个分布均匀且易于测量坐标的钢筋交叉点p1,p2,...,p
n
，称p1,p2,...,p
n
为已知点，p1,p2,...,p
n
组成的集合为已知点集合w，测量并记录各已知点在相机坐标系o-xyz和场地坐标系o-xyz下的坐标；步骤2：建立钢筋交叉点场地坐标参数解算模型：设已知点集合w中，点p
i
(i＝1,2,...,n)在相机坐标系o-xyz和场地坐标系o-xyz下的坐标分别为(x
i
,y
i
,z
i
)与(x
i
,y
i
,z
i
)，根据广义布尔莎模型，以δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3为参数，建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换关系如下：式中，δx,δy,δz分别为场地坐标系原点o在x,y,z方向上相对于相机坐标系原点o的坐标平移量，a1,a2,a3分别为场地坐标系的x轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，b1,b2,b3分别为场地坐标系的y轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，c1,c2,c3分别为场地坐标系的z轴与相机坐标系x,y,z三个坐标轴所成夹角的方向余弦，m为场地坐标系与相机坐标系的单位长度所对应的实际距离之比；根据方向余弦的定义，参数a1,a2,a3,b1,b2,b3,c1,c2,c3满足：以分别表示点p
i
(i＝1,2,...,n)在x,y,z三个坐标轴方向上的误差分量，则：式(3)可进一步表示为：记误差分量的平方和v
i
为点p
i
(i＝1,2,...,n)的转换误差，则：
定义各已知点p1,p2,...,p
n
的转换误差之和为已知点集合w的总转换误差v，则：已知点p1,p2,...,p
n
转换误差的平均值称为已知点集合w的平均转换误差，则：以广义布尔莎模型的参数(δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3)为决策变量，已知点集合w的总转换误差v为目标函数，式(2)为约束条件，建立基于w的钢筋交叉点场地坐标参数解算模型如下：步骤3：钢筋交叉点场地坐标参数解算模型的求解：采用鲁棒性强且全局搜索能力较好的智能优化算法，如模拟退火算法或差分进化算法，求解步骤2中的钢筋交叉点场地坐标参数解算模型，并计算出基于已知点集合w的最优坐标转换参数(δx,δy,δz,m,a1,a2,a3,b1,b2,b3,c1,c2,c3)、总转换误差v、平均转换误差以及各已知点p1,p2,...,p
n
的转换误差v1,v2,...,v
n
；步骤4：已知点精度排序：将集合w中各已知点p1,p2,...,p
n
按转换误差的大小依次降序排列，记排序后所得的已知点集合w为{p
(1)
,p
(2)
,...,p
(n)
}，其中p
(1)
为转换误差最大的点，p
(n)
为转换误差最小的点；步骤5：已知点集合更新：移除集合w中转换误差最大的已知点p
(1)
，称其余各点p
(2)
,p
(3)
,...,p
(n)
为剩余点，剩余点p
(2)
,p
(3)
,...,p
(n)
共同组成的集合为剩余点集合w
remain
，即：w
remain
＝{p
(2)
,p
(3)
,...,p
(n)
}
ꢀꢀꢀꢀꢀꢀ
(9)返回步骤2建立基于剩余点集合w
remain
对应的钢筋交叉点场地坐标参数解算模型，并采用步骤3中的智能优化算法加以求解，记已知点集合w和剩余点集合w
remain
对应钢筋交叉点场地坐标参数解算模型的平均转换误差分别为与若则更新已知点集合w，并使w＝w
remain
；若则放弃当前的w
remain
，并按误差递减的顺序，依次选择并判断集合w中的其他已知点p
(2)
,p
(3)
,...,p
(n)
，具体过程如下：设当前选择的已知点为p
(k)
，以除去p
(k)
外的其余各已知点p
(1)
,...,p
(k-1)
,p
(k+1)
,...,p
(n)
建立剩余点集合并按步骤2与步骤3的方法，建立并求解基于的钢筋交叉点场地坐标参数解算模型；若当前剩余点集合对应的钢筋交叉点场地坐标参数解算模
型的平均转换误差满足则更新已知点集合w并使若仍小于则放弃当前的并选择已知点p
(k+1)
，以除去p
(k+1)
外的其余各已知点p
(1)
,...,p
(k)
,p
(k+2)
,...,p
(n)
重新建立剩余点集合并评估与的大小关系；依此类推，直至找到已知点p
(m)
，其所确定的剩余点集合对应的钢筋交叉点场地坐标参数解算模型的平均转换误差满足更新已知点集合w以使步骤6：已知点集合的循环迭代：设更新后的集合w共有m个已知点p1,p2,...,p
m
，根据步骤2至步骤4，建立并求解w对应的钢筋交叉点场地坐标参数解算模型，计算出各已知点的转换误差v1,v2,...,v
m
，再根据步骤5进一步更新已知点集合w；迭代以上过程，直至集合w满足以下条件之一，停止迭代并输出此时集合w对应的钢筋交叉点场地坐标参数，并建立钢筋交叉点由相机坐标系到场地坐标系的坐标转换模型：(1)已知点数量m小于限值m0，其中m0为不超过(0.6
×
m)的最大整数；(2)v1,v2,...,v
m
的标准差σ小于限值σ0＝50。

技术总结
本发明公开了一种机器视觉环境下的钢筋交叉点精确坐标解算方法。首先基于广义布尔莎坐标转换模型的思想，通过相机坐标系和场地坐标系下一组已知点的坐标，建立钢筋交叉点场地坐标参数解算模型，再采用智能优化算法求解该模型。每次求解后，计算各点的转换误差并更新已知点集合，通过多次迭代提升钢筋交叉点场地坐标参数解算模型的精度。最终获得由相机坐标系到场地坐标系的坐标转换参数，进而实现钢筋交叉点坐标的精确解算。本发明提升了钢筋交叉点坐标解算的精度及适用范围，降低了钢筋交叉点坐标解算的计算成本，有效提升了钢筋绑扎的质量。质量。质量。


技术研发人员：缪鹍 杨承达
受保护的技术使用者：中南大学
技术研发日：2023.07.05
技术公布日：2023/9/25