一种机器人上深度相机安装位姿标定方法及移动机器人与流程

1.本发明涉及机器人导航及避障技术领域，具体地说是一种机器人上深度相机安装位姿标定方法及移动机器人。


背景技术：

2.深度相机具备人脸识别、手势识别、人体骨架识别、三维测量、环境感知、三维地图重建等数十项功能，可广泛运用于电视、手机、机器人、无人机、物流、vr/ar、智能家居、安防、汽车驾驶辅助等领域。在移动机器人导航避障过程中，经常采用俯视角度安装的深度相机来补充激光雷达的视角盲区，由于深度相机存在安装误差，所以需要对安装参数进行校准，但是目前缺少一种快速有效的深度相机安装位姿自动标定方法。


技术实现要素：

3.本发明的技术任务是针对以上不足之处，提供一种机器人上深度相机安装位姿标定方法及移动机器人，能够在深度相机安装完成后进行检测安装的偏差，调整深度相机位置，可以及时发现深度相机位置不对并及时矫正。
4.本发明解决其技术问题所采用的技术方案是：
5.一种机器人上深度相机安装位姿标定方法，本方法通过地面点云分割进行标定，获取深度相机安装参数中的平移向量和欧拉角，由所述平移向量和欧拉角标定深度相机的安装位姿；
6.所述深度相机向斜下方俯视安装在机器人上，获取机器人前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；
7.求得所述平面点云的平面方程及法向量，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机坐标系三个坐标轴的夹角，将所述夹角转换到机器人坐标系下求得深度相机的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机的安装高度；
8.所述安装角度和安装高度即为所需要的深度相机的位姿。
9.深度相机的安装参数为深度相机ir摄像头坐标系到机器人坐标系base_link的变换，其中base_link原点位于机器人中心轴与地面的交点，深度相机的安装参数可以通过平移矩阵和旋转矩阵来表示，也可以通过x,y,z三个平移量以及r,p,y三个欧拉角表示，本方法通过地面点云分割进行标定，能够获取z,r,p三个要素。现有方案中深度相机安装位姿标定的方法一般受空间限制，如固定场景，特定纹理，一般要求深度相机需要搭载rgb摄像头，通过纹理特征信息来标定安装位姿，本方法只需要一个平整的平面，仅通过平面点云即可标定，不需要搭载rgb摄像头即可实现。
10.优选的，该方法实现的具体过程如下：
11.步骤s101：机器人上安装向斜下方俯视的深度相机，通过深度相机获取包含地面的点云；
12.步骤s102：对获取的地面点云进行体素滤波降采样处理以提高处理速度；
13.步骤s103：地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；
14.步骤s104：地面点云p的法向量为v(a,b,c)；
15.步骤s105：在深度相机坐标系下求得法向量v在三个坐标平面的投影相对于深度相机坐标系三个坐标轴的夹角，将所述夹角转换到机器人坐标系下求得安装角度r和p；
16.步骤s106：深度相机坐标系原点到平面点云p的距离为深度相机的安装高度h。
17.进一步的，所述步骤s103，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。
18.进一步的，步骤s105中，所述安装角度并将求解的结果变换到
19.进一步的，步骤s106中，所述安装高度h的计算方式为：
[0020][0021]
本发明还要求保护一种移动机器人，移动机器人上安装有深度相机，所述深度相机向斜下方俯视安装在移动机器人上；
[0022]
深度相机获取移动机器人前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；根据提取的平面点云求得平面点云的平面方程及法向量，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机坐标系三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系下求得深度相机的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机的安装高度；
[0023]
所述安装角度和安装高度即为深度相机的位姿，根据所述深度相机的位姿校准深度相机在移动机器人上的安装误差。
[0024]
优选的，深度相机安装位姿校正过程如下：
[0025]
将深度相机向斜下方俯视安装的移动机器人上，通过深度相机获取包含地面的点云；
[0026]
对获取的地面点云进行体素滤波降采样处理以提高处理速度；
[0027]
地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；
[0028]
地面点云p的法向量为v(a,b,c)；
[0029]
在深度相机坐标系下求得法向量v在三个坐标平面的投影相对于深度相机坐标系三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系下求得安装角度r和p；
[0030]
深度相机坐标系原点到平面点云p的距离为深度相机的安装高度h；
[0031]
根据所述安装角度r和p，以及安装高度h进行深度相机安装位姿校正。
[0032]
进一步的，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。
[0033]
进一步的，所述安装角度并将求解的结果变换到
[0034][0035]
进一步的，所述安装高度h的计算方式为：
[0036][0037]
本发明的一种机器人上深度相机安装位姿标定方法及移动机器人与现有技术相比，具有以下有益效果：
[0038]
通过对地面点云分割获取平面法向量求解深度相机安装位姿，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机三个坐标轴的夹角，将欧拉角转换到机器人坐标系下求得安装角度r，p；通过该方法，深度相机的安装位姿能够自动标定，大大提高安装和使用效率及数据精度，有利于提高机器人的导航避障精度；
[0039]
本方法能够减小深度相机安装误差，有效标定移动机器人与深度相机的准确位姿关系，使后续深度相机的使用更精确；
[0040]
针对现有方案深度相机位姿标定一般受空间限制，一般要求深度相机需要搭载rgb摄像头，通过纹理特征信息来标定安装位姿的问题，本方法只需要一个平整的平面，且不需要搭载rgb摄像头即可实现。
附图说明
[0041]
图1是本发明实施例提供的机器人上深度相机安装位姿标定方法的实现流程图；
[0042]
图2是本发明实施例提供的机器人上深度相机安装位姿标定的结构示图。
[0043]
图中，1、机器人/移动机器人，2、机器人坐标系，3、深度相机，4、地面，v、地面法向量。
具体实施方式
[0044]
下面结合具体实施例对本发明作进一步说明。
[0045]
本发明实施例提供了一种机器人上深度相机安装位姿标定方法，本方法通过地面点云分割进行标定，获取深度相机安装参数中的平移向量和欧拉角，由所述平移向量和欧拉角标定深度相机的安装位姿；
[0046]
参考图2所示，所述深度相机3向斜下方俯视安装在机器人1上，获取机器人1前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；
[0047]
求得所述平面点云的平面方程及法向量v，在深度相机坐标系下求得法向量v在xyz三个坐标平面的投影相对深度相机坐标系xyz三个坐标轴的夹角，将所述夹角转换到机器人坐标系2下求得深度相机3的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机3的安装高度；
[0048]
所述安装角度和安装高度即为所需要的深度相机的位姿。
[0049]
深度相机3的安装参数为深度相机ir摄像头坐标系到机器人坐标系base_link的变换，其中base_link原点位于机器人1中心轴与地面的交点，深度相机3的安装参数可以通过平移矩阵和旋转矩阵来表示，也可以通过x,y,z三个平移量以及r,p,y三个欧拉角表示，本方法通过地面点云分割进行标定，能够获取z,r,p三个要素。
[0050]
参考图1所示，该方法实现的具体过程如下：
[0051]
步骤s101：机器人上安装向斜下方俯视的深度相机，通过深度相机获取包含地面的点云；
[0052]
步骤s102：对获取的地面点云进行体素滤波降采样处理以提高处理速度；
[0053]
步骤s103：地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；
[0054]
步骤s104：地面点云p的法向量为v(a,b,c)；
[0055]
步骤s105：在深度相机坐标系下求得法向量v在xyz三个坐标平面的投影相对于深度相机坐标系xyz三个坐标轴的夹角，将所述夹角转换到机器人坐标系2下求得安装角度r和p；
[0056]
步骤s106：深度相机坐标系原点到平面点云p的距离为深度相机3的安装高度h。
[0057]
其中，所述步骤s103，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。
[0058]
步骤s105中，所述安装角度并将求解的结果变换到
[0059]
步骤s106中，所述安装高度h的计算方式为：
[0060][0061]
现有方案中深度相机安装位姿标定的方法一般受空间限制，如固定场景，特定纹理，一般要求深度相机需要搭载rgb摄像头，通过纹理特征信息来标定安装位姿，本方法只需要一个平整的平面，仅通过平面点云即可标定，不需要搭载rgb摄像头即可实现。
[0062]
本发明实施例还提供一种移动机器人，移动机器人1上安装有深度相机3，所述深度相机3向斜下方俯视安装在移动机器人1上；
[0063]
深度相机3获取移动机器人1前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；根据提取的平面点云求得平面点云的平面方程及法向量v，在深度相机坐标系下求得法向量v在xyz三个坐标平面的投影相对深度相机坐标系xyz三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系2下求得深度相机3的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机3的安装高度；
[0064]
所述安装角度和安装高度即为深度相机的位姿，根据所述深度相机的位姿校准深度相机3在移动机器人1上的安装误差。
[0065]
参考图1-2所示，深度相机3安装位姿校正过程如下：
[0066]
将深度相机3向斜下方俯视安装的移动机器人1上，通过深度相机3获取包含地面的点云；
[0067]
对获取的地面点云进行体素滤波降采样处理以提高处理速度；
[0068]
地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；
[0069]
地面点云p的法向量为v(a,b,c)；
[0070]
在深度相机坐标系下求得法向量v在xyz三个坐标平面的投影相对于深度相机坐标系xyz三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系2下求得安装角度r和p；
[0071]
深度相机坐标系原点到平面点云p的距离为深度相机3的安装高度h；
[0072]
根据所述安装角度r和p，以及安装高度h进行深度相机3的安装位姿校正。
[0073]
其中，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。
[0074]
所述安装角度并将求解的结果变换到
[0075]
所述安装高度h的计算方式为：
[0076][0077]
该移动机器人不需要搭载rgb摄像头，只需要一个平整的平面，仅通过平面点云即可标定深度相机的安装位姿，实现深度相机安装位姿的自动标定，大大提高安装和使用效率及数据精度，有利于提高移动机器人的导航避障精度。
[0078]
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
[0079]
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

技术特征：
1.一种机器人上深度相机安装位姿标定方法，其特征在于，本方法通过地面点云分割进行标定，获取深度相机安装参数中的平移向量和欧拉角，由所述平移向量和欧拉角标定深度相机的安装位姿：所述深度相机向斜下方俯视安装在机器人上，获取机器人前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；求得所述平面点云的平面方程及法向量，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机坐标系三个坐标轴的夹角，将所述夹角转换到机器人坐标系下求得深度相机的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机的安装高度；所述安装角度和安装高度即为所需要的深度相机的位姿。2.根据权利要求1所述的一种机器人上深度相机安装位姿标定方法，其特征在于，该方法实现的具体过程如下：步骤s101：机器人上安装向斜下方俯视的深度相机，通过深度相机获取包含地面的点云；步骤s102：对获取的地面点云进行体素滤波降采样处理；步骤s103：地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；步骤s104：地面点云p的法向量为v(a,b,c)；步骤s105：在深度相机坐标系下求得法向量v在三个坐标平面的投影相对于深度相机坐标系三个坐标轴的夹角，将所述夹角转换到机器人坐标系下求得安装角度r和p；步骤s106：深度相机坐标系原点到平面点云p的距离为深度相机的安装高度h。3.根据权利要求2所述的一种机器人上深度相机安装位姿标定方法，其特征在于，所述步骤s103，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。4.根据权利要求2或3所述的一种机器人上深度相机安装位姿标定方法，其特征在于，步骤s105中，所述安装角度并将求解的结果变换到5.根据权利要求2或3所述的一种机器人上深度相机安装位姿标定方法，其特征在于，步骤s106中，所述安装高度h的计算方式为：6.一种移动机器人，其特征在于，移动机器人上安装有深度相机，所述深度相机向斜下方俯视安装在移动机器人上；深度相机获取移动机器人前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；根据提取的平面点云求得平面点云的平面方程及法向量，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机坐标系三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系下求得深度相机的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机的安装高度；
所述安装角度和安装高度即为深度相机的位姿，根据所述深度相机的位姿校准深度相机在移动机器人上的安装误差。7.根据权利要求6所述的一种移动机器人，其特征在于，深度相机安装位姿校正过程如下：将深度相机向斜下方俯视安装的移动机器人上，通过深度相机获取包含地面的点云；对获取的地面点云进行体素滤波降采样处理；地面点云分割平面，去除非地面的点云，得到平面点云p，并用数学模型表示平面点云p在深度相机坐标系下的平面方程ax+by+cz+d＝0；地面点云p的法向量为v(a,b,c)；在深度相机坐标系下求得法向量v在三个坐标平面的投影相对于深度相机坐标系三个坐标轴的夹角，将所述夹角转换到移动机器人坐标系下求得安装角度r和p；深度相机坐标系原点到平面点云p的距离为深度相机的安装高度h；根据所述安装角度r和p，以及安装高度h进行深度相机安装位姿校正。8.根据权利要求7所述的一种移动机器人，其特征在于，通过随机采样一致性方法分割平面，并估算平面模型的参数a，b，c。9.根据权利要求7或8所述的一种移动机器人，其特征在于，所述安装角度并将求解的结果变换到10.根据权利要求7或8所述的一种移动机器人，其特征在于，所述安装高度h的计算方式为：

技术总结
本发明公开了一种机器人上深度相机安装位姿标定方法及移动机器人，属于机器人导航及避障技术领域，深度相机向斜下方俯视安装在机器人上，获取机器人前方地面的点云，并对获取的地面点云进行降采样处理，分割并提取平面点云；求得所述平面点云的平面方程及法向量，在深度相机坐标系下求得法向量在三个坐标平面的投影相对深度相机坐标系三个坐标轴的夹角，将所述夹角转换到机器人坐标系下求得深度相机的安装角度；根据深度相机坐标系原点到地面的距离获取深度相机的安装高度；所述安装角度和安装高度即为所需要的深度相机的位姿。本发明能够在深度相机安装完成后进行检测安装的偏差，调整深度相机位置，可以及时发现深度相机位置不对并及时矫正。机位置不对并及时矫正。机位置不对并及时矫正。


技术研发人员：董锐 高发钦 马辰 程瑶
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：2023.05.26
技术公布日：2023/9/5