一种基于视觉混合的机械臂位姿检测方法与流程

1.本发明设计视觉领域及目标位姿检测领域，具体来说是一种基于视觉混合的机械臂位姿检测方法。


背景技术：

2.机械臂在人机融合环境下扮演者重要的角色，机械臂协助人类工人完成更加复杂、高效和精准的工作任务，这种协作模式不仅可以提高工作效率和质量，也可以降低人员伤害和错误率，为人们带来了巨大的便利，对推动工业制造发展有着重要意义。但是机械臂也可能会受到各种不可控因素的影响从而导致其非正常运行，造成一系列安全隐患，因此需要对其进行实时检测，在大多数常规研究中，通常会使用基于智能传感器的检测方法和基于计算机视觉的目标检测方法实时监控被监测对象，基于智能传感器的检测方法通常只能从局部检测被检测对象的行为特征，从而无法轻易的在整体检测上达到很好的检测效果，而且与基于计算机视觉的检测方法相比，智能传感器价格昂贵，不适合大规模部署。目标检测方法识别出的结果往往会将被监测对象判定为正常运行，从而无法从微观上检测出机械臂的非正常运行，具有较大的应用局限性。


技术实现要素：

3.本发明要解决的技术问题是现有机械臂位姿检测方法中存在的缺陷与不足,机械臂也可能会受到各种不可控因素的影响从而导致其非正常运行，造成一系列安全隐患，因此需要对其进行实时检测，在大多数常规研究中，通常会使用基于智能传感器的检测方法和基于计算机视觉的目标检测方法实时监控被监测对象，基于智能传感器的检测方法通常只能从局部检测被检测对象的行为特征，从而无法轻易的在整体检测上达到很好的检测效果，而且与基于计算机视觉的检测方法相比，智能传感器价格昂贵，不适合大规模部署。
4.为解决上述技术问题，本发明采用如下技术手段：一种基于视觉混合的机械臂位姿检测方法，其特征在于：该方法包括如下步骤：s1、获取数据：获取机械臂的目标检测数据与关键点检测数据，从采集的机械臂多位姿视频信息中获取，并进行预处理操作，所述预处理操作，包括对机械臂图像进行随机翻转和随机旋转；s2、框选信息：机械臂目标检测框选，对获取到的机械臂的pascal voc数据集按比例划分，所述的比例为数据集按8:1:1的比例进行划分，利用faster-rcnn-resnet50网络模型处理划分后的机械臂目标检测对应的pascal voc数据集，框选出机械臂的整体信息；s3、获取骨架信息：机械臂骨架信息检测，对获取到的机械臂的coco数据集按比例划分，利用resnet50-fpn网络模型处理划分后的机械臂关键点检测对应的coco数据集，获取机械臂的骨架信息；s4、骨架三维角度测算：机械臂骨架三维角度测算，对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，获
取机械臂的三维空间信息，通过角度测算公式得到机械臂在不同位姿下的弯曲角度。
5.作为优选，本发明更进一步的技术方案是：所述的获取数据中获取机械臂的目标检测数据与关键点检测数据包括机械臂的pascal voc数据集与coco数据集；预处理操作中翻转概率和旋转概率都设为0.5。
6.所述的框选信息中所获取的目标检测pascal voc数据集中比例划分为4/5的数据用于训练，1/10的数据用于测试，剩余的1/10的数据用于预测，即为8:1:1的比例进行划分。
7.所述的框选信息中利用神经网络模型处理划分后的机械臂目标检测数据集，网络输入机械臂的pascal voc数据集，利用faster-rcnn-resnet50网络进行训练，所述的利用faster-rcnn-resnet50网络进行训练即针对s2数据深度学习后，得到的模型权重参数对机械臂进行检测测试，框选出机械臂的整体信息。
8.所述的框选信息中网络训练即针对s2数据深度学习，其中学习步骤为：步骤1：获取数据集：框选信息中所述获取最终机械臂目标检测数据集，得出机械臂的pascal voc数据集；步骤2：模型建立：选取较优的数据集作为训练集和测试集，训练得到深度学习网络模型；步骤3：实施框选和预测：通过训练好的深度学习网络模型对目标机械臂进行实时框选并预测。
9.所述的深度学习中生成候选框进行框选的公式为：
[0010][0011]
其中 为输入的特征图， 和
ꢀꢀ
分别为第
ꢀꢀ
个锚框在像素 上是否包含目标和调整偏移量的概率 由一个sigmoid 激活函数计算得到，而
ꢀꢀ
则由一个 4 维回归器网络生成，对于每个锚框，回归器网络预测其对应目标的偏移量 ，以及将锚框调整为真正包含目标的边界框的偏移量 ，其中为锚框中心点的坐标，为锚框的宽和高，而, , , 则为真实边界框中心点和宽高与锚框中心点和宽高的差距，rpn会根据预测的
ꢀꢀ
和
ꢀꢀ
对所有锚框进行打分，选择前n个得分最高的锚框作为候选框输出。
[0012]
所述的获取骨架信息中利用神经网络模型处理划分后的机械臂关键点检测数据集，网络输入机械臂的coco数据集，利用resnet50-fpn网络进行训练，所述的利用resnet50-fpn网络进行训练即针对s3数据深度学习后，训练后利用得到的模型权重参数对机械臂进行检测测试，获取机械臂的骨架信息。
[0013]
所述的获取骨架信息中网络训练即针对s3数据深度学习，其中学习步骤为：步骤1：获得数据集：利用获取骨架信息中机械臂关键点检测数据集，得出机械臂的coco数据集；步骤2：获得模型：选取较优的数据集作为训练集和测试集，训练得到深度学习网络模型；步骤3：实时骨架检测：通过训练好的深度学习网络模型对机械臂进行实时骨架检
测。
[0014]
所述的骨架三维角度测算，对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，将三维空间的z轴信息与骨架的二维信息结合得到机械臂骨骼点的三维坐标信息，再对其进行角度测算，得到机械臂在不同位姿下的弯曲角度。
[0015]
所述的骨架三维角度测算中角度测算公式为：
[0016]
机械臂摆动后手臂的方向向量为 ，机器人身体平面的法向量为 ，为机械臂摆动的角度， 表示机械臂方向向量和机器人身体平面法向量的点乘运算， 表示机械臂方向向量和机器人身体平面法向量的模。
[0017]
本发明的一种基于视觉混合的机械臂位姿检测方法，能够实现实时检测机械臂的目标检测框选信息与骨架信息，并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。
附图说明
[0018]
图1：本发明的一种基于视觉混合的机械臂位姿检测方法流程框图。
[0019]
图2：未检测之前机械臂的原图。
[0020]
图3：对机械臂进行检测后的机械臂骨架可视化的检测结果图。
具体实施方式
[0021]
下面结合实施例，进一步说明本发明。
[0022]
参见图1、图2可知，本发明实施例：一种基于视觉混合的机械臂位姿检测方法，包括：s1、获取机械臂的目标检测数据与关键点检测数据，从采集的机械臂多位姿视频信息中获取，并进行预处理操作；s2、机械臂目标检测框选，对获取到的机械臂的pascal voc数据集按比例划分，利用faster-rcnn-resnet50网络模型处理划分后的机械臂目标检测对应的pascal voc数据集，框选出机械臂的整体信息；s3、机械臂骨架信息检测，对获取到的机械臂的coco数据集按比例划分，利用resnet50-fpn网络模型处理划分后的机械臂关键点检测对应的coco数据集，获取机械臂的骨架信息；s4、机械臂骨架三维角度测算，对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，获取机械臂的三维空间信息，通过角度测算公式得到机械臂在不同位姿下的弯曲角度。
[0023]
所述s1具体包括：利用相机多角度拍摄获取机械臂多位姿图像数据，通过标定获取机械臂的目标检测数据与关键点检测数据包括机械臂的pascal voc数据集与coco数据集；所述预处理操作，包括对机械臂图像进行随机翻转和随机旋转，翻转概率和旋转概率都设为0.5。
[0024]
所述s2的机械臂目标检测框选，具体包括：将s1中所获取的目标检测pascal voc数据集按8:1:1的比例进行划分，得到4/5的数据用于训练，1/10的数据用于测试，剩余的1/10的数据用于预测。采用改进的目标检测卷积神经网络模型处理划分后的机械臂目标检测数据集，网络输入机械臂的pascal voc 4/5的训练数据集，训练完成后利用1/10的预测数据集进行预测，完成预测后利用得到的模型权重参数对机械臂进行检测测试，利用faster-rcnn-resnet50网络进行训练后得到的模型权重参数对机械臂进行检测测试，通过训练好的深度学习网络模型对目标机械臂进行实时框选并通过softmax层进行分类预测。
[0025]
所述s2中生成候选框进行框选的公式为：
[0026][0027] 为输入的特征图， 和
ꢀꢀ
分别为第
ꢀꢀ
个锚框在像素 上是否包含目标和调整偏移量的概率。具体来说， 由一个sigmoid 激活函数计算得到，而
ꢀꢀ
则由一个 4 维回归器网络生成，对于每个锚框（像素框），回归器网络预测其对应目标的偏移量 ，以及将锚框调整为真正包含目标的边界框的偏移量 ，其中为锚框中心点的坐标，为锚框的宽和高，而, , , 则为真实边界框中心点和宽高与锚框中心点和宽高的差距，最终，rpn（区域生成网络）会根据预测的
ꢀꢀ
和
ꢀꢀ
对所有锚框进行打分，选择前 n 个得分最高的锚框作为候选框输出。
[0028]
所述s3的机械臂骨架信息检测，具体包括：采用神经网络模型处理划分后的机械臂关键点检测数据集，网络输入机械臂的coco数据集，训练后利用得到的模型权重参数对机械臂进行检测测试，获取机械臂的骨架信息。
[0029]
为获取关键点检测深度学习网络训练数据，采用上述方法得出最终机械臂关键点检测数据集，得出机械臂的coco数据集，选取较优的数据集作为训练集和测试集，利用resnet50-fpn网络进行训练，训练得到深度学习网络模型以及训练参数，通过训练好的深度学习网络模型对机械臂进行实时骨架检测，同时获取机械臂骨骼点的二维坐标信息。
[0030]
所述s4的机械臂骨架三维角度测算，具体包括：对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，将三维空间的z轴信息与骨架的二维信息结合得到机械臂骨骼点的三维坐标信息，再对其进行角度测算，得到机械臂在不同位姿下的弯曲角度。
[0031]
所述s4中角度测算公式为：
[0032]
机械臂摆动后手臂的方向向量为 ，机器人身体平面的法向量为 ，为机械臂摆动的角度， 表示机械臂方向向量和机器人身体平面法向量的点乘运算， 表示机械臂方向向量和机器人身体平面法向量的模。
[0033]
由于以上所述仅为本发明的具体实施方式，但本发明的保护不限于此，任何本技
术领域的技术人员所能想到本技术方案技术特征的等同的变化或替代，都涵盖在本发明的保护范围之内。

技术特征：
1.一种基于视觉混合的机械臂位姿检测方法，其特征在于：该方法包括如下步骤：s1、获取数据：获取机械臂的目标检测数据与关键点检测数据，从采集的机械臂多位姿视频信息中获取，并进行预处理操作，所述预处理操作，包括对机械臂图像进行随机翻转和随机旋转；s2、框选信息：机械臂目标检测框选，对获取到的机械臂的pascal voc数据集按比例划分，所述的比例为数据集按8:1:1的比例进行划分，利用faster-rcnn-resnet50网络模型处理划分后的机械臂目标检测对应的pascal voc数据集，框选出机械臂的整体信息；s3、获取骨架信息：机械臂骨架信息检测，对获取到的机械臂的coco数据集按比例划分，利用resnet50-fpn网络模型处理划分后的机械臂关键点检测对应的coco数据集，获取机械臂的骨架信息；s4、骨架三维角度测算：机械臂骨架三维角度测算，对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，获取机械臂的三维空间信息，通过角度测算公式得到机械臂在不同位姿下的弯曲角度。2.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的获取数据中获取机械臂的目标检测数据与关键点检测数据包括机械臂的pascal voc数据集与coco数据集；预处理操作中翻转概率和旋转概率都设为0.5。3.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的框选信息中所获取的目标检测pascal voc数据集中比例划分为4/5的数据用于训练，1/10的数据用于测试，剩余的1/10的数据用于预测，即为8:1:1的比例进行划分。4.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的框选信息中利用神经网络模型处理划分后的机械臂目标检测数据集，网络输入机械臂的pascal voc数据集，利用faster-rcnn-resnet50网络进行训练，所述的利用faster-rcnn-resnet50网络进行训练即针对s2数据深度学习后，得到的模型权重参数对机械臂进行检测测试，框选出机械臂的整体信息。5.根据权利要求4所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的框选信息中网络训练即针对s2数据深度学习，其中学习步骤为：步骤1：获取数据集：框选信息中所述获取最终机械臂目标检测数据集，得出机械臂的pascal voc数据集；步骤2：模型建立：选取较优的数据集作为训练集和测试集，训练得到深度学习网络模型；步骤3：实施框选和预测：通过训练好的深度学习网络模型对目标机械臂进行实时框选并预测。6.根据权利要求5所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的深度学习中生成候选框进行框选的公式为：，，其中为输入的特征图，和分别为第个锚框在像素上是否包含目标和调整偏移量的概率由一个sigmoid 激活函数计算得到，而则由一个 4 维回归器网络生成，
对于每个锚框，回归器网络预测其对应目标的偏移量，以及将锚框调整为真正包含目标的边界框的偏移量 ，其中为锚框中心点的坐标，为锚框的宽和高，而，，，则为真实边界框中心点和宽高与锚框中心点和宽高的差距，rpn会根据预测的和对所有锚框进行打分，选择前n个得分最高的锚框作为候选框输出。7.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的获取骨架信息中利用神经网络模型处理划分后的机械臂关键点检测数据集，网络输入机械臂的coco数据集，利用resnet50-fpn网络进行训练，所述的利用resnet50-fpn网络进行训练即针对s3数据深度学习后，训练后利用得到的模型权重参数对机械臂进行检测测试，获取机械臂的骨架信息。8.根据权利要求7所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的获取骨架信息中网络训练即针对s3数据深度学习，其中学习步骤为：步骤1：获得数据集：利用获取骨架信息中机械臂关键点检测数据集，得出机械臂的coco数据集；步骤2：获得模型：选取较优的数据集作为训练集和测试集，训练得到深度学习网络模型；步骤3：实时骨架检测：通过训练好的深度学习网络模型对机械臂进行实时骨架检测。9.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的骨架三维角度测算，对机械臂的目标检测框选与骨架信息检测获取机械臂二维坐标的同时，利用红外摄像头向机械臂发射红外线脉冲光，将三维空间的z轴信息与骨架的二维信息结合得到机械臂骨骼点的三维坐标信息，再对其进行角度测算，得到机械臂在不同位姿下的弯曲角度。10.根据权利要求1所述的一种基于视觉混合的机械臂位姿检测方法，其特征在于：所述的骨架三维角度测算中角度测算公式为：机械臂摆动后手臂的方向向量为，机器人身体平面的法向量为，为机械臂摆动的角度，表示机械臂方向向量和机器人身体平面法向量的点乘运算，表示机械臂方向向量和机器人身体平面法向量的模。

技术总结
本发明公开了一种基于视觉混合的机械臂位姿检测方法，其特征在于，方法包括、S1、获取机械臂的目标检测数据与关键点检测数据，并进行预处理；S2、机械臂目标检测框选，通过神经网络模型对机械臂目标检测对应的PASCAL VOC数据集进行训练，框选出机械臂的整体信息；S3、机械臂骨架信息检测，通过神经网络模型对机械臂关键点检测对应的COCO数据集进行训练，获取机械臂的骨架信息；S4、机械臂骨架三维角度测算，利用机械臂的三维空间信息测算机械臂在不同位姿下的弯曲角度信息。本发明的一种基于视觉混合的机械臂位姿检测方法，能够实现实时检测机械臂的目标检测框选信息与骨架信息，并通过同步获取到的三维空间信息测算机械臂在不同位姿下的弯曲角度。位姿下的弯曲角度。位姿下的弯曲角度。


技术研发人员：刘兆伟 龚子航 苏航 阎维青 刘昊
受保护的技术使用者：烟台新旧动能转换研究院暨烟台科技成果转移转化示范基地
技术研发日：2023.08.09
技术公布日：2023/9/9