一种指关节角度检测机构及物体三维模型构建方法

1.本发明涉及人手指关节的外骨骼领域；具体涉及一种指关节角度检测机构及物体三维模型构建方法。


背景技术：

2.手指关节角度是人手运动的重要参数之一；它可以提供有关手指运动控制和协调的信息；因此在医疗、康复和运动控制等领域具有广泛的应用。传统的手指关节角度测量方法包括x光测量、磁共振成像、运动捕捉等技术；但这些方法存在着昂贵、复杂、低效、有放射性危险等缺点；不适合用于实时、便携的测量。为了克服这些缺点；一些研究人员开始探索使用数据手套来测量手指关节角度。数据手套通常由多个传感器和控制器组成；可以测量手指的姿态和运动轨迹等信息。其中；传感器通常采用惯性测量单元(imu)、压力传感器、伸展传感器等。
3.使用数据手套测量手指关节角度具有实时、便携、无放射性危险等优点；适合用于医疗康复、手势识别、虚拟现实等应用场景。然而；传统的手套测量方法通常需要使用昂贵的传感器；而且无法提供高精度的数据。
4.当前对物体进行三维重建的方法大多仅依赖视觉图像，这无法提供关于物体的完整信息。指关节角度信息可以弥补视觉图像中存在的缺失或模糊的信息，可以使模型更全面地了解物体的属性。因此；需要一种高效、精确和低成本的指关节角度检测机构及对物体三维模型构建方法。


技术实现要素：

5.针对现有技术的不足；本发明提出了一种指关节角度检测机构及物体三维模型构建方法,新的外骨骼式数据手套；通过结合传动机构与位移传感器；精准地测量人手指关节弯曲角度；同时提出一种融合触觉交互数据和物体图像数据的物体三维模型构建方法；以生成与真实物体具有相同尺寸和形状特征的虚拟物体；实现对物体的精准三维重建。
6.本发明的目的可以通过以下技术方案实现：
7.本技术第一个方面公开一种指关节角度检测机构，包括依次转动连接的关节杆；相邻的两个所述关节杆中的一个所述关节杆转动连接有连接杆；另一个所述关节杆固定安装有位移传感器；安装有所述位移传感器的所述关节杆设置有可直线移动的传动杆；所述传动杆与所述位移传感器的滑杆连接。
8.在一些实施例中，安装有所述位移传感器的所述关节杆设置有轨道孔；所述传动杆与所述轨道孔滑动连接。
9.在一些实施例中，还包括数据存储模块；所述数据存储模块包括外壳、充电电池、拨动开关、初始化按钮和控制电路板；所述外壳的外侧固定安装有所述拨动开关和初始化按钮；所述外壳的内部设置有控制电路板和所述充电电池；所述位移传感器、充电电池、拨动开关和初始化按钮均与所述控制电路板电性连接；位移传感器与电阻串联接入电路回
路，打开拨动开关，充电电池给整个电路供电，控制电路板采集到通过位移传感器的电流。
10.在一些实施例中，所述指关节角度检测机构至少设置有1组依次转动连接的所述关节杆；其中每组至少这有2个所述关节杆。
11.在一些实施例中，每组依次转动连接的所述关节杆设置有4个所述所述关节杆。
12.在一些实施例中，包括柔性衬底，柔性衬底的材质可以是织物、橡皮等具有柔性材料；所述柔性衬底固定安装有所述数据存储模块和至少1组依次转动连接的所述关节杆；所述关节杆与所述柔性衬底固定连接。
13.在一些实施例中，所述柔性衬底设置有5组依次转动连接的所述关节杆。
14.在一些实施例中，所述外壳内部设置有振动马达。
15.在一些实施例中，所述柔性衬底的形状为手套状。
16.本技术第二个方面还公开一种包括如第一方面公开的指关节角度检测机构的物体三维模型构建方法，包括以下步骤：
17.将操作者的手的每个指关节位置固定安装一个关节杆，将手指处于伸直状态，将位移传感器置零；操作者分别进行物体顶部抓握与侧面抓握；每次抓握动作保持几秒不动；
18.在初始化后，记录位移传感器滑杆的初始位置，抓握的过程中，记录控制电路板中的角度检测电路的电流数据；根据角度检测电路的电流-电阻关系曲线、以及位移传感器的电阻-位移特性曲线，将测到的电流值转化为位移传感器的位移；根据余弦公式测算出两根关节杆之间的关节角度数据；角度信息计算过程如下：
19.对于相邻的两个关节杆之间的关节角度，初始状态下指关节杆的转动连接处之间的距离为l0，连接杆的两端转动连接处之间的距离为l1；
20.弯曲手指时，关节杆跟随手指运动，记录抓取获得的电流序列i0；经过中值滤波与平滑处理后，得到电流序列i；根据角度检测电路的电流-电阻关系曲线，得到一组电阻值序列r
x
；根据位移传感器的电阻-位移特性曲线，得到位移传感器滑杆的位置；
21.在关节角度为180
°
的情况下，位移传感器初始时刻滑杆位置计为x0，位移传感器滑杆在手指弯曲后所在位置计为x1；
22.位移传感器滑杆位移为δx＝(x
1-x0)，则两个关节杆和连接杆组成的三角形三边长分别为l0；l1；l0+l
1-(x
1-x0)；
23.由余弦定理可以得到关节角度θ为：
[0024][0025]
将关节角度数据整合并保存到存储单元中；
[0026]
抓握完成后，数据采集结束；将存储的一系列关节角度数据转化为二维图像，作为触觉数据集；使用相机多角度地拍摄物体，建立物体的外观图像数据集；在触觉数据集和视觉数据集的基础上，使用concatenate方法进行物体的视触觉特征融合，得到新的特征向量，将特征向量输入到卷积神经网络中进行多次训练，得到含有尺寸信息的手指三维模型，并对生成的模型进行优化调整以及修正，实现对物体的精准三维模型重建。
[0027]
本发明的有益效果：
[0028]
本发明采用位移传感器作为检测角度变化的传感器；比市面上同类型的数据手套成本更低；安装更方便。
[0029]
本发明使用杠杆结构联系关节两侧的运动；将手指的弯曲运动转化为位移传感器滑杆的位移运动；从而使手指关节角度数据的测量更加简化和精确。
[0030]
本发明的装置可测量的指关节角度范围超过了真实指关节角度数据的范围；能够测得手上每一处的关节角度；并且还增加了大拇指掌骨与手腕之间的角度信息；丰富了指关节角度的数据；能确保采集到的数据具有高度的完整性。
[0031]
本发明提出的三维形状重建方法融合了触觉交互数据和物体图像数据；可以生成与真实物体具有相同尺寸和形状特征的虚拟物体；可实现对物体的精准三维重建。
[0032]
本发明设计的装置及方法具有功耗低；结构紧凑；佩戴舒适度高；长时间使用后依然可以保持高精度的特性；交互过程中有反馈提醒；操作简单；可广泛应用于机器人、人机触觉交互、虚拟现实等多个应用领域。
附图说明
[0033]
下面结合附图对本发明作进一步的说明。
[0034]
图1为关节角度检测机构总体结构示意图；
[0035]
图2为单根手指关节角度检测机构侧视示意图；
[0036]
图3为最小单元的两个关节杆传动结构示意图；
[0037]
图4为数据存储模块结构示意图；
[0038]
图5为精确的关节角度数据采集以及视触觉模态数据融合进行三维模型重建的算法流程图。
[0039]
附图标记：1、指尖节杆；2、指中节杆、3、指根节杆；4、手背杆；5、腕部杆；6、指尖套；7、连接杆；8、位移传感器；9、传动杆；10、底座；11、织物衬底；13、关节杆、14、圆柱销；12、数据存储模块；1201、外壳；1202、充电电池；1203、拨动开关；1204、初始化按钮；1205、盖子；1206、振动马达；1207、控制电路板。
具体实施方式
[0040]
下面将结合本发明实施例中的附图；对本发明实施例中的技术方案进行清楚、完整地描述；显然；所描述的实施例仅仅是本发明一部分实施例；而不是全部的实施例。基于本发明中的实施例；本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例；都属于本发明保护的范围。
[0041]
在本发明的描述中；需要理解的是；术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系；仅是为了便于描述本发明和简化描述；而不是指示或暗示所指的组件或元件必须具有特定的方位；以特定的方位构造和操作；因此不能理解为对本发明的限制。
[0042]
在本说明书的描述中；参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中；对上述术语的示意性表述不一定指的是相同的实施例或示例。而且；描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0043]
本技术公开一种指关节角度检测机构；包括依次转动连接的关节杆13；相邻的两
个关节杆13中的一个关节杆13转动连接有连接杆7；另一个关节杆13固定安装有位移传感器8；安装有位移传感器8的关节杆13设置有可直线移动的传动杆9；传动杆9与位移传感器8的滑杆连接；通过用于将关节杆13的弯曲运动转化为带动连接杆7的平移运动；
[0044]
使用时，将关节杆13固定在对应的手指关节处，固定方式可以是直接绑在手指上，可以是将关节杆13绑在手套上，然后手套上手套；通过记录连接杆7的平移距离，结合关节杆13、连接杆7、传动杆9初始位置的关系，可以计算得出手指的弯曲角度；
[0045]
其中传动杆9的直线移动方式可以是安装有位移传感器8的关节杆13设置有轨道孔；传动杆9与轨道孔滑动连接；传动杆9的直线移动方式还可以是在将连接杆7设置成伸缩杆的结构，将伸缩杆的固定端与关节杆13连接，将伸缩杆的伸缩端与连接杆7转动连接；传动杆9的直线移动方式还可以是在关节杆13上安装光轴，光轴滑动连接滑块，传动杆9安装在滑块上；传动杆9的直线移动方式包括但不限于上述提及的方式；
[0046]
在一些实施例中，还包括数据存储模块12；数据存储模块12包括外壳1201、充电电池1202、拨动开关1203、初始化按钮1204和控制电路板1207；外壳1201的外侧固定安装有拨动开关1203和初始化按钮1204；外壳1201的内部设置有控制电路板1207和充电电池1202；位移传感器8、充电电池1202、拨动开关1203和初始化按钮1204均与控制电路板1207电性连接；位移传感器8与电阻串联接入电路回路，打开拨动开关1203，充电电池1202给整个电路供电，控制电路板1207采集到通过位移传感器8的电流，按下初始化按钮1204，将此时刻检测到的通过位移传感器8的电流对应位移传感器8的位移置为0。
[0047]
在一些实施例中，指关节角度检测机构至少设置有1组依次转动连接的关节杆13；其中每组至少这有2个关节杆13。
[0048]
在一些实施例中，包括柔性衬底；柔性衬底固定安装有数据存储模块12和至少1组依次转动连接的关节杆13；关节杆13与柔性衬底固定连接。
[0049]
本技术第二个方面还公开一种包括如第一方面公开的指关节角度检测机构的物体三维模型构建方法，包括以下步骤：
[0050]
将操作者的手的每个指关节位置固定安装一个关节杆13，将手指处于伸直状态，将位移传感器8置零；操作者分别进行物体顶部抓握与侧面抓握；每次抓握动作保持几秒不动；
[0051]
在初始化后，记录位移传感器8滑杆的初始位置，抓握的过程中，记录控制电路板1207中的角度检测电路的电流数据；根据角度检测电路的电流-电阻关系曲线、以及位移传感器8的电阻-位移特性曲线，将测到的电流值转化为位移传感器8的位移；根据余弦公式测算出两根关节杆13之间的关节角度数据；角度信息计算过程如下：
[0052]
对于相邻的两个关节杆13之间的关节角度，初始状态下指关节杆13的转动连接处之间的距离为l0，连接杆7的两端转动连接处之间的距离为l1；
[0053]
弯曲手指时，关节杆13跟随手指运动，记录抓取获得的电流序列i0；经过中值滤波与平滑处理后，得到电流序列i；根据角度检测电路的电流-电阻关系曲线，得到一组电阻值序列r
x
；根据位移传感器8的电阻-位移特性曲线，得到位移传感器8滑杆的位置；
[0054]
在关节角度为180
°
的情况下，位移传感器8初始时刻滑杆位置计为x0，位移传感器8滑杆在手指弯曲后所在位置计为x1；
[0055]
位移传感器8滑杆位移为δx＝(x
1-x0)，则两个关节杆13和连接杆7组成的三角形
三边长分别为l0；l1；l0+l
1-(x
1-x0)；
[0056]
由余弦定理可以得到关节角度θ。
[0057]
下面结合附图和实施方式，对本发明所提供的一种指关节角度检测机构做更进一步的说明。
[0058]
如图1、图2、图3所示，一种指关节角度检测机构及物体三维模型重建方法，包括外骨骼式手套设计和三维模型重建的方法两部分。
[0059]
该数据手套包括指尖节杆1、指中节杆2、指根节杆3、手背杆4、腕部杆5、指尖套6、连接杆7、位移传感器8、传动杆9、底座10、织物衬底11、数据存储模块12，节杆之间通过圆柱销14连接；
[0060]
所述数据采集模块12包括外壳1201、盖子1205、拨动开关1203与初始化按钮1204；
[0061]
对于大拇指以外的四根手指，所述指尖套6左端与指尖节杆1固定，指尖节杆1右端有两个连接孔，左侧连接孔与指中节杆2左侧的连接孔通过圆柱销14连接，右侧连接孔与连接杆7通过圆柱销14连接，连接杆7另一侧与传动杆9通过圆柱销14连接，且圆柱销14限制于指中节杆2的轨道孔中，使其只能延指中节杆2方向滑动，此结构用于将指尖节杆1的弯曲运动转化为连接杆7右端圆柱销14的平移运动，传动杆9与位移传感器8的滑杆固定，位移传感器8与底座10根据电路关系焊接在一起并固定在指中节杆2的右侧；指中节杆2与指根节杆3的连接，指根节杆3与手背杆4的连接方式与指尖节杆1与指中节杆2的连接方式相同。将所述的所有节杆固定在织物衬底上方。
[0062]
对于大拇指，由于大拇指只有两个指骨，故与其他四个手指连接方式不同，所述指尖节杆1与指根节杆3、指根节杆3与手背杆4通过所述的连接方式直接连接，添加手背杆4与腕部杆5之间的角度关系：手背杆4与腕部杆5通过将连接杆7与位移传感器8置于腕部杆5的两个不同面，使连接杆7在腕部杆5的另一侧移动，从而可以测得大拇指掌骨与腕骨之间大于180度的角度信息，并将腕部杆5与数据模块采集模块的外壳1202侧面固定。将所述指尖节杆，指根节杆，手背杆固定到织物衬底11上方。
[0063]
如图4所示，所述外壳固定在织物衬底11的手腕上方，外壳1201上方开口，外壳内设有充电电池1202，控制电路板1207，外壳右端设有拨动开关1203与初始化按钮1204；
[0064]
如图5所示，所述的一种指关节角度检测手套的数据采集及物体三维形状重建方法，其特征在于，所述的方法包括以下步骤：
[0065]
步骤1：操作者右手佩戴数据手套，打开拨动开关1203，手套开始检测指关节角度，将左右手指处于伸直状态，按下初始化按钮1204，将此时刻关节角度置零；
[0066]
步骤2：操作者分别进行物体顶部抓握与侧面抓握，每次抓握动作保持几秒不动，振动马达1206给出振动提示，松开被测物体，一次抓握操作完成，等待几秒后进行下一次抓握操作；
[0067]
步骤3：在初始化后，记录位移传感器8滑杆的初始位置，抓握的过程中，记录数据存储模块中控制电路板的电流数据，根据角度检测电路的电流-电阻关系曲线，以及位移传感器的电阻-位移特性曲线，将测到的电流值转化为位移传感器的位移，根据余弦公式测算出两根节杆之间的关节角度数据，角度信息计算过程如下：
[0068]
(a)对于指尖节杆1与指中节杆2之间的关节角度，初始状态下指尖节杆1右侧两连接孔之间的距离为l0，连接杆7两端连接孔之间的距离为l1；
[0069]
(b)弯曲手指时，节杆跟随手指运动；记录抓取获得的电流序列i0，经过中值滤波与平滑处理后，得到电流序列i；根据角度检测电路的电流-电阻关系曲线，得到一组电阻值序列r
x
；根据位移传感器的电阻-位移特性曲线，得到位移传感器滑杆的位置；
[0070]
(c)在关节角度为180
°
的情况下，位移传感器8初始时刻滑杆位置计为x0，位移传感器滑杆在手指弯曲后所在位置计为x1；
[0071]
(d)位移传感器8滑杆位移为δx＝(x
1-x0)，则指尖节杆1，指中节杆2，连接杆7组成的三角形三边长分别为l0，l1，l0+l
1-(x
1-x0)；
[0072]
(e)由余弦定理可以得到关节角度θ为：
[0073][0074]
步骤4：将关节角度数据整合并保存到存储单元中；
[0075]
步骤5：抓握完成后，关闭拨动开关1203，数据采集结束；
[0076]
步骤6：将存储的一系列关节角度数据转化为二维图像，作为触觉数据集；使用相机多角度地拍摄物体，建立物体的外观图像数据集；在触觉数据集和视觉数据集的基础上，使用concatenate方法进行物体的视触觉特征融合，得到新的特征向量；将特征向量输入到卷积神经网络中进行多次训练，得到含有物体尺寸信息的三维模型，并对生成的模型进行优化调整以及修正，实现对现实物体的精准三维模型重建。
[0077]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解；本发明不受上述实施例的限制；上述实施例和说明书中描述的只是说明本发明的原理；在不脱离本发明精神和范围的前提下；本发明还会有各种变化和改进；这些变化和改进都落入要求保护的本发明范围内。

技术特征：
1.一种指关节角度检测机构，其特征在于，包括依次转动连接的关节杆(13)；相邻的两个所述关节杆(13)中的一个所述关节杆(13)转动连接有连接杆(7)；另一个所述关节杆(13)固定安装有位移传感器(8)；安装有所述位移传感器(8)的所述关节杆(13)设置有一端可直线移动的传动杆(9)；所述传动杆(9)与所述位移传感器(8)的滑杆连接。2.根据权利要求1所述的指关节角度检测机构，其特征在于，安装有所述位移传感器(8)的所述关节杆(13)设置有轨道孔；所述传动杆(9)与所述轨道孔滑动连接。3.根据权利要求1所述的指关节角度检测机构，其特征在于，还包括数据存储模块(12)；所述数据存储模块(12)包括外壳(1201)、充电电池(1202)、拨动开关(1203)、初始化按钮(1204)和控制电路板(1207)；所述外壳(1201)的外侧固定安装有所述拨动开关(1203)和初始化按钮(1204)；所述外壳(1201)的内部设置有控制电路板(1207)和所述充电电池(1202)；所述位移传感器(8)、充电电池(1202)、拨动开关(1203)和初始化按钮(1204)均与所述控制电路板(1207)电性连接；所述位移传感器(8)与电阻串联接入电路回路，打开所述拨动开关(1203)，所述充电电池(1202)给整个电路供电，所述控制电路板(1207)采集到通过位移传感器(8)的电流。4.根据权利要求1所述的指关节角度检测机构，其特征在于，所述指关节角度检测机构至少设置有1组依次转动连接的所述关节杆(13)；其中每组至少有2个所述关节杆(13)。5.根据权利要求4所述的指关节角度检测机构，其特征在于，每组依次转动连接的所述关节杆(13)设置有4个所述关节杆(13)。6.根据权利要求4所述的指关节角度检测机构，其特征在于，包括柔性衬底；所述柔性衬底固定安装有所述数据存储模块(12)和至少1组依次转动连接的所述关节杆(13)；所述关节杆(13)与所述柔性衬底固定连接。7.根据权利要求6所述的指关节角度检测机构，其特征在于，所述柔性衬底设置有5组依次转动连接的所述关节杆(13)。8.根据权利要求3所述的指关节角度检测机构，其特征在于，所述外壳(1201)内部设置有振动马达(1206)。9.根据权利要求6所述的指关节角度检测机构，其特征在于，所述柔性衬底的形状为手套状。10.一种包括如权利要求3至9任意一项的指关节角度检测机构的物体三维模型构建方法，其特征在于，包括以下步骤：将操作者的手的每个指关节位置固定安装一个关节杆(13)，将手指处于伸直状态，将位移传感器(8)置零；操作者分别进行物体顶部抓握与侧面抓握；每次抓握动作保持几秒不动；在初始化后，记录位移传感器(8)滑杆的初始位置，抓握的过程中，记录控制电路板(1207)中的角度检测电路的电流数据；根据角度检测电路的电流-电阻关系曲线、以及位移传感器(8)的电阻-位移特性曲线，将测到的电流值转化为位移传感器(8)的位移；根据余弦公式测算出两根关节杆(13)之间的关节角度数据；角度信息计算过程如下：对于相邻的两个关节杆(13)之间的关节角度，初始状态下指关节杆(13)的转动连接处之间的距离为l0，连接杆(7)的两端转动连接处之间的距离为l1；弯曲手指时，关节杆(13)跟随手指运动，记录抓取获得的电流序列i0；经过中值滤波与
平滑处理后，得到电流序列i；根据角度检测电路的电流-电阻关系曲线，得到一组电阻值序列r
x
；根据位移传感器(8)的电阻-位移特性曲线，得到位移传感器(8)滑杆的位置；在关节角度为180
°
的情况下，位移传感器(8)初始时刻滑杆位置计为x0，位移传感器(8)滑杆在手指弯曲后所在位置计为x1；位移传感器(8)滑杆位移为δx＝(x
1-x0)，则两个关节杆(13)和连接杆(7)组成的三角形三边长分别为l0；l1；l0+l
1-(x
1-x0)；由余弦定理可以得到关节角度θ为：将关节角度数据整合并保存到存储单元中；抓握完成后，数据采集结束；将存储的一系列关节角度数据转化为二维图像，作为触觉数据集；使用相机多角度地拍摄物体，建立物体的外观图像数据集；在触觉数据集和视觉数据集的基础上，使用concatenate方法进行物体的视触觉特征融合，得到新的特征向量，将特征向量输入到卷积神经网络中进行多次训练，得到含有尺寸信息的物体三维模型，并对生成的模型进行优化调整以及修正，实现对物体的精准三维模型重建。

技术总结
本发明公开了一种指关节角度检测机构及物体三维模型构建方法；属于人手指关节的外骨骼领域，由织物衬底、数据存储模块、位移传感器和传动机构构成，包括五组三节骨架。其中大拇指骨架包括指尖节杆、指根节杆、手背杆和腕部杆；其余手指骨架包括指尖节杆、指中节杆、指根节杆和手背杆。每两节骨架之间由传动机构与圆柱销连接。所述手套不影响人手的自然活动，通过抓握等方式采集手指关节数据时可以保证人手灵活运动，且关节弯曲角度范围不受限制。人手穿戴手套抓握物体时，采集各手指关节的弯曲角度，并将其转化为弯曲角度图像。使用卷积神经网络将弯曲角度图像与多角度拍摄的物体图像相融合，实现对物体的精准三维重建。实现对物体的精准三维重建。实现对物体的精准三维重建。


技术研发人员：陈大鹏 贾奇 余达 黄孝荣 张松 刘佳 宋爱国
受保护的技术使用者：南京信息工程大学
技术研发日：2023.05.26
技术公布日：2023/7/21