一种基于光纤传感器数据手套训练系统及钢琴训练系统的制作方法

1.本发明涉及智能穿戴设备技术领域，具体为一种基于光纤传感器数据手套训练系统及钢琴训练系统。


背景技术：

2.钢琴教育是一项学习周期长、学习环境要求特殊的教学活动。由于钢琴大体积、大重量的特性，其训练一般被限制在琴房内，不具有任意性。
3.随着人与计算机设备之间交互通信技术的日趋成熟，可穿戴传感器件已经发展为成熟的消费和医疗产品。一般而言，作为可穿戴技术的重要分支，手势识别技术的实现方法主要包括视觉识别与数据手套两种。在基于视觉识别的实现方法中，用户一般不需要佩戴采集设备，但其识别技术容易受到光照遮挡、图像采集设备放置等环境因素的影响，数据的采集分析精度和时延受识别算法优劣的影响程度大。相比之下，基于数据手套的识别方法，通过所述数据手套与用户完成物理交互，可以快速的得到更可靠的手部运动数据，识别精度也相对较高，因此本发明制作了基于数据手套的钢琴训练系统，使用光纤传感技术，因其便携性，可以实现使用者在任意地点进行钢琴练习。


技术实现要素：

4.本发明的目的在于提供一种基于光纤传感器数据手套训练系统及钢琴训练系统，采用微纳光纤和荧光光纤实现触觉传感和姿态采集，用于至少部分解决数据手套的姿态捕捉及手势识别的需求。其次，本发明基于上面的基础设计并制备了一种基于数据手套的钢琴训练系统，能够实现使用者任意地点的钢琴辅助练习与矫正，实现人机交互功能，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于光纤传感器数据手套训练系统及钢琴训练系统，所述训练系统包括：运动模式识别模块、虚拟钢琴场景模块、虚拟钢琴音效模块和交互式操作模块；
6.所述运动模式识别模块，对所述数据手套进行实时计算分析，用以实现手部空间位置识别、手部运动模式采集、手部手势动作识别以及触碰识别力反馈；
7.所述虚拟钢琴场景模块，用以搭建虚拟钢琴的环境及所述系统使用时虚拟钢琴的实时投影；
8.所述虚拟钢琴音效模块，用以采集虚拟钢琴琴键的音源及所述数据手套碰撞琴键动作触发时对应音源的播放；
9.所述交互式操作模块，用以所述系统的辅助训练模式或自由演奏模式选择操作的实现及ui图形化界面操作。
10.优选的，所述运动模式识别模块包括：运动模式采集模块、空间位置识别模块、手势动作识别模块、碰撞识别与力反馈模块；
11.运动模式采集模块，用于对使用者手部位置进行初始化位置计算，所述使用者右
手大拇指即为中音区do；
12.空间位置识别模块，用于根据所述使用者手部整体运动信息，使用所述数据手套对使用者手部当前位置与初始位置进行切向距离对照计算，通过建立模型与现实钢琴尺寸对比，确认所述使用者当前手部位置对应于钢琴上的音域；
13.手势动作识别模块，用于根据所述使用者手指运动信息，使用所述数据手套，利用高精度手势识别算法对所述使用者进行手势识别，结合所述空间位置识别算法，确认所述使用者按下的对应琴键；
14.碰撞识别与力反馈模块，用于模拟现实钢琴琴键按压时的触觉，所述使用者按下琴键后，使用所述数据手套，对所述使用者按下琴键的对应手指进行碰撞识别并产生力反馈。
15.优选的，所述虚拟钢琴场景模块包括：虚拟钢琴模型搭建模块和虚拟钢琴实时投影模块；
16.虚拟钢琴模型搭建子模块：用于参照现实钢琴形状及大小，以产生以使用者右手中指为中音区do键为基准的88键钢琴模型，并通过投影设备将其投影至所述使用者所在现实环境中；
17.虚拟钢琴实时投影子模块：用于模拟现实钢琴琴键按压时的视觉，所述使用者使用所述数据手套模拟按压对应键位时，所述投影设备产生影像的对应键位播放对应动画。
18.优选的，所述虚拟钢琴音效模块包括：虚拟钢琴音效采集模块和虚拟钢琴音效播放模块；
19.虚拟钢琴音效采集子模块，用于高保真地采集88键钢琴模型的音源，并与所述对应键位按下的所述动画绑定；
20.虚拟钢琴音效播放子模块，用于模拟现实钢琴琴键按压时的听觉，所述使用者使用所述数据手套按压对应键位产生所述动画时，配备的音响设备应低延迟地播放对应所述键位动画绑定的所述音源。
21.优选的，所述交互式操作模块包括：图形化操作模块和辅助训练校准模块；
22.图形化ui操作子模块：用于实现图形化人机交互，对于所述数据手套，编程建立ui图形化交互窗口及两套所述训练系统使用模式，分别为辅助训练模式和自由演奏模式，所述使用者通过所述投影设备结合所述运动模式识别模块进行人与系统的交互以及实现所述选择使用模式功能；
23.辅助训练校准子模块：用于辅助矫正使用者地错误弹奏行为，所述使用者选择所述辅助训练模式时，所述使用者弹奏的键位如果与预选对应曲目即时的键位不同时，所述数据手套产生震动反馈提醒所述使用者演奏错误，并使用所述投影设备提醒正确键位位置。
24.优选的，一种基于光纤传感器数据手套训练系统，包括数据手套、控制系统、荧光光纤手部姿态传感器、微纳光纤压力传感器和力反馈放电膜装置，所述数据手套的手背部装配有荧光光纤手部姿态传感器，所述数据手套手指指尖处设置有多层传感器结构，所述多层传感器结构包括微纳光纤压力传感器、力反馈放电膜装置、柔性垫层和接触层，所述数据手套指尖处设置有柔性垫层，所述柔性垫层的外侧一次设置有力反馈放电膜装置、微纳光纤压力传感器和接触层，所述数据手套上传感器与控制系统相连接，所述控制系统包括
支架、微型投影仪、单目摄像头、光调制解调器、处理终端和扬声器，所述支架放置于光调制解调器上，所述微型投影仪和单目摄像头安装于支架上，所述光调制解调器和扬声器放置于处理终端的右方，所述微型投影仪、单目摄像头、光调制解调器、扬声器均与处理终端相连接。
25.与现有技术相比，本发明的有益效果是：该基于光纤传感器数据手套训练系统及钢琴训练系统，通过数据手套结合投影设备的方法，解除了钢琴训练对场地及实体钢琴设备的限制要求，极大程度的增加了钢琴训练的自由性和任意性；本发明采用了数据手套的手部姿态识别方式，解决了现有基于视觉识别的手部姿态识别技术易受到光照遮挡、图像采集设备放置等环境因素的影响，数据的采集分析精度和时延受识别算法优劣的影响程度大的缺点，能够快速的得到更可靠的手部运动数据，识别精度也相对较高；本发明采用的光纤传感技术具有电绝缘性能好，抗电磁干扰能力强，非侵入性强，高灵敏度的优点；本发明通过辅助训练模块进行训练的提示及纠错，通过逼真有趣的投影效果，以提升初学者的兴趣，同时把钢琴教师从重复的弹奏示范中解救出来，极大的提高了钢琴教师资源的利用率，降低了钢琴教育的成本，同时本训练系统通过光纤传感技术，使用者可在任意地点进行钢琴练习，大大提高了钢琴练习的便捷性。
附图说明
26.图1为本发明数据手套训练系统示意图；
27.图2本发明为数据手套的主视结构图；
28.图3本发明为光纤传感器数据手套训练系统示意图；
29.图4本发明是数据手套手指多层结构图。
30.图中：1、数据手套；2、控制系统；3、荧光光纤手部姿态传感器；4、微纳光纤压力传感器；5、力反馈放电膜装置；6、支架；7、微型投影仪；8、单目摄像头；9、光调制解调器；10、处理终端；11、扬声器；12、柔性垫层；13、接触层。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.请参阅图1-4，本发明提供一种技术方案：一种基于光纤传感器数据手套训练系统及钢琴训练系统，包括数据手套1、控制系统2、荧光光纤手部姿态传感器3、微纳光纤压力传感器4和力反馈放电膜装置5，数据手套1的手背部装配有荧光光纤手部姿态传感器3，数据手套1手指指尖处设置有多层传感器结构，多层传感器结构包括微纳光纤压力传感器4、力反馈放电膜装置5、柔性垫层12和接触层13，数据手套1指尖处设置有柔性垫层12，柔性垫层12的外侧依次设置有力反馈放电膜装置5、微纳光纤压力传感器4和接触层13，数据手套1上传感器与控制系统2相连接，控制系统2包括支架6、微型投影仪7、单目摄像头8、光调制解调器9、处理终端10和扬声器11，支架6放置于光调制解调器9上，微型投影仪7和单目摄像头8安装于支架6上，光调制解调器9和扬声器11放置于处理终端10的右方，微型投影仪7、单目
摄像头8、光调制解调器9、扬声器11均与处理终端10相连接。
33.在光纤传感器数据手套训练系统使用时，首先将微型投影仪7、单目摄像头8、光调制解调器9和扬声器11均与处理终端10相连接并启动，将数据手套1与光调制解调器9相连接，光调制解调器9启动并读取数据手套1的光信号，分析光强度、波长、频率等信息并转换成数值信息发送给处理终端10，用户穿戴数据手套1至完全贴合手部，在处理终端10打开钢琴训练系统进入启动校准功能，将手平放在桌面中心位置并点击校准，单目摄像头8将会根据数据手套1位置确定微型投影仪7的投影位置，等待校准完成后可选择辅助训练模式和自由演奏模式。
34.数据手套训练钢琴训练系统在使用时，运动模式识别模块用于对数据手套1进行实时计算分析，用以实现手部空间位置识别、手部运动模式采集、手部手势动作识别以及触碰识别力反馈；
35.具体地，将数据手套训练钢琴训练系统的设备开启并对数据手套1进行校准后。使用者左、右手大拇指同时做出弯曲弹钢琴动作，处理终端10控制微型投影仪7根据右手大拇指所在的位置作为基准点(中音区do键)，展开88键钢琴模型虚拟投影。使用者在进行钢琴虚拟弹奏时，单目摄像头8分析捕捉数据手套1图像的移动，确定使用者敲击的琴键及对应的音域；
36.具体地，在数据手套训练钢琴训练系统使用时，使用者在敲击虚拟钢琴的琴键时，引起荧光光纤手部姿态传感器3的信号改变，处理终端10检测信号变化，通过手势识别处理算法识别使用者的手势，识别使用者的敲击琴键动作手势、指法，虚拟钢琴音效模块将对应琴键的音频信号通过扬声器11输出；
37.具体地，在数据手套训练钢琴训练系统使用时，使用者在弹琴时，处理终端10实时监测来自数据手套1指尖的微纳光纤压力传感器4的信号(监测手指敲击琴键的按压力、时间)，手背处荧光光纤手部姿态传感器3信号的变化速率(监测手指敲击琴键的速度)，并通过程序算法处理输出与使用者按压力度、按压时长、按压速度相对应的音频输出信号通过扬声器11输出。同时，处理终端10将输出与使用者按压力度对应的力反馈信号，该力反馈信号通过数据手套1指尖处的力反馈放电膜装置5对使用者进行力反馈(模拟振动感、按压感)，营造更加真实的弹钢琴环境。
38.虚拟钢琴场景模块用以搭建虚拟钢琴的环境及，在钢琴训练系统使用时虚拟钢琴的实时投影；
39.具体地，在数据手套训练钢琴训练系统使用时，根据现实钢琴形状和大小，将基础的88个琴键(52个白键，36个黑键)利用绘图工具库绘制钢琴平面模型或者伪3d模型。绘制琴键时可保留适当间隙，建立一个碰撞区域，琴键的碰撞范围应当设置合理，避免琴键与琴键之间相互碰撞和手指在触摸琴键时同时误触多个琴键的情况。为避免琴键之间碰撞区域相互干扰，所以可将碰撞区域宽度设置得窄一些；
40.具体地，在数据手套训练钢琴训练系统使用时，采用全双工通讯，通过数据传输接口获取手套空间位置坐标，手指动作识别，以及按压力度等信息。对这些信息进行实时计算，在画面中显示代表人十根手指的象征点，当识别出手指在黑白键按压后，对应琴键会产生模拟真实场景下的视觉动态按压效果。另外，由于本系统采用数据手套1的方式采集数据，区别于视觉方式，对手指按压力度有更精确的识别。视觉反馈效果可以根据按压力度灵
活调整，比如平面模型的颜色深度渐变加深或伪3d模型的琴键凹陷程度逐渐增大；
41.具体地，在数据手套训练钢琴训练系统使用时，根据不同投影设备和其投影距离自适应调整程序界面与投影画面匹配，当虚拟钢琴调整为真实场景中钢琴尺寸时，发出提示信息告知用户；
42.具体地，在数据手套训练钢琴训练系统使用时，也可设置增减键间距离等操作改变图像画面。虚拟钢琴音效模块用以采集虚拟钢琴琴键的音源及数据手套1碰撞琴键动作触发时对应音源的播放。
43.虚拟钢琴音效模块用以采集虚拟钢琴琴键的音源及数据手套1碰撞琴键动作触发时对应音源的播放；
44.具体地，在数据手套1训练钢琴训练系统使用时，实现采样音源的制作，需要用一台专业的钢琴，在录音室架好麦克风矩阵，让钢琴家到钢琴上把所有的琴键弹奏一遍，接着再对录制出来的声音进行滤波放大等处理，得到88个不同琴键的音高，将其保存为音频格式。由于真实世界中钢琴的每个琴键自身都能产生丰富的变化，轻轻的弹和用力的砸，对应着不仅仅是音量的变化，音色同样也在发生变化。受益于我们数据手套1可以敏锐地捕获手指不同的运动形式，因此我们可以使用采样分层技术，录制不同弹奏方式的声音并将其保存下来。用户佩戴上数据手套1后弹奏乐曲发出的声音也更真实地保留原始音源，体现软硬件协同设计；
45.具体地，在数据手套训练钢琴训练系统使用时，对数据传输接口接收到的数据包进行解析，当其中包含手指移动到某个键位的位置并且按下时，继续判断弹奏方式，程序可以加载相应键位的相应弹奏音频文件，通过扬声器11或者音响外放，用户获得高保真的弹奏听感。此外，用户还可设置录歌模式，捕获持续时间内的琴键变换来合成一首完整的钢琴弹奏曲。
46.交互式操作模块用以系统的辅助训练模式或自由演奏模式选择操作的实现及ui图形化界面操作；
47.处理终端10采用基于光纤传感器数据手套训练系统及钢琴训练系统x86微型计算机搭载linux基于光纤传感器数据手套训练系统及钢琴训练系统；
48.具体地，进入钢琴练习模式以后，终端通过运动模式识别模块计算数值信息并输出键位按下、力度信息给虚拟钢琴场景模块和虚拟钢琴音效模块，虚拟钢琴场景模块分析键位按下信息渲染出虚拟钢琴画面和钢琴谱画面发送给微型投影仪7投影到桌面上，虚拟钢琴音效模块分析键位按下、力度信息通过扬声器11播放相应的钢琴音效，如果处理终端10接收的数据手套1运动信号与当前演奏的曲目预设信号的不一致，则发出信号至力反馈放电膜装置5产生电信号提醒用户演奏错误，同时通过微型投影仪7投影出正确的按键位置实现纠错功能；
49.运动模式识别模块采用的人工智能算法包括但不限于支持向量机(svm)、神经网络vggnet等。
50.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于光纤传感器数据手套钢琴训练系统，其特征在于，所述训练系统包括：运动模式识别模块、虚拟钢琴场景模块、虚拟钢琴音效模块和交互式操作模块；所述运动模式识别模块，对数据手套(1)进行实时计算分析，用以实现手部空间位置识别、手部运动模式采集、手部手势动作识别以及触碰识别力反馈；所述虚拟钢琴场景模块，用以搭建虚拟钢琴的环境及所述系统使用时虚拟钢琴的实时投影；所述虚拟钢琴音效模块，用以采集虚拟钢琴琴键的音源及所述数据手套碰撞琴键动作触发时对应音源的播放；所述交互式操作模块，用以所述训练系统的辅助训练模式或自由演奏模式选择操作的实现及ui图形化界面操作。2.根据权利要求1所述的基于光纤传感器数据手套钢琴训练系统，其特征在于，所述运动模式识别模块包括：运动模式采集模块、空间位置识别模块、手势动作识别模块、碰撞识别与力反馈模块。3.根据权利要求1所述的基于光纤传感器数据手套钢琴训练系统，其特征在于，所述虚拟钢琴场景模块包括：虚拟钢琴模型搭建模块和虚拟钢琴实时投影模块。4.根据权利要求1所述的基于光纤传感器数据手套钢琴训练系统，其特征在于，所述虚拟钢琴音效模块包括：虚拟钢琴音效采集模块和虚拟钢琴音效播放模块。5.根据权利要求1所述的基于光纤传感器数据手套钢琴训练系统，其特征在于，所述交互式操作模块包括：图形化操作模块和辅助训练校准模块。6.一种基于光纤传感器数据手套训练系统，包括数据手套(1)、控制系统(2)、荧光光纤手部姿态传感器(3)、微纳光纤压力传感器(4)和力反馈放电膜装置(5)，其特征在于：所述数据手套(1)的手背部装配有荧光光纤手部姿态传感器(3)，所述数据手套(1)手指指尖处设置有多层传感器结构，所述多层传感器结构包括微纳光纤压力传感器(4)、力反馈放电膜装置(5)、柔性垫层(12)和接触层(13)，所述数据手套(1)指尖处设置有柔性垫层(12)，所述柔性垫层(12)的外侧依次设置有力反馈放电膜装置(5)、微纳光纤压力传感器(4)和接触层(13)，所述数据手套(1)上传感器与控制系统(2)相连接，所述控制系统(2)包括支架(6)、微型投影仪(7)、单目摄像头(8)、光调制解调器(9)、处理终端(10)和扬声器(11)，所述支架(6)放置于光调制解调器(9)上，所述微型投影仪(7)和单目摄像头(8)安装于支架(6)上，所述光调制解调器(9)和扬声器(11)放置于处理终端(10)的右方，所述微型投影仪(7)、单目摄像头(8)、光调制解调器(9)、扬声器(11)均与处理终端(10)相连接。

技术总结
本发明公开了一种基于光纤传感器数据手套训练系统及钢琴训练系统，所述训练系统包括：运动模式识别模块、虚拟钢琴场景模块、虚拟钢琴音效模块和交互式操作模块；所述运动模式识别模块，对所述数据手套进行实时计算分析，用以实现手部空间位置识别、手部运动模式采集、手部手势动作识别以及触碰识别力反馈；所述虚拟钢琴场景模块。基于光纤传感器数据手套训练系统及钢琴训练系统通过逼真有趣的投影效果，以提升初学者的兴趣，同时把钢琴教师从重复的弹奏示范中解救出来，极大的提高了钢琴教师资源的利用率，降低了钢琴教育的成本，同时本训练系统通过光纤传感技术，使用者可在任意地点进行钢琴练习，大大提高了钢琴练习的便捷性。捷性。捷性。


技术研发人员：周泓宇 张超 农恒昌 刘鑫
受保护的技术使用者：湖南万维智感科技有限公司
技术研发日：2023.05.24
技术公布日：2023/8/16