基于混合模态信号的康复机器人多模式控制方法及系统

1.本发明属于康复机器人控制技术领域，涉及一种基于混合模态信号的康复机器人多模式控制方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.脑卒中后三分之二的患者会存在不同程度的运动障碍，这严重影响了他们的日常生活。康复训练可以帮助患者充分重复运动，恢复运动功能。针对传统的康复治疗消耗大量人力且重复性较差等缺点，康复机器人可以为患者提供集中和重复的训练。而且临床结果证明：机器人辅助康复训练对恢复运动功能有积极作用。
4.脑卒中患者的康复是一个漫长的过程，大致可分为软瘫期、痉挛期和恢复期，每个阶段所需的康复训练方式不同。康复机器人被希望能够拥有类人的智能控制能力，即能够学习和识别不同的患者状况，并像人类一样基于经验采取精确的控制策略。受人类学习与控制思想的启发，提出了一种模式学习、模式识别与模式控制相结合的思想，即基于模式的控制。但动态环境中的学习被视为自适应和学习控制领域中最困难的问题，传统的控制方法根本无法实现学习或学习效果有限。而且现有的基于统计学决策的模式识别是基于一些已知的模式特性并不是控制性能，因此在模式识别与控制中并不能直接应用。
5.当前上肢康复机器人已经发展出多种康复模式，如被动模式、阻力模式、辅助模式等等，且涉及的康复训练动作也多种多样。患者运动意图的精准识别是基于模式的康复训练实施以及保证人机交互安全准确的关键。但单一模态的生理信息(如脑电、肌电等)或行为学信息(如人体姿态、接触力等)无法全面反映运动意图，特别是在中枢神经系统或外周肢体损伤的患者群体中，由于功能的障碍，单一来源的生理信息或行为学信息更无法准确提供运动意图判别的依据。因此，急需要发展多种生理信息或行为学信息驱动的康复机器人系统，提高系统对患者运动意图的全面准确判别。


技术实现要素：

6.本发明为了解决上述问题，提出了一种基于混合模态信号的康复机器人多模式控制方法及系统，本发明采用离散确定学习理论建立了不同康复模式和康复动作下基于经验的控制库和辨识器库；然后基于模式的控制理论，通过对当前患者的脑电、肌电、人体姿态以及接触力等多种生理信号以及运动学参数进行辨识，识别出适合当前患者康复等级的康复模式以及患者想要的康复动作，进而选择相应的控制器带动患者进行训练。而且，在训练过程中可实时分析患者的混合模态信号，一旦患者意图改变，基于经验的控制库和辨识器库可快速工作，以快速识别并切换控制器，提高康复训练系统性能。
7.根据一些实施例，本发明采用如下技术方案：
8.一种基于混合模态信号的康复机器人多模式控制方法，包括以下步骤：
9.采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库；
10.采用离散确定学习理论，建立所有康复模式和康复动作下基于经验的辨识器库；
11.根据当前混合模态信号，结合运动学参数与基于经验的辨识器库进行对比，识别适合当前患者康复等级的康复模式以及患者想要的康复动作；
12.根据识别的康复模式和康复动作，从控制器库中选取相应的控制器，控制所述康复机器人执行相应的康复训练。
13.作为可选择的实施方式，还包括以下步骤：
14.在训练过程中，根据混合模态信号，结合运动学参数进行辨识，判断当前的训练意图是否改变，如果是，识别适合当前患者康复等级的康复模式和康复动作，从控制器库中切换至匹配的控制器。
15.作为可选择的实施方式，采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库的具体过程包括：
16.将离散的康复机器人动力学模型，转换为具有输出反馈的规范系统形式的动态模型；
17.利用离散确定学历理论设计离散自适应神经网络控制器；
18.根据李雅普诺夫稳定性理论和采样确定学习理论，确定所述离散自适应神经网络控制器的权值更新律；
19.基于所述离散自适应神经网络控制器和权值更新律，沿周期轨迹学习系统未知动态，使用所学知识构建不同训练模式下的基于经验的控制器库。
20.进一步的，基于所述离散自适应神经网络控制器和权值更新律，沿周期轨迹学习系统未知动态，使用所学知识构建不同训练模式下的基于经验的控制器库的具体过程包括当沿周期轨迹的离散自适应神经网络控制器的神经元满足持续激励条件时，状态误差与神经网络权值都有界并指数收敛，将稳定收敛后的神经网络权值以常值神经网络的形式进行存储，然后使用所学习的知识针对不同训练模式构建有经验的控制器；
21.根据不同模式的特点，对所述有经验的控制器进行优化，形成控制器库。
22.进一步的，根据不同模式的特点，对所述有经验的控制器进行优化的具体过程包括：
23.被动模式，采用所述有经验的控制器；
24.主动模式，在所述有经验的控制器上加入导纳控制，改变到那参数以调整人机交互过程中的柔顺性；
25.停止模式，在所述有经验的控制器上加入阈值控制，当检测到肌力大于设置阈值时，强制停止控制器的控制运动。
26.作为可选择的实施方式，采用离散确定学习理论，建立所有康复模式和康复动作下基于经验的辨识器库的具体过程包括：
27.基于离散的康复机器人动力学模型，搭建动态神经网络辨识器，用以建模不同训练模式下子系统的内在动力学信息；
28.利用李雅普诺夫理论进行所述辨识器的权值更新以及系统稳定性论证；
29.通过采样确定学习理论中的指数稳定性原则确保神经网络能指数收敛到真值，从而保证对子系统内在动力学信息的准确建模；
30.利用收敛后的常值神经网络构建所有康复模式和康复动作下基于经验的辨识器库。
31.作为可选择的实施方式，建立不同康复模式和康复动作下基于经验的控制器库时，获取各个康复模式下，各个康复动作过程中混合模态信号，对其进行辨识，并建立不同混合模态信号和不同康复模式、康复动作的对应关系。
32.作为可选择的实施方式，所述混合模态信号包括脑电、肌电、人体姿态以及接触力信号等。
33.作为可选择的实施方式，根据当前混合模态信号，结合运动学参数与基于经验的辨识器库进行对比，确定相应的康复模式，进而选择相应的控制器带动患者跟随康复机器人进行运动。
34.一种基于混合模态信号的康复机器人多模式控制系统，包括：
35.构建模块，被配置为采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库以及所有康复模式和康复动作下基于经验的辨识器库；
36.识别模块，被配置为根据当前混合模态信号，结合运动学参数进行辨识，识别适合当前患者康复等级的康复模式；
37.控制模块，被配置为根据识别的康复模式，从控制器库中选取相应的控制器，控制所述康复机器人执行相应康复动作的训练。
38.作为可选择的实施方式，控制模块，还被配置为根据混合模态信号，结合运动学参数进行辨识，判断当前的训练意图是否改变，如果是，识别适合当前患者康复等级的康复模式以及康复动作，从控制器库中切换至匹配的控制器。
39.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的方法中的步骤。
40.与现有技术相比，本发明的有益效果为：
41.本发明基于采样确定学习理论，建立了两个库，分别为基于经验的控制器库，用于控制不同动作、模式下的机器人按任务要求进行运动；以及基于经验的辨识器库，通过将新生成的多模态信号特征与库中信息进行对比，得到相似性最高的信号特征对应的动作或模式，进而进行切换。模拟了人的智能控制策略，建立了不同模式下基于经验的控制器库和基于经验的辨识器库，然后基于患者的康复水平以及患者的康复意愿进行模式的快速识别和控制器的快速切换，极大提升了系统性能。
42.本发明提出的控制系统中利用了患者的混合模态生理信号进行了患者的意图识别以及康复等级的评估，并利用确定学习理论进行了基于经验的快速模式识别，极大地提高识别精度和速度。
43.本发明提出的控制方法充分考虑了实际康复机器人的离散时间特性，为被动模式构建了基于经验的离散学习控制器以实现患者被动训练中的精准康复，为提高主动模式过程的柔顺性在基于经验的离散学习控制器加入了导纳控制，以激发患者的主动运动意图。
44.本发明中基于经验的控制器和基于经验的辨识器都能够对非线性系统中的未知动态和不可预测的干扰进行局部准确建模，并将学习到的经验知识以常值神经网络的形式进行存储，对之后相同或相似的控制任务能够直接调用存储知识进行控制或辨识，不再需
要在线计算控制器参数，节省了康复训练系统能量和控制时间，并进一步提高了动态控制性能。
45.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
46.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
47.图1是本实施例中上肢康复机器人的多模式切换机制框图。
48.图2是本实施例中上肢康复机器人被动模式和主动模式下控制器的工作原理图。
49.图3是本实施例中基于混合模态生理信号的上肢康复机器人多模式控制方法的具体实施流程图。
具体实施方式
50.下面结合附图与实施例对本发明作进一步说明。
51.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
52.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
53.本实施例以上肢康复机器人为应用对象/控制对象为例进行说明本发明的技术方案。
54.但不代表本发明仅能用于上肢康复机器人。
55.如图3所示，包括以下步骤：
56.预先获取不同模式下的混合模态信号，构建模式-混合模态信号关系，并存储；
57.采用离散确定学习理论建立不同康复模式和康复动作下基于经验的控制器库。
58.采用离散确定学习理论建立所有康复模式和康复动作下基于经验的辨识器库。
59.当患者介入后，要给患者相应的模态信号和运动学信号检测设备，然后将检测到的多种模态信号与辨识器库中的信息进行对比，经辨识和模式识别，通过最小残差的原则选择最符合当前患者康复水平的康复模式，以及最符合当前患者康复意愿的康复动作，选择相应的基于经验的控制器带动患者进行康复训练。
60.需要说明的是，本发明多模态信号的采集，可以采用现有技术，如佩戴脑电帽采集脑电信号，佩戴肌电仪采集肌电信号，利用图像采集设备获取人体姿态，利用力传感器获取接触力信号等。
61.在部分实施例中，为保证康复训练始终适配，在康复训练过程中仍会实时检测患者的混合模态信号，一旦患者的运动意图发生改变或者随着康复训练的进行患者康复水平有所提升，基于确定学习的动态模式识别机制可以快速识别并在极短的时间切换到相应的
控制器。上述基于混合模态信号的多模式控制方法充分考虑了患者的康复水平以及患者的康复意愿，可以极大程度地提高患者的康复效率。
62.下面对具体实现技术方案进行详细介绍。
63.如图1所示，控制器的建立和训练学习过程，具体包括：
64.步骤(1)：根据离散的上肢康复机器人动力学模型和离散确定学历理论设计离散自适应神经网络；
65.根据如下的上肢康复机器人的离散时间动态模型：
[0066][0067]
转化为具有输出反馈的规范系统形式的动态模型形式如下：
[0068][0069]
式中，k为采样时刻点，t为采样时间间隔；q(k),v(k)分别代表关节位置和关节速度，m(q(k))和是惯性矩阵；f(q(k),v(k))是科氏力-离心力和重力力矩矩阵；τ(k)是控制输入力矩；
[0070][0071]
x(k)＝[q(k),v(k)]
t
，τd(k)是外力力矩；
[0072]
基于离散的上肢康复机器人动力学模型和采样确定学习适当地设计离散时间自适应神经网络控制器，以在跟踪控制过程中准确地识别(学习)上肢康复机器人的未知动态，具体为：
[0073][0074]
其中，c2为设计的控制器增益常数，且满足0≤1-tc2≤1，e2为关节速度的跟踪误差，为径向基函数神经网络(radial basis function neural network,rbfnn)输出，为rbfnn的权值，s为rbfnn的回归向量，为rbfnn输入，α1(k)为虚拟控制器，具体为：
[0075][0076]
式中，e1为关节位置的跟踪误差，c1为设计的控制器增益常数，且满足0≤1-tc1≤1，xd为参考轨迹(主动模式下为经过导纳控制修正后的轨迹)。
[0077]
根据lyapunov稳定性理论和采样确定学习理论设计神经网络权值更新律，具体如下：
[0078][0079]
其中，γ＝γ
t
》0是一个正定对角矩阵，σ》0是一个常数。
[0080]
步骤(2)：沿周期轨迹学习系统未知动态，使用所学知识构建不同训练模式下的上
肢康复机器人控制器库；
[0081]
当沿周期轨迹的rbfnn的神经元满足持续激励(persistent excitation,pe)条件时，状态误差与神经网络权值都有界并指数收敛。将稳定收敛后的神经网络权值以常值神经网络的形式进行存储，然后使用所学习的知识针对不同训练模式构建有经验的控制器，具体为：
[0082][0083]
其中，为：
[0084][0085]
式中，[ka,kb]为系统稳定收敛后的时间区间。
[0086]
步骤(3)：准确地识别不同训练模式下的子系统动态，并使用所学知识构建辨识器库；
[0087]
针对公式(2)所示的上肢康复机器人的离散非线性动力学系统v(k+1)＝v(k)+t[f(x)+g(x)τ(k)]，通过搭建动态神经网络辨识器来建模不同训练模式下子系统的内在动力学信息，具体为：
[0088][0089]
式中，s代表训练模式，为第i个动态神经网络辨识器的状态，βi为辨识器增益，为辨识器中rbfnn待估计的权值，为辨识器中rbfnn的回归向量，用来逼近子系统未知动力学f(x)+g(x)τ(k)。
[0090]
基于lyapunov设计给出的神经网络权值更新律:
[0091][0092]
其中，γ代表神经网络权值更新律的学习增益，zi表示跟踪误差。
[0093]
通过采用上述的动态神经网络辨识器以及权值更新律，不同训练模式下子系统的内在动力学信息能被常值rbfnn局部准确辨识：
[0094][0095]
式中，为第s个训练模式下第i个离散动态辨识器的状态，为常值神经网络。
[0096]
步骤(4)：利用估计量快速识别控制状态的变化；
[0097]
将测试模式的数据与估计库中的离散动态辨识器进行对比，产生对应不同训练模式的同步误差(或称作识别误差)。
[0098][0099]
为了提高识别过程的有效性，使用平均l1范数来进行决策:
[0100][0101]
式中，te是一个预设的计算平均l1范数的范围。
[0102]
步骤(5)：根据最小平均l1范数的原则，切换相应的控制器。
[0103]
另一重要部分是不同的康复模式下控制器的设计和选择。
[0104]
如图2所示，康复模式大致可以分为被动模式、主动模式和停止模式。被动模式中主要使用公式(6)所示的基于经验的离散学习控制器进行精准的轨迹跟踪训练，适用于康复早期，患者没有肌力，主要依靠上肢康复机器人带动患肢进行运动。主动模式分为辅助模式与阻力模式，适用于康复中晚期，患者患肢具有一定的主动运动能力。辅助模式在患者运动能力不足时提供助力，阻力模式在患者运动力量过度时提供阻力。
[0105]
本实施例中，主动模式下的控制器在公式(6)的基础上加入了导纳控制，实现了从被动模式到主动模式的切换，通过改变系统的导纳参数调整人机交互过程中的柔顺性。
[0106]
停止模式主要用于保证患者安全性，检测到患者行为异常时，即肌力严重大于训练所需用力范围，强制停止上肢康复机器人运动。
[0107]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0108]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0109]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0110]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0111]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0112]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不
需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种基于混合模态信号的康复机器人多模式控制方法，其特征是，包括以下步骤：采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库；采用离散确定学习理论，建立所有康复模式和康复动作下基于经验的辨识器库；根据当前混合模态信号，结合运动学参数进行辨识，识别适合当前患者康复等级的康复模式；根据识别的康复模式，从控制器库中选取相应的控制器，控制所述康复机器人执行相应的康复动作的训练。2.如权利要求1所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，还包括以下步骤：在训练过程中，根据混合模态信号，结合运动学参数进行辨识，判断当前的训练意图是否改变，如果是，识别适合当前患者康复等级的康复模式，从控制器库中切换至匹配的控制器。3.如权利要求1或2所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库的具体过程包括：将离散的康复机器人动力学模型，转换为具有输出反馈的规范系统形式的动态模型；利用离散确定学历理论设计离散自适应神经网络控制器；根据李雅普诺夫稳定性理论和采样确定学习理论，确定所述离散自适应神经网络控制器的权值更新律；基于所述离散自适应神经网络控制器和权值更新律，沿周期轨迹学习系统未知动态，使用所学知识构建不同训练模式下的控制器库。4.如权利要求3所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，基于所述离散自适应神经网络控制器和权值更新律，沿周期轨迹学习系统未知动态，使用所学知识构建不同训练模式下的控制器库的具体过程包括当沿周期轨迹的离散自适应神经网络控制器的神经元满足持续激励条件时，状态误差与神经网络权值都有界并指数收敛，将稳定收敛后的神经网络权值以常值神经网络的形式进行存储，然后使用所学习的知识针对不同训练模式构建有经验的控制器；根据不同模式的特点，对所述有经验的控制器进行优化，形成控制器库。5.如权利要求4所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，根据不同模式的特点，对所述有经验的控制器进行优化的具体过程包括：被动模式，采用所述有经验的控制器；主动模式，在所述有经验的控制器上加入导纳控制，改变到那参数以调整人机交互过程中的柔顺性；停止模式，在所述有经验的控制器上加入阈值控制，当检测到肌力大于设置阈值时，强制停止控制器的控制运动。6.如权利要求1所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，建立不同康复模式和康复动作下基于经验的控制器库时，获取各个康复模式下，各个康复动作过程中混合模态信号，对其进行辨识，并建立混合模态信号和不同康复模式、康复动作的对应关系；
或，所述混合模态信号包括脑电、肌电、人体姿态以及接触力信号。7.如权利要求1所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，采用离散确定学习理论，建立所有康复模式和康复动作下基于经验的辨识器库的具体过程包括：基于离散的康复机器人动力学模型，搭建动态神经网络辨识器，用以建模不同训练模式下子系统的内在动力学信息；利用李雅普诺夫理论进行所述辨识器的权值更新以及系统稳定性论证；通过采样确定学习理论中的指数稳定性原则确保神经网络能指数收敛到真值，从而保证对子系统内在动力学信息的准确建模；利用收敛后的常值神经网络构建所有康复模式和康复动作下基于经验的辨识器库。8.如权利要求1所述的一种基于混合模态信号的康复机器人多模式控制方法，其特征是，根据当前混合模态信号，结合运动学参数与基于经验的辨识器库进行对比，确定相应的康复模式，进而选择相应的控制器带动患者跟随康复机器人进行运动。9.一种基于混合模态信号的康复机器人多模式控制系统，其特征是，包括：构建模块，被配置为采用离散确定学习理论，建立不同康复模式和康复动作下基于经验的控制器库以及所有康复模式和康复动作下基于经验的辨识器库；识别模块，被配置为根据当前混合模态信号，结合运动学参数进行辨识，识别适合当前患者康复等级的康复模式；控制模块，被配置为根据识别的康复模式，从控制器库中选取相应的控制器，控制所述康复机器人执行相应康复动作的训练。10.如权利要求9所述的一种基于混合模态信号的康复机器人多模式控制系统，其特征是，控制模块，还被配置为根据混合模态信号，结合运动学参数进行辨识，判断当前的训练意图是否改变，如果是，识别适合当前患者康复等级的康复模式以及康复动作，从控制器库中切换至匹配的控制器。

技术总结
本发明提供了一种基于混合模态信号的康复机器人多模式控制方法及系统，本发明采用离散确定学习理论建立了不同康复模式和康复动作下基于经验的控制库和辨识器库；然后基于模式的控制理论，通过对当前患者的脑电、肌电、人体姿态以及接触力等多种生理信号以及运动学参数进行辨识，识别出适合当前患者康复等级的康复模式以及患者想要的康复动作，进而选择相应的控制器带动患者进行训练。而且，在训练过程中可实时分析患者的混合模态信号，一旦患者意图改变，基于经验的控制库和辨识器库可快速工作，以快速识别并切换控制器，提高康复训练系统性能。系统性能。系统性能。


技术研发人员：李可 张娜 张付凯 王聪
受保护的技术使用者：山东大学
技术研发日：2023.05.09
技术公布日：2023/8/14