一种基于云计算平台的运动想象脑机接口生活辅助系统

1.本发明涉及一种生活辅助系统，尤其是涉及一种基于云计算平台的运动想象脑机接口生活辅助系统。


背景技术：

2.脑血管疾病是一种目前数量呈急剧上升趋势的疾病，75％的脑卒中患者表现为不同程度的肢体功能丧失，如偏瘫、偏身感觉障碍、姿势与肌张力异常等，进而导致日常行为能力的丧失。因此，开发一种可以辅助老年人或残障人士日常生活的脑控生活辅助系统，尤其对肢体活动能力有障碍人群，提高他们的生活质量和主动参与能力，解决生活不方便的问题十分必要，成为亟待解决的技术问题。
3.运动想象(motor imagery，mi)脑机接口技术通过非侵入式脑电帽对大脑皮层的电信号进行记录，通过算法进行解码从而判断患者运动意图，由运动意图控制外部设备，从而帮助患者进行运动。然而，传统的运动想象脑机接口技术需要基于具有计算能力的硬件(如笔记本电脑等)，不便于患者在一定空间内自由活动。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于云计算平台的运动想象脑机接口生活辅助系统，可以实现在无人帮助的情况下，辅助老年人和残障人士自主对所需物品的抓取，辅助日常生活，解决生活不方便问题，提高生活质量。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于云计算平台的运动想象脑机接口生活辅助系统，包括：
7.脑电帽，用于采集使用者的脑电信号；
8.气动手套，用于根据运动指令进行动作；
9.数据转发器，通过无线方式分别与所述脑电帽和气动手套连接，用于获取并转发所述脑电信号，并获取并转发所述运动指令；
10.mi云计算平台，通过无线方式分别与所述气动手套和数据转发器连接，用于接收所述脑电信号，对所述脑电信号进行解码，基于解码结果生成对应的所述运动指令。
11.作为本发明优选的技术方案，所述脑电帽采用24导联干电极帽。
12.作为本发明优选的技术方案，所述mi云计算平台包括：
13.数据预处理模块，用于对所述脑电信号进行预处理；
14.解码模块，用于采用基于transformer的深度学习模型对经预处理的脑电信号进行意图识别，获得解码结果。
15.作为本发明优选的技术方案，所述预处理包括陷波滤波处理、设定频率段信号提取和正则归一化。
16.作为本发明优选的技术方案，所述解码模块包括特征提取单元和分类单元，所述特征提取单元包括依次设置的时域卷积层、空域卷积层、全局池化层和vit层，所述分类单
元包括三层全连接层。
17.作为本发明优选的技术方案，所述vit层为含多头注意力机制的结构。
18.作为本发明优选的技术方案，所述解码模块生成不想象、左手抓握、右手抓握、左手张开和右手张开五类结果的概率，并以最大概率对应的结果为解码结果。
19.作为本发明优选的技术方案，还包括信号放大器，该信号放大器一端通过有线串口通讯方式或无线方式与所述脑电帽连接，另一端通过无线方式与所述数据转发器连接。
20.作为本发明优选的技术方案，还包括ar眼镜，与所述mi云计算平台连接，用于接收mi云计算平台发送的视觉信息，并展示基于所述视觉信息的引导画面，所述视觉信息基于预设任务数据和脑电信号生成。
21.作为本发明优选的技术方案，所述mi云计算平台进行解码时，判断是否已有当前使用者的运动想象算法模型，若是，则直接使用已存储的运动想象算法模型，若否，则通过所述ar眼镜展示所述引导画面，采集使用者的脑电信号，生成训练数据集，进行运动想象算法模型的构建。
22.与现有技术相比，本发明使用者仅需要佩戴脑电帽和气动手套，通过数据转发器即可实现意念控制气动手，进而辅助生活，具有以下有益效果：
23.1、本发明采用脑机接口技术，在使用者的大脑和计算机或其它电子设备之间建立通道，不依赖于外围神经和肌肉组织，实现大脑控制外部设备，使用方便，操作简单，只需想象即可清晰明了表达自己的意图。
24.2、本发明采用24导联干电极帽，使用者头皮无需打脑电膏，使用方便。
25.3、本发明设置有抓取物品的气动手套，可以辅助老人和残疾人在无人帮助的情况下抓取自己所需的物品。
26.4、本发明通过数据转发器实现无线方式数据转发，脑电帽和气动手套便于携带，可以使患者在空间内自由走动，真正有利于辅助生活。
27.5、本发明系统易于扩展，以实现更多功能，操作方法简单，成本低廉。
附图说明
28.图1为本发明的结构示意图；
29.图2为本发明的整体实验流程图；
30.图3为本发明mi云计算平台的模型示意图。
具体实施方式
31.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
32.当使用者执行某一单侧肢体的运动想象时，大脑皮层会产生两种变化明显的节律信号，分别是8-15hz的mu节律信号和18-24hz的beta节律信号。具体表现为在运动想象期间，与想象的运动相关的大脑区域会出现事件相关去同步(erd)，即电信号能量下降。相反，在运动想象结束后的恢复期间，会出现事件相关同步(ers)，即电信号能量增加。在此基础上，可以识别出与特定运动想象任务相关的模式。通过脑电信号的数据预处理、特征提取和
分类识别，解码出患者的意图，进而输出控制命令控制气动手，即实现了使用者通过大脑控制气动手的操作，进而提高肢体运动功能，解决生活不方便的问题。mi运动想象为脑机接口技术的一种，通过erd\ers诱发大脑不同区域产生不同能量，利用脑电帽采集和处理脑电信号，解码出所对应的想象状态，以便解码出使用者的意图，进而输出控制命令控制气动手套运动，即实现了使用者通过大脑控制气动手套的操作。
33.如图1所示，本实施例提供一种基于云计算平台的运动想象脑机接口生活辅助系统，包括脑电帽1、气动手套6、数据转发器4和mi云计算平台5，其中，脑电帽1佩戴于使用者头上，用于采集使用者的脑电信号；气动手套6佩戴于使用者手上，用于根据运动指令进行抓握动作；数据转发器4通过无线方式分别与所述脑电帽和气动手套连接，用于获取并转发所述脑电信号，并获取并转发所述运动指令；mi云计算平台5通过无线方式分别与所述气动手套6和数据转发器4连接，用于接收所述脑电信号，对所述脑电信号进行解码，基于解码结果生成对应的所述运动指令，利用大脑意念想象肢体动作，获取皮层脑电信号，由算法解码皮层脑电，再由气动手套6来实现后续的实际操作。
34.上述系统中，脑电帽1采集使用者进行想象时的脑电信号，通过无线的方式，传输至数据转发器4，数据转发器4将接收到的脑电数据转发到mi云计算平台5，mi云计算平台5根据脑电数据解码得到对应运动意图，再根据运动意图控制对应手的气动手套6进行抓握或伸展的动作，从而帮助使用者根据自己需求，通过气动手套6辅助抓取物品。
35.上述系统基于云计算平台，采用运动想象脑机接口技术，在使用者的大脑和手部气动手之间建立控制通道，在云计算平台和使用者设备之间建立数据传输通道，实现辅助生活。
36.上述系统中，脑电帽1采用博瑞康24导联干电极帽，使用者头皮无需打脑电膏，即可进行脑电信号采集；气动手套6使用弈生康复机器人手套。
37.上述系统中，mi云计算平台包括数据预处理模块和解码模块，如图3所示，解码模块包括特征提取单元和分类单元，其中，数据预处理模块用于对所述脑电信号进行预处理；解码模块用于采用基于transformer的深度学习模型对经预处理的脑电信号进行意图识别，获得解码结果。本实施例中，预处理包括陷波滤波处理、设定频率段信号提取和正则归一化。
38.本实施例中，mi云计算平台通过数据转发器接收的原始的脑电数据的数据形状是(n,channel,sample)，其中n是训练的次数，channel表示通道数，sample表示时间点。mi云计算平台进行解码的具体过程包括：
39.1)对数据进行预处理操作，包括50hz的陷波滤波，再将数据进行傅里叶变换，选择4-40hz，再进行傅里叶反变换。最后将数据进行正则归一化。
[0040][0041]
2)使用时域卷积将数据维度更改为(k,channel,m)。
[0042]
3)使用空域卷积提取通道上的脑电信号，数据维度为(k,1,m)。
[0043]
4)再使用全局池化层，数据维度为(k,1,m)。
[0044]
5)使用vision transformer(vit层)进行进一步的特征提取。在vision transformer中，使用多头注意力机制，其中注意力分数的公式如下所示。其中k表示token
的长度，并在后面连接两个全连接前馈曾，增强数据的拟合能力。
[0045][0046]
6)最后使用三层全连接层进行得到最终的分类输出。
[0047]
在一个优选的实施方式中，上述系统还包括信号放大器，用于对脑电信号进行放大处理，该信号放大器一端通过有线串口通讯方式或无线方式与所述脑电帽连接，另一端通过无线方式与所述数据转发器连接。
[0048]
在一个优选的实施方式中，上述系统还包括ar眼镜2，与所述mi云计算平台连接，用于接收mi云计算平台发送的视觉信息，并展示基于所述视觉信息的引导画面，所述视觉信息基于预设任务数据和脑电信号生成。当云计算平台没有使用者的个性化模型时，可以通过ar眼镜进行视频引导，使使用者根据引导进行对应的想象任务，由脑电帽采集使用者运动想象的脑电数据，发送给云计算平台，云计算平台进行个性化建模。
[0049]
如图2所示，上述系统的使用过程包括以下操作步骤：
[0050]
1)首先由专业人员帮助使用者佩戴好脑电帽和气动手套，打开信号放大器。
[0051]
2)判断mi云计算平台中是否已有使用者的运动想象算法模型，如果不存在则使用ar眼镜进行视频引导，通过脑电帽采集脑电信号，信号放大器接收并放大脑电数据，将放大后的数据发送给数据转发器。数据转发器将数据转发至云计算平台，云计算平台根据数据进行数据预处理、特征提取、建模。
[0052]
在某个实施例中，进行模型训练阶段，对于每个任务类别都有n个trial(默认设置为左右手各9次)，包含单个trial的数据为x
c*t
，其中c为通道数，t包含点数。
[0053]
3)如果云计算平台中已经存在使用者的运动想象算法模型，则可以直接进行在线任务，使用者根据自己的需求，想象对应的手部抓握动作，通过脑电帽采集使用者的脑电信号，信号放大器接收并放大脑电数据，将放大后的数据发送给数据转发器。数据转发器将数据转发至云计算平台。
[0054]
手部抓握动作的类别包括左手抓握、左手张开、右手抓握、右手张开。
[0055]
4)云计算平台根据得到的数据和已有的患者模型进行数据预处理、特征提取、分类。最终识别结果，发送给数据转发器。云计算平台生成“不想象、左手抓握、右手抓握、左手张开和右手张开”五类结果的概率，并以最大概率对应的结果为解码结果，产生对应的动作指令，识别结果是“不进行想象”则不发送指令。
[0056]
5)数据转发器通过云计算平台获得的动作指令发送给气动手套，从而达到对使用者(脑卒中患者)进行辅助生活的作用。
[0057]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，包括：脑电帽，用于采集使用者的脑电信号；气动手套，用于根据运动指令进行动作；数据转发器，通过无线方式分别与所述脑电帽和气动手套连接，用于获取并转发所述脑电信号，并获取并转发所述运动指令；mi云计算平台，通过无线方式分别与所述气动手套和数据转发器连接，用于接收所述脑电信号，对所述脑电信号进行解码，基于解码结果生成对应的所述运动指令。2.根据权利要求1所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述脑电帽采用24导联干电极帽。3.根据权利要求1所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述mi云计算平台包括：数据预处理模块，用于对所述脑电信号进行预处理；解码模块，用于采用基于transformer的深度学习模型对经预处理的脑电信号进行意图识别，获得解码结果。4.根据权利要求3所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述预处理包括陷波滤波处理、设定频率段信号提取和正则归一化。5.根据权利要求3所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述解码模块包括特征提取单元和分类单元，所述特征提取单元包括依次设置的时域卷积层、空域卷积层、全局池化层和vit层，所述分类单元包括三层全连接层。6.根据权利要求5所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述vit层为含多头注意力机制的结构。7.根据权利要求3所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述解码模块生成不想象、左手抓握、右手抓握、左手张开和右手张开五类结果的概率，并以最大概率对应的结果为解码结果。8.根据权利要求1所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，还包括信号放大器，该信号放大器一端通过有线串口通讯方式或无线方式与所述脑电帽连接，另一端通过无线方式与所述数据转发器连接。9.根据权利要求1所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，还包括ar眼镜，与所述mi云计算平台连接，用于接收mi云计算平台发送的视觉信息，并展示基于所述视觉信息的引导画面，所述视觉信息基于预设任务数据和脑电信号生成。10.根据权利要求9所述的基于云计算平台的运动想象脑机接口生活辅助系统，其特征在于，所述mi云计算平台进行解码时，判断是否已有当前使用者的运动想象算法模型，若是，则直接使用已存储的运动想象算法模型，若否，则通过所述ar眼镜展示所述引导画面，采集使用者的脑电信号，生成训练数据集，进行运动想象算法模型的构建。

技术总结
本发明涉及一种基于云计算平台的运动想象脑机接口生活辅助系统，包括：脑电帽，用于采集使用者的脑电信号；气动手套，用于根据运动指令进行动作；数据转发器，通过无线方式分别与所述脑电帽和气动手套连接，用于获取并转发所述脑电信号，并获取并转发所述运动指令；MI云计算平台，通过无线方式分别与所述气动手套和数据转发器连接，用于接收所述脑电信号，对所述脑电信号进行解码，基于解码结果生成对应的所述运动指令。与现有技术相比，本发明通过使用者的个性化模型，结合脑电帽采集的脑电数据，分析想象意图，带动对应一侧的手执行伸展和抓握任务，从而达到辅助使用者日常生活的目的，具有使用方便，操作简单等优点。操作简单等优点。操作简单等优点。


技术研发人员：杨帮华 柯思雄 秦溢阳 李深
受保护的技术使用者：上海大学
技术研发日：2023.06.13
技术公布日：2023/9/7