一种基于脑机接口和人工智能算法的ALS患者人机交互系统及方法与流程

一种基于脑机接口和人工智能算法的als患者人机交互系统及方法
技术领域
1.本发明涉及脑科学eeg、脑神经科学以及人工智能算法与人机交互技术的智能化交互技术领域，具体涉及一种基于脑机接口和人工智能算法的als患者人机交互系统及方法。


背景技术：

2.现有部分交互技术是基于脑电信号ssvep(视觉稳态诱发信号)作为一种显示的标记。信号刺激质量不高，频率编码不稳定，容易引起眩晕，无法长时间使用，本设计可以有效解决此类问题；
3.对通过ssvep进行的信号进行人工特征提取与编码后，与对应的字母关联，从而实现简单的打字显示。目前已有的研发方案对ssvep范式获得的大脑信号进行人工特征设置，工作量繁杂，特征指标不统一，有效性不稳定，识别效率交大。当前存在的ssvep诱发打字系统，需要对单个个体进行长时间的数据采集和方案矫正，大大提高了使用难度。


技术实现要素：

4.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于脑机接口和人工智能算法的als患者人机交互系统及方法，基于便携式bci设备，结合信号数据分析算法和人工智能算法自动化提取和识别用户大脑信号特征，高效进行交互信号编码，提升交互效率，拓宽脑机接口交互使用应用场景。
5.为实现以上目的，本发明第一方面提供一种基于脑机接口和人工智能算法的als患者人机交互系统，至少包括
6.脑机接口bci信号采集设备，用于采集als患者的神经脑电信号；
7.有效通道信号选择模块，用于挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；
8.自适应尺度调整编码模块，用于通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生成与配置不同的编码方案；
9.ai识别算法模块，通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；
10.交互显示系统，搭载有ssvep信号识别人工智能算法模型，用于进行视觉刺激与信号传输及指令显示。
11.本发明第二方面提供一种基于脑机接口和人工智能算法的als患者人机交互方法，该交互方法采用上述的交互系统，包括如下步骤：
12.s1、利用脑机接口bci信号采集设备采集als患者的神经脑电信号；
13.s2、挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；
14.s3、通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生
成与配置不同的编码方案；
15.s4、通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；
16.s5、搭载有ssvep信号识别人工智能算法模型进行视觉刺激与信号传输及指令显示。
17.进一步的，在步骤s1中，脑机接口bci信号采集设备中前额叶7通道，颞叶6通道，枕叶7通道，顶叶6通道，采集用户不同表达状态下(0-1，a-z)的的神经脑电信号。
18.进一步的，在步骤s2中，通过对大脑神经电信号频域及时域信号特征分析挖掘，挖掘出脑机接口bci信号采集设备对用户的有效接触通道，对采集到的脑电信号进行放大和数模转换编码，通过有线或无线连接的方式传输到数据分析系统。
19.进一步的，通道选择基于并发式信号采集后，设置指令诱发实验范式，采集并观测有效刺激相关事件信号，统计各通道信号获取质量与精度及一致性，选取最优各个通信计算通道；对有效通道信号进行信号放大并在传感器电路端进行编码传输。
20.进一步的，在步骤s3中，设置附加的ssevp范式，进行指令信号的采集，并对采集信号进行数据增强，得到初试诱发关联指令信号；对各通道对应的各种指令进行统一尺度计算，完成自适应尺度调整编码。
21.进一步的，基于对个体最优的ssvep编码方案及bci有效通道信号关联，采集不同字母a-z对应的脑电信号数据，并存储分类做标签与数据频谱分析；
22.设置不同形态ssvep方案，并进行单一信号源刺激输出试验，分析不同ssvep方案下的响应状态，选取最优ssvep方案；
23.集合最优通道与最优ssvep范式，进行数据指令集构建，完成0-9，a-z的跨人群不同指令数据集采集。
24.进一步的，在步骤s4中，还包括
25.完成数据集采集后，进行信号预处理计算，主要包括：采用滤波算法对原始数据进行滤波，过滤其中的高频、低频伪迹，以及工频干扰、眼电等噪音，得到纯净的脑电信号；对额叶脑电信号进行傅里叶变换或者小波变换，计算不同频率的能量值相对比率，识别有效频道信号；
26.将预处理后的脑电信号特征值送入算法模型中进行人工智能模型进行多分类算法训练类，检测用户不同指令状态语义；在本步骤中，采用的算法模型可以为传统机器学习模型(ml)和深度学习(dl)模型；模型训练完成后，构建大规模测试场景进行测评，当盲测准确率达到90％以上后即可进行交互配置应用。
27.进一步的，：在步骤s5中，基于als患者的身体特性，进行交互显示与控制界面设置，确保能够有效进行视觉刺激与信号传输及指令显示；
28.1)在用户视觉可以触达的区域进行交互界面搭载，交互界面主要呈现指令输出显示，以及个体大脑信号变化状态监测；
29.2)辅助搭载大脑指令信号诱发与增强刺激器，提升用户意念指令的信号强度，从而提供模型计算鲁棒性；
30.3)将训练好的ssvep信号识别人工智能算法模型，搭载于交互显示系统，实现整体流程的智能化意念交互应用。
31.进一步的，部署训练好的模型于整体交互系统上，将用户的数据指令特征传回到后台数据库，纳入到算法模型进行自动校正，基于强化学习机制不断提升算法模型对个体指令识别的准确性。
32.本发明采用如上技术方案，至少具有如下有益效果：
33.1、本发明可以通过人工智能算法自动化实时检测用户的信号特征，高效进行信号检测与特征计算；
34.2、本发明可以基于便携式的脑机接口设备基于深度学习模型挖掘有效信号通道位置，并且通过预制已完成训练的识别模型自动进行方案矫正，方便用户使用；
35.3、本发明基于便携式bci设备，结合信号数据分析算法和人工智能算法自动化提取和识别用户大脑信号特征，高效进行交互信号编码，提升交互效率，拓宽脑机接口交互使用应用场景。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明脑机接口bci信号采集设备结构示意图；
38.图2是本发明个体bci设备有效通道数据挖掘分析流程；
39.图3是本发明对采集的数据进行数据处理的示意图；
40.图4是本发明大规模不同用户bci设备交互指令数据集采集与ai模型训练示意图；
41.图5是als患者利用交互显示系统示意图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
43.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
44.本实施例提供一种基于脑机接口和人工智能算法的als患者人机交互系统，至少包括
45.脑机接口bci信号采集设备，用于采集als患者的神经脑电信号；
46.有效通道信号选择模块，用于挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；
47.自适应尺度调整编码模块，用于通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生成与配置不同的编码方案；
48.ai识别算法模块，通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；
49.交互显示系统，搭载有ssvep信号识别人工智能算法模型，用于进行视觉刺激与信
号传输及指令显示。
50.如图1所示，是本实施例脑机接口bci信号采集设备示意图，多通道(前额叶7通道，颞叶6通道，枕叶7通道，顶叶6通道)高精度可穿戴便携式bci(脑机接口)信号采集设备，采集用户不同表达状态下(0-1，a-z)的的神经脑电信号。
51.脑机传感设备特征：bci设备电极为干电极，主要分布整体大脑脑区于，多个电极点位球体对称分布，单个通道电极1k-20k采样率，确保能够满足对脑电信号的精细力度采样和信号识别计算。
52.本发明第二方面提供一种基于脑机接口和人工智能算法的als患者人机交互方法，该交互方法采用上述的交互系统，包括如下步骤：
53.s1、利用脑机接口bci信号采集设备采集als患者的神经脑电信号；
54.s2、挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；
55.s3、通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生成与配置不同的编码方案；
56.s4、通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；
57.s5、搭载有ssvep信号识别人工智能算法模型进行视觉刺激与信号传输及指令显示。
58.本实施例中在步骤s1中，脑机接口bci信号采集设备中前额叶7通道，颞叶6通道，枕叶7通道，顶叶6通道，采集用户不同表达状态下(0-1，a-z)的的神经脑电信号。
59.如图2所示，本实施例中在步骤s2中，通过引用复杂系统建模算法和eeg(大脑神经电信号)频域及时域信号特征分析挖掘，挖掘出脑机接口bci信号采集设备对用户的有效接触通道，如图2所示采集并观测有效刺激相关事件信号(信号源刺激)，对(channel1-channel25)各个通道进行信号检测，进行有效通道筛选，对采集到的脑电信号进行放大和数模转换编码，通过有线或无线连接的方式传输到数据分析系统。
60.本实施例中通道选择基于并发式信号采集后，设置指令诱发实验范式，采集并观测有效刺激相关事件信号，统计各通道信号获取质量与精度及一致性，选取最优各个通信计算通道；对有效通道信号进行信号放大并在传感器电路端进行编码传输。数据传输的方式可以是任何一种无线连接方式，不限于蓝牙、数据流量和wifi，较优地，本发明采用有线方式连接传输数据。
61.本实施例中在步骤s3中，设置附加的ssevp范式，进行指令信号的采集，并对采集信号进行数据增强，得到初试诱发关联指令信号；对各通道对应的各种指令进行统一尺度计算，完成自适应尺度调整编码。
62.如图3所示，在步骤s4中，还包括完成数据集采集后，进行信号预处理计算，主要包括：采用滤波算法对原始数据进行滤波，过滤其中的高频、低频伪迹，以及工频干扰、眼电等噪音，得到纯净的脑电信号；对额叶脑电信号进行傅里叶变换或者小波变换，计算不同频率的能量值相对比率，识别有效频道信号；
63.将预处理后的脑电信号特征值送入算法模型中进行人工智能模型进行多分类算法训练类，检测用户不同指令状态语义；在本步骤中，采用的算法模型可以为传统机器学习模型(ml)和深度学习(dl)模型；模型训练完成后，构建大规模测试场景进行测评，当盲测准
确率达到90％以上后即可进行交互配置应用。
64.本实施例中还包括如下步骤：在完成基础脑机采集采集之后，可以设计不同的采集指令和采集范式，基于不同行动意图构建对应大脑神经信号控制指令数据集，并且通过机器学习和深度学习算法模型分别训练分类模型识别对应指令：
65.降噪去伪：将采集到的数据进行采用滤波算法对原始数据进行滤波，过滤其中的高频、低频伪迹，以及工频干扰噪音和眼电噪音，得到稳定分布的脑电信号；
66.频仪转换：对脑电信号进行傅里叶变换或者小波变换，计算不同频率不同频段波的能量分布密度；
67.提取时间分布特征值：计算主要特征波段信号数据，并计算其特征与数据趋势分布趋势，选取合理区间将其作为对应时间段下的特征值作为模型计算输入值；
68.模型识别分类：将特征值送入算法模型中进行模型识别分类，检测用户此时的动作指令。采用常规的机器学习算法以及深度学习模型用的算法模型为常用的几种经典模型：svm、决策树、knn、随机森林、朴素贝叶斯分类、最小二乘法、逻辑回归，cnn和rnn等深度学习模型等。
69.利用脑机接口bci信号采集设备采用原始eeg数据，之后采用滤波器过滤证伪迹，对两侧脑电进行频仪分析，计算额叶波不对称指数，提取特征值进行模型分类识别。
70.如图4所示，本实施例中基于对个体最优的ssvep编码方案及bci有效通道信号关联，采集不同字母a-z对应的脑电信号数据，并存储分类做标签与数据频谱分析；
71.设置不同形态ssvep方案，并进行单一信号源刺激输出试验，分析不同ssvep方案下的响应状态，选取最优ssvep方案；
72.集合最优通道与最优ssvep范式，利用脑机接口bci信号采集设备进行数据采集，进行数据指令集构建，完成0-9，a-z的跨人群不同交互指令信号集采集。
73.如图5所示，作为一种优选的实施方式，在步骤s5中，基于als患者的身体特性，进行交互显示与控制界面设置，确保能够有效进行视觉刺激与信号传输及指令显示；
74.1)在用户视觉可以触达的区域进行交互界面搭载，交互界面主要呈现指令输出显示，以及个体大脑信号变化状态监测；
75.2)辅助搭载大脑指令信号诱发与增强刺激器，提升用户意念指令的信号强度，从而提供模型计算鲁棒性；
76.3)将训练好的ssvep信号识别人工智能算法模型，搭载于交互显示系统，实现整体流程的智能化意念交互应用。比如als患者通过训练好的ssvep信号识别人工智能算法模型与正常人进行交流互动，比如您好等日常话语交流。
77.本实施例中部署训练好的模型于整体交互系统上，将用户的数据指令特征传回到后台数据库，纳入到算法模型进行自动校正，基于强化学习机制不断提升算法模型对个体指令识别的准确性。
78.本发明可以通过人工智能算法自动化实时检测用户的信号特征，高效进行信号检测与特征计算；本发明可以基于便携式的脑机接口设备基于深度学习模型挖掘有效信号通道位置，并且通过预制已完成训练的识别模型自动进行方案矫正，方便用户使用；本发明基于便携式bci设备，结合信号数据分析算法和人工智能算法自动化提取和识别用户大脑信号特征，高效进行交互信号编码，提升交互效率，拓宽脑机接口交互使用应用场景。
79.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于脑机接口和人工智能算法的als患者人机交互系统，其特征在于：至少包括脑机接口bci信号采集设备，用于采集als患者的神经脑电信号；有效通道信号选择模块，用于挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；自适应尺度调整编码模块，用于通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生成与配置不同的编码方案；ai识别算法模块，通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；交互显示系统，搭载有ssvep信号识别人工智能算法模型，用于进行视觉刺激与信号传输及指令显示。2.一种基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：该交互方法采用上述权利要求1所述的交互系统，包括如下步骤：s1、利用脑机接口bci信号采集设备采集als患者的神经脑电信号；s2、挖掘出所述脑机接口bci信号采集设备对als患者的有效接触通道；s3、通过自适应算法适配连续有效的ssvep编码频段，实现对不同使用者智能化生成与配置不同的编码方案；s4、通过构建大规模预训练脑机bci脑电数据集，进行模型训练形成ssvep信号识别人工智能算法模型；s5、搭载有ssvep信号识别人工智能算法模型进行视觉刺激与信号传输及指令显示。3.根据权利要求2所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：在步骤s1中，脑机接口bci信号采集设备中前额叶7通道，颞叶6通道，枕叶7通道，顶叶6通道，采集用户不同表达状态下(0-1，a-z)的的神经脑电信号。4.根据权利要求3所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：在步骤s2中，通过对大脑神经电信号频域及时域信号特征分析挖掘，挖掘出脑机接口bci信号采集设备对用户的有效接触通道，对采集到的脑电信号进行放大和数模转换编码，通过有线或无线连接的方式传输到数据分析系统。5.根据权利要求4所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：通道选择基于并发式信号采集后，设置指令诱发实验范式，采集并观测有效刺激相关事件信号，统计各通道信号获取质量与精度及一致性，选取最优各个通信计算通道；对有效通道信号进行信号放大并在传感器电路端进行编码传输。6.根据权利要求4所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：在步骤s3中，设置附加的ssevp范式，进行指令信号的采集，并对采集信号进行数据增强，得到初试诱发关联指令信号；对各通道对应的各种指令进行统一尺度计算，完成自适应尺度调整编码。7.根据权利要求6所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：基于对个体最优的ssvep编码方案及bci有效通道信号关联，采集不同字母a-z对应的脑电信号数据，并存储分类做标签与数据频谱分析；设置不同形态ssvep方案，并进行单一信号源刺激输出试验，分析不同ssvep方案下的响应状态，选取最优ssvep方案；
集合最优通道与最优ssvep范式，进行数据指令集构建，完成0-9，a-z的跨人群不同指令数据集采集。8.根据权利要求4所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：在步骤s4中，还包括完成数据集采集后，进行信号预处理计算，主要包括：采用滤波算法对原始数据进行滤波，过滤其中的高频、低频伪迹，以及工频干扰、眼电等噪音，得到纯净的脑电信号；对额叶脑电信号进行傅里叶变换或者小波变换，计算不同频率的能量值相对比率，识别有效频道信号；将预处理后的脑电信号特征值送入算法模型中进行人工智能模型进行多分类算法训练类，检测用户不同指令状态语义；在本步骤中，采用的算法模型可以为传统机器学习模型(ml)和深度学习(dl)模型；模型训练完成后，构建大规模测试场景进行测评，当盲测准确率达到90％以上后即可进行交互配置应用。9.根据权利要求4所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：在步骤s5中，基于als患者的身体特性，进行交互显示与控制界面设置，确保能够有效进行视觉刺激与信号传输及指令显示；1)在用户视觉可以触达的区域进行交互界面搭载，交互界面主要呈现指令输出显示，以及个体大脑信号变化状态监测；2)辅助搭载大脑指令信号诱发与增强刺激器，提升用户意念指令的信号强度，从而提供模型计算鲁棒性；3)将训练好的ssvep信号识别人工智能算法模型，搭载于交互显示系统，实现整体流程的智能化意念交互应用。10.根据权利要求9所述的基于脑机接口和人工智能算法的als患者人机交互方法，其特征在于：部署训练好的模型于整体交互系统上，将用户的数据指令特征传回到后台数据库，纳入到算法模型进行自动校正，基于强化学习机制不断提升算法模型对个体指令识别的准确性。

技术总结
本发明涉及一种基于脑机接口设备控制的ALS患者使用智能移动装置及控制方法，利用脑机接口BCI信号采集设备采用渐冻症ALS患者群体用户的脑电信号；利用主计算单元用于人工智能模式识别计算，实现对采集后的脑电信号数据进行特征提取及信号分析；获得大脑行动指令的识别分类结果；根据大脑不同的行动指令状态对智能移动装置中的电机驱动控制系统进行指令编码。本发明基于可穿戴便携式BCI设备，通过对大脑神经信号的采集和监测，采用人工智能算法自动化识别分类用户的行走意图，并且将大脑信号转变为移动装置的行走指令，从而实现ALS不能自主行走的问题。能自主行走的问题。能自主行走的问题。


技术研发人员：杨洵哲 崔丽英 刘明生 卢树强 李嘉南
受保护的技术使用者：北京姬械机科技有限公司
技术研发日：2023.03.13
技术公布日：2023/7/11