辅助驾驶方法、装置、电子设备及存储介质与流程

1.本技术涉及辅助驾驶技术领域，尤其是一种辅助驾驶方法、装置、电子设备及存储介质。


背景技术：

2.目前，道路交通伤害已成为人群的重要死亡原因之一，约95％的各类机动车事故在一定程度上是由驾驶员操作不当造成的，而完全由驾驶员不恰当的驾驶行为诱发的交通事故占到了事故总数的四分之三。因此，对驾驶员行为及驾驶员状态的分析是非常必要的。
3.为了提高驾驶安全，现有的涉及辅助驾驶的研究主要分为两类：一种是利用车载传感器(如摄像机、红外线探测等)获取车辆前方的障碍物信息并判断是否存在潜在的危险因素，从而采取一些控制措施来避免车辆碰撞前方障碍物，这类技术的不足是外部设备易受天气、外界环境变化的干扰，检测效果不佳；另一种是利用外部设备(如摄像机进行面孔识别、红外设备感应等)对驾驶员的驾驶行为或意图进行预测和分析，并根据分析结果对驾驶策略进行调整，但是由于驾驶员驾驶行为的延迟性，检测到的信号很难及时地反映出驾驶员状态的变化，此外，检测信号与驾驶员行为信号分开进行分析，也不能达到较好的同步检测效果。


技术实现要素：

4.本发明的目的是提供一种辅助驾驶方法、装置、电子设备及存储介质，旨在提升辅助驾驶的同步性和安全性。
5.本技术实施例提供一种辅助驾驶方法，包括：
6.获取感知信息，所述感知信息包括车辆环境信息和车辆状态信息；
7.根据所述感知信息进行行驶模式决策，得到第一决策结果；
8.对驾驶员进行脑电信号采集，得到脑电波信息；
9.对所述脑电波信息进行分类处理，得到第二决策结果，所述第二决策结果用于表征驾驶员的驾驶意图；
10.将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助驾驶控制。
11.在本技术的一些实施例中，所述根据所述感知信息进行行驶模式决策，得到第一决策结果，包括：
12.对所述感知信息进行特征提取处理，得到提取结果；
13.基于所述提取结果确定车辆的行驶区域，根据所述行驶区域设置车辆的行驶路线；
14.根据所述行驶区域和所述行驶路线对车辆进行状态评估处理，得到状态评估结果，根据所述状态评估结果选择行驶模式，所述行驶模式包括匀速行驶、跟车行驶和紧急制动中的任意一种；
15.基于选择的所述行驶模式输出控制指令，作为所述第一决策结果。
16.在本技术的一些实施例中，所述基于选择的所述行驶模式输出控制指令，作为所述第一决策结果，包括：
17.所述行驶模式选择为跟车行驶时，根据所述行驶区域对当前的跟车区域进行区域划分，得到跟车行驶区域和避碰区域；
18.判断车辆当前所在的区域；
19.若车辆处于所述跟车行驶区域，根据车辆与前车之间的实际距离调节车辆行驶时的目标速度，使所述目标速度与车辆与前车之间的实际距离维持负相关的关系；
20.若车辆处于所述避碰区域，将所述目标速度调节至零。
21.在本技术的一些实施例中，所述对所述脑电波信息进行分类处理，得到第二决策结果，包括：
22.对所述脑电波信息进行预处理，得到预处理后的脑电波信息；
23.利用训练好的卷积神经网络对所述预处理后的脑电波信息进行分类测试，得到分类结果；
24.基于所述分类结果识别驾驶员的驾驶意图，得到识别结果，将所述识别结果转换为控制指令，作为所述第二决策结果。
25.在本技术的一些实施例中，所述利用训练好的卷积神经网络对预处理后的脑电波信息进行分类测试，得到分类结果，包括：
26.对所述预处理后的脑电波信息进行标签化处理，得到标签化脑电波信息；
27.将所述标签化脑电波信息以帧形式输入到所述训练好的卷积神经网络进行分类测试，将所述训练好的卷积神经网络的输出结果按照所述标签化脑电波信息的标签进行重新排列，作为所述分类结果。
28.在本技术的一些实施例中，所述将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助驾驶控制，包括：
29.识别所述第二决策结果中驾驶员的制动意图；
30.若所述第二决策结果包含制动意图，则以所述第二决策结果作为所述融合分析结果；
31.若所述第二决策结果未包含制动意图，则以所述第一决策结果作为所述融合分析结果；
32.基于所述融合分析结果，利用预设的控制量输出模型计算控制输出量，根据所述控制输出量对车辆进行辅助驾驶控制。
33.在本技术的一些实施例中，基于所述融合分析结果，利用预设的控制量输出模型计算控制输出量，根据所述控制输出量对车辆进行辅助驾驶控制，包括：
34.构建基于目标速度的控制量输出模型，所述控制量输出模型为：
[0035][0036]
其中，u
t
表示控制输出量，e(t)＝v
d-va，vd表示目标速度，va表示当前速度，k
p
表示比例放大系数，ki表示积分时间常数，kd表示微分时间常数；
[0037]
对所述控制量输出模型进行离散化处理，得到离散的控制量输出模型，所述离散的控制量输出模型为：
[0038][0039]
其中，t为控制器的指令周期，ej表示j时刻的速度偏差，ek表示k时刻的速度偏差，e
k-1
表示k-1时刻的速度偏差；
[0040]
使用所述离散的控制量输出模型计算所述控制输出量，通过计算得到的所述控制输出量对车辆进行辅助驾驶控制。
[0041]
本技术实施例提供一种辅助驾驶装置，所述装置包括：
[0042]
感知模块，用于获取感知信息，所述感知信息包括车辆环境信息和车辆状态信息；
[0043]
第一决策模块，用于根据所述感知信息进行行驶模式决策，得到第一决策结果；
[0044]
脑电采集模块，用于对驾驶员进行脑电信号采集，得到脑电波信息；
[0045]
第二决策模块，用于对所述脑电波信息进行分类处理，得到第二决策结果，所述第二决策结果用于表征驾驶员的驾驶意图；
[0046]
分析模块，用于将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助驾驶控制。
[0047]
本技术实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行本技术实施例所提供的任一种辅助驾驶方法。
[0048]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行本技术实施例所提供的任一种辅助驾驶方法。
[0049]
本技术的有益效果：一方面通过获取感知信息来确定车辆环境和车辆状态，以此做出第一种辅助控制的决策结果，另一方面通过采集驾驶员的脑电信号来确定驾驶员的驾驶意图，以此做出第二种辅助控制的决策结果，进而结合两种辅助控制的决策结果来对车辆进行控制，使受控车辆基于客观条件以及驾驶员主观条件的共同影响下作出响应，提高智能驾驶的安全性，提升用户的使用体验。
附图说明
[0050]
图1是本技术实施例提供的辅助驾驶方法的场景示意图。
[0051]
图2是根据一示例性实施例示出的一种辅助驾驶方法的流程示意图。
[0052]
图3是根据一示例性实施例示出的图2中的步骤s202的流程示意图。
[0053]
图4是根据一示例性实施例示出的图3中的步骤s304的流程示意图。
[0054]
图5是根据一示例性实施例示出的图2中的步骤s204的流程示意图。
[0055]
图6是根据一示例性实施例示出的图2中的步骤s205的流程示意图。
[0056]
图7是本技术实施例提供的辅助驾驶装置的结构示意图。
[0057]
图8是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0058]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方
式作进一步地详细描述。
[0059]
首先，对本技术实施例涉及的名词进行介绍。
[0060]
1)人工智能(artificial intelligence，ai)
[0061]
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0062]
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0063]
2)机器学习(machine learning，ml)
[0064]
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
[0065]
请参考图1，其示出了本技术一个示例性实施例提供的计算机系统的示意图。该计算机系统中包括终端110和服务器120，其中，终端110与服务器120之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
[0066]
终端110中安装有具有脑电信号处理功能的应用程序，该应用程序可以是虚拟现实应用程序、辅助驾驶应用程序、或者具有脑电信号处理功能的人工智能(artificial intelligence，ai)应用程序，本技术实施例对此不作限定。
[0067]
可选的，终端110可以是具有脑机接口的终端设备，该脑机接口可以通过电极获取驾驶员头部的脑电信号；或者该计算机设备存在数据传输接口，该数据传输接口用于接收具有脑机接口的数据采集设备采集到的脑电信号。
[0068]
可选的，终端110可以是车机、智能手机、平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，或是具有数据处理组件的智能终端，本技术实施例对此不做限定。
[0069]
服务器120可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器120是终端110中应用程序的后台服务器。
[0070]
本实施例的一种可能实现方式中，终端110可以获取感知信息以及采集驾驶员在驾驶过程中的脑电信号(比如包含脑电波信号的脑电图)，终端110根据感知信息进行第一种行驶模式决策以及根据该脑电信号进行第二种行驶模式决策，得到第一决策结果和第二决策结果。当终端110得到第一决策结果和第二决策结果后，通过有线或无线连接，将第一决策结果和第二决策结果发送至服务器120中。服务器120将第一决策结果和第二决策结果
进行融合分析，确定第一决策结果和第二决策结果两者的控制优先级关系，进而根据融合分析结果对车辆进行辅助驾驶控制。
[0071]
本实施例的另一种可能实现方式中，当终端110得到第一决策结果和第二决策结果后，离线处理第一决策结果和第二决策结果，终端110对第一决策结果和第二决策结果进行融合分析，确定第一决策结果和第二决策结果两者的控制优先级关系，进而根据融合分析结果对车辆进行辅助驾驶控制，服务器120通过有线或无线连接，监测终端110在辅助驾驶时处理数据的过程。
[0072]
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
[0073]
本实施例将从辅助驾驶装置的角度进行描述，该辅助驾驶装置具体可以集成在服务器或终端等电子设备中，该终端可以包括脑电信号采集设备、pc、平板电脑或笔记本电脑等。
[0074]
图2是根据一示例性实施例示出的一种辅助驾驶方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以是上述图1所示的实施例中的终端120。如图2所示，该辅助驾驶方法的流程可以包括如下步骤：
[0075]
步骤201，获取感知信息，感知信息包括车辆环境信息和车辆状态信息。
[0076]
在本技术实施例中，所谓感知信息指的是能够对车辆驾驶过程中造成安全影响的外部数据和车辆自身状态数据，例如车辆环境信息和车辆状态信息。
[0077]
在一种可能的实现方式中，该感知信息通过具有感知模块的设备采集的车辆的车辆环境信息和车辆状态信息，该感知模块包括激光雷达、摄像头、导航系统以及车机系统等。车辆环境信息可以是指通过激光雷达或摄像头等感知模块采集的该车辆所在环境中所有与车辆行驶安全相关的数据，例如车辆环境信息可以是车辆所在环境中所有车辆的行驶状态，也可以是车辆所在环境中行驶环境(例如车道线数据、障碍物数据、实时定位数据以及地图数据)，当然，车辆环境信息还可以是车流拥挤状态，本技术实施例对此不做特殊限定。车辆状态信息可以是指车机系统等感知模块采集的该车辆在行驶中所有与车辆自身行驶状态的数据，例如车辆状态信息、实际车速数据、方向盘、制动踏板、油门踏板、离合器上的传感数据，本技术实施例对此不做特殊限定。
[0078]
步骤202，根据感知信息进行行驶模式决策，得到第一决策结果。
[0079]
在一种可能的实现方式中，行驶模式决策可以是基于车辆环境信息和车辆状态信息作出的车辆行驶控制结果。优选的，预先将上述感知模块连接到同一个设备中，便于对各个感知模块进行信息管理，行驶模式决策在确保行车安全的前置条件基础上对车辆的行驶方式进行控制。
[0080]
具体地，在检测到车辆环境信息时，获取车辆环境信息对应的图片分辨率数据、发送周期数据、时间戳数据以及颜色通道信息，将车辆环境信息对应的图片分辨率数据、发送周期数据、时间戳数据以及颜色通道信息与图片形式的车辆行驶信息进行关联，在检测到车辆状态信息时，获取车辆状态信息的采集参数数据、采集周期数据和时间戳数据，将车辆状态信息对应的采集参数数据、采集周期数据和时间戳数据进行关联，然后将相同时刻的车辆环境信息和车辆状态信息进行关联，提高设备的计算速度，提升数据的准确度，进一步确保行行驶模式决策的安全性。
[0081]
步骤203，对驾驶员进行脑电信号采集，得到脑电波信息。
[0082]
在本技术实施例中，脑神经细胞在发生反应时会产生相应的电波，这些电波称为脑电波，对脑电波进行采集并以信号的形式进行表达，即为脑电信号。
[0083]
在一种可能的实现方式中，该脑电信号可以是通过具有脑机接口的设备采集到的驾驶员的脑电波信号，该脑机接口具有至少两个电极，在通过该脑机接口对该驾驶员进行信号采集的过程中，该两个电极位于驾驶员头部的不同区域，以便采集到该驾驶员不同区域产生的脑电波信号。
[0084]
步骤204，对脑电波信息进行分类处理，得到第二决策结果，第二决策结果用于表征驾驶员的驾驶意图。
[0085]
在一种可能的实现方式中，第二决策结果可以是是基于识别脑电波信息的波形所对应的驾驶员状态而进行的决策结果，从而用于表征驾驶员的驾驶意图。驾驶意图包括驾驶员的加速、制动、转向、换挡等行为意图。
[0086]
具体地，在检测到脑电波信息时，可以是通过训练好的卷积神经网络对脑电波信息进行分类处理，利用该训练后的卷积神经网络该脑电波信号所属的驾驶意图类型进行预测。
[0087]
更为具体地，根据计算得到的余弦相似度构建余弦相似度矩阵，通过训练后的卷积神经网络对该余弦相似度矩阵所属的类型进行预测，得到该脑电波信号所属的驾驶意图类型。例如，若脑电波信息的特征向量均为128个，则可以计算出128个余弦相似度，那么此时，便可以基于这128个余弦相似度构建余弦相似度矩阵，然后通过训练后的卷积神经网络对该余弦相似度矩阵所属的类型进行预测，得到该脑电波信号所属的驾驶意图类型。
[0088]
步骤205，将第一决策结果和第二决策结果进行融合分析，得到融合分析结果，根据融合分析结果对车辆进行辅助驾驶控制。
[0089]
图3是根据一示例性实施例示出的图2中的步骤s202的流程示意图。
[0090]
如图2所示，图2中的步骤s202的流程可以包括如下步骤：
[0091]
步骤s301，对感知信息进行特征提取处理，得到提取结果。
[0092]
在一种可能的实现方式中，对感知信息进行特征提取处理可以理解为根据采集到感知信息的原始数据计算出对应的精确性、时延性和反馈动作对应的指标值。
[0093]
具体地，对车辆环境信息进行特征提取，提取出精确性、时延性和反馈动作对应的指标值，精确性对应的指标值可以为车辆环境信息识别准确率和识别召回率，要提取到识别准确率和识别召回率，就需要根据识别结果来判断识别正确的次数和识别错误的次数，根据识别正确的次数除以总的识别次数就可以得到识别准确率。识别召回率也可以采用类似的计算方法。时延性对应的指标值就可以为识别性能(识别速度)，就需要根据总的识别次数和每次或全部识别完成所花费的时间，来计算出识别性能(识别速度)。反馈动作对应指标值可以为刹车/油门踏板变化量、方向盘转动角度和方向盘转动方向，当车辆环境信息中存在反馈对应的指标值的话，直接在目标行驶数据中筛选出来即可。
[0094]
步骤s302，基于提取结果确定车辆的行驶区域，根据行驶区域设置车辆的行驶路线。
[0095]
在一种可能的实现方式中，行驶区域可以理解为在保证车辆行驶安全以及不违反交通规则基础上车辆可处的区域，行驶路线可以理解为用来指示车辆在路口驶入段应按所
指方向行驶的车道，在车流大的交通路口一般画有车道线，可通过车道线来确认行驶路线，目的就是明确行车方向，各行其道，减缓交通压力，车道线包括白色虚线、白色实线、导向指示线、减速提示线等等。
[0096]
基于提取结果确定车辆的行驶区域可以是根据车辆与前车之间的距离以及根据车辆与其左右两侧方向的障碍物的距离来进行确定，通过雷达测距或者是摄像头拍摄，从而根据雷达测距确定的车辆与各个方向障碍物之间的距离划分车辆的行驶区域或者是识别摄像头拍摄的图像中车辆与各个方向障碍物之间的距离划分车辆的行驶区域。根据行驶区域设置车辆的行驶路线可以是根据行驶区域的实际行车空间选择在原车道继续行进或者是变更车道，例如，在车辆与前车之间的距离小于预设的跟车预设值而车辆与其左侧方向的障碍物的距离大于预设的相邻预设值时，选择左侧的车道作为行驶路线，变道至左侧车道。
[0097]
步骤s303，根据行驶区域和行驶路线对车辆进行状态评估处理，得到状态评估结果，根据状态评估结果选择行驶模式，行驶模式包括匀速行驶、跟车行驶和紧急制动中的任意一种。
[0098]
在一种可能的实现方式中，状态评估结果可以理解为依据车辆当前行驶环境对车辆行驶状态进行分类和选择的结果。例如，当依据行驶区域反映了车辆与前车之间的距离大于预设的跟车预设值，可以是选择匀速行驶或者是跟车行驶，当依据行驶区域反映了车辆与前车之间的距离小于预设的跟车预设值，可以是选择紧急制动。
[0099]
步骤s304，基于选择的行驶模式输出控制指令，作为第一决策结果。
[0100]
在一种可能的实现方式中，具有状态评估功能的设备与车辆的控制系统进行交互，设备将选择的行驶模式发送至车辆的控制系统，车辆的控制系统根据接收到的行驶模式转换为对车辆的控制指令，控制车辆按照基于选择的行驶模式来行驶。
[0101]
图4是根据一示例性实施例示出的图3中的步骤s304的流程示意图。
[0102]
如图4所示，图3中的步骤s304的流程可以包括如下步骤：
[0103]
步骤s401，行驶模式选择为跟车行驶时，根据行驶区域对当前的跟车区域进行区域划分，得到跟车行驶区域和避碰区域。
[0104]
在一种可能的实现方式中，根据行驶区域对当前的跟车区域进行区域划分可以是预先设定避碰区域的范围，包括行驶方向上的距离以及转向方向上的距离，确定避碰区域后，行驶区域的剩余区域划分为跟车行驶区域。
[0105]
对于跟车行驶区域，满足以下关系：
[0106]dstop
＜d
actual
≤d
stop
+d
follow
；
[0107]
对于避碰区域，满足以下关系：
[0108]dactual
＜d
stop
；
[0109]
其中，d
stop
表示避碰区域在行驶方向上的距离，d
actual
表示车辆与前车之间的实际距离，d
follow
表示跟车行驶区域在行驶方向上的距离。
[0110]
例如，跟车行驶模式时，预设避碰区域在行驶方向上的距离为5m，当车辆前方20m内有车辆行驶时，避碰区域在行驶方向上的距离以外的15m设为跟车行驶区域。
[0111]
步骤s402，判断车辆当前所在的区域。
[0112]
步骤s403，若车辆处于跟车行驶区域，根据车辆与前车之间的实际距离调节车辆
行驶时的目标速度，使目标速度与车辆与前车之间的实际距离维持负相关的关系。
[0113]
在一种可能的实现方式中，根据车辆与前车之间的实际距离调节车辆行驶时的目标速度，使目标速度与车辆与前车之间的实际距离维持负相关的关系，可以是周期性地采集车辆的实际速度以及车辆与前车之间的实际距离，当前采集周期采集的车辆与前车之间的实际距离小于上一个采集周期采集的车辆与前车之间的实际距离时，提升车辆行驶时的目标速度，以提升的目标速度作为车辆行驶的实际速度，反之，当前采集周期采集的车辆与前车之间的实际距离大于上一个采集周期采集的车辆与前车之间的实际距离时，降低车辆行驶时的目标速度，以降低的目标速度作为车辆行驶的实际速度。
[0114]
示例性地，当前采集周期采集的车辆与前车之间的实际距离小于上一个采集周期采集的车辆与前车之间的实际距离时，目标速度满足：
[0115]
vd＝v
d-1
+1；
[0116]
当前采集周期采集的车辆与前车之间的实际距离大于上一个采集周期采集的车辆与前车之间的实际距离时，目标速度满足：
[0117]
vd＝v
d-1-1；
[0118]
其中，vd表示前采集周期的目标速度，v
d-1
表示前采集周期的目标速度，vd＜v0，v0表示跟车速度阈值。
[0119]
步骤s404，若车辆处于避碰区域，将目标速度调节至零。
[0120]
在一些实施例中，行驶模式为匀速行驶时，车辆与前车之间的实际距离处于匀速行驶预设范围内，按照预设的匀速行驶速度控制车辆匀速行驶。
[0121]
图5是根据一示例性实施例示出的图2中的步骤s204的流程示意图。
[0122]
如图5所示，图2中的步骤s204的流程可以包括如下步骤：
[0123]
步骤s501，对脑电波信息进行预处理，得到预处理后的脑电波信息。
[0124]
在一种可能的实现方式中，对脑电波信息进行预处理可以是包括去噪、整形、滤波和信号放大处理等信号处理过程。
[0125]
步骤s502，利用训练好的卷积神经网络对预处理后的脑电波信息进行分类测试，得到分类结果。
[0126]
在一种可能的实现方式中，步骤s502包括：
[0127]
对预处理后的脑电波信息进行标签化处理，得到标签化脑电波信息；
[0128]
将标签化脑电波信息以帧形式输入到训练好的卷积神经网络进行分类测试，将训练好的卷积神经网络的输出结果按照标签化脑电波信息的标签进行重新排列，作为分类结果。
[0129]
训练好的卷积神经网络由5层组成，包括：1)输入层，2)第一卷积层，3)第二卷积层，4)全连接层和5)输出层。其中输入的脑电波信息为200*16的矩阵形式，全连接层的输入是最后一个卷积层的输出：
[0130]
y＝sigmoid(wm+b)；
[0131]
其中，y表示全连接层的输出，w表示权重矩阵，b表示偏差，m表示最后一个卷积层的输出。
[0132]
获取标签化脑电波信息样本中每一个脑电波信息信号段的标签后，通过训练好的卷积神经网络分类标签化脑电波信息，判别驾驶员的驾驶意图，根据计算得到的余弦相似
度构建余弦相似度矩阵，通过卷积神经网络对该余弦相似度矩阵所属的类型进行预测，得到该脑电波信号样本所属的驾驶意图类型，训练好的卷积神经网络的输出结果按照预先获取的每一个脑电波信息信号段的标签进行重新排列，进而得到分类结果。
[0133]
步骤s503，基于分类结果识别驾驶员的驾驶意图，得到识别结果，将识别结果转换为控制指令，作为第二决策结果。
[0134]
在一种可能的实现方式中，具有脑电波信息分类功能的设备与车辆的控制系统进行交互，设备将识别结果发送至车辆的控制系统，车辆的控制系统根据接收到的识别结果转换为对车辆的控制指令，控制车辆按照基于控制指令来行驶。
[0135]
图6是根据一示例性实施例示出的图2中的步骤s205的流程示意图。
[0136]
如图6所示，图2中的步骤s205的流程可以包括如下步骤：
[0137]
步骤s601，识别第二决策结果中驾驶员的制动意图。
[0138]
步骤s602，若第二决策结果包含制动意图，则以第二决策结果作为融合分析结果。
[0139]
步骤s603，若第二决策结果未包含制动意图，则以第一决策结果作为所述融合分析结果。
[0140]
步骤s604，基于融合分析结果，利用预设的控制量输出模型计算控制输出量，根据控制输出量对车辆进行辅助驾驶控制。
[0141]
可以理解地，融合分析结果综合分析第一决策结果和第二决策结果两个决策方法，如果识别到驾驶员的制动意图，则不论第二决策结果所对应的控制指令如何，都执行紧急制动控制，反之，则信任第二决策结果所对应的控制指令。
[0142]
在一种可能的实现方式中，步骤s604包括：
[0143]
构建基于目标速度的控制量输出模型，所述控制量输出模型为：
[0144][0145]
其中，u
t
表示控制输出量，e(t)＝v
d-va，vd表示目标速度，va表示当前速度，k
p
表示比例放大系数，ki表示积分时间常数，kd表示微分时间常数；
[0146]
对所述控制量输出模型进行离散化处理，得到离散的控制量输出模型，所述离散的控制量输出模型为：
[0147][0148]
其中，t为控制器的指令周期，ej表示j时刻的速度偏差，ek表示k时刻的速度偏差，e
k-1
表示k-1时刻的速度偏差；
[0149]
使用所述离散的控制量输出模型计算所述控制输出量，通过计算得到的所述控制输出量对车辆进行辅助驾驶控制。
[0150]
由上可知，在本技术实施例所提供的辅助驾驶方法中，一方面通过获取感知信息来确定车辆环境和车辆状态，以此做出第一种辅助控制的决策结果，另一方面通过采集驾驶员的脑电信号来确定驾驶员的驾驶意图，以此做出第二种辅助控制的决策结果，进而结合两种辅助控制的决策结果来对车辆进行控制，使受控车辆基于客观条件以及驾驶员主观条件的共同影响下作出响应，提高智能驾驶的安全性，提升用户的使用体验。
[0151]
为了更好地实施以上方法，本发明实施例还提供一种辅助驾驶装置，该辅助驾驶装置具体可以集成在服务器或终端等电子设备中。
[0152]
请参阅图7，本技术实施例还提供一种辅助驾驶装置，可以实现上述实施例提到的辅助驾驶方法，该装置包括：
[0153]
感知模块，用于获取感知信息，感知信息包括车辆环境信息和车辆状态信息；
[0154]
第一决策模块，用于根据感知信息进行行驶模式决策，得到第一决策结果；
[0155]
脑电采集模块，用于对驾驶员进行脑电信号采集，得到脑电波信息；
[0156]
第二决策模块，用于对脑电波信息进行分类处理，得到第二决策结果，第二决策结果用于表征驾驶员的驾驶意图；
[0157]
分析模块，用于将第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据融合分析结果对车辆进行辅助驾驶控制。
[0158]
该辅助驾驶装置的具体实施方式与上述辅助驾驶方法的具体实施例基本相同，在此不再赘述。
[0159]
本技术实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述辅助驾驶方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0160]
请参阅图8，图8示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0161]
处理器801，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0162]
存储器802，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本技术实施例的辅助驾驶方法；
[0163]
输入/输出接口803，用于实现信息输入及输出；
[0164]
通信接口804，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0165]
总线905，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；
[0166]
其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线905实现彼此之间在设备内部的通信连接。
[0167]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述辅助驾驶方法。
[0168]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网
及其组合。
[0169]
本技术实施例提供的辅助驾驶方法、装置、电子设备及存储介质，一方面通过获取感知信息来确定车辆环境和车辆状态，以此做出第一种辅助控制的决策结果，另一方面通过采集驾驶员的脑电信号来确定驾驶员的驾驶意图，以此做出第二种辅助控制的决策结果，进而结合两种辅助控制的决策结果来对车辆进行控制，使受控车辆基于客观条件以及驾驶员主观条件的共同影响下作出响应，提高智能驾驶的安全性，提升用户的使用体验。
[0170]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0171]
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0172]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0173]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0174]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0175]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0176]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0177]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0178]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0179]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0180]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种辅助驾驶方法，其特征在于，包括：获取感知信息，所述感知信息包括车辆环境信息和车辆状态信息；根据所述感知信息进行行驶模式决策，得到第一决策结果；对驾驶员进行脑电信号采集，得到脑电波信息；对所述脑电波信息进行分类处理，得到第二决策结果，所述第二决策结果用于表征驾驶员的驾驶意图；将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助驾驶控制。2.根据权利要求1所述的辅助驾驶方法，其特征在于，所述根据所述感知信息进行行驶模式决策，得到第一决策结果，包括：对所述感知信息进行特征提取处理，得到提取结果；基于所述提取结果确定车辆的行驶区域，根据所述行驶区域设置车辆的行驶路线；根据所述行驶区域和所述行驶路线对车辆进行状态评估处理，得到状态评估结果，根据所述状态评估结果选择行驶模式，所述行驶模式包括匀速行驶、跟车行驶和紧急制动中的任意一种；基于选择的所述行驶模式输出控制指令，作为所述第一决策结果。3.根据权利要求2所述的辅助驾驶方法，其特征在于，所述基于选择的所述行驶模式输出控制指令，作为所述第一决策结果，包括：所述行驶模式选择为跟车行驶时，根据所述行驶区域对当前的跟车区域进行区域划分，得到跟车行驶区域和避碰区域；判断车辆当前所在的区域；若车辆处于所述跟车行驶区域，根据车辆与前车之间的实际距离调节车辆行驶时的目标速度，使所述目标速度与车辆与前车之间的实际距离维持负相关的关系；若车辆处于所述避碰区域，将所述目标速度调节至零。4.根据权利要求1所述的辅助驾驶方法，其特征在于，所述对所述脑电波信息进行分类处理，得到第二决策结果，包括：对所述脑电波信息进行预处理，得到预处理后的脑电波信息；利用训练好的卷积神经网络对所述预处理后的脑电波信息进行分类测试，得到分类结果；基于所述分类结果识别驾驶员的驾驶意图，得到识别结果，将所述识别结果转换为控制指令，作为所述第二决策结果。5.根据权利要求4所述的辅助驾驶方法，其特征在于，所述利用训练好的卷积神经网络对预处理后的脑电波信息进行分类测试，得到分类结果，包括：对所述预处理后的脑电波信息进行标签化处理，得到标签化脑电波信息；将所述标签化脑电波信息以帧形式输入到所述训练好的卷积神经网络进行分类测试，将所述训练好的卷积神经网络的输出结果按照所述标签化脑电波信息的标签进行重新排列，作为所述分类结果。6.根据权利要求1所述的辅助驾驶方法，其特征在于，所述将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助
驾驶控制，包括：识别所述第二决策结果中驾驶员的制动意图；若所述第二决策结果包含制动意图，则以所述第二决策结果作为所述融合分析结果；若所述第二决策结果未包含制动意图，则以所述第一决策结果作为所述融合分析结果；基于所述融合分析结果，利用预设的控制量输出模型计算控制输出量，根据所述控制输出量对车辆进行辅助驾驶控制。7.根据权利要求6所述的辅助驾驶方法，其特征在于，基于所述融合分析结果，利用预设的控制量输出模型计算控制输出量，根据所述控制输出量对车辆进行辅助驾驶控制，包括：构建基于目标速度的控制量输出模型，所述控制量输出模型为：其中，u
t
表示控制输出量，e(t)＝v
d-v
a
，v
d
表示目标速度，v
a
表示当前速度，k
p
表示比例放大系数，k
i
表示积分时间常数，k
d
表示微分时间常数；对所述控制量输出模型进行离散化处理，得到离散的控制量输出模型，所述离散的控制量输出模型为：其中，t为控制器的指令周期，e
j
表示j时刻的速度偏差，e
k
表示k时刻的速度偏差，e
k-1
表示k-1时刻的速度偏差；使用所述离散的控制量输出模型计算所述控制输出量，通过计算得到的所述控制输出量对车辆进行辅助驾驶控制。8.一种辅助驾驶装置，其特征在于，所述装置包括：感知模块，用于获取感知信息，所述感知信息包括车辆环境信息和车辆状态信息；第一决策模块，用于根据所述感知信息进行行驶模式决策，得到第一决策结果；脑电采集模块，用于对驾驶员进行脑电信号采集，得到脑电波信息；第二决策模块，用于对所述脑电波信息进行分类处理，得到第二决策结果，所述第二决策结果用于表征驾驶员的驾驶意图；分析模块，用于将所述第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据所述融合分析结果对车辆进行辅助驾驶控制。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的辅助驾驶方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的辅助驾驶方法。

技术总结
本申请公开一种辅助驾驶方法、装置、电子设备及存储介质，涉及辅助驾驶技术领域。该方法包括：获取感知信息，感知信息包括车辆环境信息和车辆状态信息；根据感知信息进行行驶模式决策，得到第一决策结果；对驾驶员进行脑电信号采集，得到脑电波信息；对脑电波信息进行分类处理，得到第二决策结果，第二决策结果用于表征驾驶员的驾驶意图；将第一决策结果和所述第二决策结果进行融合分析，得到融合分析结果，根据融合分析结果对车辆进行辅助驾驶控制。本申请结合感知信息和驾驶员脑电信号做出的决策结果来对车辆进行控制，提高智能驾驶的同步性和安全性，提升用户的使用体验。提升用户的使用体验。提升用户的使用体验。


技术研发人员：颜莉蓉 胡宇风 尹智帅 颜伏伍 卢炽华 詹君 刘纹江
受保护的技术使用者：佛山仙湖实验室
技术研发日：2022.09.13
技术公布日：2023/6/28