一种基于语义交互的自动驾驶车辆的自动驾驶系统的制作方法

1.本发明涉及一种基于语义交互的自动驾驶车辆的自动驾驶系统，属于自动驾驶智能控制技术领域。


背景技术：

2.现有的语音系统功能主要集中在语音到站播报、语音导航等方面，并且完成上述功能的功能模块是相互独立的，每个功能模块对应一个独立的语音控制器，这在很大程度上造成了语音芯片的浪费，同时也缺少控制模块对各个功能模块的有效调配。当前配备自动驾驶的车辆在语音播报方面采用传统的语音播报方式，语音系统采用独立的方式设置，即娱乐、声控语音与自动驾驶智能控制之间没有交互，智能驾驶语音提示也与传统语音没有交互，无法充分利用自动驾驶系统的控制功能，语音智能化程度低。


技术实现要素：

3.本发明的目的是提供一种基于语义交互的自动驾驶车辆的自动驾驶系统，以解决目前自动驾驶系统中语音系统独立设置导致的语音智能化程度低的问题。
4.本发明为解决上述技术问题而提供一种基于语义交互的自动驾驶车辆的自动驾驶系统，包括感知融合子系统和决策/规划子系统，感知融合子系统中设置有视觉模块和雷达模块，用于获取车辆所处的环境数据，所述的决策/规划子系统包括有决策规划模块，用于根据外部的环境数据和车辆自身数据按照设定的自动驾驶规则进行车辆决策规划，所述的感知融合子系统还包括有语义识别模块，决策/规划子系统还包括有智能语音模块，所述的语义识别模块连接有声音传感器，用于对接收到的声音信号进行识别，解析出对应的语义信号并将其发送给决策规划模块，决策规划模块用于根据接收到的语义信号按照设定的规则进行控制；所述的视觉模块和雷达模块用于将感知到的信号融合后发送给决策规划模块，决策规划模块根据接收到的信息判断车辆是否超出设计运行域，并在判断出车辆超出设计运行域时触发智能语音模块发出超出设计运行域语音指令。
5.本发明利用自动驾驶系统强大的计算能力，在自动驾驶系统中增加了语义识别模块和智能语音模块，将语义识别模块集成在感知融合子系统中，将智能语音模块集成在决策/规划子系统中，通过语义识别模块对乘客的语音信号进行解析，得到相应的语义信号，利用语义信号与决策规划模块之间的交互实现更加智能的控制；同时，在决策规划模块判断出超出设计运行域时，通过和智能语音模块的交互能够及时告知乘客车辆的状态。本发明将目前车辆上分散的语音播放系统集成在一起，融合到自动驾驶系统中，使得自动驾驶系统更加人工智能。
6.进一步地，所述的决策/规划子系统中还包括有故障诊断模块，该故障诊断模块用于检测车辆故障，并在检测到的故障后根据故障类型的所属级别控制智能语音模块发出对应等级的故障诊断语音指令。
7.本发明通过建立故障诊断模块和智能语音模块之间的交互，使得故障诊断模块在
检测出故障时能够及时告知乘客。
8.进一步地，为方便乘客及时了解车辆进出站信息，所述的决策/规划子系统还用于根据车辆当前的调度状态和车辆实际的行车状态判断车辆是否处于起步或即将到站的状态，若是，则控制智能语音模块发出对应的进出站语音指令。
9.进一步地，所述的决策规划模块包括有控制模块，用于根据车辆的加减速度判断车辆是否加减速过猛，根据车辆横向加速度判断车辆是否转向过猛，并在判断加减速过猛和/或转向过猛时，控制智能语音模块发出对应的警示信息的控制模块语音指令。
10.本发明通过建立控制模块和智能语音模块之间的交互，能够及时通知乘客目前车辆正在遇到加减速过猛或者转向过猛，避免乘客产生不必要的惊慌。
11.进一步地，所述的语义识别模块识别出的信号包含有控制类信号和对话类信号，当识别出的是控制类信号时，决策规划模块按照该信号进行控制，当识别出的是对话类的信号时，决策规划模块将其发送给智能语音模块，由智能语音模块按照设定的会话匹配规则生成语义交互语音指令。
12.本发明将通过语义识别模块识别出的乘客语义信息发送给决策规划模块，由决策规划模块根据语义解析结果进行相应控制，进一步提高实现自动驾驶系统中的智能交互功能。
13.进一步地，所述的语义识别模块通过深度学习算法对声音传感器的信号进行处理。
14.进一步地，为了方便采集乘客的声音，所述的声音传感器用于设置在乘客区域，用于收集乘客的声音信号。
15.进一步地，为了避免不同语音指令之间的冲突，所述的智能语音模块在生成语音指令时是按照设定的优先级实现的。
16.进一步地，所述的优先级从高到低为超出设计运行域语音指令、故障诊断语音指令、控制模块语音指令、进出站语音指令和语义交互语音指令。
附图说明
17.图1是本发明基于语义交互的自动驾驶车辆的自动驾驶系统的原理框图；
18.图2是基于语义交互的自动驾驶车辆的自动驾驶系统的工作流程图。
具体实施方式
19.下面结合附图对本发明的具体实施方式作进一步地说明。
20.本发明将所有语音功能集中在自动驾驶系统中，利用自动驾驶系统的强大计算能力和深度学习算法对语音音频信号进行模糊识别，根据识别到的语音信号结合系统决策算法输出语音控制指令，以实现与车辆语音智能识别，交互集中智能控制。本发明在现有的自动驾驶系统中增加了语义识别模块和智能语音模块，如图1所示，本发明的自动驾驶系统包括感知融合子系统和决策/规划子系统，感知融合子系统中设置有视觉模块和雷达模块，用于获取车辆所处的环境数据，决策/规划子系统包括有决策规划模块，用于根据外部的环境数据和车辆自身数据按照设定的自动驾驶规则进行车辆决策规划，本发明在感知融合子系统中增加了语义识别模块，在决策/规划子系统增加了智能语音模块，语义识别模块连接有
声音传感器，用于对接收到的声音信号进行识别，解析出对应的语义信号并将其发送给决策规划模块，决策规划模块用于根据接收到的语义信号按照设定的规则进行控制，智能语音模块根据决策规划模块的处理结果按照设定规则生成相应的语音指令，并通过车辆上的扬声器进行播放。
21.决策规划模块根据视觉模块和雷达模块融合后的数据判断车辆是否超过设计运行域，并在判断出车辆超出设计运行域时触发智能语音模块发出对应的语音控制指令，例如，若车辆的当前位置超出了自动驾驶车辆的行驶范围，则判断车辆超过设计运行域时，决策规划模块控制智能语音模块发出超出设计运行域的语音播报指令(例如“非自动驾驶区域”等)，智能语音模块将该指令通过车辆上的扬声器进行播报。同时决策规划模块还用于根据车辆当前调度状态以及车辆实际行车状态判断车辆是否为起步状态或者车辆是否为即将到站状态，并在判断出是上述任一种状态时，控制智能语音模块生成相应语音指令，并通过车辆的扬声器进行播放。例如，当决策规划模块检测到车辆起步时，控制智能语音模块发出“车辆起步请注意安全”的语音指令，提示车内外人员车辆起步请注意安全；当决策规划模块判断车辆即将到站，控制智能语音模块发出“车辆即将到站”的语音指令。
22.语音识别模块通过设置车辆上的声音传感器获取乘客或者驾驶员的声音信号，利用自动驾驶系统自身强大的计算能力通过深度学习算法对声音信号进行模糊识别，例如，当声音传感器采集到的声音信号为“太冷了”、“温度太高了”等这类模糊语言时，会根据学习算法分析理解后得到相应的语义信号，并将解析出的语义信号发送给决策规划模块和智能语音模块，决策规划模块根据设定的规则进行控制，例如当声音号为“太冷了”时，决策规划模块根据语义识别模块解析结果控制空调温度的调节。语音识别模块识别出的语义信号除了能够控制空调外，还能够控制车灯(车内的照明灯)、车辆的多媒体设备等，主要针对的是车辆的一些附件，不会影响车辆本身的控制(例如转向、刹车、加减速等)，不改变自动驾驶系统本身的控制逻辑。除了识别出的上述控制信号外，语音识别模块识别出的语义信号还包括一些查询信号，例如有乘客想要知道目前的位置、到终点站的时间时，语音识别模块将识别出表征查询含义的语义信号发送给决策规划模块，决策规划模块根据接收到语义信号进行查询，并将查询到的结果发送给智能语音模块，智能语音模块生成相应的语义交互语音指令并通过扬声器播放出来。
23.该智能驾驶系统还包括有故障诊断模块，故障诊断模块与智能语音模块连接，故障诊断模块负责检测自动驾驶系统所有内部模块的运行是否发生故障(含决策规划模块)。故障诊断模块实时检测自动驾驶系统故障和车辆故障，当检测到故障后根据故障状态进行分类，不同类型的故障采取不同的处理措施，在此基础上，本发明针对不同的处理措施设置不同语音播报信息，并将其存储在智能语音模块中。当故障诊断模块检测出故障时，根据故障类型进行不同的控制，并将检出的故障类型结果发送给智能语音模块，智能语音模块根据接收到的故障类型从中找到对应的语音播报信息，并将找到的语音播报信息通过扬声器播放出来，以提醒乘客注意。例如“车辆故障，即将限速行驶”、“车辆故障，即将紧急制动停车，请乘客注意安全”等。其中故障诊断模块采用的故障诊断方式以及故障状态的分类和处理措施和现有自动驾驶车辆上的一样，具体诊断过程、分类和处理措施的确定这里不再说明。
24.控制模块是决策规划模块的子模块，决策规划模块包含规划功能模块、决策功能
模块、控制模块(如车辆横向控制、车辆纵向控制等)，智能语音模块还与车辆上的控制模块连接，控制模块在车辆行驶过程中实时获取的车辆的加减速度以及车辆的横向加速度，根据车辆实时的加减速度、车辆横向加速度判断车辆是否加减速过猛或者转向过猛，当车辆的加减速度超过设定的加减速度阈值时，则认为加减速过猛，若横向加速度超过设定加速度阈值时，则认为转向过猛。为了能够及时提醒乘客注意，智能语音模块中还事先存储有对应的语音播报指令，当控制模块判断出加减速过猛或者转向过猛时，则控制智能语音模块通过扬声器进行相应语音播报指令的播放。例如，如果控制模块检测到制动加速度大于2.5m/s2且持续500ms，则控制智能语音模块发出“哎呀，刹猛啦”的语音指令；同理如果控制模块检测到转向太猛，则控制智能语音模块发出“哎呀，打猛啦”的语音指令。
25.综上可知，本发明中智能语音模块能够生成超出设计运行域语音指令、故障诊断语音指令、控制模块语音指令、进出站语音指令和语义交互语音指令，由于，智能语音模块同一时刻只会播放一种语音指令，为避免同一时刻生成两种不同的语音指令带来的冲突，本发明对上述语音指令设置了优先级，优先级由高到低依次为：超出设计运行域语音指令、故障诊断语音指令、控制模块语音指令、进出站语音指令和语义交互语音指令。
26.具体而言，本发明自动驾驶车辆的自动驾驶系统的语义交互过程实现流程如图2所示，具体实现过程如下。
27.1.有决策规划模块判断车辆是否超过设计运行域，根据判断结果控制给智能语音模块。
28.决策规划模块利用自动驾驶车辆的自身的硬件设备，例如视觉模块、雷达模块、定位模块等各种感知模块，由此获取自动驾驶车辆的位置、状态和环境。设计运行域指的是智能驾驶功能开启的使能条件，包括有驾驶情景、行驶场合和环境影响；不同自动驾驶等级对设计运行域的要求也不一样。因此，需要根据自动驾驶车辆自身的自动驾驶等级确定。根据得到车辆的位置、状态和环境信息，判断是否满足设计运行域，若不满足，例如超出了自动驾驶车辆的行驶区域，此时，决策规划模块控制智能语音模块发出超出设计运行域的语音指令，并通过扬声器进行播放。
29.2.若没有超出设计运行域则由故障诊断模块对车辆故障进行诊断，根据诊断出的类别和等级控制智能语音模块发出对应级别故障诊断的语音指令。
30.本实施例利用车辆自带的故障诊断模块实时检测自动驾驶系统故障和车辆故障，当检测到故障后对故障状态进行分类，不同类型的故障采取不同的处理方式，不同的处理方式对应有不同的语音播报信息，例如本发明可将故障等级分成n类，每类对应一种处理方式，针对每种处理方式，本发明制定了对应的故障诊断语音指令。故障诊断模块根据实时诊断结果控制智能语音模块生成对应的故障诊断语音指令，例如“车辆故障，即将限速行驶”、“车辆故障，即将紧急制动停车，请乘客注意安全”等。
31.3.若故障诊断模块未检测出故障，则由控制模块实时检测车辆的加减速、转向状态，并根据检测结果控制智能语音模块进行响应提醒。
32.本实施例中控制模块获取的车辆状态信号包括车辆的加速度、减速度、油门信号、制动踏板信号、转向信号等，控制模块根据车辆的加减速度以及车辆的横向加速度判断车辆是否加速过猛或者转向过猛，如果检测到制动加速度大于设定阈值且持续500ms，则控制智能语音模块发出“哎呀，刹猛啦”的语音指令，同理如果检测到转向太猛，则控制智能语音
模块发出“哎呀，打猛啦”的语音指令。
33.4.当控制模块判断出车辆正常行驶时，则由决策规划模块判断车辆是否为起步状态或者即将到站状态，并在其中任意一种状态时控制智能语音模块生成相应的语音指令进行提醒。
34.决策规划模块根据车辆当前调度状态及车辆实际行车状态判断，当判断出车辆起步时控制智能语音模块发出“车辆起步请注意安全”的语音指令，提示车内人员车辆起步请注意安全，当决策规划模块判断出车辆即将到站时，控制智能语音模块发出“车辆即将到站”的语音指令。
35.5.当车辆不处于上述任意一种状态时，通过语义识别模块获取乘客的声音，并对其进行解析得到相应的语义信号，决策规划模块根据解析出的语义信号进行相应控制。
36.本实施例通过在车辆上安装拾音器作为声音传感器来获取乘客的语音信号，并将获取的语音信号发送给语义识别模块进行解析，语义识别模块借助于自动驾驶强大的计算能力，对声音传感器的信号进行识别，再通过深度学习算法让自动驾驶系统能够对语言进行模糊识别，将模糊识别结果发送给决策规划模块，决策规划模块根据接收到的语义信号进行相应控制。目前本发明识别出的语义信号一般分为两类，一类是控制类，一类是交互类，控制类主要是针对车辆的空调系统、照明灯、多媒体播放设备等，当识别出的语义信号属于上述情况时，决策规划模块直接进行控制，例如，调节空调温度、打开/关闭照明灯等。交互类主要是乘客想和智能语音系统有一个语音对话交互，此时决策规划模块将语义识别识别出的对话类的语义信号发送给智能语音系统，智能语音系统按照目前会话匹配规则发出交互语音指令。其中具体语义识别算法和智能会话匹配算法都可以采用现有的相关算法来实现。
37.通过上述过程，本发明将目前车辆上分散的语音播放系统集成在一起，融合到自动驾驶系统中，使得自动驾驶系统更加人工智能，从而实现自动驾驶车辆语音系统统一调配和智能交互。本发明可应用在轿车、客车、物流车等所有配备自动驾驶的车辆上，车辆上有安全员或无安全员均可。

技术特征：
1.一种基于语义交互的自动驾驶车辆的自动驾驶系统，包括感知融合子系统和决策/规划子系统，感知融合子系统中设置有视觉模块和雷达模块，用于获取车辆所处的环境数据，所述的决策/规划子系统包括有决策规划模块，用于根据外部的环境数据和车辆自身数据按照设定的自动驾驶规则进行车辆决策规划，其特征在于，所述的感知融合子系统还包括有语义识别模块，决策/规划子系统还包括有智能语音模块，所述的语义识别模块连接有声音传感器，用于对接收到的声音信号进行识别，解析出对应的语义信号并将其发送给决策规划模块，决策规划模块用于根据接收到的语义信号按照设定的规则进行控制；所述的视觉模块和雷达模块用于将感知到的信号融合后发送给决策规划模块，决策规划模块根据接收到的信息判断车辆是否超出设计运行域，并在判断出车辆超出设计运行域时触发智能语音模块发出超出设计运行域语音指令。2.根据权利要求1所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的决策/规划子系统中还包括有故障诊断模块，该故障诊断模块用于检测车辆故障，并在检测到的故障后根据故障类型的所属级别控制智能语音模块发出对应等级的故障诊断语音指令。3.根据权利要求1或2所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的决策/规划子系统还用于根据车辆当前的调度状态和车辆实际的行车状态判断车辆是否处于起步或即将到站的状态，若是，则控制智能语音模块发出对应的进出站语音指令。4.根据权利要求3所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的决策规划模块包括有控制模块，用于根据车辆的加减速度判断车辆是否加减速过猛，根据车辆横向加速度判断车辆是否转向过猛，并在判断加减速过猛和/或转向过猛时，控制智能语音模块发出对应的警示信息的控制模块语音指令。5.根据权利要求4所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的语义识别模块识别出的信号包含有控制类信号和对话类信号，当识别出的是控制类信号时，决策规划模块按照该信号进行控制，当识别出的是对话类的信号时，决策规划模块将其发送给智能语音模块，由智能语音模块按照设定的会话匹配规则生成语义交互语音指令。6.根据权利要求4所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的语义识别模块通过深度学习算法对声音传感器的信号进行处理。7.根据权利要求1所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的声音传感器用于设置在乘客区域，用于收集乘客的声音信号。8.根据权利要求5所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的智能语音模块在生成语音指令时是按照设定的优先级实现的。9.根据权利要求8所述的基于语义交互的自动驾驶车辆的自动驾驶系统，其特征在于，所述的优先级从高到低为超出设计运行域语音指令、故障诊断语音指令、控制模块语音指令、进出站语音指令和语义交互语音指令。

技术总结
本发明涉及一种基于语义交互的自动驾驶车辆的自动驾驶系统，属于自动驾驶智能控制技术领域。本发明利用自动驾驶系统强大的计算能力，在自动驾驶系统中增加了语义识别模块和智能语音模块，通过语义识别模块对乘客的语音信号进行解析，得到相应的语义信号，利用语义信号与决策规划模块之间的交互实现更加智能的控制，并建立智能语音模块和决策规划模块、故障诊断模块和控制模块之间的交互。本发明将目前车辆上分散的语音播放系统集成在一起，融合到自动驾驶系统中，使得自动驾驶系统更加人工智能，进而实现自动驾驶车辆语音系统的统一调配和智能交互。配和智能交互。配和智能交互。


技术研发人员：王伟杰 陈鑫 朱敏 李印祥 曹强
受保护的技术使用者：宇通客车股份有限公司
技术研发日：2022.05.17
技术公布日：2023/9/7