一种汽车行驶过程中情绪识别提醒、控制系统及方法与流程

1.本发明属于汽车安全技术领域，具体涉及一种汽车行驶过程中情绪识别提醒、控制系统及方法。


背景技术：

2.交通事故的发生有多种原因，一般来说是人的因素、车辆因素、道路和环境因素等，其中人的因素居首位。在一些不宜出现情绪波动的场景中，例如驾驶汽车等场景，由于各种情况的出现，司机和其它乘坐人员还是难以避免的会出现情绪波动。
3.当受到刺激时一般人都是通过面部、动作、眼神等表现出来。在驾驶车辆行驶过程中，当轨道车辆司机心情愉快、满意时能感到心情舒畅、心理舒适，对事物的观察和判断具有积极的促进作用，常常表现出感受力强，勤于观察，反应迅速，判断准确，动作敏捷，有利于车辆行驶安全；反之，当车内的司机及其他乘坐人员，在行车过程中会会出现各种情绪变化时，如生气、厌恶、恐惧、悲伤等情绪，如果情绪控制不好，就很可能因情绪产生一些不恰当的举动，容易给行车带来安全隐患。
4.因此，在车内设置一定的机构进行提醒甚至控制车辆，给车内人员一定的时间进行冷静处理，一是提高了车内人员安全性，二是避免了行车过程中对其他人员或者车辆造成伤害，一定程度上避免事故的发生。


技术实现要素：

5.针对现有技术中存在的上述问题，本发明提供了一种汽车行驶过程中情绪识别提醒、控制系统及方法，通过内置在车内的麦克风及摄像头采集人员声音、表情动作信息，通过数据处理模块进行数据的计算处理，判定是否存在争吵行为及争吵等级，并执行与争吵等级对应的提醒或者控制行为，可以给车内人员及车内其他人员提醒，一定程度上降低事故发生几率。
6.本发明通过如下技术方案实现：
7.一种汽车行驶过程中情绪识别提醒、控制系统，包括车内摄像头1、车内麦克风2、语音语义识别模块3、动作识别模块4、面部表情识别模块5、数据处理模块6、车载信息娱乐控制系统7、bcm控制器8、整车控制器9、esp控制器10及eps控制器11；所述车内麦克风2用于采集车内声音，并发送给语音语义识别模块5；所述车内摄像头1用于采集车内人员面部表情信息及肢体动作，并发送给语音语义识别模块3及动作识别模块4；所述语音语义识别模块5用于将由麦克风采集到的声音信息进行处理，并发送给数据处理模块6；所述表情识别模块3及动作识别模块4分别用于识别车内人员表情及动作，并发送给数据处理模块6，所述数据处理模块6用于分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统。
8.进一步地，所述车内摄像头1为两个，分别布置在车内两侧a柱上方。
9.进一步地，所述车内麦克风2为两个，分别布置在车内两侧b柱中间。
10.进一步地，所述语音语义识别模块3包括语音识别模块及语义识别模块，分别用于
识别语音及语义；所述语音识别模块利用声纹识别技术，首先会过滤掉车内人声以外的其他声音，将车内人员的声音进行预处理，模块中设定人声分贝阈值，如果人声分贝数超过设定阈值，即可判定可能存在争吵；
11.所述语义识别模块内置语料库，并已做好深度学习，包含争吵过程中常用的侮辱性特殊词汇；该模块将采集到的人声，进行语义词汇提取，将与语料库进行对比，内置频次计数器，设定频次阈值，若频次如果超过阈值，即可判定存在争吵。
12.进一步地，所述面部表情识别模块，预置人物生气愤怒表情数据库，利用人脸识别技术将由摄像头采集到的人脸数据与数据库进行比较计算，设定时间阈值，愤怒生气表情持续的时间如果超过阈值即可判定存在争吵。
13.进一步地，所述人体动作识别模块，内置人物争吵动作数据库，将由摄像头采集到的人物动作与数据库进行对比，如果存在与数据库相似的动作行为，即可判定为存在争吵。
14.另一方面，本发明还提供了一种汽车行驶过程中情绪识别提醒、控制系统的方法，具体包括如下步骤：
15.车内麦克风2采集车内声音，发送给语音语义识别模块5；车内摄像头1采集车内人员面部表情信息及肢体动作，发送给语音语义识别模块3及动作识别模块4；语音语义识别模块5将由麦克风采集到的声音信息进行处理，并发送给数据处理模块6；表情识别模块3及动作识别模块4分别识别车内人员表情及动作，并发送给数据处理模块6，数据处理模块6根据接收到的信息分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统，由车载信息娱乐系统输出相应的控制。
16.进一步地，数据处理模块6根据接收到的信息，针对不同信号值进行综合的计算处理，根据评分值对车内的争吵程度进行争吵程度分级，分为低级别、中级别及高级别争吵；所述级别参见表1；
17.级别的判定表1
18.争吵程度语音识别等级语义识别等级面部表情识别等级动作识别等级无争吵0000低级别争吵0010低级别争吵0100低级别争吵1000中级别争吵0110中级别争吵1010中级别争吵1100高级别争吵1110高级别争吵0/10/10/11。
19.进一步地，由车载信息娱乐系统输出相应的控制，具体包括如下内容：
20.低级别争吵，数据处理模块发出信号给信息娱乐系统，进行持续无间断的语音提醒；
21.中级别争吵，通过信息娱乐系统发送无间断语音提醒的同时，车辆同时会开启双闪指示灯，用于其他行驶的车辆及行人提醒；
22.高级别争吵，车辆进行行驶将存在安全隐患，车载信息娱乐系统发送减速靠边停车的数次警告，并通过驾驶员确定后，车辆将主动开启右转向灯，减速靠路边停车，然后再次开启双闪指示灯。
23.与现有技术相比，本发明的优点如下：
24.本发明的一种汽车行驶过程中情绪识别提醒、控制系统及方法，通过处理模块识别出争吵的等级，低级别争吵可通过信息娱乐控制系统通过扬声器进行语音提醒，提醒驾驶者注意行车安全；中级别的争吵车内提醒的同时，也会开启双闪灯，给周边附近的车辆及人员警示提醒。当存在高级别的争吵，在驾驶者确认周边条件后，车辆采用主动控制，减速靠边停车，开启双闪指示灯，降低事故发生率。
附图说明
25.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
26.图1为一种汽车行驶过程中情绪识别提醒、控制系统的系统框图；
27.图中：车内摄像头1、车内麦克风2、语音语义识别模块3、动作识别模块4、面部表情识别模块5、数据处理模块6、车载信息娱乐控制系统7、bcm控制器8、整车控制器9、esp控制器10及eps控制器11。
具体实施方式
28.为清楚、完整地描述本发明所述技术方案及其具体工作过程，结合说明书附图，本发明的具体实施方式如下：
29.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
30.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
31.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
32.实施例1
33.如图1所示，为本实施例的一种汽车行驶过程中情绪识别提醒、控制系统的系统框图，所述系统包括车内摄像头1、车内麦克风2、语音语义识别模块3、动作识别模块4、面部表情识别模块5、数据处理模块6、车载信息娱乐控制系统7、bcm控制器8、整车控制器9、esp控制器10及eps控制器11；所述车内麦克风2用于采集车内声音，并发送给语音语义识别模块5；所述车内摄像头1用于采集车内人员面部表情信息及肢体动作，并发送给语音语义识别模块3及动作识别模块4；所述语音语义识别模块5用于将由麦克风采集到的声音信息进行处理，并发送给数据处理模块6；所述表情识别模块3及动作识别模块4分别用于识别车内人员表情及动作，并发送给数据处理模块6，所述数据处理模块6用于分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统。
34.所述车载信息娱乐系统，整车控制器，esp控制器，eps控制器，bcm控制器皆为原车配置。
35.所述车内摄像头1为两个，分别布置在车内两侧a柱上方；所述车内摄像头能够全方位覆盖到车内，无死角。
36.所述车内麦克风2为两个，分别布置在车内两侧b柱中间；所述车内麦克风能够采集到车内所有声音。
37.所述语音语义识别模块3包括语音识别模块及语义识别模块，所述语音语义识别模块可识别提取人声及分析对比语义；所述语音识别模块利用声纹识别技术，首先会过滤掉车内人声以外的其他声音，将车内人员的声音进行预处理，模块中设定人声分贝阈值，如果人声分贝数超过设定阈值，即可判定可能存在争吵；
38.所述语义识别模块内置语料库，并已做好深度学习，包含争吵过程中常用的侮辱性特殊词汇；该模块将采集到的人声，进行语义词汇提取，将与语料库进行对比，内置频次计数器，设定频次阈值，若频次如果超过阈值，即可判定存在争吵。
39.所述面部表情识别模块，预置人物生气愤怒表情数据库，利用人脸识别技术将由摄像头采集到的人脸数据与数据库进行比较计算，设定时间阈值，愤怒生气表情持续的时间如果超过阈值即可判定存在争吵。
40.所述人体动作识别模块，内置人物争吵动作数据库，将由摄像头采集到的人物动作与数据库进行对比，如果存在与数据库相似的动作行为，即可判定为存在争吵。
41.所述数据处理模块能够分析计算出争吵程度，并能够输出对应的信号。
42.实施例2
43.本实施例提供了一种汽车行驶过程中情绪识别提醒、控制系统的方法，具体包括如下步骤：
44.车内麦克风2采集车内声音，发送给语音语义识别模块5；车内摄像头1采集车内人员面部表情信息及肢体动作，发送给语音语义识别模块3及动作识别模块4；语音语义识别模块5将由麦克风采集到的声音信息进行处理，并发送给数据处理模块6；表情识别模块3及动作识别模块4分别识别车内人员表情及动作，并发送给数据处理模块6，数据处理模块6根据接收到的信息分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统，由车载信息娱乐系统输出相应的控制。
45.数据处理模块6根据接收到的信息，针对不同信号值进行综合的计算处理，根据评
分值对车内的争吵程度进行争吵程度分级，分为低级别、中级别及高级别争吵；所述级别参见表1；
46.级别的判定表1
47.争吵程度语音识别等级语义识别等级面部表情识别等级动作识别等级无争吵0000低级别争吵0010低级别争吵0100低级别争吵1000中级别争吵0110中级别争吵1010中级别争吵1100高级别争吵1110高级别争吵0/10/10/11。
48.由车载信息娱乐系统输出相应的控制，具体包括如下内容：
49.低级别争吵，数据处理模块发出信号给信息娱乐系统，进行持续无间断的语音提醒；
50.中级别争吵，通过信息娱乐系统发送无间断语音提醒的同时，车辆同时会开启双闪指示灯，用于其他行驶的车辆及行人提醒；
51.高级别争吵，车辆进行行驶将存在安全隐患，车载信息娱乐系统发送减速靠边停车的数次警告，并通过驾驶员确定后，车辆将主动开启右转向灯，减速靠路边停车，然后再次开启双闪指示灯。
52.以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
53.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
54.此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

技术特征：
1.一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，包括车内摄像头(1)、车内麦克风(2)、语音语义识别模块(3)、动作识别模块(4)、面部表情识别模块(5)、数据处理模块(6)、车载信息娱乐控制系统(7)、bcm控制器(8)、整车控制器(9)、esp控制器(10)及eps控制器(11)；所述车内麦克风(2)用于采集车内声音，并发送给语音语义识别模块(5)；所述车内摄像头(1)用于采集车内人员面部表情信息及肢体动作，并发送给语音语义识别模块(3)及动作识别模块(4)；所述语音语义识别模块(5)用于将由麦克风采集到的声音信息进行处理，并发送给数据处理模块(6)；所述表情识别模块(3)及动作识别模块(4)分别用于识别车内人员表情及动作，并发送给数据处理模块(6)，所述数据处理模块(6)用于分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统。2.如权利要求1所述的一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，所述车内摄像头(1)为两个，分别布置在车内两侧a柱上方。3.如权利要求1所述的一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，所述车内麦克风(2)为两个，分别布置在车内两侧b柱中间。4.如权利要求1所述的一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，所述语音语义识别模块(3)包括语音识别模块及语义识别模块，分别用于识别语音及语义；所述语音识别模块利用声纹识别技术，首先会过滤掉车内人声以外的其他声音，将车内人员的声音进行预处理，模块中设定人声分贝阈值，如果人声分贝数超过设定阈值，即可判定可能存在争吵；所述语义识别模块内置语料库，并已做好深度学习，包含争吵过程中常用的侮辱性特殊词汇；该模块将采集到的人声，进行语义词汇提取，将与语料库进行对比，内置频次计数器，设定频次阈值，若频次如果超过阈值，即可判定存在争吵。5.如权利要求1所述的一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，所述面部表情识别模块，预置人物生气愤怒表情数据库，利用人脸识别技术将由摄像头采集到的人脸数据与数据库进行比较计算，设定时间阈值，愤怒生气表情持续的时间如果超过阈值即可判定存在争吵。6.如权利要求1所述的一种汽车行驶过程中情绪识别提醒、控制系统，其特征在于，所述人体动作识别模块，内置人物争吵动作数据库，将由摄像头采集到的人物动作与数据库进行对比，如果存在与数据库相似的动作行为，即可判定为存在争吵。7.如权利要求1所述一种汽车行驶过程中情绪识别提醒、控制系统的方法，其特征在于，具体包括如下步骤：车内麦克风(2)采集车内声音，发送给语音语义识别模块(5)；车内摄像头(1)采集车内人员面部表情信息及肢体动作，发送给语音语义识别模块(3)及动作识别模块(4)；语音语义识别模块(5)将由麦克风采集到的声音信息进行处理，并发送给数据处理模块(6)；表情识别模块(3)及动作识别模块(4)分别识别车内人员表情及动作，并发送给数据处理模块(6)，数据处理模块(6)根据接收到的信息分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统，由车载信息娱乐系统输出相应的控制。8.如权利要求7所述一种汽车行驶过程中情绪识别提醒、控制系统的方法，其特征在于，数据处理模块(6)根据接收到的信息，针对不同信号值进行综合的计算处理，根据评分值对车内的争吵程度进行争吵程度分级，分为低级别、中级别及高级别争吵；所述级别参见
表1；级别的判定表1争吵程度语音识别等级语义识别等级面部表情识别等级动作识别等级无争吵0000低级别争吵0010低级别争吵0100低级别争吵1000中级别争吵0110中级别争吵1010中级别争吵1100高级别争吵1110高级别争吵0/10/10/11。9.如权利要求7所述一种汽车行驶过程中情绪识别提醒、控制系统的方法，其特征在于，由车载信息娱乐系统输出相应的控制，具体包括如下内容：低级别争吵，数据处理模块发出信号给信息娱乐系统，进行持续无间断的语音提醒；中级别争吵，通过信息娱乐系统发送无间断语音提醒的同时，车辆同时会开启双闪指示灯，用于其他行驶的车辆及行人提醒；高级别争吵，车辆进行行驶将存在安全隐患，车载信息娱乐系统发送减速靠边停车的数次警告，并通过驾驶员确定后，车辆将主动开启右转向灯，减速靠路边停车，然后再次开启双闪指示灯。

技术总结
本发明公开了一种汽车行驶过程中情绪识别提醒、控制系统及方法，属于汽车安全技术领域，车内麦克风采集车内声音，发送给语音语义识别模块；车内摄像头采集车内人员面部表情信息及肢体动作，发送给语音语义识别模块及动作识别模块；语音语义识别模块将由麦克风采集到的声音信息进行处理，并发送给数据处理模块；表情识别模块及动作识别模块分别识别车内人员表情及动作，并发送给数据处理模块，数据处理模块根据接收到的信息分析计算出争吵程度，并输出相应的控制信号给车载信息娱乐系统，由车载信息娱乐系统输出相应的控制。该系统及方法可给车内人员及车内其他人员提醒，一定程度上降低事故发生几率。上降低事故发生几率。上降低事故发生几率。


技术研发人员：郭振宇 唐蒙 韩飞 姚国宝 叶洪铭 沈兵 武书扬 马立波 王峻峰 尹红斌
受保护的技术使用者：一汽奔腾轿车有限公司
技术研发日：2023.06.19
技术公布日：2023/9/12