一种作业车辆司机疲劳驾驶干预系统

1.本发明涉及车辆安全技术领域，特别涉及一种作业车辆司机疲劳驾驶干预系统。


背景技术：

2.疲劳驾驶是一种常见的道路安全问题，尤其是在特定的行业更需要重视这个问题，例如作业车辆司机。作业车辆司机经常需要在恶劣的天气条件下工作，需要长时间集中注意力和保持警觉，从而增加了疲劳驾驶的风险。虽然许多疲劳驾驶干预方法已经存在，例如通过车辆状态监测和驾驶员行为评估等，但这些方法往往只能检测到疲劳驾驶的迹象，不能直接干预。
3.研究一种能够准确感知作业车辆司机疲劳驾驶行为并进行干预的作业车辆司机疲劳驾驶干预系统以降低事故发生的概率显得十分有必要。


技术实现要素：

4.本发明的目的在于提供一种作业车辆司机疲劳驾驶干预系统来解决上述技术问题。
5.该作业车辆司机疲劳驾驶干预系统包括以下模块：
6.数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块。
7.所述数据采集模块，使用双目摄像头采集司机的面部表情、瞳孔大小、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度和眼球停留时间；使用生理传感器监测作业车辆司机的生理数据，包括心率、血压、呼吸频率、血氧饱和度；使用安装在挡风玻璃上方的麦克风采集车内环境声音；通过车载传感器采集作业车辆的车速、方向盘转速、加速度和制动情况；使用生物识别传感器识别司机的生物特征，包括指纹和视网膜信息，以确保只有合法的司机才能启动作业车辆；使用温度传感器、湿度传感器和氧气浓度传感器监测驾驶室内的温度、湿度和氧气浓度；通过gps定位系统跟踪作业车辆的位置；使用安装在作业车辆前部和侧面的超声波传感器来探测行人、动物、车辆或其他物体的位置和距离，并向司机发出声音和视觉警告，避免司机在能见度极低的天气疲劳驾驶时发生事故。
8.疲劳驾驶检测模块，分析收集的生理数据，将多维度数据进行整合和处理，构建疲劳驾驶判断模型，采用卷积神经网络、循环神经网络和环境声音分类网络进行特征提取和模型训练作为一级处理数学模型，采用记忆增强神经网络对多个输入进行加权融合作为二级处理数学模型；在实施过程中，根据作业车辆位置信息选择对应场景下的神经网络的结构和参数。
9.所述疲劳驾驶干预模块，包括声音干预子模块、体感干预子模块、辅助干预子模块、外界干预子模块和干预结束模块。
10.所述声音干预子模块，用于语音预警以及根据疲劳程度选择相应的音乐节奏。
11.所述体感干预子模块，用于根据疲劳程度改变驾驶室内的温度、湿度、空调风量和
照明；同时，当车内氧气浓度低于标准值时，自动通风或提醒司机打开车窗，以提高车内空气质量，减少疲劳驾驶的发生。
12.所述辅助干预子模块，可以提供以下功能：
13.(1)功能性饮料提醒：提供具有提神效果的功能性饮料，包括咖啡、茶水和具有提神效果的饮料；
14.(2)补充能量提醒：根据司机的生理状态和疲劳程度，推荐合适的食物，包括能量棒、巧克力和葡萄糖口服液；
15.(3)适当活动提醒：根据司机的驾驶时间和疲劳程度，提醒司机适时进行一些简单的运动和放松活动，包括伸展运动和眼保健操。
16.所述外界干预子模块，用于采取外界人员介入的方式来解决司机在高度疲劳时坚持驾驶的问题，根据疲劳程度选择以下措施：强制要求司机选择合适的位置停车休息，脱离疲劳状态时才允许继续进行除雪工作，在强制要求司机停车休息时，系统应该考虑停车位置的安全性和司机的舒适度，以确保司机能够得到适当的休息和恢复；如果司机的疲劳程度已经非常严重，则系统分配其他司机前来接替除雪工作，在分配其他司机时，系统应该考虑司机的经验和能力，以确保工作的安全和高效完成，同时，系统也需要考虑司机的安排和调度，以避免因为分配其他司机而导致工作延误。
17.所述干预结束模块，用于当疲劳驾驶检测模块检测到司机已经脱离疲劳状态时停止声音干预子模块、体感干预子模块、辅助干预子模块和外界干预子模块的干预操作。
18.所述学习优化模块，利用累积的驾驶数据经验来分析不同司机的疲劳特性，从而进行个性化适应以及不断优化；当司机首次使用本系统时，系统可以要求司机进行人脸识别以录入身份信息，包括姓名、性别和驾驶执照号码；随着司机的使用，系统根据司机的历史驾驶数据经验信息来优化司机的个性化适应性，根据不同司机的生理特征和行为模式进行个性化干预，确定每个司机的疲劳程度阈值，提供早期疲劳驾驶迹象的预测，从而能够在司机疲劳驾驶之前及时干预，提高道路安全性；同时，系统可以更准确地检测司机的疲劳状态，并给出更合适的提醒或警告，以确保驾驶安全。
19.所述云端储存模块，包括司机信息库和环境信息库；所述司机信息库，用于存储司机的数据经验和其他相关数据；所述场景信息库，用于存储不同典型场景下的神经网络的结构和参数。
20.疲劳驾驶判断模型的构建过程包括以下步骤：
21.s1：将经过预处理的数据输入到一级处理数学模型中，即卷积神经网络、循环神经网络和环境声音分类网络中分别提取特征；使用卷积神经网络分析司机的面部表情、瞳孔大小特征；使用循环神经网络分析司机的心率、血压、呼吸频率、血氧饱和度、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度、眼球停留时间、连续驾驶时间、车速、方向盘转速、加速度和制动情况；使用环境声音分类网络用于识别车内环境声音，包括司机说话声音和车内播放的音乐。
22.在以上神经网络中，通过多层网络结构和训练数据的优化，获得更准确的特征提取和分类效果。
23.所述多层网络结构优化包括增加网络层数、添加正则化和使用批量归一化；
24.所述训练数据优化包括：
25.(1)数据增强：通过旋转、翻转、缩放等方式增加训练数据的多样性和数量；
26.(2)去噪：如果训练数据中存在噪声，采用去噪算法进行处理；
27.(3)数据平衡：如果训练数据中存在类别不平衡问题，采用欠采样或过采样的方法进行处理；
28.(4)交叉验证：将训练数据划分为多个子集，通过交叉验证的方式选择最佳的模型和参数组合。
29.s2：在利用记忆增强神经网络对多个输入进行加权融合用作二级处理处理数学模型时，具体步骤如下所示：
30.s2.1：对于一级处理数学模型提取的特征，使用多个记忆增强神经网络进行处理和加权融合，设有n个特征向量，第i个特征向量为
31.s2.2：每个记忆增强神经网络由一组注意力权重和一组输出权重组成，定义注意力权重向量和输出权重矩阵其中j＝1,2,...,j表示第j个记忆增强神经网络。
32.s2.3：对于第j个记忆增强神经网络，首先根据输入特征向量fi和注意力权重向量a
(j)
计算加权的特征向量
[0033][0034]
s2.4：然后，将所有加权的特征向量g
(j)
串联起来，得到全局特征向量
[0035]
g＝[g
(1)
,g
(2)
,...,g
(j)
]。
[0036]
s2.5：最后，利用全局特征向量g进行二级处理，使用深度神经网络进行分类。
[0037]
其中，使用激活函数进行注意力权重的计算，以确保注意力权重在[0,1]之间；通过反向传播算法进行输出权重矩阵w
(j)
的训练。
[0038]
所述去噪算法为离散小波变换，离散小波变换滤波的具体步骤如下：
[0039]
s1：将原始信号x(n)进行m级离散小波分解，得到m+1级系数cam,dm,ca
m-1
,d
m-1
,...,ca1,d1。
[0040]
s2：对每个细节系数di进行阈值处理：
[0041]
s2.1：计算di的绝对值，并将其按照从大到小的顺序排列；
[0042]
s2.2：设定一个阈值t，将di中绝对值小于t的系数设为0。
[0043]
s3：对处理后的系数进行小波重构，得到滤波后的信号y(n)；
[0044]
其中，小波重构可以通过逆离散小波变换实现：
[0045][0046]
其中，h(k)和g(k)是小波函数系数，x(m)是m级系数，n是小波函数的长度；阈值t的设定需要结合具体的应用场景和信号特征进行调整。
[0047]
所述激活函数为线性整流函数，在使用线性整流函数进行记忆增强神经网络注意力权重的计算时，步骤如下：
[0048]
s1：将输入向量x经过一个全连接层，得到中间特征向量h：
[0049]
h＝w
(h)
x+b
(h)
[0050]
其中，w
(h)
是全连接层的权重矩阵，b
(h)
是偏置向量。
[0051]
s2：将中间特征向量h和记忆矩阵m进行加权求和，得到加权向量u；
[0052][0053]
其中，ui是加权向量u的第i个元素，m是记忆矩阵m的行数，mj为记忆矩阵m中的第j行，和是线性整流函数层的权重。
[0054]
s3：将加权向量u输入到一个带有线性整流函数的层中进行计算：
[0055][0056]
其中，是线性整流函数层的权重向量，是偏置项，zi是输出向量z的第i个元素，这里的max(0,
·
)表示线性整流函数。
[0057]
s4：将输出向量z经过softmax函数进行归一化，得到注意力权重向量a；
[0058][0059]
其中，n是输出向量的长度，ai是注意力权重向量a的第i个元素。
[0060]
本发明的有益效果为：
[0061]
1.提高道路安全性。该发明通过对司机的生理数据和行为进行全面监测，能够及时检测出司机的疲劳状态，及时发出警示和干预，有效地降低了司机疲劳驾驶引发交通事故的风险。
[0062]
2.提高工作效率。由于本发明的系统可以对司机的疲劳情况进行监测和干预，司机的工作效率得到提高，从而减少了因疲劳导致的工作效率下降和任务未能按时完成的情况。
[0063]
3.提高工作环境。本发明的系统可以监测驾驶室内的温度、湿度和氧气浓度，以提高司机的工作环境，并减少疲劳驾驶的可能性。
附图说明
[0064]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0065]
图1为本发明的一种作业车辆司机疲劳驾驶干预系统的系统框架图。
[0066]
图2为本发明的一种作业车辆司机疲劳驾驶干预系统的疲劳驾驶判断模型的框架图。
具体实施方式
[0067]
下面将结合附图对本发明技术方案的实施例进行详细的描述，以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
[0068]
需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0069]
参阅图1，本发明实施例提供了一种作业车辆司机疲劳驾驶干预系统包括以下模块：
[0070]
数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块。
[0071]
所述数据采集模块，使用双目摄像头采集司机的面部表情、瞳孔大小、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度和眼球停留时间；使用生理传感器监测作业车辆司机的生理数据，包括心率、血压、呼吸频率、血氧饱和度；使用安装在挡风玻璃上方的麦克风采集车内环境声音；通过车载传感器采集作业车辆的车速、方向盘转速、加速度和制动情况；使用生物识别传感器识别司机的生物特征，包括指纹和视网膜信息，以确保只有合法的司机才能启动作业车辆；使用温度传感器、湿度传感器和氧气浓度传感器监测驾驶室内的温度、湿度和氧气浓度；通过gps定位系统跟踪作业车辆的位置；使用安装在作业车辆前部和侧面的超声波传感器来探测行人、动物、车辆或其他物体的位置和距离，并向司机发出声音和视觉警告，避免司机在能见度极低的雪天疲劳驾驶时发生事故。
[0072]
疲劳驾驶检测模块，分析收集的生理数据，将多维度数据进行整合和处理，构建疲劳驾驶判断模型，采用卷积神经网络、循环神经网络和环境声音分类网络进行特征提取和模型训练作为一级处理数学模型，采用记忆增强神经网络对多个输入进行加权融合作为二级处理数学模型；在实施过程中，根据作业车辆位置信息选择对应场景下的神经网络的结构和参数。
[0073]
所述疲劳驾驶干预模块，包括声音干预子模块、体感干预子模块、辅助干预子模块、外界干预子模块和干预结束模块。
[0074]
所述声音干预子模块，用于语音预警以及根据疲劳程度选择相应的音乐节奏。
[0075]
所述体感干预子模块，用于根据疲劳程度改变驾驶室内的温度、湿度、空调风量和照明；同时，当车内氧气浓度低于标准值时，自动通风或提醒司机打开车窗，以提高车内空气质量，减少疲劳驾驶的发生。
[0076]
所述辅助干预子模块，可以提供以下功能：
[0077]
(1)功能性饮料提醒：提供具有提神效果的功能性饮料，包括咖啡、茶水和具有提神效果的饮料；
[0078]
(2)补充能量提醒：根据司机的生理状态和疲劳程度，推荐合适的食物，包括能量棒、巧克力和葡萄糖口服液；
[0079]
(3)适当活动提醒：根据司机的驾驶时间和疲劳程度，提醒司机适时进行一些简单的运动和放松活动，包括伸展运动和眼保健操。
[0080]
所述外界干预子模块，用于采取外界人员介入的方式来解决司机在高度疲劳时坚持驾驶的问题，根据疲劳程度选择以下措施：强制要求司机选择合适的位置停车休息，脱离疲劳状态时才允许继续进行除雪工作，在强制要求司机停车休息时，系统应该考虑停车位置的安全性和司机的舒适度，以确保司机能够得到适当的休息和恢复；如果司机的疲劳程度已经非常严重，则系统分配其他司机前来接替除雪工作，在分配其他司机时，系统应该考虑司机的经验和能力，以确保工作的安全和高效完成，同时，系统也需要考虑司机的安排和调度，以避免因为分配其他司机而导致工作延误。
[0081]
所述干预结束模块，用于当疲劳驾驶检测模块检测到司机已经脱离疲劳状态时停
止声音干预子模块、体感干预子模块、辅助干预子模块和外界干预子模块的干预操作。
[0082]
所述学习优化模块，利用累积的驾驶数据经验来分析不同司机的疲劳特性，从而进行个性化适应以及不断优化；当司机首次使用本系统时，系统可以要求司机进行人脸识别以录入身份信息，包括姓名、性别和驾驶执照号码；随着司机的使用，系统根据司机的历史驾驶数据经验信息来优化司机的个性化适应性，根据不同司机的生理特征和行为模式进行个性化干预，确定每个司机的疲劳程度阈值，提供早期疲劳驾驶迹象的预测，从而能够在司机疲劳驾驶之前及时干预，提高道路安全性；同时，系统可以更准确地检测司机的疲劳状态，并给出更合适的提醒或警告，以确保驾驶安全。
[0083]
所述云端储存模块，包括司机信息库和环境信息库；所述司机信息库，用于存储司机的数据经验和其他相关数据；所述场景信息库，用于存储不同典型场景下的神经网络的结构和参数。
[0084]
参阅图2，疲劳驾驶判断模型的构建过程包括以下步骤：
[0085]
s1：将经过预处理的数据输入到一级处理数学模型中，即卷积神经网络、循环神经网络和环境声音分类网络中分别提取特征；使用卷积神经网络分析司机的面部表情、瞳孔大小特征；使用循环神经网络分析司机的心率、血压、呼吸频率、血氧饱和度、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度、眼球停留时间、连续驾驶时间、车速、方向盘转速、加速度和制动情况；使用环境声音分类网络用于识别车内环境声音，包括司机说话声音和车内播放的音乐。
[0086]
在以上神经网络中，通过多层网络结构和训练数据的优化，获得更准确的特征提取和分类效果。
[0087]
所述多层网络结构优化包括增加网络层数、添加正则化和使用批量归一化；
[0088]
所述训练数据优化包括：
[0089]
(1)数据增强：通过旋转、翻转、缩放等方式增加训练数据的多样性和数量；
[0090]
(2)去噪：如果训练数据中存在噪声，采用去噪算法进行处理；
[0091]
(3)数据平衡：如果训练数据中存在类别不平衡问题，采用欠采样或过采样的方法进行处理；
[0092]
(4)交叉验证：将训练数据划分为多个子集，通过交叉验证的方式选择最佳的模型和参数组合。
[0093]
s2：在利用记忆增强神经网络对多个输入进行加权融合用作二级处理处理数学模型时，具体步骤如下所示：
[0094]
s2.1：对于一级处理数学模型提取的特征，使用多个记忆增强神经网络进行处理和加权融合，设有n个特征向量，第i个特征向量为
[0095]
s2.2：每个记忆增强神经网络由一组注意力权重和一组输出权重组成，定义注意力权重向量和输出权重矩阵其中j＝1,2,...,j表示第j个记忆增强神经网络。
[0096]
s2.3：对于第j个记忆增强神经网络，首先根据输入特征向量fi和注意力权重向量a
(j)
计算加权的特征向量
[0097][0098]
s2.4：然后，将所有加权的特征向量g
(j)
串联起来，得到全局特征向量
[0099]
g＝[g
(1)
,g
(2)
,...,g
(j)
]。
[0100]
s2.5：最后，利用全局特征向量g进行二级处理，使用深度神经网络进行分类。
[0101]
其中，使用激活函数进行注意力权重的计算，以确保注意力权重在[0,1]之间；通过反向传播算法进行输出权重矩阵w
(j)
的训练。
[0102]
所述去噪算法为离散小波变换，离散小波变换滤波的具体步骤如下：
[0103]
s1：将原始信号x(n)进行m级离散小波分解，得到m+1级系数cam,dm,ca
m-1
,d
m-1
,...,ca1,d1。
[0104]
s2：对每个细节系数di进行阈值处理：
[0105]
s2.1：计算di的绝对值，并将其按照从大到小的顺序排列；
[0106]
s2.2：设定一个阈值t，将di中绝对值小于t的系数设为0。
[0107]
s3：对处理后的系数进行小波重构，得到滤波后的信号y(n)；
[0108]
其中，小波重构可以通过逆离散小波变换实现：
[0109][0110]
其中，h(k)和g(k)是小波函数系数，x(m)是m级系数，n是小波函数的长度；阈值t的设定需要结合具体的应用场景和信号特征进行调整。
[0111]
所述激活函数为线性整流函数，在使用线性整流函数进行记忆增强神经网络注意力权重的计算时，步骤如下：
[0112]
s1：将输入向量x经过一个全连接层，得到中间特征向量h：
[0113]
h＝w
(h)
x+b
(h)
[0114]
其中，w
(h)
是全连接层的权重矩阵，b
(h)
是偏置向量。
[0115]
s2：将中间特征向量h和记忆矩阵m进行加权求和，得到加权向量u；
[0116][0117]
其中，ui是加权向量u的第i个元素，m是记忆矩阵m的行数，mj为记忆矩阵m中的第j行，和是线性整流函数层的权重。
[0118]
s3：将加权向量u输入到一个带有线性整流函数的层中进行计算：
[0119][0120]
其中，是线性整流函数层的权重向量，是偏置项，zi是输出向量z的第i个元素，这里的max(0,
·
)表示线性整流函数。
[0121]
s4：将输出向量z经过softmax函数进行归一化，得到注意力权重向量a；
[0122]
[0123]
其中，n是输出向量的长度，ai是注意力权重向量a的第i个元素。
[0124]
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
[0125]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

技术特征：
1.一种作业车辆司机疲劳驾驶干预系统，其特征在于，包括数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块；所述数据采集模块，使用双目摄像头采集司机的面部表情、瞳孔大小、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度和眼球停留时间；使用生理传感器监测作业车辆司机的生理数据，包括心率、血压、呼吸频率、血氧饱和度；使用安装在挡风玻璃上方的麦克风采集车内环境声音；通过车载传感器采集作业车辆的车速、方向盘转速、加速度和制动情况；使用生物识别传感器识别司机的生物特征，包括指纹和视网膜信息，以确保只有合法的司机才能启动作业车辆；使用温度传感器、湿度传感器和氧气浓度传感器监测驾驶室内的温度、湿度和氧气浓度；通过gps定位系统跟踪作业车辆的位置；使用安装在作业车辆前部和侧面的超声波传感器来探测行人、动物、车辆和其他物体的位置和距离，并向司机发出声音和视觉警告，避免司机在能见度极低的天气疲劳驾驶时发生事故；疲劳驾驶检测模块，分析收集的生理数据，将多维度数据进行整合和处理，构建疲劳驾驶判断模型，采用卷积神经网络、循环神经网络和环境声音分类网络进行特征提取和模型训练作为一级处理数学模型，采用记忆增强神经网络对多个输入进行加权融合作为二级处理数学模型；在实施过程中，根据作业车辆位置信息选择对应场景下的神经网络的结构和参数；所述疲劳驾驶干预模块，包括声音干预子模块、体感干预子模块、辅助干预子模块、外界干预子模块和干预结束模块；所述声音干预子模块，用于语音预警以及根据疲劳程度选择相应的音乐节奏；所述体感干预子模块，用于根据疲劳程度改变驾驶室内的温度、湿度、空调风量和照明；同时，当车内氧气浓度低于标准值时，自动通风或提醒司机打开车窗，以提高车内空气质量，减少疲劳驾驶的发生；所述辅助干预子模块，可以提供以下功能：(1)功能性饮料提醒：提供具有提神效果的功能性饮料，包括咖啡、茶水和具有提神效果的饮料；(2)补充能量提醒：根据司机的生理状态和疲劳程度，推荐合适的食物，包括能量棒、巧克力和葡萄糖口服液；(3)适当活动提醒：根据司机的驾驶时间和疲劳程度，提醒司机适时进行一些简单的运动和放松活动，包括伸展运动和眼保健操；所述外界干预子模块，用于采取外界人员介入的方式来解决司机在高度疲劳时坚持驾驶的问题，根据疲劳程度选择以下措施：强制要求司机选择合适的位置停车休息，脱离疲劳状态时才允许继续进行除雪工作，在强制要求司机停车休息时，系统应该考虑停车位置的安全性和司机的舒适度，以确保司机能够得到适当的休息和恢复；如果司机的疲劳程度已经非常严重，则系统分配其他司机前来接替除雪工作，在分配其他司机时，系统应该考虑司机的经验和能力，以确保工作的安全和高效完成，同时，系统也需要考虑司机的安排和调度，以避免因为分配其他司机而导致工作延误；所述干预结束模块，用于当疲劳驾驶检测模块检测到司机已经脱离疲劳状态时停止声音干预子模块、体感干预子模块、辅助干预子模块和外界干预子模块的干预操作；所述学习优化模块，利用累积的驾驶数据经验来分析不同司机的疲劳特性，从而进行
个性化适应以及不断优化；当司机首次使用本系统时，系统可以要求司机进行人脸识别以录入身份信息，包括姓名、性别和驾驶执照号码；随着司机的使用，系统根据司机的历史驾驶数据经验信息来优化司机的个性化适应性，根据不同司机的生理特征和行为模式进行个性化干预，确定每个司机的疲劳程度阈值，提供早期疲劳驾驶迹象的预测，从而能够在司机疲劳驾驶之前及时干预，提高道路安全性；同时，系统可以更准确地检测司机的疲劳状态，并给出更合适的提醒或警告，以确保驾驶安全；所述云端储存模块，包括司机信息库和环境信息库；所述司机信息库，用于存储司机的数据经验和其他相关数据；所述场景信息库，用于存储不同典型场景下的神经网络的结构和参数。2.如权利要求1所述的作业车辆司机疲劳驾驶干预系统，其特征在于，所述疲劳驾驶判断模型的构建过程包括以下步骤：s1：将经过预处理的数据输入到一级处理数学模型中，即卷积神经网络、循环神经网络和环境声音分类网络中分别提取特征；使用卷积神经网络分析司机的面部表情、瞳孔大小特征；使用循环神经网络分析司机的心率、血压、呼吸频率、血氧饱和度、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度、眼球停留时间、连续驾驶时间、车速、方向盘转速、加速度和制动情况；使用环境声音分类网络用于识别车内环境声音，包括司机说话声音和车内播放的音乐；在以上神经网络中，通过多层网络结构和训练数据的优化，获得更准确的特征提取和分类效果；所述多层网络结构优化包括增加网络层数、添加正则化和使用批量归一化；所述训练数据优化包括：(1)数据增强：通过旋转、翻转、缩放等方式增加训练数据的多样性和数量；(2)去噪：如果训练数据中存在噪声，采用去噪算法进行处理；(3)数据平衡：如果训练数据中存在类别不平衡问题，采用欠采样或过采样的方法进行处理；(4)交叉验证：将训练数据划分为多个子集，通过交叉验证的方式选择最佳的模型和参数组合；s2：在利用记忆增强神经网络对多个输入进行加权融合用作二级处理处理数学模型时，具体步骤如下所示：s2.1：对于一级处理数学模型提取的特征，使用多个记忆增强神经网络进行处理和加权融合，设有n个特征向量，第i个特征向量为s2.2：每个记忆增强神经网络由一组注意力权重和一组输出权重组成，定义注意力权重向量和输出权重矩阵其中j＝1,2,...,j表示第j个记忆增强神经网络；s2.3：对于第j个记忆增强神经网络，首先根据输入特征向量f
i
和注意力权重向量a
(j)
计算加权的特征向量算加权的特征向量
s2.4：然后，将所有加权的特征向量g
(j)
串联起来，得到全局特征向量g＝[g
(1)
,g
(2)
,...,g
(j)
]；s2.5：最后，利用全局特征向量g进行二级处理，使用深度神经网络进行分类；其中，使用激活函数进行注意力权重的计算，以确保注意力权重在[0,1]之间；通过反向传播算法进行输出权重矩阵w
(j)
的训练。3.如权利要求2所述的作业车辆司机疲劳驾驶干预系统，其特征在于，所述去噪算法为离散小波变换，离散小波变换滤波的具体步骤如下：s1：将原始信号x(n)进行m级离散小波分解，得到m+1级系数ca
m
,dm,ca
m-1
,d
m-1
,...,ca1,d1；s2：对每个细节系数d
i
进行阈值处理：s2.1：计算d
i
的绝对值，并将其按照从大到小的顺序排列；s2.2：设定一个阈值t，将d
i
中绝对值小于t的系数设为0；s3：对处理后的系数进行小波重构，得到滤波后的信号y(n)；其中，小波重构可以通过逆离散小波变换实现：其中，h(k)和g(k)是小波函数系数，x(m)是m级系数，n是小波函数的长度；阈值t的设定需要结合具体的应用场景和信号特征进行调整。4.如权利要求2所述的作业车辆司机疲劳驾驶干预系统，其特征在于，所述激活函数为线性整流函数，在使用线性整流函数进行记忆增强神经网络注意力权重的计算时，步骤如下：s1：将输入向量x经过一个全连接层，得到中间特征向量h：h＝w
(h)
x+b
(h)
其中，w
(h)
是全连接层的权重矩阵，b
(h)
是偏置向量；s2：将中间特征向量h和记忆矩阵m进行加权求和，得到加权向量u；其中，u
i
是加权向量u的第i个元素，m是记忆矩阵m的行数，m
j
为记忆矩阵m中的第j行，和是线性整流函数层的权重；s3：将加权向量u输入到一个带有线性整流函数的层中进行计算：其中，是线性整流函数层的权重向量，是偏置项，z
i
是输出向量z的第i个元素，这里的max(0,
·
)表示线性整流函数；s4：将输出向量z经过softmax函数进行归一化，得到注意力权重向量a；
其中，n是输出向量的长度，a
i
是注意力权重向量a的第i个元素。

技术总结
本发明公开了一种作业车辆司机疲劳驾驶干预系统，包括数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块；数据采集模块采集司机和车辆的多维度数据；疲劳驾驶检测模块分析处理多维度数据，构建疲劳驾驶判断模型，及时检测出司机的疲劳状态；疲劳驾驶干预模块根据检测结果实施干预措施；学习优化模块通过云端储存模块实现数据的实时上传和管理，对司机的驾驶行为进行深度学习和优化，提高司机的驾驶技能和效率。提高司机的驾驶技能和效率。提高司机的驾驶技能和效率。


技术研发人员：郑宏宇 潘之瑶 靳立强 李建华 肖峰
受保护的技术使用者：吉林大学
技术研发日：2023.03.06
技术公布日：2023/7/21