一种作业车辆司机疲劳驾驶干预系统技术方案

本发明专利技术公开了一种作业车辆司机疲劳驾驶干预系统，包括数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块；数据采集模块采集司机和车辆的多维度数据；疲劳驾驶检测模块分析处理多维度数据，构建疲劳驾驶判断模型，及时检测出司机的疲劳状态；疲劳驾驶干预模块根据检测结果实施干预措施；学习优化模块通过云端储存模块实现数据的实时上传和管理，对司机的驾驶行为进行深度学习和优化，提高司机的驾驶技能和效率。提高司机的驾驶技能和效率。提高司机的驾驶技能和效率。

【技术实现步骤摘要】
一种作业车辆司机疲劳驾驶干预系统


[0001]本专利技术涉及车辆安全
，特别涉及一种作业车辆司机疲劳驾驶干预系统。

技术介绍

[0002]疲劳驾驶是一种常见的道路安全问题，尤其是在特定的行业更需要重视这个问题，例如作业车辆司机。作业车辆司机经常需要在恶劣的天气条件下工作，需要长时间集中注意力和保持警觉，从而增加了疲劳驾驶的风险。虽然许多疲劳驾驶干预方法已经存在，例如通过车辆状态监测和驾驶员行为评估等，但这些方法往往只能检测到疲劳驾驶的迹象，不能直接干预。
[0003]研究一种能够准确感知作业车辆司机疲劳驾驶行为并进行干预的作业车辆司机疲劳驾驶干预系统以降低事故发生的概率显得十分有必要。

技术实现思路

[0004]本专利技术的目的在于提供一种作业车辆司机疲劳驾驶干预系统来解决上述技术问题。
[0005]该作业车辆司机疲劳驾驶干预系统包括以下模块：
[0006]数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块。
[0007]所述数据采集模块，使用双目摄像头采集司机的面部表情、瞳孔大小、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度和眼球停留时间；使用生理传感器监测作业车辆司机的生理数据，包括心率、血压、呼吸频率、血氧饱和度；使用安装在挡风玻璃上方的麦克风采集车内环境声音；通过车载传感器采集作业车辆的车速、方向盘转速、加速度和制动情况；使用生物识别传感器识别司机的生物特征，包括指纹和视网膜信息，以确保只有合法的司机才能启动作业车辆；使用温度传感器、湿度传感器和氧气浓度传感器监测驾驶室内的温度、湿度和氧气浓度；通过GPS定位系统跟踪作业车辆的位置；使用安装在作业车辆前部和侧面的超声波传感器来探测行人、动物、车辆或其他物体的位置和距离，并向司机发出声音和视觉警告，避免司机在能见度极低的天气疲劳驾驶时发生事故。
[0008]疲劳驾驶检测模块，分析收集的生理数据，将多维度数据进行整合和处理，构建疲劳驾驶判断模型，采用卷积神经网络、循环神经网络和环境声音分类网络进行特征提取和模型训练作为一级处理数学模型，采用记忆增强神经网络对多个输入进行加权融合作为二级处理数学模型；在实施过程中，根据作业车辆位置信息选择对应场景下的神经网络的结构和参数。
[0009]所述疲劳驾驶干预模块，包括声音干预子模块、体感干预子模块、辅助干预子模块、外界干预子模块和干预结束模块。
[0010]所述声音干预子模块，用于语音预警以及根据疲劳程度选择相应的音乐节奏。
[0011]所述体感干预子模块，用于根据疲劳程度改变驾驶室内的温度、湿度、空调风量和
照明；同时，当车内氧气浓度低于标准值时，自动通风或提醒司机打开车窗，以提高车内空气质量，减少疲劳驾驶的发生。
[0012]所述辅助干预子模块，可以提供以下功能：
[0013](1)功能性饮料提醒：提供具有提神效果的功能性饮料，包括咖啡、茶水和具有提神效果的饮料；
[0014](2)补充能量提醒：根据司机的生理状态和疲劳程度，推荐合适的食物，包括能量棒、巧克力和葡萄糖口服液；
[0015](3)适当活动提醒：根据司机的驾驶时间和疲劳程度，提醒司机适时进行一些简单的运动和放松活动，包括伸展运动和眼保健操。
[0016]所述外界干预子模块，用于采取外界人员介入的方式来解决司机在高度疲劳时坚持驾驶的问题，根据疲劳程度选择以下措施：强制要求司机选择合适的位置停车休息，脱离疲劳状态时才允许继续进行除雪工作，在强制要求司机停车休息时，系统应该考虑停车位置的安全性和司机的舒适度，以确保司机能够得到适当的休息和恢复；如果司机的疲劳程度已经非常严重，则系统分配其他司机前来接替除雪工作，在分配其他司机时，系统应该考虑司机的经验和能力，以确保工作的安全和高效完成，同时，系统也需要考虑司机的安排和调度，以避免因为分配其他司机而导致工作延误。
[0017]所述干预结束模块，用于当疲劳驾驶检测模块检测到司机已经脱离疲劳状态时停止声音干预子模块、体感干预子模块、辅助干预子模块和外界干预子模块的干预操作。
[0018]所述学习优化模块，利用累积的驾驶数据经验来分析不同司机的疲劳特性，从而进行个性化适应以及不断优化；当司机首次使用本系统时，系统可以要求司机进行人脸识别以录入身份信息，包括姓名、性别和驾驶执照号码；随着司机的使用，系统根据司机的历史驾驶数据经验信息来优化司机的个性化适应性，根据不同司机的生理特征和行为模式进行个性化干预，确定每个司机的疲劳程度阈值，提供早期疲劳驾驶迹象的预测，从而能够在司机疲劳驾驶之前及时干预，提高道路安全性；同时，系统可以更准确地检测司机的疲劳状态，并给出更合适的提醒或警告，以确保驾驶安全。
[0019]所述云端储存模块，包括司机信息库和环境信息库；所述司机信息库，用于存储司机的数据经验和其他相关数据；所述场景信息库，用于存储不同典型场景下的神经网络的结构和参数。
[0020]疲劳驾驶判断模型的构建过程包括以下步骤：
[0021]S1：将经过预处理的数据输入到一级处理数学模型中，即卷积神经网络、循环神经网络和环境声音分类网络中分别提取特征；使用卷积神经网络分析司机的面部表情、瞳孔大小特征；使用循环神经网络分析司机的心率、血压、呼吸频率、血氧饱和度、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度、眼球停留时间、连续驾驶时间、车速、方向盘转速、加速度和制动情况；使用环境声音分类网络用于识别车内环境声音，包括司机说话声音和车内播放的音乐。
[0022]在以上神经网络中，通过多层网络结构和训练数据的优化，获得更准确的特征提取和分类效果。
[0023]所述多层网络结构优化包括增加网络层数、添加正则化和使用批量归一化；
[0024]所述训练数据优化包括：
[0025](1)数据增强：通过旋转、翻转、缩放等方式增加训练数据的多样性和数量；
[0026](2)去噪：如果训练数据中存在噪声，采用去噪算法进行处理；
[0027](3)数据平衡：如果训练数据中存在类别不平衡问题，采用欠采样或过采样的方法进行处理；
[0028](4)交叉验证：将训练数据划分为多个子集，通过交叉验证的方式选择最佳的模型和参数组合。
[0029]S2：在利用记忆增强神经网络对多个输入进行加权融合用作二级处理处理数学模型时，具体步骤如下所示：
[0030]S2.1：对于一级处理数学模型提取的特征，使用多个记忆增强神经网络进行处理和加权融合，设有N个特征向量，第i个特征向量为
[0031]S2.2：每个记忆增强神经网络由一组注意力权重和一组输出权重组成，定义注意力权重向量和输出权重矩阵其中j＝1,2,...,J表示第j个记忆增强神经网络。
[0032]S2.3：对于第j个记忆增强神经网络，首先根据输入特征向量f
i
和注意力权重向量a
(j)
计算加权的特征向量
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业车辆司机疲劳驾驶干预系统，其特征在于，包括数据采集模块、疲劳驾驶检测模块、疲劳驾驶干预模块、学习优化模块和云端储存模块；所述数据采集模块，使用双目摄像头采集司机的面部表情、瞳孔大小、头部姿态、眨眼次数、眼球位置、眼球运动轨迹、眼球运动速度和眼球停留时间；使用生理传感器监测作业车辆司机的生理数据，包括心率、血压、呼吸频率、血氧饱和度；使用安装在挡风玻璃上方的麦克风采集车内环境声音；通过车载传感器采集作业车辆的车速、方向盘转速、加速度和制动情况；使用生物识别传感器识别司机的生物特征，包括指纹和视网膜信息，以确保只有合法的司机才能启动作业车辆；使用温度传感器、湿度传感器和氧气浓度传感器监测驾驶室内的温度、湿度和氧气浓度；通过GPS定位系统跟踪作业车辆的位置；使用安装在作业车辆前部和侧面的超声波传感器来探测行人、动物、车辆和其他物体的位置和距离，并向司机发出声音和视觉警告，避免司机在能见度极低的天气疲劳驾驶时发生事故；疲劳驾驶检测模块，分析收集的生理数据，将多维度数据进行整合和处理，构建疲劳驾驶判断模型，采用卷积神经网络、循环神经网络和环境声音分类网络进行特征提取和模型训练作为一级处理数学模型，采用记忆增强神经网络对多个输入进行加权融合作为二级处理数学模型；在实施过程中，根据作业车辆位置信息选择对应场景下的神经网络的结构和参数；所述疲劳驾驶干预模块，包括声音干预子模块、体感干预子模块、辅助干预子模块、外界干预子模块和干预结束模块；所述声音干预子模块，用于语音预警以及根据疲劳程度选择相应的音乐节奏；所述体感干预子模块，用于根据疲劳程度改变驾驶室内的温度、湿度、空调风量和照明；同时，当车内氧气浓度低于标准值时，自动通风或提醒司机打开车窗，以提高车内空气质量，减少疲劳驾驶的发生；所述辅助干预子模块，可以提供以下功能：(1)功能性饮料提醒：提供具有提神效果的功能性饮料，包括咖啡、茶水和具有提神效果的饮料；(2)补充能量提醒：根据司机的生理状态和疲劳程度，推荐合适的食物，包括能量棒、巧克力和葡萄糖口服液；(3)适当活动提醒：根据司机的驾驶时间和疲劳程度，提醒司机适时进行一些简单的运动和放松活动，包括伸展运动和眼保健操；所述外界干预子模块，用于采取外界人员介入的方式来解决司机在高度疲劳时坚持驾驶的问题，根据疲劳程度选择以下措施：强制要求司机选择合适的位置停车休息，脱离疲劳状态时才允许继续进行除雪工作，在强制要求司机停车休息时，系统应该考虑停车位置的安全性和司机的舒适度，以确保司机能够得到适当的休息和恢复；如果司机的疲劳程度已经非常严重，则系统分配其他司机前来接替除雪工作，在分配其他司机时，系统应该考虑司机的经验和能力，以确保工作的安全和高效完成，同时，系统也需要考虑司机的安排和调度，以避免因为分配其他司机而导致工作延误；所述干预结束模块，用于当疲劳驾驶检测模块检测到司机已经脱离疲劳状态时停止声音干预子模块、体感干预子模块、辅助干预子模块和外界干预子模块的干预操作；所述学习优化模块，利用累积的驾驶数据经验来分析不同司机的疲劳特性，从而进行
个性化适应以及不断优化；当司机首次使用本系统时，系统可以要求司机进行人脸识别以录入身份信息，包括姓名、性别和驾驶执照号码；随着司机的使用，系统根据司机的历史驾驶数据经验信息来优化司机的个性化适应性，根据不同司机的生理特征和行为模式进行个性化干预，确定每个司机的疲劳程度阈值，提供早期疲劳驾驶迹象的预测，从而能够在司机疲劳驾驶之前及时干预，提高道路安全性；同时，系统可以更准确地检测司机的疲劳状态，并给出更合适的提醒或警告，以确保驾驶安全；所述云端储存模块，包括司机信息库和环境信息库；所述司机信息库，用于存储司机的数据经验和其他相关数据；所述场景信息库，用于存储不同典型场景下的神经网络的结构和参数。2.如权利要求1所述的作业车辆司机疲劳驾驶干预系统，其特征在于，所述疲劳驾驶判断模型的构建过程包括以下步骤：S1：将经过预处理的数据输入到一级处理数学模型中，即卷积神经网络、循环神经网络和环境声音分类网络中分别提取特征；使用卷积神经网络分析司机的面部表情、瞳孔大小特征；使用循环神经网络分析司机的心率、血压、呼吸频率、血氧饱和度、头部姿态、眨...

【专利技术属性】
技术研发人员：郑宏宇，潘之瑶，靳立强，李建华，肖峰，
申请(专利权)人：吉林大学，
类型：发明
国别省市：