驾驶员监控系统多模态控制方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种驾驶员监控系统多模态控制方法、系统、设备及存储介质，属于驾驶员监控系统技术领域。本发明专利技术方法包括：先获取驾驶员的人脸信息图像，对获取到的驾驶员的人脸信息图像进行预处理，以得到预处理后的驾驶员的人脸信息图像，再利用预处理后的驾驶员的人脸信息图像中的人脸特征信息，判断驾驶员的疲劳等级、驾驶员的情绪等级以及驾驶员的占位情况中的两种，以得到判断结果，最后将判断结果通过驾驶员监控系统发送给应用，应用执行相应的动作。本发明专利技术有效地解决了现有技术中功能较单一，仅支持疲劳提醒和分心提醒，用户体验较差的问题。

【技术实现步骤摘要】

本专利技术属于驾驶员监控系统，具体涉及一种驾驶员监控系统多模态控制方法、系统、设备及存储介质。

技术介绍

1、dms(driver monitor system，驾驶员监控系统)利用驾驶员监控摄像头收集车内驾驶员的图像，以此保证可以在夜间或者驾驶员佩戴眼镜和墨镜的情形下识别驾驶员身份，精确地跟踪驾驶员的眼睛动作和头部运动，进而分析出驾驶员注意力的集中区域以及疲劳程度。驾驶员监控系统可以根据驾驶员疲劳的等级和分心程度设置不同的报警模式，以此提示驾驶员安全驾驶，并将监测结果数据通过can总线的形式发送给娱乐主机、空调和前排车窗。

2、目前现有的驾驶员监控系统功能较单一，仅支持疲劳提醒和分心提醒，用户体验较差。

3、综上目前现有的驾驶员监控系统存在功能较单一，仅支持疲劳提醒和分心提醒，用户体验较差的问题。

技术实现思路

1、本专利技术的目的在于提供一种驾驶员监控系统多模态控制方法、系统、设备及存储介质，用于解决现有技术中功能较单一，仅支持疲劳提醒和分心提醒，用户体验较差的问题。

本文档来自技高网...

【技术保护点】

1.一种驾驶员监控系统多模态控制方法，其特征在于，该多模态控制方法包括如下步骤：

2.根据权利要求1所述的驾驶员监控系统多模态控制方法，其特征在于，所述预处理指的是对获取到的驾驶员的人脸信息图像进行图像裁剪，以得到能够判断驾驶员的疲劳等级、驾驶员的情绪等级以及驾驶员的占位情况中的两种的图像格式。

3.根据权利要求1所述的驾驶员监控系统多模态控制方法，其特征在于，步骤2)中利用驾驶员的左右眼和嘴巴的闭合程度判断驾驶员的疲劳等级，利用设定的第一时间范围内检测到同一个人出现笑脸表情、悲伤表情和生气表情的次数判断驾驶员的情绪等级，利用驾驶员的位置是否有人判断驾驶员的占位情...

【技术特征摘要】

1.一种驾驶员监控系统多模态控制方法，其特征在于，该多模态控制方法包括如下步骤：

2.根据权利要求1所述的驾驶员监控系统多模态控制方法，其特征在于，所述预处理指的是对获取到的驾驶员的人脸信息图像进行图像裁剪，以得到能够判断驾驶员的疲劳等级、驾驶员的情绪等级以及驾驶员的占位情况中的两种的图像格式。

3.根据权利要求1所述的驾驶员监控系统多模态控制方法，其特征在于，步骤2)中利用驾驶员的左右眼和嘴巴的闭合程度判断驾驶员的疲劳等级，利用设定的第一时间范围内检测到同一个人出现笑脸表情、悲伤表情和生气表情的次数判断驾驶员的情绪等级，利用驾驶员的位置是否有人判断驾驶员的占位情况。

4.根据权利要求3所述的驾驶员监控系统多模态控制方法，其特征在于，所述驾驶员的疲劳等级包括轻度疲劳、中度疲劳和重度疲劳，所述驾驶员的情绪等级包括快乐、悲伤和生气，所述驾驶员的占位情况包括驾驶员占位和驾驶员不占位。

5.根据权利要求4所述的驾驶员监控系统多模态控制方法，其特征在于，步骤3)中，当判断结果中驾驶员的疲劳等级为轻度疲劳时，采用风量低的空调等级进行制冷；当判断结果中驾驶员的疲劳等级为中度疲劳时，采用风量中等的空调等级进行制冷，前排车窗打开一半；当判断结果中驾驶员的疲劳等级为重度疲劳时，采用风量最大的空调等级进行制冷，前排车窗全部打开；所述空调等级包括7个档位，1档至3档为...

【专利技术属性】
技术研发人员：顾浩，李雨，程进波，
申请(专利权)人：奇瑞汽车股份有限公司，
类型：发明
国别省市：