一种基于姿态估计的驾驶员驾驶状态监测系统及方法技术方案

本发明专利技术公开了一种基于姿态估计的驾驶员驾驶状态监测系统及方法，系统包含本地车载端和远程服务器端，通过摄像头拍摄的视频实时截取图像帧，利用人体姿态估计算法实时监测驾驶员的头部和身体姿态，将驾驶员的驾驶状态信息和车辆的实时车速信息融合，利用驾驶危险等级判别算法实现危险驾驶预警。系统具有离线和在线模式，在线模式中，服务器端能实时进行安全驾驶监测并存储数据；而离线模式下则仅由本地处理器进行监测。本发明专利技术公开的驾驶员安全驾驶监测方法，实现了非侵入式实时监测，同时离线和在线模式相结合可得到更高可靠性和准确性。

【技术实现步骤摘要】
一种基于姿态估计的驾驶员驾驶状态监测系统及方法
本专利技术涉及用于驾驶辅助系统以及自动驾驶领域的计算机视觉图像处理技术，尤其涉及一种基于姿态估计的驾驶员驾驶状态监测系统及方法。
技术介绍
根据世界卫生组织(WorldHealthOrganization)的调查，交通事故是人类第八大死亡原因，每年全球有130万人死于交通事故，有205,000万人在交通事故中受伤/致残。近几年，驾驶员分心驾驶造成的交通事故数量逐步增加，疾病预防控制中心，给出广泛的分心驾驶定义，将分心驾驶依据视觉、手动、认知分为三种类型。驾驶员在在驾驶过程中，使用手机或者发短信而造成的视线远离驾驶路线的分心属于视觉分心；手动分心主要涉及驾驶员在驾驶过程中双手离开方向盘的各种活动，如吃东西、喝水、操作导航仪等；驾驶员处于安全驾驶姿势，也有可能会在精神上分散驾驶注意力，这种由于注意力不集中或困倦而引起的分神属于认知分心。据报告，分心驾驶是交通事故的主要原因，车载监控系统(in-vehiclemonitoringsystems)可以通过警告分心的驾驶员并自适应地调整安全机制，在预防和缓解交通事故中发挥关键作用。即使是正在开发的自动驾驶汽车，也需要对驾驶员进行连续监视、以确保驾驶员可以在紧急情况下接回驾驶任务。目前，对驾驶行为的识别方法主要分为接触式驾驶行为识别方法和基于计算机视觉的方法。接触式驾驶行为识别方法主要是基于对心电图(ECG)、脑电图(EOG)、脑电波(EEG)和光学标记传感器等生理和生物医学信号的分析去识别驾驶员当前状态。这类驾驶姿态识别方法是一种侵入式的检测方法，会降低用户体验并增加硬件成本，在实际应用中存在一定的局限性；第二种方法是基于计算机视觉的驾驶员姿态识别方法，该方法设备成本较低，数据采集对于驾驶员来说更加的自然和舒适，因此越来越多的研究机构和学者对基于计算机视觉的驾驶姿态识别进行了深入研究。目前大多数的监测系统只是利用驾驶人头部姿态、视线方向或脸部表情来判断疲劳和注意力集中程度，对驾驶人肢体的宏观运动如头部位置、躯干角度、手的运动等缺乏丰富的研究。在汽车工业中，人体姿态估计算法因其无需任何传感器仪器即可捕获人员运动姿态的能力得到了越来越多的关注。人体姿势估计方法的分类法可大致分为自上而下和自下而上的方法。自上而下的方法自上而下的方法首先检测人的边界框，然后将每个边界框分解为主体关键点和骨骼。尽管通用姿态估计任务已取得重大突破，但文献中专门针对车载用途的姿态估计模型很少。2019年10月，Chun等人首次在驾驶环境中，模拟驾驶姿态构建了驾驶姿态估计的数据集，提出NADS-Net网络用于估计前排驾驶员的姿态以及是否系安全带。
技术实现思路
本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种基于姿态估计的驾驶员驾驶状态监测系统及方法。本专利技术为解决上述技术问题采用以下技术方案：一种基于姿态估计的驾驶员驾驶状态监测系统，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元；所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的判断结果。作为本专利技术一种基于姿态估计的驾驶员驾驶状态监测系统进一步的优化方案，所述本地处理器采用基于ARM内核的STM32单片机。作为本专利技术一种基于姿态估计的驾驶员驾驶状态监测系统进一步的优化方案，所述无线通讯模块采用4G通信技术实现数据传输。本专利技术还公开了一种该基于姿态估计的驾驶员驾驶状态监测系统的监测方法，其特征在于，包括以下步骤：步骤1)，车辆启动后，高清摄像头拍摄驾驶员的正面驾驶图像并将其传递给所述本地处理器，车速传感器、档位传感器分别获得车辆的实时车速、挡位状态并将其传递给所述本地处理器；步骤2)，本地处理器测试无线通讯模块是否能够无线连接所述服务器，如果无线通讯模块能够无线连接服务器，将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断；如果无线通讯模块不能无线连接服务器，本地处理器直接对驾驶员的驾驶状态进行判断；其中，对驾驶员的驾驶状态进行判断的具体步骤如下：步骤2.1)，根据车辆的实时车速、挡位状态在预设的车速、挡位、非双手驾驶危险时间对照表中查找出实时车速、挡位状态对应的非双手驾驶危险时间Tt，并在预设的车速、挡位、头部偏转危险时间对照表中查找出实时车速、挡位状态对应的头部偏转危险时间Td；步骤2.2)，根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度A并判断驾驶员是否存在非双手驾驶的动作；步骤2.3)，判断驾驶员的头部偏转角度A是否小于等于预设的角度阈值B，并判断驾驶员是否存在非双手驾驶动作；<本文档来自技高网...

【技术保护点】
1.一种基于姿态估计的驾驶员驾驶状态监测系统，其特征在于，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；/n所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；/n所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；/n所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；/n所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；/n所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；/n所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元；/n所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：/n所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；/n所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；/n所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；/n所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；/n所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的判断结果。/n...

【技术特征摘要】
1.一种基于姿态估计的驾驶员驾驶状态监测系统，其特征在于，包括安装在车内用于采集驾驶姿态的高清摄像头、车速传感器、档位传感器、本地处理器、扬声器、服务器和无线通讯模块；
所述本地处理器分别和所述高清摄像头、车速传感器、档位传感器、无线通讯模块和扬声器电气相连；所述无线通讯模块和所述服务器端无线连接；
所述高清摄像头设置在车内，用于拍摄驾驶员的正面驾驶图像，并将其传递给所述本地处理器；
所述车速传感器、档位传感器分别用于获得车辆的实时车速、挡位状态，并将其传递给所述本地处理器；
所述本地处理器包含服务器连接测试单元、上传单元、本地危险等级评定模块和执行单元；所述服务器包含数据库和远程危险等级评定模块；
所述服务器连接测试单元用于测试无线通讯模块是否能够无线连接所述服务器，并将结果传递给所述上传单元；
所述上传单元用于在无线通讯模块能够无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至服务器，通过服务器来对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元，在无线通讯模块不能无线连接服务器时将驾驶员的驾驶图像、实时车速、挡位状态传递至本地危险等级评定模块，通过本地危险等级评定模块对驾驶员的驾驶状态进行判断并将结果传递给所述执行单元；
所述本地危险等级评定模块、远程危险等级评定模块均包含人体姿态检测单元、驾驶状态监测单元、第一定时器、第二定时器、计数器、判断单元，其中：
所述人体姿态估计单元用于根据接收到的驾驶图像计算驾驶员在驾驶过程中头部的偏转角度并判断驾驶员是否存在非双手驾驶的动作，并将其传递至驾驶状态监测单元；
所述驾驶状态监测单元用于在驾驶员的头部偏转角度小于等于预设的角度阈值时发送“头部偏转角度正常”的消息给所述判断单元，在驾驶员的头部偏转角度大于等于预设的角度阈值时控制第一定时器对其持续时间T2进行计时并将T2传递给所述判断单元；在驾驶员不存在非双手驾驶动作时发送“双手驾驶”的消息给所述判断单元，在驾驶员存在非双手驾驶动作时对其持续时间T1进行计时并将T1传递给所述判断单元；
所述判断单元用于根据接收到的驾驶状态监测单元的信息判断驾驶员的驾驶状态属于安全驾驶、危险驾驶、不规范驾驶中的哪一种，在不规范驾驶时控制计数器清零后开始计数，并将判断结果和计数器的计数次数n传递给所述执行单元；
所述执行单元用于在计数次数n大于等于预设的次数阈值N或驾驶状态属于危险驾驶时，控制所述扬声器对驾驶员进行警告；
所述数据库用于存储服务器接收到的数据以及远程危险等级评定模块的...

【专利技术属性】
技术研发人员：袁婷婷，陈仁文，徐旺，黄文斌，刘宋祥，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32