基于多信息融合的驾驶人低头操作手机行为检测方法技术

本发明专利技术属于驾驶辅助安全技术领域，公开了一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头动作来综合判断驾驶人在开车过程中是否存在低头操作手机行为，能够对驾驶人行车过程中低头操作手机行为进行准确的检测，具有检测准确度高、鲁棒性强的优点，且能有效减少因驾驶人行车中低头操作手机而造成的交通事故，从而提高了汽车行驶安全性。

【技术实现步骤摘要】
基于多信息融合的驾驶人低头操作手机行为检测方法
本专利技术属于驾驶辅助安全
，尤其涉及一种基于多信息融合的驾驶人低头操作手机行为检测方法。
技术介绍
近年来，随着“互联网+”时代的到来，手机在人们日常生活中扮演的角色越来越重要，而驾驶人在驾驶过程中使用手机(接打电话、发短信、玩微信、刷微博等)也越来越频繁，成为了一种新型危险驾驶行为，该行为可导致驾驶人负荷增加、注意力分散和车辆操作水平下降等后果，已经迅速成为当今交通事故发生的主要原因之一。各国只是针对驾驶人接打电话行为制定了相应的法律制度；但并没有法律制度明确禁止驾驶人驾驶过程中发短信、玩微信、刷微博等低头操作手机行为，而随着QQ、微信、微博等社交软件的流行以及驾驶人安全意识淡薄，驾驶人开车过程中低头操作手机行为也是极其普遍，低头操作手机行为由于视线偏离前方道路，其危险性甚至高于接打电话行为。因此，对驾驶人行车中低头操作手机行为进行有效地检测预警已经迫在眉睫，对提高汽车主动安全和道路交通安全具有重要的现实意义。目前，国内外对驾驶人行车中使用手机的行为和危害研究较多，对驾驶人接打电话行为检测方法也有一些研究，但目前尚未发现对驾驶人行车中低头操作手机行为检测方法的研究。
技术实现思路
针对上述问题，本专利技术的目的在于提供一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头行为来综合判断驾驶人在行车中是否存在低头操作手机行为，有效减少驾驶人行车中低头操作手机的行为，以防止驾驶人因低头操作手机行为而造成的交通安全事故，提高汽车驾驶安全性。为达到上述目的，本专利技术采用如下技术方案予以实现。一种基于多信息融合的驾驶人低头操作手机行为检测方法，所述方法包括如下步骤：步骤1，获取方向盘周围预设区域内的驾驶人手部图像，以及获取头部预设区域内的驾驶人人脸图像；并对所述驾驶人手部图像和所述驾驶人人脸图像分别进行双边滤波和直方图均衡化处理，得到预处理后的手部图像和预处理后的人脸图像；步骤2，根据所述预处理后的人脸图像，获取驾驶人脸部区域，从而确定由驾驶人的左右眼睛和嘴巴的中心点组成的人脸三角形；步骤3，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，并根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果；步骤4，根据所述手机线条轮廓检测结果判断所述预处理后的手部图像中是否存在手机；根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为；并设定驾驶人正常驾驶时对应的正常人脸三角形，将所述步骤2中得到的人脸三角形与所述正常人脸三角形进行比较，判断驾驶人头部是否存在低头行为；步骤5，当所述预处理后的手部头像中存在手机，且驾驶人存在操作手机行为，且驾驶人头部存在低头行为，则确定驾驶人处于低头操作手机状态；否则确定驾驶人处于正常驾驶状态。本专利技术技术方案的特点和进一步的改进为：(1)所述步骤3中，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，具体包括：(3a)将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型；(3b)根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，得到驾驶人手部肤色区域的二值化图像；(3c)获取所述驾驶人手部肤色区域的二值化图像的HOG特征。(2)所述步骤3中，根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果，具体包括：获取训练好的手机轮廓模板，采用所述训练好的手机轮廓模板和粗精结合的匹配算法，在所述预处理后的手部图像中检测手机线条轮廓。(3)所述步骤4中，根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为，具体包括：(4a)预先获取训练样本，所述训练样本包括由驾驶人正常驾驶时的手部图像组成的正样本和由驾驶人操作手机时的手部图像组成的负样本，并分别提取所述训练样本的HOG特征，利用所述训练样本的HOG特征对SVM分类器进行训练，得到训练好的SVM分类器；(4b)将所述手部图像的HOG特征输入所述训练好的SVM分类器，得到所述手部图像的分类结果，所述手部图像的分类结果为驾驶人正常驾驶时的手部图像或者驾驶人操作手机时的手部图像。(4)所述子步骤(3a)具体为：将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，其转换公式为：根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型为：其中，x和y分别为像素点转换成Cg和Cr的两个坐标值，a0和b0分别为椭圆方程的长短轴，ecx和ecy分别为椭圆中心的横纵坐标点，θ为椭圆的倾斜弧度，cb0和cr0为椭圆在CgCr平面上的圆心，Cg和Cr分别为绿色色度分量和红色色度分量。(5)所述子步骤(3b)具体为：根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，对于所述预处理后的手部图像中的每个像素点(x，y)，如果满足方程时，即认为该像素点为肤色，从而得到驾驶人手部肤色区域的二值化图像。本专利技术提供的一种基于多信息融合的驾驶人低头操作手机行为检测方法，通过检测驾驶人手部图像里的手机、操作手机行为和头部低头动作来综合判断驾驶人在开车过程中是否存在低头操作手机行为，能够对驾驶人行车过程中低头操作手机行为进行准确的检测，具有检测准确度高、鲁棒性强的优点，且能有效减少因驾驶人行车中低头操作手机而造成的交通事故，从而提高了汽车行驶安全性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种基于多信息融合的驾驶人低头操作手机行为检测方法的流程示意图；图2为本专利技术实施例提供的驾驶人正常驾驶和低头时人脸特征三角形变化原理示意图；图3为本专利技术实施例提供的驾驶人低头操作手机行为判断流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术一种基于多信息融合的驾驶人低头操作手机行为检测方法流程图如图1所示。包括步骤为S1-S5，具体步骤为：S1，利用固定安装在驾驶人头顶正上方的摄像头实时采集方向盘附近区域手部图像；同时，通过安装在驾驶室仪表盘上的摄像头实时采集驾驶人脸部图像；具体内容为：对采集的驾驶人手部图像和脸部图像进行预处理：对驾驶人手部图像和脸部图像进行双边滤波和直方图均衡化处理，以去除图像中的噪声，使图像质量更高、更清晰，提高图像有效信息的可识别性。S2，对采集的驾驶人手部图像和脸部图像进行检测，获取脸部区域，再根据人脸五官结构特征确定眼睛和嘴部ROI区域(regionofinterest，感兴趣区域)；进一步地，所述步骤S2，具体包括如下步骤：S21，对采集的驾驶人手部图像进行检测的具体步骤为：S211，将驾驶人手部图像的本文档来自技高网...

【技术保护点】
1.一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述方法包括如下步骤：步骤1，获取方向盘周围预设区域内的驾驶人手部图像，以及获取头部预设区域内的驾驶人人脸图像；并对所述驾驶人手部图像和所述驾驶人人脸图像分别进行双边滤波和直方图均衡化处理，得到预处理后的手部图像和预处理后的人脸图像；步骤2，根据所述预处理后的人脸图像，获取驾驶人脸部区域，从而确定由驾驶人的左右眼睛和嘴巴的中心点组成的人脸三角形；步骤3，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，并根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果；步骤4，根据所述手机线条轮廓检测结果判断所述预处理后的手部图像中是否存在手机；根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为；并设定驾驶人正常驾驶时对应的正常人脸三角形，将所述步骤2中得到的人脸三角形与所述正常人脸三角形进行比较，判断驾驶人头部是否存在低头行为；步骤5，当所述预处理后的手部头像中存在手机，且驾驶人存在操作手机行为，且驾驶人头部存在低头行为，则确定驾驶人处于低头操作手机状态；否则确定驾驶人处于正常驾驶状态。

【技术特征摘要】
1.一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述方法包括如下步骤：步骤1，获取方向盘周围预设区域内的驾驶人手部图像，以及获取头部预设区域内的驾驶人人脸图像；并对所述驾驶人手部图像和所述驾驶人人脸图像分别进行双边滤波和直方图均衡化处理，得到预处理后的手部图像和预处理后的人脸图像；步骤2，根据所述预处理后的人脸图像，获取驾驶人脸部区域，从而确定由驾驶人的左右眼睛和嘴巴的中心点组成的人脸三角形；步骤3，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，并根据所述预处理后的手部图像检测手机线条轮廓，得到手机线条轮廓检测结果；步骤4，根据所述手机线条轮廓检测结果判断所述预处理后的手部图像中是否存在手机；根据所述手部图像的HOG特征判断驾驶人是否存在操作手机行为；并设定驾驶人正常驾驶时对应的正常人脸三角形，将所述步骤2中得到的人脸三角形与所述正常人脸三角形进行比较，判断驾驶人头部是否存在低头行为；步骤5，当所述预处理后的手部头像中存在手机，且驾驶人存在操作手机行为，且驾驶人头部存在低头行为，则确定驾驶人处于低头操作手机状态；否则确定驾驶人处于正常驾驶状态。2.根据权利要求1所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述步骤3中，根据所述预处理后的手部图像，获取所述手部图像的HOG特征，具体包括：(3a)将所述预处理后的手部图像的RGB颜色空间转换为YCgCr颜色空间，根据肤色在YCgCr颜色空间和CgCr子空间的聚类特性，得到椭圆肤色模型；(3b)根据所述椭圆肤色模型对预处理后的手部图像中的肤色进行检测，得到驾驶人手部肤色区域的二值化图像；(3c)获取所述驾驶人手部肤色区域的二值化图像的HOG特征。3.根据权利要求1所述的一种基于多信息融合的驾驶人低头操作手机行为检测方法，其特征在于，所述步骤3中，根据所述预处...

【专利技术属性】
技术研发人员：付锐，陈运星，袁伟，
申请(专利权)人：长安大学，
类型：发明
国别省市：陕西,61