一种基于多维信息特征融合的驾驶员违规通话检测方法技术

本发明专利技术公开了一种基于多维信息特征融合的驾驶员违规通话检测方法，包括如下步骤：摄像头采集图像数据；对采集的图像数据的图像像素点进行特征分类；对特征分类后的图像数据，提取手部位置特征、判断时间阈值特征、提取唇部动作特征以及提取手机线条轮廓特征；根据各个特征，分别建立手部位置特征的违规通话准则、唇部动作特征的违规通话准则以及手机条轮廓特征的违规通话准则；判定驾驶员是否违规通话：若驾驶员存在步骤S4中3项违规通话准则中至少的2项时，则判定驾驶员正在进行违规通话。本发明专利技术方法具有检测速度快、准确度高、可靠性强和稳定性好等优点。

A method of driver violation call detection based on multidimensional information feature fusion

The invention discloses a fusion detection method call illegal drivers based on multidimensional information characteristics, which comprises the following steps: camera image data; image pixels of image data acquisition for feature classification; feature classification of the image data after the extraction of hand position characteristics, determine the time threshold characteristics, extracting features and lip movements the extraction of contour lines according to the characteristics of mobile phone; each feature, illegal call call illegal action feature violation criterion criterion criterion, established call lip hand position feature and contour feature of the mobile phone; judging whether the driver if the driver has illegal call: 3 violations call criterion in step S4 in at least 2, is judged drivers are illegal call. The method of the invention has the advantages of fast detection speed, high accuracy, strong reliability and good stability.

【技术实现步骤摘要】
一种基于多维信息特征融合的驾驶员违规通话检测方法
本专利涉及计算机视觉、模式识别和图像处理
，尤其涉及一种基于多维信息特征融合的驾驶员违规通话检测方法。
技术介绍
目前驾驶员违规通话检测技术主要有两种方式，第一种即为传统的检测方式——交通警察现场执法，该方式存在浪费警力资源、效率低下、难以取证的问题；第二种是基于手机信号的检测方法，即检测车辆行驶过程中是否存在手机通话信号，当乘客使用手机通话时，该方法易对驾驶员的通话行为进行误判。针对上述存在问题，本专利提出应用视频技术，基于手部肤色特征、时间阈值、唇部动作特征以及手机轮廓特征等多源信息特征融合，对车辆行驶过程中驾驶员违规使用手机通话进行检测。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种基于多维信息特征融合的驾驶员违规通话检测方法，能够更好地对驾驶员违规通话进行检测，其具有准确度高、可靠性强以及稳定性好的优点。为解决上述技术问题，本专利技术提供如下技术方案：一种基于多维信息特征融合的驾驶员违规通话检测方法，包括如下步骤：S1、摄像头采集图像数据；S2、对采集的图像数据的图像像素点进行特征分类；S3、对特征分类后的图像数据，提取手部位置特征、判断时间阈值特征、提取唇部动作特征以及提取手机线条轮廓特征；S4、根据步骤S3中的各个特征，分别建立手部位置特征的违规通话准则、唇部动作特征的违规通话准则以及手机条轮廓特征的违规通话准则；S5、判定驾驶员是否违规通话：若驾驶员存在步骤S4中3项违规通话准则中至少的2项时，则判定驾驶员正在进行违规通话。进一步地，所述步骤S1，其具体为：摄像头采集交通场景中的图像数据，并将采集的图像数据进行预处理：将彩色图像转换为灰度图像，将灰度图像进行缩小，并进行直方图均衡化处理；所述摄像头为车外高清摄像头或车载监控。进一步地，所述步骤S2的特征分类，其具体为：对图像像素点首先进行Haar特征分类；然后对进行Haar特征分类后的图像像素点再进行LBP特征分类；最后对图像像素点构建Haar特征和LBP特征级联的人脸感兴趣AOI区域。进一步地，所述步骤S3的提取手部位置特征，具体为：运用手部肤色模型方法进行手部位置检测，在手部位置检测过程中，还包括一项脸部肤色映射技术：脸部面积大，肤色特征明显，将脸部肤色特征进行提取，再将肤色特征映射到感兴趣区域内进行手部肤色的检测。进一步地，所述步骤S4的手部位置特征的违规通话准则指：对驾驶员打电话的生理特点进行统计，判断手部位置在感兴趣的区域内是否停留超过一定的时间，若超过，则定义为违规通话准则。进一步地，所述步骤S3的提取唇部动作特征，其具体为：1)首先检测唇部所在区域，根据人脸的拓扑结构分布，得到唇部位于人脸的下半部分，选择高为人脸下1/2、宽为人脸中间3/4的矩形区域作为粗略估计的唇部所在区域；2)在得到唇部所在区域后，根据唇部皮肤颜色和脸部皮肤颜色，使用Fisher判别法进行区分，得到唇部；3)在得到唇部后，进行唇部的动作检测：求出唇部的外接矩形包络，得到外接矩形的高和宽，当唇部的外接矩形宽高比大于阈值1.8时，唇部状态判定为闭合；当宽高比小于阈值1.8时，判定为张开。进一步地，所述步骤S4，唇部动作特征的违规通话准则指：若唇部张开，则定义为违规通话准则。进一步地，所述步骤S3中提取手机线条轮廓特征，其具体为：在图像数据中划分感兴趣区域，使用模板匹配方法查找手机线条轮廓特征；以及采取粗精结合的算法迅速锁定匹配点位置区域。进一步地，所述步骤S4中手机条轮廓特征的违规通话准则指的是：若在感兴趣区域内存在手机线条轮廓，则定义为违规通话准则。采用上述技术方案后，本专利技术至少具有如下有益效果：本专利技术方法的人脸检测准确度高、鲁棒性好、稳定性好；打手机行为判别漏检率低，误检率低；算法简单直白，稳定性强。附图说明图1为本专利技术一种基于多维信息特征融合的驾驶员违规通话检测方法的软件主界面；图2为本专利技术一种基于多维信息特征融合的驾驶员违规通话检测方法的大致步骤流程图；图3为本专利技术实施例中Haar特征分类器的特征类别示意图；图4为本专利技术实施例中Haar特征分类器的特征计算方法积分图；图5为本专利技术实施例中LBP特征的算子示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。如图1所示，为本专利技术方法的软件主界面：界面左半部分为视频输入框，图中人物上出现的绿色圆框表示检测到人脸；绿色方框中的“王”子形黄色线条为脸部肤色映射；人脸两侧的方框为感兴趣区域；方框内手部出现的红色斑点为检测到手部存在；界面右半部分为输出框，右上框为参数设置，右下框卡通脸表示检测结果，笑脸为正常，哭脸为检测到打电话行为；饼状图显示违规行为帧数占总的比例。本专利技术一种基于多维信息特征融合的驾驶员违规通话检测方法，大致步骤如图2所示，具体步骤为：(1)输入违规通话待测图片，对每个像素点选用Haar特征分类器进行分类，对分类结果再使用LBP特征再分类；如图3所示，Haar特征分类器由以下14个基本子特征组成；边缘特征有4种：x方向，y方向，x倾斜方向，y倾斜方向；线特征有8种，中心特征有2种；每一种特征的计算都是由黑色填充区域的像素值之和与白色填充区域的像素值之和的差值；而计算出来的这个差值就是Haar‐like特征的特征值；特征计算方法——积分图：依次计算，多次使用。对基本特征进行积分如此得到白色像素点区域A和黑色像素点区域B：如图4所示，Haar特征的值(灰度值)为白色矩形减去黑色矩形的值，将此灰度值与待测像素点的灰度值进行比较，从而提取出人脸像素点；(2)LBP特征：如图5所示，在3×3邻域内的，以邻域中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若大于中心像素值，则该像素值标记为1，否则为0；然后，在3×3邻域内将标记后的像素值，沿顺时针逐一取出，构成8位二进制数，即得到该邻域中心像素点的LBP特征值，并用该值来描述该区域的纹理信息；定义公式：将人脸图像分为7×7的子区域，并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征；假设人脸直方图为Mi，待匹配人脸直方图为Si，通过直方图交叉核方来获取人脸像素点区域，构成初略的人脸AOI待测像素点经过两个分类器：Haar特征分类器和LBP特征分类器的整个过程，便是分类器级联的过程；(3)在初略人脸AOI内，以人脸两侧的一定区域(宽为人脸框0.7倍，高为人脸框1.6倍)，设置精细人脸AOI；(4)在精细的AOI内构建人脸肤色模型，用以检测手部的存在；将采集人脸图像由RGB色彩空间转换为YCrCb色彩空间：在YCrCb色彩空间，人脸肤色特征值集中分布在近似于椭圆的区域内，由此建立人脸肤色区域与其他区域分割模型；(5)根据驾驶人打电话的生理特点统计得出，认为手部位置在感兴趣区域停留超过5s以上的，视为在驾驶员使用手机违规通话；(6)考虑到不同肤色人种特征的差异性，应用人脸肤色模型，修正驾驶员手部检测结果；即鉴于驾驶员脸部的肤色特征明显，具有代表性，在实现人脸定位后，提取脸部的肤色特征，并将它映射到精细AOI内，以此修正手部肤色特征；(7)唇部动作检测，主要包括唇部位置定位和唇本文档来自技高网...

【技术保护点】
一种基于多维信息特征融合的驾驶员违规通话检测方法，其特征在于，包括如下步骤：S1、摄像头采集图像数据；S2、对采集的图像数据的图像像素点进行特征分类；S3、对特征分类后的图像数据，提取手部位置特征、判断时间阈值特征、提取唇部动作特征以及提取手机线条轮廓特征；S4、根据步骤S3中的各个特征，分别建立手部位置特征的违规通话准则、唇部动作特征的违规通话准则以及手机条轮廓特征的违规通话准则；S5、判定驾驶员是否违规通话：若驾驶员存在步骤S4中3项违规通话准则中至少的2项时，则判定驾驶员正在进行违规通话。

【技术特征摘要】
1.一种基于多维信息特征融合的驾驶员违规通话检测方法，其特征在于，包括如下步骤：S1、摄像头采集图像数据；S2、对采集的图像数据的图像像素点进行特征分类；S3、对特征分类后的图像数据，提取手部位置特征、判断时间阈值特征、提取唇部动作特征以及提取手机线条轮廓特征；S4、根据步骤S3中的各个特征，分别建立手部位置特征的违规通话准则、唇部动作特征的违规通话准则以及手机条轮廓特征的违规通话准则；S5、判定驾驶员是否违规通话：若驾驶员存在步骤S4中3项违规通话准则中至少的2项时，则判定驾驶员正在进行违规通话。2.根据权利要求1所述的一种基于多维信息特征融合的驾驶员违规通话检测方法，其特征在于，所述步骤S1，其具体为：摄像头采集交通场景中的图像数据，并将采集的图像数据进行预处理：将彩色图像转换为灰度图像，将灰度图像进行缩小，并进行直方图均衡化处理；所述摄像头为车外高清摄像头或车载监控。3.根据权利要求1所述的一种基于多维信息特征融合的驾驶员违规通话检测方法，其特征在于，所述步骤S2的特征分类，其具体为：对图像像素点首先进行Haar特征分类；然后对进行Haar特征分类后的图像像素点再进行LBP特征分类；最后对图像像素点构建Haar特征和LBP特征级联的人脸感兴趣AOI区域。4.根据权利要求1所述的一种基于多维信息特征融合的驾驶员违规通话检测方法，其特征在于，所述步骤S3的提取手部位置特征，具体为：运用手部肤色模型方法进行手部位置检测，在手部位置检测过程中，还包括一项脸部肤色映射技术：脸部面积大，肤色特征明显，将脸部肤色特征进行提取，再将肤色特征映射到感兴趣区域内进行手部肤色的检测。5.根据权...

【专利技术属性】
技术研发人员：游峰，黄玲，李耀华，杨世平，吴昊，黄子敬，林杭，张俊琦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44