基于多算法融合的出租车驾驶员吸烟行为的自动检测方法技术

本发明专利技术公开了基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集。考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。加载训练好的分类器进行检测的结果；接着基于二次检测后的前挡风玻璃区域划定右延伸区域。利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检。在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测。

【技术实现步骤摘要】
基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
本专利技术涉及机器学习，计算机视觉
，尤其是涉及出租车驾驶员吸烟行为的自动检测技术。
技术介绍
出租车具有灵活、舒适、定制化服务的特点，因此其逐渐成为人们最常选择的出行方式之一。目前的非现场执法模式为人工通过电子监控平台实时回传的视频数据进行逐一排查，这种半自动的执法模式可以解决一部分执法人力资源紧张的问题。同时，出租车行业属于服务性质行业，驾驶员的个人行为直接决定顾客的体验，因此，吸烟这种有害身心健康和污浊环境的行为已经被交通执法部门纳入了执法范围。因此，实现高效的出租车驾驶员的吸烟行为的自动检测技术已经势在必行。出租车驾驶员的吸烟行为的自动检测关键在于出租车驾驶员所在区域和吸烟行为识别两部分，目前，国内外对于前者的研究还处于起步阶段，对于后者的研究相对较多，而对于二者结合的研究还并未开展。因此，本技术针对出租车驾驶员吸烟行为的有效行为展开研究。根据前期在出租车驾驶员发生违法违章行为的重灾区进行调研发现，该区域车流量极大，极易发生如图1所示的车辆之间相互遮挡的复杂情况，因此为不遗漏任一违法违章行为，提出一种基于出租车前挡风玻璃和车顶灯区域(定义为前挡风玻璃区域)的特征提取、Haar-Adaboost算法和滑动颜色直方图匹配、烟雾的平均质心的运动趋势和抖动限定的出租车驾驶员吸烟行为的检测方法，经实际环境测试，该方法能在复杂环境下保证82％以上的检测准确率。
技术实现思路
本专利技术要解决的技术问题是针对目前缺少对出租车驾驶员吸烟行为有效检测的问题，并且考虑到实际环境中的复杂情况，提出一种基于Haar-Adaboost和滑动颜色直方图匹配的驾驶员区域的精准定位，以及基于该区域的延伸区域的烟雾平均质心运动的出租车驾驶员吸烟行为的检测方法，在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测，整体流程如图2所示。本专利技术采用的技术方案为基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，该方法的实现过程如下：Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本，其中正样本2719张，负样本7238张，部分样本如图3所示。Step2：考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。Step3：加载训练好的分类器进行检测的结果，如图4所示；已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域。在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的。Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出。然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。本专利技术方法具有以下技术效果：1、实现一种用前挡风玻璃区域的检测方法代替传统车辆的检测方法，提高出租车在复杂交通车流中的检出率。2、实现一种滑动颜色直方图匹配的方法去匹配车顶灯区域，达到降低检测前挡风玻璃区域的误检率的目的。3、基于实际交通场景的背景复杂性，提出用前挡风玻璃的延伸区域用作检测的关键区域，提高了检测吸烟行为所需的烟雾和手势信息的获取率。4、提出一种吸烟烟雾平均质心运动和烟雾面积和运动限定步长的方法，提高吸烟烟雾的检测准确率。附图说明图1是实际环境中复杂车流的情况。图2是出租车驾驶员吸烟行为检测的整体流程图。图3是部分训练样本集。图4是前挡风玻璃区域的初步检测结果。图5是部分Haar特征模板。图6是包含车顶灯的感兴趣区域划定。图7是滑动颜色直方图匹配的过程和结果。图8是前挡风玻璃区域的二次检测结果。图9吸烟烟雾提取区域划定。具体实施方式本方法首先利用图5所示的Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联。具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形窗口进行扫描，利用级联分类器对扫描的每个矩形窗口进行判断。如果图像中某矩形窗口通过了所有级联的分类器，说明该区域为前挡风玻璃区域；否则，说明该区域不是前挡风玻璃区域。在获取前挡风玻璃区域后，设定其左上角坐标为P0(x0，y0)、宽度为W、高度为H。因此，需要分割包含车顶灯的感兴趣区域为分别以P0和P1(x1，y1)为左上、右下顶点的矩形区域，其中x1＝x0+W，y1＝y0+H/7，如图6所示。然后利用提取的感兴趣区域进行滑动颜色直方图匹配，如图7(左)所示，将获取的感兴趣区域分成等高三等份，分别将每份与标准模板进行颜色直方图匹配，匹配相似度的计算采用的参数为巴氏距离，匹配的结果如图7(右)所示，因此，总结判定存在车顶灯的标准如公式(1)所示。DBi为第i等份与标准模板之间的巴氏距离，i＝1,2,3。P(x)＝1为判定为包含车顶灯，P(x)＝0为判定为不包含车顶灯。通过滑动颜色直方图匹配的二次检测后，前挡风玻璃区域的筛选结果如图8所示。然后利用筛选后的前挡风玻璃区域设置检测烟雾的延伸区域，具体设置为分别以P1和P2(x2，y2)为左上、右下的矩形区域，其中x2＝x1+0.5W，y2＝y1+6H/7，如图9所示。接着对该延伸区域进行基于Vibe的运动目标检测，将提取到的运动目标前景转换到HSV颜色空间，利用烟雾在HSV颜色空间存在S通道像素值归一化后小于0.25的特性进行疑似烟雾区域的筛选，然后对疑似烟雾前景进行矩形外包，因为烟雾在扩散过程中可能会分块扩散，因此，本方法采用计算每个分块的平均质心作为该帧的烟雾质心参与到烟雾质心的运动距离计算中。同时在检测过程难免会有干扰区域，其造成个结果为在计算烟雾质心运动距离时会插入几个高峰值，因此，本方法限定了每帧烟雾运动的距离不能超过10个像素点。为验证本方法的可行性，用本方法读取实际交通监控视频，其中，测试视频为20个，视频中存在吸烟行为的出租车驾驶员20名，不存在吸烟行为的出租车驾驶员224名，检测结果如下表所示。表1：算法测试结果其中TP为正确检测存在吸烟行为的司机个数，FP为错误检测存在吸烟行为的司机个数，TN为正确检测不存在吸烟行为的司机个数，FN为错误检测不存在吸烟行为的司机个数，TDR、FDR为方法的检测准确率和误检率，其定义分别为公式(2)和公式(3)。TDR＝TP/(TP+FN)(2)FDR＝(FP+FN)/(TP+FP+TN+FN)(3)通过实验结果可得，本方法能够识别大部分存在吸烟行为的出租车司机，具备很强的实用性，能够缓解交通执法压力。本文档来自技高网...

【技术保护点】
1.基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：该方法的实现过程如下，Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本；Step2：利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测；Step3：加载训练好的分类器进行检测的结果，已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域；在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的；Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出；然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域；Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。...

【技术特征摘要】
1.基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：该方法的实现过程如下，Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本；Step2：利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测；Step3：加载训练好的分类器进行检测的结果，已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域；在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的；Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出；然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域；Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。2.根据权利要求1所述的基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：本方法首先利用Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联；具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形...

【专利技术属性】
技术研发人员：贾克斌，黄训平，刘鹏宇，张日东，陈思玮，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11