一种基于计算机视觉技术的驾驶员打电话检测方法及系统技术方案

本发明专利技术公开了一种基于计算机视觉技术的驾驶员打电话检测方法及系统，通过从摄像头获取外部图像信息，实时进行人脸检测；当检测到人脸时，通过比较所有检测到的人脸区域大小，来选取最大人脸作为后续分析的人脸；对所得到的最大人脸区域进行区块划分，并且调用运行打电话检测模块以检测打电话姿势；所述打电话检测模块包括多个打电话检测子模块，若有任一所述打电话检测子模块检测到打电话行为，则保存对应打电话位置，并停止运行其他打电话检测模块。本发明专利技术中打电话检测算法速度更快，对硬件要求更低，算法可扩展性更强，误报率更低，同时准确率，鲁棒性等也不会下降，整个设备体积更小，硬件成本低廉可控，易于作为消费电子产品进行广泛推广。

A method and system of driver's telephone detection based on computer vision technology

【技术实现步骤摘要】
一种基于计算机视觉技术的驾驶员打电话检测方法及系统
本专利技术涉及车辆安全系统的危险驾驶检测
，具体涉及一种基于计算机视觉技术的驾驶员打电话检测方法及系统。
技术介绍
目前，私家轿车越来越多，而且交通越来越发达，人们驾车出行的频率相比以前大大增加。虽然驾车次数增加，但是人们的安全防范意识却没有相应的增强。在这种情况下如何保障驾车安全是一个很重要的问题。在所有驾驶事故中，开车玩手机是其中最大的一个事故诱发原因之一，但是目前针对开车玩手机却没有很好的预防措施。尽管市场上面有一些疲劳驾驶的设备能检测开车玩手机，但是这些设备都是基于神经处理器(NPU)或者图像处理器(GPU)硬件，然后在此硬件上面运行基于深度学习的打电话检测算法来实现的。尽管基于深度学习的算法性能普遍较高，但由于深度学习算法对硬件性能要求很高，因此这种设备普遍价格较高，主要用于专业的车队管理，对于民用市场的普通汽车驾驶员，由于硬件笨重复杂，价格昂贵，因此设备可适用性不强。
技术实现思路
本专利技术克服了现有技术的不足，提供一种基于计算机视觉技术的驾驶员打电话检测方法及系统，能够利用计算机视觉技术来快速检测驾驶员在开车过程中是否打电话。本专利技术的目的在于提供一种基于计算机视觉技术的驾驶员打电话检测方法及系统，以至少解决现有技术中检测算法较慢、对硬件要求较高、设备适用性不强等问题。为了实现上述目的，本专利技术提供如下技术方案：一种基于计算机视觉技术的驾驶员打电话检测方法，包括以下步骤：通过摄像头获取外部图像信息，实时进行人脸检测；当检测到人脸时，通过比较所有检测到的人脸区域大小，选取最大人脸区域对应的图像作为后续分析的人脸图像；对所得到的最大人脸区域对应的人脸图像进行区块划分，并且调用运行打电话检测模块以检测打电话姿势；所述打电话检测模块包括多个打电话检测子模块，若有任一所述打电话检测子模块检测到打电话行为，则保存对应打电话位置，并停止运行其他打电话检测子模块；其中，多个所述打电话检测子模块中检测打电话行为的算法通过如下的建模训练步骤而建立：特征提取阶段：用局部二进制特征LBP抽取通用数据库和红外图像数据库中图像的打电话区域和非打电话区域的图像特征；正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到打电话区域图像和非打电话区域图像，并且根据不同的打电话姿势，分别对应地将区域图像缩放到不同大小；原始训练阶段：对通用数据库中的图像采用传统的FloatBoosting算法进行强分类器的构建，分类器所用的特征是LBP，得到通用FloatBoosting模型；转移学习阶段：对红外图像数据库中的图像采用所述通用FloatBoosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；检测阶段：利用转移学习阶段得到的红外强化FloatBoosting模型，在红外图像上面用基于级联模型结构对打电话区域进行检测，并且对得到的多个潜在的打电话区域进行平均，取多个打电话区域的平均位置作为所述打电话位置。根据上述驾驶员打电话检测方法，检测人脸的算法步骤包括：特征提取阶段：用局部二进制模式LBP和局部梯度模式LGP抽取通用数据库和红外图像数据库中图像的人脸和非人脸的图像特征；正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到人脸图像和非人脸图像，将所述人脸图像和非人脸图像均缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；原始训练阶段：对通用数据库中的图像采用传统的VectorBoosting算法进行级联分类器的构建，分类器所用的特征是LBP特征和LGP特征的结合，得到通用VectorBoosting模型；转移学习阶段：对红外图像数据库中的图像采用通用VectorBoosting模型进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；检测阶段：利用转移学习阶段得到的红外强化VectorBoosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。根据上述驾驶员打电话检测方法，在所述检测打电话行为的算法步骤中，在原始训练阶段所用的FloatBoosting目标方程为：hm＝argminLoss(HM-1(x)+h(x))其中x是输入特征向量，h(x)是弱分类器，HM代表由M个弱分类器组合而来的强分类器，hm代表第m个弱分类器；yi代表第i个实例的标签，Loss代表针对某个分类器的损失函数，exp代表指数函数；在转移学习阶段所用的优化方程是：其中，KL代表通用模型和红外强化模型之间的KL距离，λ是一个权重，用以平衡两种损失。根据上述驾驶员打电话检测方法，还包括：结果分析判定步骤，分析的帧数已经到达一定帧数，则统计当前帧的分析的结果，来判断打电话姿势持续时间。根据上述驾驶员打电话检测方法，所述一定帧数为30帧，所述统计的方法包括:根据统计的打电话频率来进行线性统计的方法、非线性统计拟合方法、加权平均方法。根据上述驾驶员打电话检测方法，在所述检测人脸的算法步骤中，采用基于局部二进制模式LBP特征的具体计算方法为：其中，(xc,yc)是像素中心点位置，(ip-ic)是中心点ic与邻居点ip之间的像素值差，p是每个像素点周围的像素点个数；采用基于局部梯度模式LGP特征的具体计算方法为：其中，(xc,yc)是像素中心点位置，中心点ic与邻居点in之间的卷积值差为gn＝|in-ic|，卷积值差的平均值为p是每个像素点周围的像素点个数。根据上述驾驶员打电话检测方法，在所述检测人脸的算法步骤中包括：在原始训练阶段，使用原始的VectorBoosting训练模型，每次从高维的LGP和LBP特征值中选择一部分特征值，并且给每个弱分类器以一定的权重，结合当前的分类器的结果，重新对每个图像进行权值分配，分类错误的给以更大的权值，分类正确的给以较小的权值，选取弱分类器的公式为：其中，ft(x)是选取得到的弱分类器，exp是指数函数，f(xi)是弱分类器，vi是当前的分类标记，是样本i在第t次迭代的权重；在转移学习阶段，输入是通用VectorBoosting模型，输出是红外加强VectorBoosting模型，并且使用KL距离来衡量通用模型和红外加强模型的差别，具体的优化公式如下：其中，λ设置不同的值，最后确定一个测试错误率到达最低的λ；是通用VectorBoosting模型，p和q是两个概率分布，pi和qi分别是两个概率分布中第i个实例的概率；在检测阶段，最后的强分类器FT(x)是T个选取得到的弱分本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，包括以下步骤：/n通过摄像头获取外部图像信息，实时进行人脸检测；/n当检测到人脸时，通过比较所有检测到的人脸区域大小，选取最大人脸区域对应的图像作为后续分析的人脸图像；/n对所得到的最大人脸区域对应的人脸图像进行区块划分，并且调用运行打电话检测模块以检测打电话姿势；/n所述打电话检测模块包括多个打电话检测子模块，若有任一所述打电话检测子模块检测到打电话行为，则保存对应打电话位置，并停止运行其他打电话检测子模块；/n其中，多个所述打电话检测子模块中检测打电话行为的算法通过如下的建模训练步骤而建立：/n特征提取阶段：用局部二进制特征LBP抽取通用数据库和红外图像数据库中图像的打电话区域和非打电话区域的图像特征；/n正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到打电话区域图像和非打电话区域图像，并且根据不同的打电话姿势，分别对应地将区域图像缩放到不同大小；/n原始训练阶段：对通用数据库中的图像采用传统的Float Boosting算法进行强分类器的构建，分类器所用的特征是LBP，得到通用Float Boosting模型；/n转移学习阶段：对红外图像数据库中的图像采用所述通用Float Boosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；/n检测阶段：利用转移学习阶段得到的红外强化Float Boosting模型，在红外图像上面用基于级联模型结构对打电话区域进行检测，并且对得到的多个潜在的打电话区域进行平均，取多个打电话区域的平均位置作为所述打电话位置。/n...

【技术特征摘要】
1.一种基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，包括以下步骤：
通过摄像头获取外部图像信息，实时进行人脸检测；
当检测到人脸时，通过比较所有检测到的人脸区域大小，选取最大人脸区域对应的图像作为后续分析的人脸图像；
对所得到的最大人脸区域对应的人脸图像进行区块划分，并且调用运行打电话检测模块以检测打电话姿势；
所述打电话检测模块包括多个打电话检测子模块，若有任一所述打电话检测子模块检测到打电话行为，则保存对应打电话位置，并停止运行其他打电话检测子模块；
其中，多个所述打电话检测子模块中检测打电话行为的算法通过如下的建模训练步骤而建立：
特征提取阶段：用局部二进制特征LBP抽取通用数据库和红外图像数据库中图像的打电话区域和非打电话区域的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到打电话区域图像和非打电话区域图像，并且根据不同的打电话姿势，分别对应地将区域图像缩放到不同大小；
原始训练阶段：对通用数据库中的图像采用传统的FloatBoosting算法进行强分类器的构建，分类器所用的特征是LBP，得到通用FloatBoosting模型；
转移学习阶段：对红外图像数据库中的图像采用所述通用FloatBoosting模型进行强分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化FloatBoosting模型，在红外图像上面用基于级联模型结构对打电话区域进行检测，并且对得到的多个潜在的打电话区域进行平均，取多个打电话区域的平均位置作为所述打电话位置。


2.根据权利要求1所述的基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，检测人脸的算法步骤包括：
特征提取阶段：用局部二进制模式LBP和局部梯度模式LGP抽取通用数据库和红外图像数据库中图像的人脸和非人脸的图像特征；
正负样本构建阶段：将通用数据库和红外图像数据库中的图像进行分类得到人脸图像和非人脸图像，将所述人脸图像和非人脸图像均缩放到40×40像素，并且根据人脸的不同姿态将每个人脸划分为不同的子集；
原始训练阶段：对通用数据库中的图像采用传统的VectorBoosting算法进行级联分类器的构建，分类器所用的特征是LBP特征和LGP特征的结合，得到通用VectorBoosting模型；
转移学习阶段：对红外图像数据库中的图像采用通用VectorBoosting模型进行级联分类器的构建，并且同时兼顾通用数据库上面所得到的模型，优化特定的训练目标方程，使得所得到的模型既具有通用模型的特点又具有红外图像数据的特点；
检测阶段：利用转移学习阶段得到的红外强化VectorBoosting模型，在红外图像上面用基于矢量树模型结构对人脸区域进行检测。


3.根据权利要求1所述的基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，在所述检测打电话行为的算法步骤中，在原始训练阶段所用的FloatBoosting目标方程为：



hm＝argminLoss(HM-1(x)+h(x))
其中x是输入特征向量，h(x)是弱分类器，HM代表由M个弱分类器组合而来的强分类器，hm代表第m个弱分类器；yi代表第i个实例的标签，Loss代表针对某个分类器的损失函数，exp代表指数函数；
在转移学习阶段所用的优化方程是：



其中，KL代表通用模型和红外强化模型之间的KL距离，λ是一个权重，用以平衡两种损失。


4.根据权利要求1所述的基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，还包括：
结果分析判定步骤，分析的帧数已经到达一定帧数，则统计当前帧的分析的结果，来判断打电话姿势持续时间。


5.根据权利要求4所述的基于计算机视觉技术的驾驶员打电话检测方法，其特征在于，
所述一定帧数为30帧，所述统...

【专利技术属性】
技术研发人员：邹尧，王海，王天峥，
申请(专利权)人：德瑞姆创新科技深圳有限公司，
类型：发明
国别省市：广东;44