基于视觉的安全带实时监测方法、终端设备及存储介质技术

本发明专利技术涉及一种基于视觉的安全带实时监测方法、终端设备及存储介质，其中，该方法包括以下步骤：获取驾驶员的实时监控红外图像；定位人脸和进行人脸姿态估计，得到人脸位置和人脸姿态信息；根据人脸位置和人脸姿态信息截取安全带检测区域；将安全带检测区域输入训练好的分类器中分析安全带的佩带情况。本发明专利技术的方法实现在驾驶员复杂行车场景下均能可靠地截取有效的安全带检测区域；并通过优化卷积神经网络模型，在保证准确率的情况下，进一步提高安全带检测的效率，满足了对驾驶员佩戴安全带情况的实时监测要求。

【技术实现步骤摘要】
基于视觉的安全带实时监测方法、终端设备及存储介质
本专利技术涉及安全带监测领域，具体地涉及一种基于视觉的安全带实时监测方法、终端设备及存储介质。
技术介绍
随着汽车的不断普及，机动车交通逐年上升。驾驶员是否系安全带对于事故的伤亡情况起到了决定性的影响，但是由于部分驾驶员安全意识松懈，不正当使用安全带引起的安全隐患时有发生。为了有效分析驾驶员系安全带的情况，及时发出报警提醒驾驶员。一种方法是通过传统的图像处理方法提取安全带边缘，并结合安全带边缘直线的倾斜角、长度和两边缘直线的平行关系等条件判断驾驶员是否系安全带，但由于复杂的环境背景、光照和驾驶员衣着佩戴等极易影响安全带边缘的提取，进而影响是否系安全带的分析。另一种方法是结合卷积神经网络模型进行分析，通过对安全带进行目标定位(目标可为安全带本身或安全带上涂覆的特定标记)、分割或对人脸以下的驾驶员身体区域进行分类判断是否系安全带。其中安全带目标定位或分割方法计算耗时，且涂覆标记检测方式普遍适用性差；而对人脸以下驾驶员身体区域进行判断，其检测区域过大无法突显安全带的特征，且未能充分利用肩膀以上的安全带信息。
技术实现思路
本专利技术旨在提供一种基于视觉的安全带实时监测方法、终端设备及存储介质，以解决上述问题。为此，本专利技术采用的具体技术方案如下：根据本专利技术的一方面，提供了一种基于视觉的安全带实时监测方法，包括以下步骤：获取驾驶员的实时监控红外图像；定位人脸和进行人脸姿态估计，得到人脸位置和人脸姿态信息；根据人脸位置和人脸姿态信息截取安全带检测区域；将安全带检测区域输入训练好的分类器中分析安全带的佩带情况。进一步地，实时监控红外图像通过安装在驾驶室的疲劳监控红外摄像头获得。进一步地，人脸位置和人脸姿态信息包括人脸高度H、宽度W、人脸左上角点P1、右下角点P2的坐标以及人脸姿态估计角度α、β和γ，其中，α、β和γ分别是俯仰角、偏航角和翻滚角。进一步地，根据人脸位置和人脸姿态信息截取安全带检测区域的具体过程是：按公式(1)计算安全带检测区域左上角点Ptl坐标，其中，(Ptl_x,Ptl_y)为点Ptl的坐标，(P1_x,P1_y)和(P2_x,P2_y)分别为人脸左上角点P1和右下角点P2的坐标；以人脸高度H作为安全带检测区域尺寸的基准，则安全带检测区域的尺寸L＝coef*H；根据人脸姿态估计角度α、β和γ，按公式(2)和(3)将Ptl坐标修正回人脸与摄像头正对的标准状态，其中(Pc_x,Pc_y)为人脸矩形框中心坐标，(Ptl_x_roll,Ptl_y_roll)为修正γ后点Ptl的坐标，其中，(Ptl_x_r,Ptl_y_r)为修正α、β和γ后点Ptl的坐标。进一步地，coef取值为1.2。进一步地，分类器采用优化的卷积神经网络模型实现，其中，卷积神经网络模型采用窄而深的全卷积网络结构，包括9个卷积层和1个输出层，9个卷积层的中间7个为可分离卷积层，其余为普通卷积层，卷积层中采用3×3和1×1的卷积核进行特征提取和加权操作。进一步地，卷积神经网络模型的优化包括以下步骤：首先对训练好的网络模型中卷积核权重参数值均小于阈值的神经元结构进行剪枝，然后对剪枝后的模型进行迭代训练微调模型参数，最后对模型中的卷积层和BatchNorm层按公式(4)进行合并操作；输出结果为分类判断安全带佩戴情况的置值度值ρ，当ρ>阈值，则判定为未系安全带，否则为系安全带，式中，yconv为卷积层运算结果，wconv和bconv分别为卷积层的权重和偏置；ybn为BatchNorm运算结果，λ和μ分别为BatchNorm层的缩放因子和偏移量，ε为一个防止分母为0的较小值，E[x]和Var[x]分别为BatchNorm层的滑动均值和滑动方差；和为合并后的权重和偏置值。进一步地，阈值为0.65。根据本专利技术的另一方面，还提供了一种终端设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。根据本专利技术的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。本专利技术采用上述技术方案，具有的有益效果是：本专利技术的方法实现在驾驶员复杂行车场景下均能可靠地截取有效的安全带检测区域；并通过优化卷积神经网络模型，在保证准确率的情况下，进一步提高安全带检测的效率，满足了对驾驶员佩戴安全带情况的实时监测要求。附图说明为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。图1是本专利技术的基于视觉的安全带实时监测方法的流程图；图2是原始安全带检测区域的示意图；图3是修正后的安全带检测区域的示意图。具体实施方式现结合附图和具体实施方式对本专利技术进一步说明。参照图1，描述一种基于视觉的安全带实时监测方法，为减少额外的设备成本，该方法在驾驶员疲劳检测设备的基础上实现。该方法包括以下步骤：S1.获取驾驶员的实时监控红外图像，具体地通过安装在驾驶室的疲劳监控红外摄像头采集红外图像。S2.定位人脸和进行人脸姿态估计，得到人脸位置和人脸姿态信息，其中，人脸位置和人脸姿态信息包括人脸高度H、宽度W、人脸左上角点P1、右下角点P2的坐标以及人脸姿态估计角度α、β和γ，其中，α、β和γ分别是俯仰角、偏航角和翻滚角。S3.根据人脸位置和人脸姿态信息截取安全带检测区域。具体地，在人脸位置的基础上，首先按公式(1)计算安全带检测区域左上角点Ptl坐标，然后以人脸高度H作为安全带检测区域尺寸的基准，则安全带检测区域的尺寸L＝coef*H(本实施例中，coef取值1.2)，如图2所示。其中(Ptl_x,Ptl_y)为点Ptl的坐标，(P1_x,P1_y)和(P2_x,P2_y)分别为人脸左上角点P1和右下角点P2的坐标。为降低摄像头安全角度、驾驶员安全带佩带方式和驾驶员头部动作等对检测区域截取的影响，根据人脸姿态估计角度α、β和γ，按公式(2)和(3)将Ptl坐标修正回人脸与摄像头正对的标准状态，如图3所示，以实现安全带在不同场景下均能在检测区域得到显著表现，提高算法的普遍适用性。其中(Pc_x,Pc_y)为人脸矩形框中心坐标，(Ptl_x_roll,Ptl_y_roll)为修正γ后点Ptl的坐标。其中H和W分别为人脸宽度和高度，(Ptl_x_r,Ptl_y_r)为修正α、β和γ后点Ptl的坐标。...

【技术保护点】
1.一种基于视觉的安全带实时监测方法，其特征在于，包括以下步骤：/n获取驾驶员的实时监控红外图像；/n定位人脸和进行人脸姿态估计，得到人脸位置和人脸姿态信息；/n根据人脸位置和人脸姿态信息截取安全带检测区域；/n将安全带检测区域输入训练好的分类器中分析安全带的佩带情况。/n

【技术特征摘要】
1.一种基于视觉的安全带实时监测方法，其特征在于，包括以下步骤：
获取驾驶员的实时监控红外图像；
定位人脸和进行人脸姿态估计，得到人脸位置和人脸姿态信息；
根据人脸位置和人脸姿态信息截取安全带检测区域；
将安全带检测区域输入训练好的分类器中分析安全带的佩带情况。


2.如权利要求1所示的方法，其特征在于，实时监控红外图像通过安装在驾驶室的疲劳监控红外摄像头获得。


3.如权利要求1所示的方法，其特征在于，人脸位置和人脸姿态信息包括人脸高度H、宽度W、人脸左上角点P1、右下角点P2的坐标以及人脸姿态估计角度α、β和γ，其中，α、β和γ分别是俯仰角、偏航角和翻滚角。


4.如权利要求3所示的方法，其特征在于，根据人脸位置和人脸姿态信息截取安全带检测区域的具体过程是：
按公式(1)计算安全带检测区域左上角点Ptl坐标，



其中，(Ptl_x,Ptl_y)为点Ptl的坐标，(P1_x,P1_y)和(P2_x,P2_y)分别为人脸左上角点P1和右下角点P2的坐标；
以人脸高度H作为安全带检测区域尺寸的基准，则安全带检测区域的尺寸L＝coef*H；
根据人脸姿态估计角度α、β和γ，按公式(2)和(3)将Ptl坐标修正回人脸与摄像头正对的标准状态，



其中(Pc_x,Pc_y)为人脸矩形框中心坐标，(Ptl_x_roll,Ptl_y_roll)为修正γ后点Ptl的坐标，



其中，(Ptl_x_r,Ptl_y_r)为修正α、β和γ后点Ptl的坐标。


5.如权利要求3所示的方法，其特征在...

【专利技术属性】
技术研发人员：江永付，陈从华，谢超，陈海沯，
申请(专利权)人：明见厦门软件开发有限公司，
类型：发明
国别省市：福建;35