驾驶员脚部行为违规检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种驾驶员脚部行为违规检测方法、装置、设备及存储介质，其可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。并且有助于及时避免事故的发生。并且有助于及时避免事故的发生。

【技术实现步骤摘要】
驾驶员脚部行为违规检测方法、装置、设备及存储介质


[0001]本专利技术属于行车安全检测
，尤其涉及一种驾驶员脚部行为违规检测方法、装置、设备及存储介质。

技术介绍

[0002]通常对驾驶员的违规行为的检测主要集中在驾驶员是否疲劳驾驶以及危险驾驶，比如是否在驾驶过程中抽烟、打电话等，但是还有一个非常重要的部分常常被忽略，那就是驾驶员的脚部行为，当脚从刹车踏板移到油门踏板后，脚后跟还在刹车踏板上，或者脚从油门踏板移到刹车踏板后，脚后跟还在油门踏板上，这些行为非常危险，很容易造成事故。目前还没有针对性的违规检测技术。

技术实现思路

[0003]基于此，针对上述技术问题，提供一种驾驶员脚部行为违规检测方法、装置、设备及存储介质。
[0004]本专利技术采用的技术方案如下：
[0005]作为本专利技术的第一方面，提供一种驾驶员脚部行为违规检测方法，包括：
[0006]实时获取驾驶员的脚部视频；
[0007]在每一个脚部视频帧中，识别右脚目标，确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比；
[0008]判断在预设数量的连续多个脚部视频帧中，所述第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。
[0009]作为本专利技术的第二方面，提供一种驾驶员脚部行为违规检测装置，包括：
[0010]视频获取模块，用于实时获取驾驶员的脚部视频；
[0011]重合占比确定模块，用于在每一个脚部视频帧中，识别右脚目标，确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比；
[0012]违规判断模块，用于判断在预设数量的连续多个脚部视频帧中，所述第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。
[0013]作为本专利技术的第三方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述第一方面的一种驾驶员脚部行为违规检测方法。
[0014]作为本专利技术的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述第一方面的一种驾驶员脚部行为违规检测方法。
[0015]本专利技术可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。
附图说明
[0016]下面结合附图和具体实施方式对本专利技术进行详细说明：
[0017]图1为本专利技术实施例提供的一种驾驶员脚部行为违规检测方法的流程图；
[0018]图2为本专利技术的右脚目标框的示意图；
[0019]图3为本专利技术的右脚目标图的示意图；
[0020]图4为本专利技术的右脚轮廓的示意图；
[0021]图5为本专利技术的去噪后的右脚轮廓的示意图；
[0022]图6为本专利技术实施例提供的一种驾驶员脚部行为违规检测装置的示意图；
[0023]图7为本专利技术实施例提供的一种电子设备的示意图。
具体实施方式
[0024]以下将结合说明书附图对本专利技术的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本专利技术的唯一实施方式。以下相应的实施例只是为了清楚的说明本专利技术专利的
技术实现思路
，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本专利技术的技术构思和
技术实现思路
并且显而易见的变化或变动也在本专利技术的保护范围之内。
[0025]如图1所示，本专利技术实施例提供一种驾驶员脚部行为违规检测方法，其具体流程如下：
[0026]S101、从摄像头实时获取驾驶员的脚部视频。
[0027]摄像头设置在油门踏板和刹车踏板的斜上方。
[0028]S102、在每一个脚部视频帧中，识别右脚目标，确定右脚目标与油门踏板的第一重合占比以及右脚目标与刹车踏板的第二重合占比。
[0029]其中，在识别右脚目标时，将当前脚部视频帧输入深度学习目标检测模型，如yolov5模型，得到右脚目标框，参见图2。上述模型预先通过大量的右脚样本图片进行训练优化。
[0030]上述第一重合占比和第二重合占比的确定过程如下：
[0031]1、由于直接从图2所示图像中提取轮廓的干扰性较高，故以右脚目标框为边界，在当前脚部视频帧中截取右脚目标图，参见图3。
[0032]2、通过Sobel算子对右脚目标图进行边缘检测，确定右脚轮廓，参见图4，为了排除干扰信息，可以对右脚轮廓进一步进行去噪处理，去噪后的右脚轮廓参见图5。
[0033]3、由于油门踏板和刹车踏板在摄像机画面中的位置是固定，故可以预先确定并保存油门踏板轮廓和刹车踏板轮廓，在实际检测时，根据右脚轮廓以及预先确定的油门踏板轮廓和刹车踏板轮廓，计算右脚轮廓面积、右脚轮廓和油门踏板轮廓的重合区域的第一面积以及右脚轮廓和刹车踏板轮廓的重合区域的第二面积，具体计算过程为：
[0034]a、根据右脚轮廓、油门踏板轮廓以及刹车踏板轮廓，分别生成右脚轮廓二值图、油门踏板轮廓二值图以及刹车踏板轮廓二值图，在二值图中，位于轮廓内的像素点的像素值为1，其余像素点的像素值为0。
[0035]b、计算右脚轮廓二值图中像素值为1的所有像素点所构成区域的面积，得到右脚轮廓面积。
[0036]c、对右脚轮廓二值图和油门踏板轮廓二值图进行相与计算，得到第一重合图，计算第一重合图中像素值为1的所有像素点所构成区域的面积，得到第一面积，对右脚轮廓二值图和刹车踏板轮廓二值图进行相与计算，得到第二重合图，计算第二重合图中像素值为1的所有像素点所构成区域的面积，得到第二面积。
[0037]4、将第一面积除以右脚轮廓面积，得到第一重合占比，将第二面积除以右脚轮廓面积，得到第二重合占比。
[0038]S103、判断在预设数量的连续多个脚部视频帧中(如连续5帧)，第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。
[0039]由于脚部行为是一个连续动作，在完成时会有段时间的停顿，所以当在连续多个脚部视频帧中都出现第一重合占比以及第二重合占比均大于阈值的情况时，认为当前脚部行为违规，此时可以进行相应的告警处理，以提醒驾驶员及时纠正违规行为，从而及时避免事故的发生。
[0040]在本实施例中，上述阈值可以设置为50％。
[0041]由上可知，本实施例方法可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。
[0042]以下将详细描述本专利技术的一个或多个实施例的驾驶员脚部行为违规检测装置。本领域技术人员可以理解，这些检测装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。图6示出了本专利技术实施例提供的一种驾驶员脚部行为违规检测装置，如图6所示，该检测装置包括视频获取模块11、重合占比确定模块12以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员脚部行为违规检测方法，其特征在于，包括：实时获取驾驶员的脚部视频；在每一个脚部视频帧中，识别右脚目标，确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比；判断在预设数量的连续多个脚部视频帧中，所述第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。2.根据权利要求1所述的一种驾驶员脚部行为违规检测方法，其特征在于，所述识别右脚目标，进一步包括：将当前脚部视频帧输入深度学习目标检测模型，得到右脚目标框。3.根据权利要求2所述的一种驾驶员脚部行为违规检测方法，其特征在于，所述深度学习目标检测模型采用yolov5模型。4.根据权利要求3所述的一种驾驶员脚部行为违规检测方法，其特征在于，所述确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比，进一步包括：以所述右脚目标框为边界，在所述当前脚部视频帧中截取右脚目标图；对所述右脚目标图进行边缘检测，确定右脚轮廓；根据所述右脚轮廓以及预先确定的油门踏板轮廓和刹车踏板轮廓，计算右脚轮廓面积、右脚轮廓和油门踏板轮廓的重合区域的第一面积以及右脚轮廓和刹车踏板轮廓的重合区域的第二面积；将所述第一面积除以所述右脚轮廓面积，得到第一重合占比，将所述第二面积除以所述右脚轮廓面积，得到第二重合占比。5.根据权利要求4所述的一种驾驶员脚部行为违规检测方法，其特征在于，所述对所述右脚目标图进行边缘检测，确定右脚轮廓，进一步包括：通过Sobel算子对所述右脚目标图进行边缘检测，确定右脚轮廓。6.根据权利要求5所述的一种驾驶员脚部行为违规检测方法，其特征在于，所述根据所述右脚轮廓以及预先确定的油门踏板轮廓和刹车踏板轮廓，计算右脚轮廓面积、右脚轮廓和油门踏板轮廓的重合区域的第一面积以及右...

【专利技术属性】
技术研发人员：朱俊栋，吴金龙，刘登科，邹保，
申请(专利权)人：上海澳马信息技术服务有限公司，
类型：发明
国别省市：