基于人体骨架的科目三安全员作弊行为检测方法及系统技术方案

本发明专利技术公开了基于人体骨架的科目三安全员作弊行为检测方法及系统，结合了目标识别、人体关键点提取、行为识别等技术，为安全监管人员提供了一种具有实时性的安全员作弊行为检测的方式；并且本发明专利技术无须使用人体深度信息摄像头来获取人体关键点信息，通过深度学习的方式，仅通过传统RGB视频影像即可获得可信的人体关键点信息并进行不安全行为的识别，能够简单快速的于现有的监控设备相结合；本发明专利技术拥有多种检测识别，在应对安全生产场所复杂多变的环境时，仍然具有较高的识别精度和较快的识别速度。别速度。别速度。

【技术实现步骤摘要】
基于人体骨架的科目三安全员作弊行为检测方法及系统


[0001]本专利技术属于行为识别
，具体涉及基于人体骨架的科目三安全员作弊行为检测方法及系统。

技术介绍

[0002]随着人们生活水平的不断提高，便捷的交通出行是人们的一大需求，而出行的安全更是重中之重。机动车驾驶技能越来越受到人们的关注，每年都会有数以万计的学员考取驾驶证，通过驾驶专业技能的培训并最终考核达标后方能驾驶车辆上路，从而尽量避免汽车在行驶的过程中发生交通事故，事故的发生不仅仅会对车辆本身造成一定影响，对人们的安全和经济都产生非常严重的威胁。
[0003]我国现阶段的机动车驾驶人驾驶技能考试采用的是计算机评判和考试员人工评判相结合的评判方式。目前仅实现了部分考试项目的数据采集和自动考核评分，还有部分考试项目仍需要监考人员随车监考。
[0004]有鉴于此，有必要提出一种科目三考试车辆上安全员行为识别方法，以实现真正意义上的驾驶考试公正、公平、公开，进一步提高学员的考试质量。
[0005]以往的监管系统大多依赖于人力，在起初技术不发达阶段，单纯的依靠安全相关人员的监管，受限于监管人员的个人素养和数量问题，漏洞频出。而当前阶段，在安全生产领域已经大量推广普及监控系统，但其中鲜有能够提供对人员进行智能化识别的功能，更无法做到对监控范围内的人员的动作行为进行实时监管，需要由管理人员时刻注意着监控画面，因而仍然存在着较大的漏洞。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出基于人体骨架的科目三安全员作弊行为检测方法及系统。本专利技术采用以下技术方案：基于人体骨架的科目三安全员作弊行为检测方法，针对机动车驾驶人科目三考试车内的视频影像，执行以下步骤，判断科目三车内的安全员是否存在预设各类型的违规作弊行为：步骤A：基于机动车驾驶人科目三考试车内的视频影像，利用预训练的以帧图片为输入，以该帧图片中各人对应的人体矩形框、矩形框坐标信息和矩形框置信度为输出的人体目标识别模型，获得帧图片中各人分别对应的人体矩形框、矩形框坐标信息和各矩形框置信度，进而获得安全员对应的人体矩形框；步骤B：基于人体目标识别模型输出的安全员对应的人体矩形框，利用预训练的以人体矩形框为输入，该人体矩形框中人体的各预设关键点为输出的关键点识别模型，获得安全员人体的各预设关键点；步骤C：基于关键点识别模型输出的安全员人体的各预设关键点，进行安全员行为识别，进而判断科目三车内的安全员是否存在预设各类型的违规作弊行为。
[0007]作为本专利技术的一种优选技术方案，所述步骤A中，针对帧图片中各人分别对应的人体矩形框、矩形框坐标信息和矩形框置信度，基于预设置信度阈值，获得各高于预设置信度阈值的人体矩形框，进而基于各人体矩形框坐标信息，将各矩形框左上角横坐标最小对应的矩形框作为安全员对应的人体矩形框。
[0008]作为本专利技术的一种优选技术方案，所述步骤A中，所述人体目标识别模型采用Yolo
‑
V5网络模型，其中采用Focus结构和CSP结构作为Yolo
‑
V5网络的backbone，采用FPN+PAN结构作为Yolo
‑
V5网络的neck，采用bbox_head作为Yolo
‑
V5网络的YoloHead。
[0009]作为本专利技术的一种优选技术方案，所述步骤A中，所述预训练的人体目标识别模型通过COCO数据集和历史机动车驾驶人科目三考试车内的图片数据集，基于人体矩形框作为数据集标签进行预训练，再基于包含安全员违规作弊行为科目三车内图片数据集作为正样本集，不包含安全员违规作弊行为科目三车内图片数据集作为负样本集进行针对性训练获得；所述步骤B中，所述预训练的关键点识别模型通过COCO数据集和历史机动车驾驶人科目三考试车内的图片数据集，基于人体各预设关键点作为数据集标签进行预训练，再基于包含安全员违规作弊行为科目三车内图片数据集作为正样本集，不包含安全员违规作弊行为科目三车内图片数据集作为负样本集进行针对性训练获得；针对各数据集采用数据翻转与数据裁剪进行数据扩充，并将各数据归一化为(
‑
0.5, 0.5)。
[0010]作为本专利技术的一种优选技术方案，所述步骤B中，所述关键点识别模型采用Lite HRNet网络模型结合Top
‑
Bottom方式进行关键点识别，其中采用优化的Lite
‑
HRNet
‑
18作为Lite HRNet网络的backbone和neck，采用Top Down Simple Head作为Lite HRNet网络的keypoint_head。
[0011]作为本专利技术的一种优选技术方案，所述Lite HRNet网络模型中采用Hardswish激活函数，将Sigmoid激活函数替换为0.5* (x/(1+torch.abs(x)))+0.5。
[0012]作为本专利技术的一种优选技术方案，所述步骤B中，所述各预设关键点包括人体鼻子、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左脚、右脚。
[0013]作为本专利技术的一种优选技术方案，所述步骤C中，基于关键点识别模型输出的安全员人体的各预设关键点，提取安全员的左肩、右肩、左肘、右肘、左腕、右腕六个关键点，执行以下步骤，进行安全员行为识别，进而判断科目三车内的安全员是否存在预设各类型的违规作弊行为：步骤C1：针对安全员右肩、右肘、右腕的三个关键点，基于右肩关键点到右肘关键点构成的线段和右腕关键点到右肘关键点构成的线段，以右肘关键点为顶点两线段构成的夹角，当该夹角处于预设范围角度，并且右腕关键点在车窗区域内，则判定安全员存在违规作弊行为；步骤C2：针对安全员左肩、左肘以及左腕的三个关键点，基于左肩关键点到左肘关键点构成的线段和左腕关键点到左肘关键点构成的线段，以左肘关键点为顶点两线段构成的夹角，当该夹角处于预设范围角度，并且左腕关键点在档位区域或手刹区域，判定安全员存在违规作弊行为；步骤C3：针对方向盘区域，若左腕或右腕关键点在方向盘区域内，判定安全员存在
违规作弊行为。
[0014]一种基于人体骨架的科目三安全员作弊行为检测系统，应用于所述基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：包括数据采集模块、人体目标识别模块、关键点识别模块、行为识别模块；数据采集模块用于采集机动车驾驶人科目三考试车内的视频影像；人体目标识别模块基于采集的科目三车内的视频影像，对视频影像中帧图片进行识别，获得帧图片中安全员对应的人体矩形框；关键点识别模块基于人体目标识别模型输出的安全员对应的人体矩形框，对安全员对应的人体矩形框进行识别，获得安全员人体的各预设关键点；行为识别模块基于关键点识别模型输出的安全员人体的各预设关键点，进行安全员行为识别，进而判断科目三车内的安全员是否存在预设各类型的违规作弊行为。
[0015]一种基于人体骨架的科目三安全员作弊行为检测终端，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：针对机动车驾驶人科目三考试车内的视频影像，执行以下步骤，判断科目三车内的安全员是否存在预设各类型的违规作弊行为：步骤A：基于机动车驾驶人科目三考试车内的视频影像，利用预训练的以帧图片为输入，以该帧图片中各人对应的人体矩形框、矩形框坐标信息和矩形框置信度为输出的人体目标识别模型，获得帧图片中各人分别对应的人体矩形框、矩形框坐标信息和各矩形框置信度，进而获得安全员对应的人体矩形框；步骤B：基于人体目标识别模型输出的安全员对应的人体矩形框，利用预训练的以人体矩形框为输入，该人体矩形框中人体的各预设关键点为输出的关键点识别模型，获得安全员人体的各预设关键点；步骤C：基于关键点识别模型输出的安全员人体的各预设关键点，进行安全员行为识别，进而判断科目三车内的安全员是否存在预设各类型的违规作弊行为。2.根据权利要求1所述基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：所述步骤A中，针对帧图片中各人分别对应的人体矩形框、矩形框坐标信息和矩形框置信度，基于预设置信度阈值，获得各高于预设置信度阈值的人体矩形框，进而基于各人体矩形框坐标信息，将各矩形框左上角横坐标最小对应的矩形框作为安全员对应的人体矩形框。3.根据权利要求1所述基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：所述步骤A中，所述人体目标识别模型采用Yolo
‑
V5网络模型，其中采用Focus结构和CSP结构作为Yolo
‑
V5网络的backbone，采用FPN+PAN结构作为Yolo
‑
V5网络的neck，采用bbox_head作为Yolo
‑
V5网络的YoloHead。4.根据权利要求1所述基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：所述步骤A中，所述预训练的人体目标识别模型通过COCO数据集和历史机动车驾驶人科目三考试车内的图片数据集，基于人体矩形框作为数据集标签进行预训练，再基于包含安全员违规作弊行为科目三车内图片数据集作为正样本集，不包含安全员违规作弊行为科目三车内图片数据集作为负样本集进行针对性训练获得；所述步骤B中，所述预训练的关键点识别模型通过COCO数据集和历史机动车驾驶人科目三考试车内的图片数据集，基于人体各预设关键点作为数据集标签进行预训练，再基于包含安全员违规作弊行为科目三车内图片数据集作为正样本集，不包含安全员违规作弊行为科目三车内图片数据集作为负样本集进行针对性训练获得；针对各数据集采用数据翻转与数据裁剪进行数据扩充，并将各数据归一化为(
‑
0.5, 0.5)。5.根据权利要求1所述基于人体骨架的科目三安全员作弊行为检测方法，其特征在于：所述步骤B中，所述关键点识别模型采用Lite HRNet网络模型结合Top
‑
Bottom方式进行关键点识别，其中采用...

【专利技术属性】
技术研发人员：孙茂芬，章道扬，章安强，张铁监，汪洋，叶剑，
申请(专利权)人：多伦科技股份有限公司，
类型：发明
国别省市：