基于人体骨架特征的3D卷积神经网络不安全行为检测系统技术方案

本发明专利技术公开了一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。发明专利技术涉及人体目标检测、人体姿态以及人体行为识别技术领域。该系统可以通过输入安全生产作业场所实时监控画面，通过YOLOX

【技术实现步骤摘要】
基于人体骨架特征的3D卷积神经网络不安全行为检测系统


[0001]本专利技术涉及人体目标检测、人体姿态以及人体行为识别
，具体涉及一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。

技术介绍

[0002]在安全生产领域，随着技术的进步发展，设备、场所等所代表的物的不安全状态和环境的不安全因素在安全生产事故原因中的所占比例在逐年下降。如何规范作业人员，降低不安全行为发生的概率，成为当下重要却富有挑战的难题。尽管随着监管力度的加大，相关法令的完善和监控系统的普及，相关问题得到一定的改善，但是安全生产事故数和死亡人数仍然是一个相当大的数字。因此，为了减少安全生产事故，降低事故导致的人员伤亡和财产损失，针对在某些特定作业场所中不安全行为的识别这一领域进行研究有着相当的必要性。
[0003]以往的监管系统大多依赖于人力，在起初技术不发达阶段，单纯的依靠安全相关人员的监管，受限于监管人员的个人素养和数量问题，漏洞频出。而当前阶段，在安全生产领域已经大量推广普及监控系统，但其中鲜有能够提供对人员进行智能化识别的功能，更无法做到对监控范围内的人员的动作行为进行实时监管，需要由管理人员时刻注意着监控画面，因而仍然存在着较大的漏洞。

技术实现思路

[0004]针对现有技术在安全生产领域存在的不足，本专利技术提供一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。
[0005]本专利技术解决其技术问题采用的技术方案是：专利技术一种基于人体骨架特征的 3D卷积神经网络不安全行为检测系统，其特征在于，该系统包括如下步骤：
[0006]步骤一：通过视频采集设备获取实时视频影像；
[0007]步骤二：采用YOLOX
‑
Tiny算法对所述视频影像中的人进行识别，得到所述视频影像中出现的人的总个数以及各个人的最小矩形包围框的坐标和置信度，设定置信度阈值；
[0008]步骤三：采用LiteHRNet算法对经过上述步骤二的处理后的待识别对象进行识别，对其中置信度高于设定阈值的人体最小矩形包围框进行人体姿态估计，获取人体重要骨架关节点坐标，将人体骨架关节点依照人体各肢体关节位置进行串接，形成人体骨架特征向量；
[0009]步骤四：采用PoseC3D算法对上述步骤三中的人体骨架特征向量进行行行为识别，判断人员是否存在不安全行为。
[0010]进一步，上述步骤二中包含：
[0011](1)收集典型包含不安全行为的样本视频作为正样本集，并收集其他各类姿态下的人体视频作为负样本集，将各样本集依照COCO数据集格式合并为一个数据集，依照8:1:1的比例，将上述两个数据集进行统一处理融合后的数据集划分为训练集、验证集和测试集；
[0012](2)所用YOLOX
‑
Tiny算法模型采用CSPDarknet为backbone， YOLOXAFPN为neck，YOLOXHead为bbox_head所构建；
[0013](3)采用上述数据集对YOLOX
‑
Tiny进行训练，建立具有高鲁棒性的人体目标检测模型；
[0014](4)将视频输入的帧图片重置为416
×
416像素分辨率的图片，保留图片原始的位置信息和缩放比例，对于空白部分进行空白填充；
[0015](5)根据上述所得目标检测模型对上述输入的帧图片信息预测，获得人体所处矩形包围框坐标信息和预测置信度。
[0016]进一步，所述的步骤三包括如下：
[0017](1)所用LiteHRNet网络模型采用LiteHRNet
‑
18为backbone和neck， TopDownSimpleHead为keypoint_head所构建；
[0018](2)采用上述的数据集集对LiteHRNet网络模型进行训练，建立人体骨架特征向量预测模型；
[0019](3)采用上述的输入的帧图片以图片流的形式，连同上述获得的人体所处矩形包围框坐标信息和预测置信度，作为输入，通过上述训练完成后的 LiteHRNet模型进行预测；
[0020](4)在上述输入的图片流中，仅对帧图片中处于步骤三中获得的人体最小矩形包围框范围内的区域进行人体骨架特征向量的预测。
[0021]进一步，其特征在于，所述的步骤四包括如下步骤：
[0022](1)所用PoseC3D算法模型采用ResNet3dSlowOnly为backbone和neck， I3DHead为class_head所构建；
[0023](2)采用上述的数据集对PoseC3D网络模型进行训练，建立基于人体骨架特征向量的行为识别预测模型；
[0024](3)上述所建立的人体骨架特征向量，生成2D姿态图，堆叠T张形状为 K
×
H
×
W的二维关键点热图以生成形状为K
×
T
×
H
×
W的3D热图；
[0025](4)将上述所获得的3D热图堆叠输入到PoseC3D模型当中进行识别，以 64帧的实践窗口为时长进行采帧，之后采用均匀采样的方式，将其分成长度相同的N段，在每段中选取一帧，共采集N帧进行行为识别，通过预先训练好的分类器，判断行为是否为不安全行为并进行分类。。
[0026]与现有技术相比，本专利技术的有益效果在于：
[0027](1)本专利技术结合了目标识别、人体关键点提取、行为识别等技术，为安全监管人员提供了一种具有实时性的作业人员不安全行为检测的方式；
[0028](2)本专利技术无须使用人体深度信息摄像头来获取人体关键点信息，通过深度学习的方式，仅通过传统RGB视频影像即可获得可信的人体关键点信息并进行不安全行为的识别，能够简单快速的于现有的监控设备相结合；
[0029](3)本专利技术拥有多种检测识别，在应对安全生产场所复杂多变的环境时，仍然具有较高的识别精度和较快的识别速度。
【附图说明】
[0030]图1为不安全行为检测系统处理流程也是本专利技术的摘要附图；
[0031]图2为YOLOX
‑
Tiny算法模型处理流程；
[0032]图3为人体骨骼特征向量示意图；
[0033]图4为LiteHRNet网络模型处理流程；
[0034]图5为PoseC3D网络模型处理流程。
【具体实施方式】
[0035]为使本专利技术的目的、技术方案和优点更加清楚明了，下面通过附图及专利技术，对本专利技术进行进一步详细说明。但是应该理解，此处所描述的具体专利技术仅仅用以解释本专利技术，并不用于限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0036]参阅说明书附图，考虑到现有的安全生产作业场所缺少智能化实时检测作业人员行为的监测，而现有大多数的人体行为检测模型是基于时空模型来进行预测，存在着运算量较大，实时性能较差的问题，在大量部署的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，该系统包括如下步骤：步骤一：通过视频采集设备获取实时视频影像；步骤二：采用YOLOX
‑
Tiny算法对所述视频影像中的人进行识别，得到所述视频影像中出现的人的总个数以及各个人的最小矩形包围框的坐标和置信度，设定置信度阈值；步骤三：采用LiteHRNet算法对经过上述步骤二的处理后的待识别对象进行识别，对其中置信度高于设定阈值的人体最小矩形包围框进行人体姿态估计，获取人体重要骨架关节点坐标，将人体骨架关节点依照人体各肢体关节位置进行串接，形成人体骨架特征向量；步骤四：采用PoseC3D算法对上述步骤三中的人体骨架特征向量进行行行为识别，判断人员是否存在不安全行为。2.根据权利要求1所述的基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，上述步骤二中包含；(1)收集典型包含不安全行为的样本视频作为正样本集，并收集其他各类姿态下的人体视频作为负样本集，将各样本集依照COCO数据集格式合并为一个数据集，依照8:1:1的比例，将上述两个数据集进行统一处理融合后的数据集划分为训练集、验证集和测试集；(2)所用YOLOX
‑
Tiny算法模型采用CSPDarknet为backbone，YOLOXAFPN为neck，YOLOXHead为bbox_head所构建；(3)采用上述数据集对YOLOX
‑
Tiny进行训练，建立具有高鲁棒性的人体目标检测模型；(4)将视频输入的帧图片重置为416
×
416像素分辨率的图片，保留图片原始的位置信息和缩放比例，对于空白部分进行空白填充；(5)根据上述所得目标检测模型对上述输入的帧图片信息预测，获得人体所处矩形包围框坐标信息和预测置信度。3.根据权...

【专利技术属性】
技术研发人员：姚森均，范昕炜，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：