一种基于目标检测与动作识别的多目标视觉监管方法技术

本发明专利技术公开了一种基于目标检测与动作识别的多目标视觉监管方法，包括以下步骤，采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；采用第一数据集对Yolov3‑mobilenetv3网络进行训练，搭建tfpose人体骨架信息提取模型采集工人打电话和摔倒动作的骨架数据，构成第二数据集；采用第二数据集对IndRnn网络进行训练，利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出个工人图像并为其分配固定ID；Yolov3‑mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况；IndRnn动作识别模型识别每个工人的动作异常情况；该方法使用了deepsort算法能够对每个工人实时追踪检测，更方便对工人进行视觉管理。

【技术实现步骤摘要】
一种基于目标检测与动作识别的多目标视觉监管方法
本专利技术涉及人工智能
，尤其涉及一种基于目标检测与动作识别的多目标视觉监管方法。
技术介绍
近年来，随着计算机图像处理技术以及传感器技术的发展，目标检测与人体行为识别成为了机器视觉领域一个热门的研究方向，在人机交互、智能监控和虚拟现实等领域中应用得越来越广泛，其中视频监控的智能化已成为社会发展的必然趋势，智能监控能够对视频中的异常行为和图像中的关键目标进行实时识别和检测，并及时发出预警，彻底改变了传统监控只能“监”不能“控”的被动状态，这将是视频监控行业以及安防行业的一次新的革命。现阶段，我国越来越多的技术型企业正在大力发展数字信号处理、视频分析算法等核心技术。随着社会基础设施建设的大力发展，工程建设项目逐渐遍布于城市和乡村，尤其是大型工地的数目明显增多。大型工地属环境恶劣、事故多发的区域，其中出入的人员和车辆情况复杂，在疏于管理的情况下容易产生安全隐患，因此，需对大型工地出入的人员进行有效监管，实时监控工人工作情况并及时发现安全隐患，能防止和减少人员在作业过程中遭坠落物砸伤或自坠落时头部受到的伤患行为。大型工地中施工人员受到伤害的概率较大，安全帽是一种十分有效的防护设备，因此大型工地施工人员必须佩戴安全帽。然而，在很多情况下由于各种原因总会有一些人员未佩戴安全帽进入工地，产生较大安全隐患，因此对施工现场人员佩戴安全帽情况进行监管有重要意义，而且工人在工地内随时都有可能出现各种危险情况比如摔倒等。目前，传统的研究工人安全帽和制服的检测和工人异常动作的识别绝大多数是相互独立的。
技术实现思路
根据现有技术存在的问题，本专利技术公开了一种基于目标检测与动作识别的多目标视觉监管方法，包括以下步骤：S1:采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；S2:采用第一数据集对Yolov3-mobilenetv3网络进行训练，得到Yolov3-mobilenetv3目标检测模型；S3:搭建tfpose人体骨架信息提取模型采集工人打电话和摔倒动作的骨架数据，构成第二数据集；S4:采用第二数据集对IndRnn网络进行训练，得到IndRnn动作识别模型；S5:利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像，并为其分配固定ID；S6:摄像头根据图像中工人的位置与该图像中心位置的偏差，自动调节云台的角度位置，再根据工人在图像中所占整张图像的比例大小，自动调节焦距；S7:Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况；tfpose人体骨架信息提取模型提取分割出的工人图像的人体关键点，并转换成人体向量数据输入到IndRnn动作识别模型，识别每个工人的动作异常情况。进一步地，所述采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；包括以下步骤：S1-1:采集不同工人穿戴制服和安全帽的图像，将图像中有工人的前景图像与没有工人的背景图像分离；S1-2:单独采集某一定数量的不同工作情形的背景图像；S1-3:将分离出的工人的前景图像与采集到的不同工作背景进行图像融合，并让工人的前景图像在背景图像范围内有规律的进行移动，生成合成图像；S1-4:将合成图像与采集的不同工人穿戴制服和安全帽的图像构成第一数据集，所述第一数据集经过标记工作生成类别位置标签，并划分训练集和测试集。进一步地，所述IndRnn动作识别模型包括数据增强模块、特征提取模块和行为检测模块；所述数据增强模块对tfpose人体骨架信息提取模型的关节点坐标进行处理，取18个人体关键点坐标按两两组合生成17个人体向量数据，将人体关键点的数据转换成人体向量数据，将数据增强后的数据传给所述特征提取模块；所述特征提取模块接收数据增强模块输入的人体向量数据，通过深度网络自动学习出打电话和摔倒的行为相关的时序特征并传送给所述行为检测模块；所述行为检测模块将特征提取模块输出的特征进行加权融合，识别每个工人的动作异常情况。进一步地，所述特征提取模块包括六个网络块；所述网络块依次顺序连接；所述网络块包括FC全连接层、IndRnn层、BN层和DP遗忘层；所述FC全连接层、所述IndRnn层、所述BN层和所述DP遗忘层依次顺序连接。进一步地，所述利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像的具体方式如下：所述deepsort多目标追踪算法采用tfpose作为检测器，利用tfpose人体骨架信息提取模型得到图像中每个工人的骨骼坐标，对工人的骨骼信息进行处理得到每个工人骨骼在x和y坐标下的最大值和最小值，即得到图像中工人的具体位置。进一步地，所述Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况，其中制服的穿戴情况判断方法如下：S7-1:当目标检测模型检测并框出工人的制服区域；S7-2:在该区域内随机选取N个点，通过HSV颜色检测方法，检测该N个点的HSV值与实际制服的颜色比较，当N个点的颜色值正确率达到一定阈值则断定该工人穿有制服。进一步地，所述HSV颜色检测方法的判断模型如下：式(4)中xhmin、xhmax分别为真实制服的HSV颜色中色调H的最小与最大值，xsmin、xsmax分别为真实制服的HSV颜色中饱和度S的最小与最大值，xvmin、xvmax分别为真实制服的HSV颜色中明度V的最小与最大值，bhi、bsi、bvi分别为N点中的某一点的HSV颜色值。进一步地，所述Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况，其中安全帽的穿戴情况的判断方法如下：当检测到安全帽位置在人体头部关键点坐标值区域，则判断工人戴了安全帽；当检测到安全帽位置不在人体头部关键点坐标值区域，则判断工人没有戴安全帽。进一步地，所述调节焦距的方法如下：当工人图像占整张图像的比例小于阈值M时，则调大焦距；当工人图像占整张图像的比例大于阈值M时，则调小焦距；当工人图像占整张图像的比例等于阈值M时，则进行图像采集。由于采用了上述技术方案，本专利技术提供的一种基于目标检测与动作识别的多目标视觉监管方法，具体内容包括对工人穿戴安全帽与制服情况的监管和工人实时动作的识别两个部分，而且方法中更是应用了网络大变焦摄像头能够根据工人的检测情况实时调节云台角度与摄像头焦距，使目标检测和动作识别算法更加准确，使用了deepsort算法能够对每个工人实时追踪检测，更方便对工人进行视觉管理。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而本文档来自技高网...

【技术保护点】
1.一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:包括以下步骤：/nS1:采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；/nS2:采用第一数据集对Yolov3-mobilenetv3网络进行训练，得到Yolov3-mobilenetv3目标检测模型；/nS3:搭建tfpose人体骨架信息提取模型采集工人打电话和摔倒动作的骨架数据，构成第二数据集；/nS4:采用第二数据集对IndRnn网络进行训练，得到IndRnn动作识别模型；/nS5:利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像，并为其分配固定ID；/nS6:摄像头根据图像中工人的位置与该图像中心位置的偏差，自动调节云台的角度位置，再根据工人在图像中所占整张图像的比例大小，自动调节焦距；/nS7:Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况；/ntfpose人体骨架信息提取模型提取分割出的工人图像的人体关键点，并转换成人体向量数据输入到IndRnn动作识别模型，识别每个工人的动作异常情况。/n...

【技术特征摘要】
1.一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:包括以下步骤：
S1:采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；
S2:采用第一数据集对Yolov3-mobilenetv3网络进行训练，得到Yolov3-mobilenetv3目标检测模型；
S3:搭建tfpose人体骨架信息提取模型采集工人打电话和摔倒动作的骨架数据，构成第二数据集；
S4:采用第二数据集对IndRnn网络进行训练，得到IndRnn动作识别模型；
S5:利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像，并为其分配固定ID；
S6:摄像头根据图像中工人的位置与该图像中心位置的偏差，自动调节云台的角度位置，再根据工人在图像中所占整张图像的比例大小，自动调节焦距；
S7:Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况；
tfpose人体骨架信息提取模型提取分割出的工人图像的人体关键点，并转换成人体向量数据输入到IndRnn动作识别模型，识别每个工人的动作异常情况。


2.根据权利要求1所述的一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:所述采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；包括以下步骤：
S1-1:采集不同工人穿戴制服和安全帽的图像，将图像中有工人的前景图像与没有工人的背景图像分离；
S1-2:单独采集某一定数量的不同工作情形的背景图像；
S1-3:将分离出的工人的前景图像与采集到的不同工作背景进行图像融合，并让工人的前景图像在背景图像范围内有规律的进行移动，生成合成图像；
S1-4:将合成图像与采集的不同工人穿戴制服和安全帽的图像构成第一数据集，所述第一数据集经过标记工作生成类别位置标签，并划分训练集和测试集。


3.根据权利要求1所述的一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:所述IndRnn动作识别模型包括数据增强模块、特征提取模块和行为检测模块；
所述数据增强模块对tfpose人体骨架信息提取模型的关节点坐标进行处理，取18个人体关键点坐标按两两组合生成17个人体向量数据，将人体关键点的数据转换成人体向量数据，将数据增强后的数据传给所述特征提取模块；
所述特征提取模块接收数据增强模块输入的人体向量数据，通过深度网络自动学习出打电话和摔倒的行为相关的时序特征并传送给所述行为检测模块；
所述行为检测模块将特征提取模块输出的特征进行加权融合，识别每个工人的动作异常情况。


4.根据权利要求3所述的一种基于目标检测与动...

【专利技术属性】
技术研发人员：倪涛，王林林，张红彦，刘海强，缪海峰，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13