一种基于人体姿态识别的打钻视频退杆计数方法技术

本发明专利技术公开了一种基于人体姿态识别的打钻视频退杆计数方法，具体步骤是：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；训练具有人体关键点检测功能的AlphaPose模型；检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆。该方法通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，从而提高智能视频分析钻杆计数的准确率。从而提高智能视频分析钻杆计数的准确率。从而提高智能视频分析钻杆计数的准确率。

【技术实现步骤摘要】
一种基于人体姿态识别的打钻视频退杆计数方法


[0001]本专利技术涉及智能图像识别的
，尤其是一种基于人体姿态识别的打钻视频退杆计数方法。

技术介绍

[0002]随着井下视频监控的普及，智能图像识别在煤矿中的应用越来越广泛。智能图像识别技术借用矿井摄像仪采集的数字图像，通过内嵌入摄像机的智能化算法或后端服务器算法进行运算分析，实现对视频内容的感知，进而根据设定的规律，判断识别相应目标并进行相应报警。由于智能视频识别采用了无接触式检测，因此智能视频识别具备检测范围广、检测成本低等优势，且能24小时不间断工作，这使得工作效率大大提高。
[0003]但现在大多煤矿井下依然靠地面人为回看录像的方式对打钻退杆进行计数，井下为工人准备的手动计数按钮使用频率也较少，无法进行计数；同时往往每段视频录像都长达1～2小时，且煤矿井下工作环境恶劣，光线昏暗，工作人员需要时刻集中精力回看录像，长期连续工作后，极易出现因疲劳而造成的漏检、误检。
[0004]虽然现在也有一些智能视频分析进行自动钻杆计数，但效果却不是很理想，其中最主要的原因是，这些方法往往都是截取工人取钻杆前后几帧的图片，并通过神经网络提取工人拿取钻杆时瞬间的特征，一旦视频中检测到工人手触碰到末端钻杆即进行+1计数。但往往实际工作作业时会出现工人手扶钻杆、错位重叠等现象，并未真正取下，此时如果依然计数就会造成误检。

技术实现思路

[0005]本专利技术要解决的技术问题是：为了克服现有技术中存在的不足，提供一种基于人体姿态识别的打钻视频退杆计数方法，通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，从而提高智能视频分析钻杆计数的准确率。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于人体姿态识别的打钻视频退杆计数方法，具体步骤如下：
[0007]步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；
[0008]步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；
[0009]步骤3、训练具有人体关键点检测功能的AlphaPose模型；
[0010]步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；
[0011]步骤5、后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆：判断手部关键点坐标与钻杆框选区域是否有重合，当手部关键点坐标与钻杆框选区域没有重合，则重复步骤4；当手臂关键点坐标与钻杆框选区域有重合，则通过
全身关键点运动轨迹判断是否存在搬运钻杆的动作；当通过全身关键点运动轨迹判断不存在搬运钻杆的动作，则钻杆数保持不变；当通过全身关键点运动轨迹判断存在搬运钻杆的动作，则在已取钻杆数量的基础上加1。
[0012]进一步具体地限定，上述技术方案中，在步骤4中，框的相关参数包括框的中心点位置、框的长度以及框的高度。
[0013]进一步具体地限定，上述技术方案中，在步骤4中，人体关键点的坐标包括人体头部的坐标、人体肩部的坐标、人体手部的坐标、人体膝盖部的坐标以及人体脚部的坐标。
[0014]进一步具体地限定，上述技术方案中，在步骤2中，采用labelImg工具对采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。
[0015]本专利技术的有益效果是：本专利技术的一种基于人体姿态识别的打钻视频退杆计数方法，具有以下优点：
[0016]一、可通过分析视频录像直接对钻杆数量进行计数，避免长时间段、高强度的人工计数；
[0017]二、通过检测工人是否抓取钻杆并分析人体运动轨迹是否有搬运动作，对打钻退杆数量进行精确计数，拥有极高的准确率；
[0018]三、适用于对原先矿下打钻面通用的摄像仪进行改造方案，只需在后端服务器上智能分析录像即可，改造成本低，施工步骤简单。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术的算法流程图；
[0021]图2是本专利技术的原理示意图；
[0022]图3是本专利技术的算法效果示意图一；
[0023]图4是本专利技术的算法效果示意图二；
[0024]图5是本专利技术的算法效果示意图三。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]见图1、图2、图3、图4和图5，本专利技术的一种基于人体姿态识别的打钻视频退杆计数方法，包括前端矿用本安摄像仪、环网和后端服务器，其中的前端矿用本安摄像仪具备自动对焦、强光抑制、补光灯等功能。前端矿用本安摄像仪至少400万像素，防护等级为IP67，供电电压范围为DC17V～19V。后端服务器的算法采用具有人体关键点检测功能的AlphaPose模型，对钻杆和人体骨骼关键点同时进行检测，再通过分析人体运动轨迹判断是否搬取钻
杆，以达到准确计数。前端矿用本安摄像仪安装于井下打钻工作面，用于记录打钻退杆时的录像。通过万兆环网将前端矿用本安摄像仪采集到的数据传到地面，数据通过后端服务器进行算法分析，检测视频中工人获取钻杆数量，以达到自动计数的功能。
[0027]见图2，该基于人体姿态识别的打钻视频退杆计数方法，具体原理是：首先井下摄像仪获取退杆录像，然后工业环网传输数据，最终后端算法处理完成智能计数。
[0028]见图1，该基于人体姿态识别的打钻视频退杆计数方法，具体步骤如下：
[0029]步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据。
[0030]步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理。实验中采用labelImg工具对采集到的图片数据打标签，每一类相同的图片打上对应类别的标签。如矿井中的设备被标记为“machine”，人物被标记为“person”，目标物钻杆被标记为“object”等。人体关键点标签采用MS COCO数据集中的Keypoint evaluation。
[0031]步骤3、训练具有人体关键点检测功能的AlphaPose模型。
[0032]步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数，框的相关参数包括框的中心点位置、框的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体姿态识别的打钻视频退杆计数方法，其特征在于，具体步骤如下：步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；步骤3、训练具有人体关键点检测功能的AlphaPose模型；步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；步骤5、后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆：判断手部关键点坐标与钻杆框选区域是否有重合，当手部关键点坐标与钻杆框选区域没有重合，则重复步骤4；当手臂关键点坐标与钻杆框选区域有重合，则通过全身关键点运动轨迹判断...

【专利技术属性】
技术研发人员：姚超修，吴航海，胡亚磊，谢浩，武福生，蒋泽，蒋志龙，陈佩佩，王琪，郝东波，徐晓华，
申请(专利权)人：中煤科工集团常州研究院有限公司，
类型：发明
国别省市：