一种基于人体骨架形态与检测目标的动作识别方法技术

本发明专利技术提供了一种基于人体骨架形态与目标检测技术结合的动作识别办法，首先对监控区域的视频流进行初步的预处理，将视频流的帧数、码率、分辨率进行调整；然后利用YOLOv4模型对行人和物品种类进行检测，将检测到的物品种类和行人的位置信息记录保存，接着使用OpenPose提取人体骨架信息，后将人体骨架信息根据所需检测动作制作成正负样本数据集并训练动作分类器模型；分类器输出的动作信息和物品信息进行关联度匹配后输出最终的动作置信度。将模型运用于监控视频流中，当检测到设定动作时，发送动作信息和行人坐标信息至后台管理处，从而提高监控的智能化水平。

【技术实现步骤摘要】
一种基于人体骨架形态与检测目标的动作识别方法
本专利技术涉及属于计算机智能学习领域，具体地说，涉及一种基于OpenPose和YOLOv4结合地人体动作识别方法。
技术介绍
通过人工智能地方法来检测人们正在干的事或者检测人们的动作含义是近年来的热点话题。在计算机智能学习领域中，通过人体姿态来识别人体动作是目前的主流方法。人体姿态算法中CPN(CascadedPyramidNetwork)检测速度过慢，实际运用中有滞后性，poseNet虽然检测速度快但是准确率较低，只有OpenPose是速度与准确率二者兼得，所以本专利技术基于OpenPose来做人体的动作识别。目前基于人体姿态识别动作的技术有很多，通过OpenPose将人体骨架信息提取后用于动作识别模型是较为常见的一种方法，OpenPose不需要太高大上的硬件来支撑，相对于深度体感相机，如Kinect有着较大的普适性。更容易受到更多人的使用，只需要简单的具有摄像功能的机器都可以运用到OpenPose。但是如今的视频流大多是不是从理想角度拍摄得到，有时人体会太小或者角度不正而导致精度的下降和本文档来自技高网...

【技术保护点】
1.一种基于人体骨架形态与目标检测的动作识别方法，其特征在于，包括：/n步骤S1：构建图像采集模块采集需监控区域的视频流，并进行视频流预处理；/n步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物体种类，并记录物体种类名称；/n步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行人体骨架特征提取、正负样本制作和训练动作分类器模型；/n步骤S4：训练好的动作分类器模型对视频流内的人体动作进行初步识别，YOLOv4识别到的物体和所识别动作进行匹配，根据二者的匹配相关度调整输出动作的置信度；/n步骤S5：决策警告，当检测到所需检测动作时，将信息发送至后台管理。/n

【技术特征摘要】
1.一种基于人体骨架形态与目标检测的动作识别方法，其特征在于，包括：
步骤S1：构建图像采集模块采集需监控区域的视频流，并进行视频流预处理；
步骤S2：利用YOLOv4模型检测出监控区域视频流内的行人和物体种类，并记录物体种类名称；
步骤S3：通过OpenPose将视频流内识别到的人体目标图像进行人体骨架特征提取、正负样本制作和训练动作分类器模型；
步骤S4：训练好的动作分类器模型对视频流内的人体动作进行初步识别，YOLOv4识别到的物体和所识别动作进行匹配，根据二者的匹配相关度调整输出动作的置信度；
步骤S5：决策警告，当检测到所需检测动作时，将信息发送至后台管理。


2.根据权利要求1步骤S1所述的视频流预处理方法，为满足行人检测和物品检测的精准度和实效性，将视频流的比特率和帧率调整为契合所选深度学习模型的帧率；将分辨率做了如下设定：1920x1080分辨率的序列需要7000kbps的码率，640x480分辨率的序列需要1900kbps的码率，352x288分辨率的序列需要800kbps的码率。


3.根据权利要求1中步骤S2所述的YOLOv4模型检测方法，其具体步骤如下：
步骤S2.1：物体数据集的建立：对需检测动作中所包含除人体以外的物体数据集进行收集分类；设定动作设为M，则和动作M相关的物品设为依次排列，并将物品信息将其制作成标准VOC数据集；
步骤S2.2：将上述步骤S2.1中制作好的物品VOC数据集输入到标准的YOLOv4模型中进行训练；YOLOv4模型中，运用了卷积的级联结构，网络的输入层设计为448*448；在神经网络中逻辑回归的代价函数为：



其中hθ是...

【专利技术属性】
技术研发人员：易军，庞一然，汪彦，宋光磊，郭鑫，周伟，黄麟，王波，刘玉成，袁余民，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：重庆;50