一种基于自监督学习网络的动作识别办法制造技术

本发明专利技术提供了一种基于自监督学习网络的动作识别办法，第一步使用OpenPose对视频流里的人体骨架信息进行提取，并将人体骨架信息制作成正负样本数据集，使用数据集训练动作分类模型ResNet‑56，初步训练好的动作分类模型用于初步判断输入动作和进一步的自监督训练；在训练动作分类器的同时利用深度学习模型YOLOv4检测视频流中的物体信息，将检测到的物体信息打上正负标签传入动作分类模型ResNet‑56中进行自监督学习训练，经过自监督后的动作分类模型有更高的检测精度和可靠性。

【技术实现步骤摘要】
一种基于自监督学习网络的动作识别办法
本专利技术属于计算机智能学习领域，更具体地说是一种结合OpenPose和YOLOv4的自监督人体动作识别办法。
技术介绍
计算机视觉技术是人工智能的分支方向，主要通过视觉图像信息的处理，达到识别和理解图像内容的目的。智能视频监控借助于计算机强大的计算能力。依靠计算机视觉技术，从监控图像或视频中提取关键信息并快速分析，并将分析结果反馈给监控系统进行处理，从而达到智能识别、理解和处理监控视频的目的。人体动作识别里人体关键点的分析是最为重要的之一，也被统称为人体姿态估计。目前，有很多种技术可以实现对人体关键点的信息进行读取，例如深度体感相机，如Kinect等，再人们穿上设备之后可以对人体d额关键点进行实时的信息采集。不足之处是一次可采集的人数太少，并且价格较为昂贵。相比之下采用OpenPose来对人体骨骼关键点进行信息采集则方便的多，一次性也可采集多人，并且不需要太贵的价格。OpenPose是目前主流的人体姿态估计采用的模型算法，大多数的动作都可以用OpenPose采集人体骨骼关键点信息并加以训练本文档来自技高网...

【技术保护点】
1.一种基于自监督学习网络的动作识别办法，其特征在于，包括：/n步骤S1：通过OpenPose将视频流中的目标人体图像进行人体骨架特征信息提取；/n步骤S2：构建神经网络模型，将OpenPose提取到的人体骨架信息作为输入对神经网络模型进行训练，获得该动作训练数据集所对应的动作识别结果；/n步骤S3：使用YOLOv4模型检测视频流中的物体信息；/n步骤S4：对识别出的物体信息根据检测动作打上标签，基于物品信息标签和预训练数据所对应动作识别结果对神经网络进行再训练，得到再训练之后的神经网络模型；/n步骤S5：利用再训练之后的模型对视频流进行动作识别，输出视频流中的动作预测结果。/n

【技术特征摘要】
1.一种基于自监督学习网络的动作识别办法，其特征在于，包括：
步骤S1：通过OpenPose将视频流中的目标人体图像进行人体骨架特征信息提取；
步骤S2：构建神经网络模型，将OpenPose提取到的人体骨架信息作为输入对神经网络模型进行训练，获得该动作训练数据集所对应的动作识别结果；
步骤S3：使用YOLOv4模型检测视频流中的物体信息；
步骤S4：对识别出的物体信息根据检测动作打上标签，基于物品信息标签和预训练数据所对应动作识别结果对神经网络进行再训练，得到再训练之后的神经网络模型；
步骤S5：利用再训练之后的模型对视频流进行动作识别，输出视频流中的动作预测结果。


2.根据权利要求1中步骤S2所述的构建神经网络模型方法，其具体步骤如下：
步骤S2.1：用OpenPose将人体骨架特征信息提取出来，通过前馈网络预测出图片中人体部位置信度S，同时预测出部位的亲和力向量场L(人体骨骼各个关节的关系)，集合S＝(S1,S2,SJ)J表示每个骨骼关节点有J个身体部位置信图；集合L(L1,L2,LC)每个肢体有C个部位亲和力向量场；得到集合J和L后使用Greedyalgorithm算法将人体骨骼关节点信息找出；将提取到的骨架特征信息制作成所需识别动作的正负样本数据集；
步骤S2.2：将步骤S1.1中制作的正负样本数据集作为输入，训练基于ResNet-56动作分类器模型；在ResNet-56模型中，使用Softmax损失进行分类，目标函数如下：



N为样本个数，λ是回归损失权重，i是批次中提议窗口的索引，P是预测概率；
神经络的输入是x，期望输出是H(x)，残差网络F(x)＝H(x)-x，训练ResNet-56模型直至F(x)接近0则模型训练结束；
步骤S2.3：将训练数据集传入步骤S2.1所训练好的模型中，得到视频流训练集的动作识别结果。


3.根据权利...

【专利技术属性】
技术研发人员：周伟，汪彦，郑福建，郭鑫，庞一然，易军，黄麟，王波，邓建华，张秀才，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：重庆;50