一种利用姿态掩模进行人体行为识别的方法技术

本发明专利技术提出一种利用姿态掩模进行人体行为识别的方法，属于行为识别技术领域。本发明专利技术包括：利用前置的二维姿态估计网络从RGB视频的帧图像中提取热力图，对热力图进行多点高斯扩散，获得姿态掩模，将姿态掩模与原始图像融合后得到的图像样本作为是时空神经网络的输入，利用标记了人体行为类别标签的训练集训练时空神经网络，进而得到用于人体行为识别的模型。本发明专利技术方法通过姿态掩模提取由姿态估计得出的人体骨骼关键点位置区域的空间特征，对图像背景的变化具有强鲁棒性，并且识别网络参数少，训练成本低，人体行为的识别准确率高。

A method of human behavior recognition using pose mask

【技术实现步骤摘要】
一种利用姿态掩模进行人体行为识别的方法
本专利技术属于行为识别
，具体是一种利用姿态掩模进行人体行为识别的方法。
技术介绍
人体行为识别在智能监控、人机交互、视频分析等领域具有广阔的应用前景，是近年来的一个研究热点。随着卷积神经网络(CNN)的迅速发展，基于深度学习的方法逐渐成为行为识别领域的主流方法。现有的网络模型中，双流方法、3D-CNN和循环神经网络结构在多个公开数据集上取得了显著的成功。然而，这些方法主要集中在RGB图像和光流的特征提取上，忽略了人体骨骼关节点提供的丰富特征，使得方法模型参数量大，特征提取能力弱，同时也受背景的干扰导致准确率降低。目前，一些方法，如参考文件1(ZolfaghariM,OliveiraGL,SedaghatN,etal.Chainedmulti-streamnetworksexploitingpose,motion,andappearanceforactionclassificationanddetection[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2017:2904-2913.)尝试利用神经网络结构提取姿态信息并将其用于人体行为识别。然而，这些方法直接使用人体姿态图像作为输入，而没有根据不同的骨骼关节点针对性的做以区分，这导致网络模型无差别地提取人体各部分的空间特征，而忽视了人体结构中蕴含的语义特征。
技术实现思路
本专利技术的目的在于提出一种利用姿态掩模进行人体行为识别的方法，将包含人体关键关节节点坐标的图片作为姿态掩模，与原始图片结合，以过滤掉与人体不相关的背景成分，突出人体空间结构信息，从而准确识别人体行为。本专利技术提出了一种利用姿态掩模进行人体行为识别的方法；包括：步骤1：将视频的一帧图像输入二维姿态估计网络，输出M张人体骨骼节点的热力图，M为正整数，代表人体骨骼的关键关节节点的数量；热力图中的像素点的值代表关节节点的概率；步骤2：对图像的M张热力图分别进行多点高斯扩散，获得M个姿态掩模；对每张热力图，将其中概率非零的像素点作为目标点，对每个目标点，计算由其他概率非零的像素点扩散影响值的和，最后得到热力图的姿态掩模；步骤3：将视频的图像转化为灰度图，分别与M个姿态掩模内积，获得经过姿态掩模的图像样本；对视频的一帧图像输出M个经姿态掩模的图像样本；步骤4：建立用于人体行为识别的时空神经网络，利用由步骤1～3处理后的训练样本集合进行训练，得到训练好的时空神经网络；将视频的图像经过步骤1～3处理后输入训练好的时空神经网络，输出对应的人体行为类别的概率结果；所述的时空神经网络采用卷积神经网络作为空间特征提取网络，采用长短时记忆网络作为时域特征提取网络；时空神经网络的输入层为M通道，对应输入由步骤3输出的M个经姿态掩模的图像样本；时空神经网络的输出层节点对应人体行为的类别。本专利技术与现有技术相比，具有以下优势和积极效果：(1)本专利技术方法引入从RGB图像中得到的姿态关节点坐标作为补充模态，有助于弥补RGB图像中缺失的人体空间结构特征信息，减少背景对识别的干扰，提高背景识别的鲁棒性和人体行为识别准确率。(2)本专利技术提出多点高斯分布的姿态掩模扩散，多点高斯扩散能够提供关于每个关节周围背景的额外信息，同时保留关节附近关键区域周围的背景图，使得空间卷积神经网络能够聚焦于人体关节附近的信息，充分提取人体特征，进而提高时域网络对高层时域特征的提取，最终得到精确的识别结果。(3)本专利技术应用于基于RGB视频的人体行为识别，识别准确率高，网络参数少，训练成本低。同时，本专利技术方法对摄像头视角变化、场景亮度色彩变化容忍度高，对视频背景相似等干扰有良好的鲁棒性。附图说明图1是本专利技术的利用姿态掩模进行人体行为识别方法的流程示意图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图对本专利技术作进一步的详细和深入描述。根据神经网络的理论，在同样的网络结构的前提下，图像的前期处理和特征提取是影响网络识别效果的重要因素。本专利技术提出了一种利用姿态掩模进行人体行为识别的方法，利用前置的二维姿态估计网络从RGB视频的每帧图像中提取人体骨骼关节热力图，并将热力图作为原始图像的姿态掩模，将姿态掩模与原始图像内积融合后输入空间卷积神经网络进行训练。姿态掩模能够提取由姿态估计得出的人体骨骼关键点位置区域的空间特征，对图像背景的变化具有强鲁棒性，本专利技术的姿态掩模神经网络模型的识别准确度高，达到过滤背景，提高人体特征提取能力，进而提高人体行为识别准确率的效果。如图1所示，本专利技术的利用姿态掩模进行人体行为识别方法，涉及两个网络，一个是二维姿态估计网络，用于对输入的RGB视频的每帧图像提取人体骨骼关节节点的热力图，本专利技术方法提取人体关键/主要的关节节点；另一个是时空神经网络，用于提取人体特征，对人体行为进行识别。本专利技术方法分为如下4个步骤说明。步骤1：从RGB视频中抽取N帧图像，分别送入姿态估计网络，姿态估计网络从每帧的输入回归得到M张人体骨骼关键节点的热力图，分别对应M个人体骨骼关键关节节点。每张热力图代表该图中每个像素点上对应的特定人体骨骼关键关节点的概率。姿态估计网络先利用检测网络得到图像中的每个人的边界框，再分别截取人所在的图像部分输入姿态估计网络中进行训练和识别。步骤2：对每张RGB图中的M个热力图分别进行多点高斯扩散，每张RGB图获得M个姿态掩模。高斯扩散蒙版能够提供姿态相关背景的附加信息，特别是在姿态估计网络的输出极为集中或直接使用真实值的情况下，这些附加信息更加有效。本专利技术方法提出了多点高斯分布的姿态掩模扩散，以缓解过拟合问题。多点高斯扩散能够提供关于每个关节周围背景的额外信息，特别是在姿态估计网络的输出极为集中的情况下，这些附加信息相对更加有效。假设源像素点值为1，单点高斯扩散计算过程如公式(1)所示：其中，G(i,j)代表对像素(i,j)的高斯扩散系数值，d为源扩散点与目标点的距离，R代表作用的半径范围。(i,j)是代表像素坐标。因在本专利技术的场景下，一个热力图对应一个关节节点的概率矩阵，热力图含有多个非0值，本专利技术方法对矩阵中的每个非零概率的像素点进行高斯扩散，将其点群范围进行扩散产生姿态掩模，并利用生成的掩模对原图像进行过滤。将热力图中非零概率的像素点作为目标点，对于每个目标点的值，应由其他非零源点扩散影响值相加得到。设热力图中总共有n个非零像素点，对目标点(i,j)扩散后的姿态掩模为：其中，P(i,j)代表掩模图在(i,j)处的值，这里kx和ky分别表示第k个非零像素点的横、纵坐标。H(k)表示热力图的第k个非零像素点的概率值。对每个热力图，对图中所有非零概率的目标点进行多点高斯扩散后，得到热力图最终的姿态掩模图。本专利技术对于M个热力图获得M个姿态掩模。本文档来自技高网...

【技术保护点】
1.一种姿态掩模进行人体行为识别的方法，其特征在于，包括：/n步骤1：将视频的一帧图像输入姿态估计网络，输出M张人体骨骼节点的热力图，M为人体骨骼的关键关节节点的数量；热力图中的像素点的值代表关节节点的概率；/n步骤2：对图像的M张热力图分别进行多点高斯扩散，获得M个姿态掩模；/n对每张热力图，将其中概率非零的像素点作为目标点，对每个目标点，计算由其他概率非零的像素点扩散影响值的和，最后得到热力图的姿态掩模；/n步骤3：将视频的图像转化为灰度图，分别与M个姿态掩模内积，获得经过姿态掩模的图像样本；对视频的一帧图像输出M个经姿态掩模的图像样本；/n步骤4：建立用于人体行为识别的时空神经网络，利用由步骤1～3处理后的训练样本集合进行训练，得到训练好的时空神经网络；将视频的图像经过步骤1～3处理后输入训练好的时空神经网络，输出对应的人体行为类别的概率结果；/n所述的时空神经网络采用卷积神经网络作为空间特征提取网络，采用长短时记忆网络作为时域特征提取网络；时空神经网络的输入层为M通道，对应输入由步骤3输出的M个经姿态掩模的图像样本；时空神经网络的输出层节点对应人体行为的类别。/n

【技术特征摘要】
20191127 CN 20191118511661.一种姿态掩模进行人体行为识别的方法，其特征在于，包括：
步骤1：将视频的一帧图像输入姿态估计网络，输出M张人体骨骼节点的热力图，M为人体骨骼的关键关节节点的数量；热力图中的像素点的值代表关节节点的概率；
步骤2：对图像的M张热力图分别进行多点高斯扩散，获得M个姿态掩模；
对每张热力图，将其中概率非零的像素点作为目标点，对每个目标点，计算由其他概率非零的像素点扩散影响值的和，最后得到热力图的姿态掩模；
步骤3：将视频的图像转化为灰度图，分别与M个姿态掩模内积，获得经过姿态掩模的图像样本；对视频的一帧图像输出M个经姿态掩模的图像样本；
步骤4：建立用于人体行为识别的时空神经网络，...

【专利技术属性】
技术研发人员：夏海轮，苗俊卿，曾志民，孙丹丹，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11