一种人体动作识别方法技术

本发明专利技术公开一种人体动作识别方法，本方法首先对图像进行构建最小邻域和滤波的预处理，然后进行图像通道变换、目标轮廓增强和提取差分图像，对前景图像进行阈值处理和前景图处理，最后基于三维卷积网络，进行模型训练或动作识别及动作定位。本方法解决现有动作识别方法中，模型在大场景、小目标、复杂背景下，检测精度下降的问题，同时，实现了对任意连续无边界视频流中动作检测及动作定位，提高了人体动作识别的精度以及在不同应用场景下的鲁棒性提高了模型的范化应用能力。

A method of human motion recognition

【技术实现步骤摘要】
一种人体动作识别方法
本专利技术涉及一种人体动作识别方法，属于人体动作识别

技术介绍
动作识别通过提连续视频帧的动作特征，实现动作分类分类任务，在实际中避免可能存在的危险行为的发生，实际应用场景广泛，因此其一直是计算机视觉领域一个活跃的研究方向。现有的基于深度学习的动作识别方法，在所得模型在小场景、大目标下，取得了较高的分类精度。但是在复杂背景(存在噪音)、小目标的实时监控中，现有人体动作识别方法存在识别精度低、出现大量漏报及误报的现象。
技术实现思路
针对现有技术的缺陷，本专利技术提供一种人体动作识别方法，决大场景，小目标、复杂背景下，动作识别精度较低的问题，同时，在较小计算量下，解决了实现对任意长度连续视频中的动作精确地定位及动作分类问题。为了解决所述技术问题，本专利技术采用的技术方案是：一种人体动作识别方法，包括以下步骤：S01)、将视频解码，对每一帧图片进行预处理，所述预处理包括最小邻域选择和滤波器设计，采用卡尔曼滤波器对图像进行滤波；S02)、对预处理后的图像根据公式21完成图像格本文档来自技高网...

【技术保护点】
1.一种人体动作识别方法，其特征在于：包括以下步骤：/nS01)、将视频解码，对每一帧图片进行预处理，所述预处理包括最小邻域选择和滤波器设计，采用卡尔曼滤波器对图像进行滤波；/nS02)、对预处理后的图像根据公式21完成图像格式转换，输出图像由三通道RGB图像转化为单通道GRAY图像：/nGray(m,n)＝0.299r(m,n)+0.587g(m,n)+0.441b(m,n) (21)，/n其中Gray(m,n)为滤波器输出灰度图像在像素点(m,n)处的灰度值，r(m,n)、g(m,n)、b(m,n)为彩色图像在像素点(m,n)处对应的三通道像素值；/nS03)、通过公式31对图像进行目标...

【技术特征摘要】
1.一种人体动作识别方法，其特征在于：包括以下步骤：
S01)、将视频解码，对每一帧图片进行预处理，所述预处理包括最小邻域选择和滤波器设计，采用卡尔曼滤波器对图像进行滤波；
S02)、对预处理后的图像根据公式21完成图像格式转换，输出图像由三通道RGB图像转化为单通道GRAY图像：
Gray(m,n)＝0.299r(m,n)+0.587g(m,n)+0.441b(m,n)(21)，
其中Gray(m,n)为滤波器输出灰度图像在像素点(m,n)处的灰度值，r(m,n)、g(m,n)、b(m,n)为彩色图像在像素点(m,n)处对应的三通道像素值；
S03)、通过公式31对图像进行目标轮廓增强，以去除灰度图像中噪声，同时提高图像中目标的轮廓清晰度：



其中Pixel(m,n)表示预处理输出灰度图像在像素点(m,n)处进行轮廓增强后计算出的像素值，Gray(m,n)为经过公式21转化后得到的单通道灰度图像在(m,n)处的像素值，w(m,n,i,j)为权重，i、j表示邻域大小；
权重w(m,n,i,j)由两部分组成，分别为空间距离d(m,n,i,j)、像素距离r(m,n,i,j)，其计算过程为：
w(m,n,i,j)＝d(m,n,i,j)·r(m,n,i,j)(32)，






其中δd＝0.7，δr＝0.2，
S04)、每间隔8帧，在图像序列中选取三张图像It、It-8、It-16，获取的前景图片用D表示，三张图片在像素点(m,n)处的像素值分别为：It(m,n)、It-8(m,n)、In-16(m,n)，则前景图像为：
D(m,n)＝|It(m,n)-It-8(m,n)|∩|It-8(m,n)-It-16(m,n)|(41)，
对前景图像D(m,n)进行阈值操作：



其中阈值T的计算采用如下方式：
T＝Min(Tt/t-8,Tt-8/t-16)(43)，
公式43中，Tt/t-8、Tt-8/t-16分别取符合公式44、45的值，






其中，A为整张图片的像素点个数，δ＝0.6；
S05)、对前景图像D(m,n)进行腐蚀及膨胀操作；
S06)、将获取的灰度前景图像D(m,n)并转为三通道图像，组合成连续图片序列，输入三维卷积网络进行训练和检测。


2.根据权利要求1所述的人体动作识别方法，其特征在于：三维卷积网络对连续图片序列进行检测的具体步骤为：
S61)、三维卷积网络输入的是3通道、视频长度为L、视频帧图像高度为H、视频帧图像宽度为W的视频帧图像集合，经过三维卷积网络前向传播后，得到的输出为2048通道、视频长度为视频帧图像高度为视频帧图像宽度为的特征图集合；
S62)、以均匀分布的时间位置为中心预定义多尺度窗口，每个时间位置指定K个锚段，每个锚段的固定比例不同，通过应用内核尺寸为的3Dmax-pooling滤波器，对空间维度进行从到1×1的采样，以生成仅时间的特征图集合Ctpn，Ctpn中是2048通道、视频长度为视频帧图像高度为1、视频帧图像宽度为1的图片，...

【专利技术属性】
技术研发人员：高朋，许野平，刘辰飞，陈英鹏，张朝瑞，席道亮，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：山东;37