一种人体动作智能识别方法及装置制造方法及图纸

本发明专利技术公开了一种人体动作智能识别方法及装置，包括：视频数据获取模块，用于获取存储的视频文件或通过摄像头采集视频流；视频预处理模块，用于对原视频中尺寸不合规范的数据集进行裁剪处理，并将尺寸裁剪后的视频帧序列分割成多个单帧图像；视频帧关键点提取模块，用于对以处理好的单帧图像进行关键点识别；无效人体过滤模块，用于过滤不符合要求的人体，并输出为单目标人体；连续帧关键点矩阵聚合模块，用于通过若干个连续帧关键点计算每个关节的空间位置信息。本发明专利技术由于关键点序列往往数据量很小，因此本文基于关键点序列将行为的时空特征编码为一幅RGB图像，并保留原始的空间位置信息和时间的动态信息。位置信息和时间的动态信息。位置信息和时间的动态信息。

【技术实现步骤摘要】
一种人体动作智能识别方法及装置


[0001]本专利技术涉及人体动作识别
，具体为一种人体动作智能识别方法及装置。

技术介绍

[0002]随着视频采集设备的普及率日益提高和信息通信技术的不断迅速发展，信息的重要载体越来越向视频倾斜，也便捷了视频的传输与获取。随着计算机视觉的发展以及人体关键点识别的技术日益提高，基于人体关键点来进行动作判别也成为了一个重要的研究方向；例如视频监控、家庭护理、智慧出行等应用方面也越来越多的使用到人体动作识别技术，为此，我们提出一种实用性更高的人体动作智能识别方法及装置。

技术实现思路

[0003]本专利技术的目的在于提供一种人体动作智能识别方法及装置，解决了现有的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种人体动作智能识别装置，包括：视频数据获取模块，用于获取存储的视频文件或通过摄像头采集视频流；视频预处理模块，用于对原视频中尺寸不合规范的数据集进行裁剪处理，并将尺寸裁剪后的视频帧序列分割成多个单帧图像；视频帧关键点提取模块，用于对以处理好的单帧图像进行关键点识别；无效人体过滤模块，用于过滤不符合要求的人体，并输出为单目标人体；连续帧关键点矩阵聚合模块，用于通过若干个连续帧关键点计算每个关节的空间位置信息；轻量化CNN网络动作分类模块，用于通过以时间信息为横轴、关键位置信息为纵轴、像素为关键点坐标编码而成的这样的一幅RGB图像；结果输出模块，用于输出人体识别的数据结果。
[0005]一种人体动作智能识别方法，其特征在于，包括以下步骤：S1、视频数据获取：S2、视频预处理；S3、视频帧关键点提取；S4、无效人体过滤；S5、连续帧关键点矩阵聚合；S6、轻量化CNN网络动作分类；S7、结果输出。
[0006]优选的，所述步骤S1中，获取存储的视频文件，并通过摄像头采集视频流。
[0007]优选的，所述步骤S2中，首先对原视频中尺寸不合规范的数据集进行裁剪处理，使得处理后的视频帧序列包含了完整的动作信息且尺寸符合要求，再将尺寸裁剪后的视频帧序列分割成多个单帧图像，送入视频帧关键点提取模块。
[0008]优选的，所述步骤S2中，使用人体关键点提取模型对已处理好的单帧图像进行关
键点识别。
[0009]优选的，人体关键点识别可检测图像中的所有人体，标记出每个人体的坐标位置和每个人体的总体得分；也可定位人体的21个主要关键点，包含头顶、五官、颈部、四肢主要关节部位；支持人体背面、侧面、中低空斜拍、大动作等复杂场景。
[0010]优选的，人体关键点提取模型的输入为单帧图像，输出为包含关键点位置坐标以及得分的字典类型数据。
[0011]优选的，所述步骤S4中的滤除条件：S41、总体得分小于总分阈值的人体除去；S42、剩下的人体中关键点得分大于关键点阈值的个数小于个数阈值的人体除去；S43、剩下的人体中取得分最高者；经步骤S41、S42和S43三步过滤后输出为单目标人体。
[0012]优选的，所述步骤S5中，对于任意第i个关键点坐标，将映射到RGB图片的R通道，映射到RGB空间的G通道，B通道设置为0，则每个关键点的x或y被量化成：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中：：关键点坐标量化数值；floor：向下取整函数；：关键点中的最大坐标值；：关键点中的最小坐标值；将每帧图像转换后的关键点坐标按照默认顺序由上到下排为通道数为3，大小为N
×
1的向量，N为关键点的类型总数；然后按时序顺序依次将连续L帧转换出的3通道的N
×
1的矩阵按列合并排列，即形成了N
×
L的图像矩阵，其矩阵M为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）上述步骤将连续多帧的关键点坐标映射为一张RGB图片。
[0013]优选的，所述步骤S6中，进一步包括以下步骤：S61、网络结构：采取轻量化的CNN网络来实现图片的分类，并考虑到人体动作的时域信息后，通过以时间信息为横轴、关键位置信息为纵轴、像素为关键点坐标编码而成的这样的一幅RGB图像，人体动作的时空特征便以表达出来，还可将人体动作编码的图像直接用CNN识别；S62、网络的输入为编码后大小为3通道16
×
21的的图像，以及该网络为小规模的卷积网络，由3个卷积层、3个池化层及两个全连接层构成，并可激活函数选择LeaKyReLU函数；由于输入数据尺寸较小，卷积层使用了padding在四周补充0避免特征图过小，激活函数LeaKyReLU表达式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
第二个全连接层输出到softmax函数，获取概率最大的动作标号。
[0014]与现有技术相比，本专利技术的有益效果如下：人体关键点序列的数据表示；由于关键点序列往往数据量很小，因此本文基于关键点序列将行为的时空特征编码为一幅RGB图像，并保留原始的空间位置信息和时间的动态信息。
[0015]基于卷积神经网络的轻量化动作分类算法；搭建了一个轻量化的卷积神经网络来对编码后的图像分类，得到较高的准确率。
附图说明
[0016]图1为本专利技术的人体工作识别处理流程图；图2为本专利技术视频帧序列的某张图像示意图；图3为本专利技术关键点识别效果示意图；图4为本专利技术跑步连续帧点识别示意图；图5为本专利技术轻量化CNN网络构架示意图；图6为本专利技术epoch=3时的正确率示意图；图7为本专利技术epoch=2时的正确率示意图；图8为本专利技术结构示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0018]请参阅图1和图8所示，一种人体动作智能识别方法及装置，包括：视频数据获取模块，用于获取存储的视频文件或通过摄像头采集视频流；视频预处理模块，用于对原视频中尺寸不合规范的数据集进行裁剪处理，并将尺寸裁剪后的视频帧序列分割成多个单帧图像；视频帧关键点提取模块，用于对以处理好的单帧图像进行关键点识别；无效人体过滤模块，用于过滤不符合要求的人体，并输出为单目标人体；连续帧关键点矩阵聚合模块，用于通过若干个连续帧关键点计算每个关节的空间位置信息；轻量化CNN网络动作分类模块，用于通过以时间信息为横轴、关键位置信息为纵轴、像素为关键点坐标编码而成的这样的一幅RGB图像；结果输出模块，用于输出人体识别的数据结果。
[0019]如图1和图8所示，一种人体动作智能识别方法，其特征在于，包括以下步骤：S1、视频数据获取：获取存储的视频文件，并通过摄像头采集视频流。
[0020]S2、视频预处理：为了保证帧序列有效、完整的表达视频内的动作，首先对原视频中尺寸不合规范的数据集进行裁剪处理，使得处理后的视频帧序列包含了完整的动作信息且尺寸符合要求，再将尺寸裁剪后的视频帧序列分割成多个单帧图像，送入视频帧关键点提取模块。
[0021]S3、视频帧关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体动作智能识别装置，其特征在于，包括：视频数据获取模块，用于获取存储的视频文件或通过摄像头采集视频流；视频预处理模块，用于对原视频中尺寸不合规范的数据集进行裁剪处理，并将尺寸裁剪后的视频帧序列分割成多个单帧图像；视频帧关键点提取模块，用于对以处理好的单帧图像进行关键点识别；无效人体过滤模块，用于过滤不符合要求的人体，并输出为单目标人体；连续帧关键点矩阵聚合模块，用于将若干个连续帧关键点计算每个关节的空间位置聚合信息；轻量化CNN网络动作分类模块，用于通过以时间信息为横轴、关键位置信息为纵轴、像素为关键点坐标编码而成的这样的一幅RGB图像；结果输出模块，用于输出人体识别的数据结果。2.一种人体动作智能识别方法，其特征在于，包括以下步骤：S1、视频数据获取：S2、视频预处理；S3、视频帧关键点提取；S4、无效人体过滤；S5、连续帧关键点矩阵聚合；S6、轻量化CNN网络动作分类；S7、结果输出。3.根据权利要求1所述的一种人体动作智能识别方法，其特征在于：所述步骤S1中，获取存储的视频文件，并通过摄像头采集视频流。4.根据权利要求1所述的一种人体动作智能识别方法，其特征在于：所述步骤S2中，首先对原视频中尺寸不合规范的数据集进行裁剪处理，使得处理后的视频帧序列包含了完整的动作信息且尺寸符合要求，再将尺寸裁剪后的视频帧序列分割成多个单帧图像，送入视频帧关键点提取模块。5.根据权利要求1所述的一种人体动作智能识别方法，其特征在于：所述步骤S2中，使用人体关键点提取模型对已处理好的单帧图像进行关键点识别。6.根据权利要求5所述的一种人体动作智能识别方法，其特征在于，人体关键点识别可检测图像中的所有人体，标记出每个人体的坐标位置和每个人体的总体得分；也可定位人体的21个主要关键点，包含头顶、五官、颈部、四肢主要关节部位；支持人体背面、侧面、中低空斜拍、大动作等复杂场景。7.根据权利要求5所述的一种人体动作智能识别方法，其特征在于，人体关键点提取模型的输入为单帧图像，输出为包含关键点位置坐标以及得分的字典类型数据。8.根据权利要求1所述的一种人体动作智能识别方法，其特征在于，步骤S...

【专利技术属性】
技术研发人员：曾歆，
申请(专利权)人：江苏音律未来乐器科技有限公司，
类型：发明
国别省市：