一种轻量化人体行为识别方法技术

本发明专利技术提供了一种轻量化人体行为识别方法及系统，包括对样本进行数据采集形成数据集；数据集进行openpose算法处理，提取人体关节点数据；关节点数据预处理；预处理后的关节点数据进行自定义特征提取；预处理和自定义特征提取之后所获得的数据进行卷积神经网络训练，经过训练好的相同的神经网络结构进行逻辑回归，输出分类识别结果。本专利通过对采集到的数据利用openpose算法，得到二维图像中每个人物的关节点数据，然后使用PAFs以及匈牙利算法将关节点数据与对应的每一个人体进行匹配。利用所获取的关节点，通过设计自定义特征的方式优化提取出的关节点数据的数据量以及有效性，将得到的数据作为卷积神经网络的输入，完成对人体行为的快速学习与识别。成对人体行为的快速学习与识别。成对人体行为的快速学习与识别。

【技术实现步骤摘要】
一种轻量化人体行为识别方法


[0001]本专利技术涉及行为识别
，具体涉及一种轻量化人体行为识别方法。

技术介绍

[0002]人体行为识别是根据采集到的传感器或视频信息来分析人体行为姿态，能够在各领域取得广泛应用。例如在视频监控领域，传统的视频监控模式依赖于人工，需要消耗大量的人力，效率不够高。而行为识别技术应用在视频监控领域能够克服上述缺点，监控视频输入到动作识别算法模型中可以自动分析场景中人的行为，一旦判断人发生了异常的动作便会自动报警，在解放人力的同时可以实时准确地反馈识别结果。该技术在医疗辅助领域也能发挥作用，面对我国的人口老龄化问题，可以应用动作识别技术的医疗监护系统自动监测识别老年人的生活起居，以便发生意外时能够及时得到帮助。
[0003]另一方面，对于需要做康复训练的病人，可以通过分析病人的肢体运动轨迹，判断其病情恢复情况，进而给出治疗建议。除此之外该技术在人机交互领域也能得到应用，如VR游戏、智慧课堂、运动健身等。
[0004]进行人体行为识别首先要完成人体动作的提取，进而开始对该动作信息进行分析计算。根据获取该信息方式的不同，可以将人体行为识别分为两大类，即基于传感器和基于视觉两类。基于传感器的行为识别依赖于硬件，提取动作时需要佩戴相应的传感器，导致其不够灵活、操作复杂、扩展性不强，只适用于一些特定领域。基于视觉的行为识别能够克服传感器带来的不便，降低成本与硬件需求，取得更广泛的应用。由于省去了硬件依赖，基于视觉的方法要完成人体动作的提取需要靠软件算法来支撑。对于基于视觉的方法来说，针对人体的特点，主流的人体行为获取方法有基于轮廓和基于关节点两种。轮廓法在简单背景下可以很好地获得感兴趣区域，但在复杂背景下表现较差，尤其是存在噪声和视角遮挡的情况下。
[0005]此外，该方法的另一处不足是容易忽略人体各部位的细节变化所发生的行为动作。在提取到动作信息后需要对行为进行分类学习，可用的方法有传统的机器学习方法，如支持向量机等，但可能存在拟合效果不足等问题。此外还有深度学习方法，该方法通常能够取得较好效果，通过神经网络的搭建来实现数据的学习分类。但该方法对算力要求较高，当数据复杂且数据量大时会消耗更多时间，难以保证数据处理的实时性。
[0006]根据上述
技术介绍
，相较于基于传感器的行为识别，对于基于视觉的行为识别来说，二维图像所包含的信息更多，需要更优的软件算法来达到对此信息进行处理和优化的目的。目前已有不少基于二维图像中人体关节点信息的行为识别方法，但目前这些方法中还存在一定的信息冗余以及特征提取不充分的问题。这其中所存在的无效信息会造成干扰导致所提取数据具有一定盲目性，常见的如人物背景干扰，以及同一姿态人物处在图像中的不同位置，或是人物在镜头前距离不同导致大小不同等，都会对数据的提取造成一定影响，进而对识别的精度及准确率造成影响。另外这些信息也可能会导致数据存在一定冗余，当数据存在冗余时则会导致数据量偏大从而影响识别的速率，响应时间延长导致难以做到
实时。

技术实现思路

[0007]本专利技术针对进行人体行为识别时可能存在所提取数据的盲目性导致结果不够准确，以及数据量过大、计算复杂等问题进行优化改进，提出一种轻量化人体行为识别方法。
[0008]为了实现上述目的，本专利技术采用以下技术方案：
[0009]一种轻量化人体行为识别方法，包括以下步骤：
[0010]对样本进行数据采集形成数据集；
[0011]数据集进行openpose算法处理，提取人体关节点数据；
[0012]关节点数据预处理；
[0013]预处理后的关节点数据进行自定义特征提取；
[0014]预处理和自定义特征提取之后所获得的数据进行卷积神经网络训练，经过训练好的相同的神经网络结构进行逻辑回归，输出分类识别结果。
[0015]在一些实施例中，所述样本进行数据采集形成数据集；其中，随机抽取每组样本的五分之四作为训练集，其余五分之一作为测试集。
[0016]在一些实施例中，采集的样本对象包含人物身体的图片；则需要拍摄包含多组不同人物动作的图像，为每一组图像打上类别标签；为不同组打上不同标签。
[0017]在一些实施例中，采集的样本对象包含人物身体的视频；则将视频进行帧处理，每一帧看做一个独立的图像；为每隔一定数量的帧抽取出一帧，将该帧作为样本，其余帧则不作处理。
[0018]在一些实施例中，所述数据集进行openpose算法处理，提取人体关节点数据；包括：
[0019]将图像作为卷积神经网络的输入来提取图像特征，之后所得到的图像特征作为两个平行的部分，即部分置信图PCM和部分亲和力场PAF；
[0020]随后将这两组信息根据图论中的偶匹配来求出部分连接关系，使得各个关节点能够被正确地划分。
[0021]在一些实施例中，所述将图像作为卷积神经网络的输入来提取特征，之后所得到的特征图将作为两个平行的部分，即部分置信图PCM和部分亲和力场PAF；包括：在网络体系结构层面，openpose算法使用VGG
‑
19卷积神经网络架构来训练图像以获得图像特征，使用VGG
‑
19卷积神经网络进行特征提取之后，将所提取出来的特征图作为两个平行的分支送到卷积模块中进行处理。
[0022]在一些实施例中，采用多阶段设计，使得每一次的输入信息都是上一阶段的输出与VGG
‑
19所提取的特征的整合；最终整个网络提取出部分置信图PCM和部分亲和力场PAF的信息，这两个信息交给两个结构相同的卷积模块来处理。
[0023]在一些实施例中，将数据集的图像作为网络结构的输入，输入图像在被提取特征获得特征图后，被分别送入两个分支进行多阶段运算，两个分支在每个阶段中分别使用损失函数进行约束，该损失函数的表达式为：
[0024][0025][0026][0027]在式3.1中，J表示关节点的总数，T表示总阶段数，在阶段t时关节点j的预测关节点置信图为而真值为W(p)用于防止在训练中对正确预测的惩罚，是一个取值为0或1的二元函数；在式3.2中C表示两关节点间的总肢体数，L是预测的关键点间肢体的部分亲和字段的矢量场集合；表示t阶段预测的矢量场，是矢量场的真实值；式3.3则表示全局的损失函数。
[0028]在一些实施例中，所述关节点数据预处理；包括：对于提取到的单个人的二维关节坐标点集合中数据的二维坐标系以图像左上角为坐标原点，原点向右为x轴正半轴，原点向下为y轴正半轴；集合中的数据表示为(X
n
,Y
n
)，其中0<n<26且n∈N；对于提取出的单个人关节点坐标集合，若存在n<17，则从数据集中删除该集合，不作为样本数据处理；对于满足上述条件的每个集合，进行如下计算：
[0029]X
body_min
＝min(X1,X2,......X
n
)，X
body本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量化人体行为识别方法，其特征在于，包括以下步骤：对样本进行数据采集形成数据集；数据集进行openpose算法处理，提取人体关节点数据；关节点数据预处理；预处理后的关节点数据进行自定义特征提取；预处理和自定义特征提取之后所获得的数据进行卷积神经网络训练，经过训练好的相同的神经网络结构进行逻辑回归，输出分类识别结果。2.根据权利要求1所述的一种轻量化人体行为识别方法，其特征在于，所述样本进行数据采集形成数据集；其中，随机抽取每组样本的五分之四作为训练集，其余五分之一作为测试集。3.根据权利要求1所述的一种轻量化人体行为识别方法，其特征在于，采集的样本对象包含人物身体的图片；则需要拍摄包含多组不同人物动作的图像，为每一组图像打上类别标签；为不同组打上不同标签。4.根据权利要求1所述的一种轻量化人体行为识别方法，其特征在于，采集的样本对象包含人物身体的视频；则将视频进行帧处理，每一帧看做一个独立的图像；为每隔一定数量的帧抽取出一帧，将该帧作为样本，其余帧则不作处理。5.根据权利要求1所述的一种轻量化人体行为识别方法，其特征在于，所述数据集进行openpose算法处理，提取人体关节点数据；包括：将图像作为卷积神经网络的输入来提取图像特征，之后所得到的图像特征作为两个平行的部分，即部分置信图PCM和部分亲和力场PAF；随后将这两组信息根据图论中的偶匹配来求出部分连接关系，使得各个关节点能够被正确地划分。6.根据权利要求5所述的一种轻量化人体行为识别方法，其特征在于，所述将图像作为卷积神经网络的输入来提取特征，之后所得到的特征图将作为两个平行的部分，即部分置信图PCM和部分亲和力场PAF；包括：在网络体系结构层面，openpose算法使用VGG
‑
19卷积神经网络架构来训练图像以获得图像特征，使用VGG
‑
19卷积神经网络进行特征提取之后，将所提取出来的特征图作为两个平行的分支送到卷积模块中进行处理。7.根据权利要求6所述的一种轻量化人体行为识别方法，其特征在于，采用多阶段设计，使得每一次的输入信息都是上一阶段的输出与VGG
‑
19所提取的特征的整合；最终整个网络提取出部分置信图PCM和部分亲和力场PAF的信息，这两个信息交给两个结构相同的卷积模块来处理。8.根据权利要求7所述的一种轻量化人体行为识别方法，其特征在于，将数据集的图像作为网络结构的输入，输入图像在被提取特征获得特征图后，被分别送入两个分支进行多阶段运算，两个分支在每个阶段中分别使用损失函数进行约束，该损失函数的表达式为：阶段运算，两个分支在每个阶段中分别使用损失函数进行约束，该损失函数的表达式为：
在式3.1中，J表示关节点的总数，T表示总阶段数，在阶段t时关节点j的预测关节点置信图为而真值为W(p)用于防止在训练中对正确预测的惩罚，是一个取值为0或1的二元函数；在式3.2中C表示两关节点间的总肢体数，L是预测的关键点间肢体的部分亲和字段的矢量场集合；表示t阶段预测的矢量场，是矢量场的真实值；式3.3则表示全局的损失函数。9.根据权利要求1所述的一种轻量化人体行为识别方法，其特征在于，所述关节点数据预处理；包括：对于提取到的单个人的二维关节坐标点集合中数据的二维坐标系以图像左上角为坐标原点，原点向右为x轴正半轴，原点向下为y轴正半轴；集合中的数据表示为(X
n
,Y
n
)，其中0<n<26且n∈N；对于提取出的单个人关节点坐标集合，若存在n<17，则从数据集中删除该集合，不作为样本数据处理；对于满足上述条件的每个集合，进行如下计算：X
body_min
＝min(X1,X2,......X
n
)，X
body_max
＝max(X1,X2,......X
n
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3.4)Y
body_min
＝min(Y1,Y2,......Y
n
)，Y
body_max
＝max(Y1,Y2,......Y
n
)<...

【专利技术属性】
技术研发人员：杨媛媛，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：