一种基于人体骨架时空关系的行为识别方法技术

本发明专利技术涉及计算机视觉技术领域，其公开了一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。该方法包括以下步骤：S1、对人体骨架序列进行均匀分段处理；S2、对每段人体骨架信息生成基于距离的图像表达；S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；S4、采用具有时序关系的多个短时空特征作为Bi‑LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。

【技术实现步骤摘要】
一种基于人体骨架时空关系的行为识别方法
本专利技术涉及计算机视觉
，具体涉及一种基于人体骨架时空关系的行为识别方法。
技术介绍
行为识别是将所给定的视频片段中人的行为类别识别出来，它当前计算机视觉领域中的一个重要研究方向。由于基于视频原始图像的行为识别方法在较多场合易受到光线、遮挡和距离等问题干扰的因素，使用从视频中提取出的骨架信息作为行为识别原始数据的研究越来越多。基于人体骨架的行为识别方法更具有鲁棒性，能在行为识别中获得较高的识别率。基于人体骨架的行为识别可分为两大类：基于传统方法的行为识别与基于深度学习的行为识别。其中基于传统方法的行为识别使用人工设计的算法提取视频中的行为特征，依赖于先验知识；基于深度学习的方法在构造网络后，网络可自动学习对识别有益的图像特征，但对计算和存储能力要求高。由于当前计算能力与存储能力的高速发展，使用基于深度学习的行为识别方法一般可表现出优于传统行为识别的效果。基于深度学习的行为识别方法在针对性上也可进行分类，即针对图像特征的方法、针对时序特征的方法与针对结构特征的方法。针对图像特征的方法常使用卷积神经网络及其变形网络，针对时序特征的方法常使用循环神经网络及其变形网络，针对结构特征的方法常使用图神经网络及其变形。但针对单一特征的方法难以充分捕捉人体骨架的时空关系，特别是对于行为来说，由于行为不仅是在空间中人体关节位置的相对关系，也是在不同时间点关节位置的变化。使用多种特征结合来进行行为识别能更充分地利用人体骨架在行为过程中的时空关系信息，从而提高识别的准确性。<br>
技术实现思路
本专利技术所要解决的技术问题是：提出一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。本专利技术解决上述技术问题采用的技术方案是：一种基于人体骨架时空关系的行为识别方法，包括以下步骤：S1、对人体骨架序列进行均匀分段处理；S2、对每段人体骨架信息生成基于距离的图像表达；S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。作为进一步优化，步骤S1具体包括：S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。作为进一步优化，步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；S112、若X＜L×K，则对原始人体骨架序列进行中的各帧进行复制，使得经过复制处理后的序列长度大于或等于L×K，若等于L×K，则进入步骤S12，若大于L×K，则进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；S113、若X＝L×K，则进入步骤S12。作为进一步优化，步骤S2具体包括：S21、对于划分的短序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位；S22、对于划分的短序列中每一帧骨架数据，计算各个部位中心点的位置：其中，表示第k帧时，第j个部位的中心点在m通道所对应的坐标值；表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值，nj表示第j个部位中包含的关节点的数量；S23、对于划分的短序列中每一帧骨架数据，计算各个部位中的关节点与中心点的距离：其中，d为m通道中，该部位关节点与中心点的距离；S24、对于划分的短序列中每一帧骨架数据，将其对应表达为包含中心点位置以及关节点与中心点距离的向量：其中，代表在第k帧中，第j个部位空间在m通道所对应的距离向量；S25、对于划分的短序列，将其中每一帧骨架数据所得到的向量表达按时序顺序拼接；S26、将拼接后的向量表达进行归一化处理；S27、根据归一化后的向量获得每个短时序骨架数据的图形表达P：P＝[P1,P2,...，pm]，作为进一步优化，步骤S3具体包括：针对每个短时序骨架的图形表达P，采用针对行为特征提取的带权多视角卷积进行特征提取，得到该短时序骨架的时空特征：fr-mv＝a*S1(x)+b*S2(x)+c*S3(x)+x其中x代表本层输入，在第一层时，该输入为P，S1、S2、S3分别对应三个视角的卷积操作，a、b、c分别对应三个视角卷积的结果在输出中所占的重要性，S1、S2、S3与a、b、c具体数值均由网络学习得到。作为进一步优化，步骤S4具体包括：S41、将多段短时序骨架时空特征作为Bi-LSTM网络的输入，以得到最终长时序骨架时空特征F；S42、将长时序骨架时空特征F作为全连接层和softmax层的输入，得到最终各类得分；S43、通过选取最高分类别的方式得到识别结果。本专利技术的有益效果是：通过将人体骨架数据进行基于图像的生成，可将图像任务中的知识有效地迁移到使用骨架数据进行行为识别的领域，有利于模型的训练及最终效果的提升；使用针对行为特征的带权多视角卷积可从多个角度对行为进行描述，将所得短时序行为特征作为输入，使用双向LSTM可将不同时间点的行为联系起来，有效实现对行为时空关系的提取，提升识别准确率。附图说明图1为本专利技术识别方法的流程图；图2为带权多视角卷积示意图；图3为带残差思想的带权多卷积示意图；图4为分层特征提取示意图。具体实施方式本专利技术旨在提出一种基于人体骨架时空关系的行为识别方法，解决现有行为识别方法难以充分利用人体在行为动作中时空关系，识别的准确率不高的问题。其核心思想是：将人体骨架序列进行分段后，进行基于距离的图像表达生成，然后使用带权多视角卷积方法对每个人体骨架信息的图像表达进行短时空特征提取，并使用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别，本专利技术正是基于对人体行为时序特性进行的“短时序-长时序”分层特征提取能提高行为识别的准确率。下面结合附图对本专利技术的方案作进一步的描述。如图1所示，本专利技术中的基于人体骨架时空关系的行为识别方法包括以下步骤：S1、人体骨架序列均匀分段处理：本步骤中，以视频中原始人体骨架序列作为此阶段的输入，进行均匀分段，具体包括：S11：确定均匀分段段数L、每段中包含的帧数K。对于含有X帧数据本文档来自技高网...

【技术保护点】
1.一种基于人体骨架时空关系的行为识别方法，其特征在于，包括以下步骤：/nS1、对人体骨架序列进行均匀分段处理；/nS2、对每段人体骨架信息生成基于距离的图像表达；/nS3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；/nS4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。/n

【技术特征摘要】
1.一种基于人体骨架时空关系的行为识别方法，其特征在于，包括以下步骤：
S1、对人体骨架序列进行均匀分段处理；
S2、对每段人体骨架信息生成基于距离的图像表达；
S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；
S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别。


2.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S1具体包括：
S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；
S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。


3.如权利要求2所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：
S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S112、若X＜L×K，则对原始人体骨架序列进行中的各帧进行复制，使得经过复制处理后的序列长度大于或等于L×K，若等于L×K，则进入步骤S12，若大于L×K，则进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；
S113、若X＝L×K，则进入步骤S12。


4.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，
步骤S2具体包括：
S21、对于划分的短序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位；
S22、对于划分的短序列中每一帧骨架数据，计算各个部位...

【专利技术属性】
技术研发人员：许毅，张栗粽，段贵多，罗光春，陈素云，曹京，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51