用于动作识别的人体骨架压缩方法、装置以及设备制造方法及图纸

本发明专利技术公开了一种用于动作识别的人体骨架压缩方法，包括：获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；计算所述人体骨架数据中每个关节的运动得分，并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；根据所述压缩数据对人体动作进行识别。通过上述方法，可以将骨架数据流压缩到较小的带宽，同时保持动作识别的精度尽可能高。

Compression method, device and equipment of human skeleton for action recognition

【技术实现步骤摘要】
用于动作识别的人体骨架压缩方法、装置以及设备
本专利技术涉及行为识别
，特别涉及一种用于动作识别的人体骨架压缩方法、装置以及设备。
技术介绍
人体姿势，也称为骨架，可以用作一种动作识别的数据形式。与基于视频的动作分析相比，基于骨骼的动作分析效率更高且噪音更低。基于三维骨架序列的人体行为识别具有存储量少，对光照变化、背景变化等环境因素的干扰小的特点，并且骨架数据是对人体特征的高度抽象，因此骨架序列成为近年来研究行为识别的重点。骨架数据本质上是一个矩阵，大小为时间×关节。并且随着深度相机的普及，人体骨架数据的获取也变得越来越方便。而且在智能汽车和安全系统中也安装了一些长距离深度相机，这导致人体骨架数据量迅速增加。另一方面，随着网络基础设施的普及和云计算的发展，骨架数据传输的需求也在增加。尤其是在物联网时代，传感器仅负责数据的收集和传输，而分析则由云完成。例如，在一个有10,000人的拥挤的大型活动中，5台摄像机可能会产生50,000个骨架序列样本。如果每个样本具有每秒25帧的25个连接点，则生成的数据量将高达3000Mbit/sec，在诸如此类的拥挤场景中，骨架数据可能会对网络传输带来很大压力。
技术实现思路
本公开实施例提供了一种用于动作识别的人体骨架压缩方法、装置以及设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。在一些可选地实施例中，一种用于动作识别的人体骨架压缩方法，包括：获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；根据保留关节对人体骨架数据进行压缩，得到压缩数据；根据压缩数据对人体动作进行识别。可选地，获取待识别的人体骨架数据，包括：将从预先构造的人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为人体骨架数据，其中，以人体骨架行为识别数据集中的每个待识别的人作为一个样本。可选地，计算人体骨架数据中每个关节的运动得分，包括：计算人体骨架数据的运动流，根据运动流计算每个关节的运动得分。可选地，计算人体骨架数据的运动流，包括：运动流包括人体骨架数据中的每个关节的骨架运动，计算人体骨架数据中的每个关节的骨架运动，根据每个关节的骨架运动，得到人体骨架数据的运动流。其中，每个关节的骨架运动的计算公式为：X＝{X1,X2,...,Xt,...,XT}∈RT×C×J其中，Mt是人体骨架数据中第t个关节的骨架运动，Xt是时间步长为t时的人体骨架数据，是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，RT×C×J是与T、C、J相关的三维张量；其中，运动流的计算公式为：M＝{M1,M2,...,MT-1}其中，M是人体骨架数据的骨架序列的运动流。可选地，根据运动流计算每个关节的运动得分，包括：根据公式计算每个关节的运动得分，公式如下所示：其中，Sj是人体骨架数据中第j个关节的运动得分，Mt,c,j表示在时间t处，第j个关节在第c维坐标空间的骨架运动。可选地，根据压缩数据对人体动作进行识别，包括：对压缩数据进行恢复，得到恢复数据；将恢复数据输入到预先训练的动作识别模型中进行分析，得到动作识别结果。可选地，对压缩数据进行恢复，得到恢复数据，包括：将保留关节放置在压缩之前的原始位置，得到第一恢复数据；将剩余的关节用零进行填充，得到第二恢复数据；将第一恢复数据和第二恢复数据作为恢复数据。在一些可选地实施例中，一种用于动作识别的人体骨架压缩装置，包括：获取模块，用于获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；计算模块，用于计算人体骨架数据中每个关节的运动得分，并按照运动得分从高到低的顺序对人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；压缩模块，用于根据保留关节对人体骨架数据进行压缩，得到压缩数据；识别模块，用于根据压缩数据对人体动作进行识别。在一些可选地实施例中，一种用于动作识别的人体骨架压缩设备，设备包括上述实施例提供的用于动作识别的人体骨架压缩装置。在一些可选地实施例中，一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种用于动作识别的人体骨架压缩方法。本公开实施例提供的技术方案可以包括以下有益效果：本公开实施例通过计算人体骨架数据中每个关节的运动得分，将运动得分高的关节作为保留关节，根据保留关节对人体骨架数据进行压缩，通过根据不同关节的运动量执行压缩，并根据压缩数据对人体动作进行识别，可以将骨架数据流压缩到较小的带宽，同时保持动作识别的精度尽可能高。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；图2是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；图3是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图；图4是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩装置的示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。图1是根据一示例性实施例示出的一种用于动作识别的人体骨架压缩方法的流程示意图；在一些实施例中，一种用于动作识别的人体骨架压缩方法包括：步骤S101、获取待识别的人体骨架数据，其中人体骨架数据是由时间和关节构成的矩阵；具体地，将从人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为人体骨架数据，其中，以人体骨架行为识别数据集中的每个待识别的人作为一个样本。在一些示例性场景中，可以采用基于NTU-RGB+D的人体骨架行为识别数据集，NTU-RGB本文档来自技高网...

【技术保护点】
1.一种用于动作识别的人体骨架压缩方法，其特征在于，包括：/n获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；/n计算所述人体骨架数据中每个关节的运动得分，并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；/n根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；/n根据所述压缩数据对人体动作进行识别。/n

【技术特征摘要】
1.一种用于动作识别的人体骨架压缩方法，其特征在于，包括：
获取待识别的人体骨架数据，其中所述人体骨架数据是由时间和关节构成的矩阵；
计算所述人体骨架数据中每个关节的运动得分，并按照所述运动得分从高到低的顺序对所述人体骨架数据中的每个关节进行排序，按照顺序选择预设数目的关节作为保留关节；
根据所述保留关节对所述人体骨架数据进行压缩，得到压缩数据；
根据所述压缩数据对人体动作进行识别。


2.根据权利要求1所述的方法，其特征在于，所述获取待识别的人体骨架数据，包括：
将从预先构造的人体骨架行为识别数据集中读取到的每个样本的关节点位置，以及每个关节对应的时间和ID号作为所述人体骨架数据，其中，以所述人体骨架行为识别数据集中的每个待识别的人作为一个样本。


3.根据权利要求1所述的方法，其特征在于，所述计算所述人体骨架数据中每个关节的运动得分，包括：
计算所述人体骨架数据的运动流，根据所述运动流计算每个关节的运动得分。


4.根据权利要求3所述的方法，其特征在于，所述计算所述人体骨架数据的运动流，包括：
所述运动流包括所述人体骨架数据中的每个关节的骨架运动，计算所述人体骨架数据中的每个关节的骨架运动，根据所述每个关节的骨架运动，得到所述人体骨架数据的运动流。
其中，所述每个关节的骨架运动的计算公式为：






X＝{X1,X2,...,Xt,...,XT}∈RT×C×J
其中，Mt是所述人体骨架数据中第t个关节的骨架运动，Xt是时间步长为t时的人体骨架数据，是时间t处第j个关节的坐标值，J是关节数，X是完整的骨架序列，T是骨架序列中帧的数量，C是坐标空间的维数，RT×C×J是与T、C、J相关的三维张量；
其中，所述运动流的计算公式为：
M＝{M1,M2,...,MT-1}
其中，M是所述人体骨...

【专利技术属性】
技术研发人员：蒋婷婷，李晟，黄铁军，田永鸿，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11