一种人体动作识别方法、装置及设备制造方法及图纸

本申请公开了一种人体动作识别方法、装置及设备，通过接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；根据预先定义的不同基础动作对应的肢体状态间的转换关系，确定所述多帧图像按照采样时间对应的肢体状态间的转换关系所匹配的基础动作；根据不同自定义动作对应的基础动作组合，得到所述所匹配的基础动作对应的自定义动作。通过该方法可以针对不同行业的需求进行动作识别。行业的需求进行动作识别。行业的需求进行动作识别。

【技术实现步骤摘要】
一种人体动作识别方法、装置及设备


[0001]本申请涉及视频处理
，尤其涉及一种人体动作识别方法、装置及设备。

技术介绍

[0002]动作识别是行业数字化转型过程中的重要一项，但由于行业需求不同，对于动作的需求也有很多的差异，需求非常碎片化。例如，对视频数据进行内容审核，动作识别是内容审核的其中一部分，用于过滤涉及暴力的视频数据；在动作技能培训方面，需要对数据采集装置传送来的运动数据进行计算分析后，能够获取到用户运动时的位置和姿态信息等，从而为用户进行数据分享、获得动作指导等提供基础；在服务行业，会对服务人员的动作进行识别以判断该人员的行为是否满足行业需求。
[0003]现有技术是通过接收具有多帧原始图像数据的视频数据；从所述原始图像数据中进行采样，获得目标图像数据；根据所述目标图像数据在全局的特征识别在所述视频数据中出现的动作，获得全局动作；根据所述目标图像数据在局部的特征识别在所述视频数据中出现的动作，获得局部动作；将所述全局动作与所述局部动作融合为在所述视频数据中出现的目标动作。其设计要点是训练特定的模型提取全局特征和局部特征，进而识别特定的动作，通过该方法训练的模型没有扩展性，若出现新的动作需要重新训练模型，无法针对不同行业的需求进行动作识别。

技术实现思路

[0004]为了解决现有技术中通过训练的模型的方式进行人体动作识别，若出现新的动作需要重新训练模型，无法针对不同行业的需求进行动作识别的问题，本申请提供了一种人体动作识别方法、装置及设备。
[0005]第一方面，本申请提供了一种人体动作识别方法，所述方法包括：
[0006]接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；
[0007]根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；
[0008]根据预先定义的不同基础动作对应的肢体状态间的转换关系，确定所述多帧图像按照采样时间对应的肢体状态间的转换关系所匹配的基础动作；
[0009]根据不同自定义动作对应的基础动作组合，得到所述所匹配的基础动作对应的自定义动作。
[0010]在一种可能的实施方式中，预先定义的组成动作的动作基础要素包括如下至少一种：
[0011]人体不同部位对应的人体部件、人体动作时不同部件对应的关键点、人体部件动作时不同位置对应的关键点、与人体动作相关的目标区域、与人体动作相关的目标物体。
[0012]在一种可能的实施方式中，根据解析得到的动作基础要素，确定人体各部件间的
关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：
[0013]根据解析得到的动作基础要素，确定人体各部件间的关联关系、人体各部件与目标物体之间的距离和角度、人体轨迹的静态关系或动态变化关系。
[0014]在一种可能的实施方式中，预先通过不同样本图像及对应的肢体状态训练肢体状态分类模型；
[0015]其中，通过将各帧图像输入肢体状态分类模型，通过所述肢体状态分类模型解析各帧图像中的动作基础要素，及根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态。
[0016]在一种可能的实施方式中，根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：
[0017]获取预先定义的不同肢体状态对应的人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系的逻辑组合；
[0018]根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，得到每帧图像中人体对应的肢体状态。
[0019]在一种可能的实施方式中，所述人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，包括如下至少一种：
[0020]人体动作时不同部件对应的关键点与人体不同部位对应的人体部件之间的位置关系；
[0021]人体动作时不同部件对应的关键点与所述与人体动作相关的目标区域之间、或与人体动作相关的目标物体之间的位置关系；
[0022]与上一帧图像数据相比，人体动作时不同部件对应的关键点的移动方向和移动速度；
[0023]人体动作时不同部件对应的关键点之间的距离关系；
[0024]人体动作时不同部件对应的线段之间的关系，所述关系包括线段长度之间的比值、线段之间是否相交以及线段相交的角度，所述人体部件线段由预先定义的任意两个人体部件关键点构建；
[0025]手指指向，所述指向包括向上指向、向下指向、向左指向、向右指向中的至少一种。
[0026]在一种可能的实施方式中，得到每帧图像中人体对应的肢体状态之后，还包括：
[0027]确定每帧图像中人体相对于采集设备的人体方向，得到不同人体方向对应的肢体状态；
[0028]其中人体方向包括：人体正面向采集设备、人体正背向采集设备、人体面向采集设备并倾斜、人体背向采集设备并倾斜、人体左侧面向采集设备、人体右侧面向采集设备。
[0029]在一种可能的实施方式中，所述预先定义的不同基础动作对应的肢体状态间的转换关系，包括如下至少一种：
[0030]预先定义各基础动作对应的至少一个肢体状态，及所述至少一个肢体状态对应的转换关系，及对应的至少一个伴随肢体状态及所述至少一个伴随肢体状态的转换关系；
[0031]其中，解析所述人体各部件间的关联关系得到肢体状态，解析人体各部件与物体
之间的距离和角度、人体轨迹的静态关系或动态变化关系得到伴随转换关系。
[0032]在一种可能的实施方式中，所述至少一个肢体状态对应的转换关系，包括多帧图像对应的肢体状态为一个的持续模式，及多帧图像对应的肢体状态为多个时，按照预定的顺序进行切换的状态转换模式；
[0033]所述至少一个伴随肢体状态的转换关系，包括多帧图像对应的伴随肢体状态为一个的持续模式，及多帧图像对应的伴随肢体状态为多个时，按照预定的顺序进行切换的状态转换模式。
[0034]在一种可能的实施方式中，采用如下方式确定不同自定义动作对应的基础动作组合：
[0035]确定自定义动作对应的至少一个基础动作，并将所述至少一个基础动作按照时序进行组合，所述自定义动作对应的基础动作组合。
[0036]第二方面，本申请提供了一种人体动作识别装置，所述装置包括：
[0037]解析模块，用于接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；
[0038]确定肢体状态模块，用于根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体动作识别方法，其特征在于，所述方法包括：接收包括人体的多帧图像，根据预先定义的组成动作的动作基础要素，解析各帧图像中的动作基础要素；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态；根据预先定义的不同基础动作对应的肢体状态间的转换关系，确定所述多帧图像按照采样时间对应的肢体状态间的转换关系所匹配的基础动作；根据不同自定义动作对应的基础动作组合，得到所述所匹配的基础动作对应的自定义动作。2.根据权利要求1所述的方法，其特征在于，预先定义的组成动作的动作基础要素包括如下至少一种：人体不同部位对应的人体部件、人体动作时不同部件对应的关键点、人体部件动作时不同位置对应的关键点、与人体动作相关的目标区域、与人体动作相关的目标物体。3.根据权利要求1所述的方法，其特征在于，根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：根据解析得到的动作基础要素，确定人体各部件间的关联关系、人体各部件与目标物体之间的距离和角度、人体轨迹的静态关系或动态变化关系。4.根据权利要求1～3任一所述的方法，其特征在于，还包括：预先通过不同样本图像及对应的肢体状态训练肢体状态分类模型；其中，通过将各帧图像输入肢体状态分类模型，通过所述肢体状态分类模型解析各帧图像中的动作基础要素，及根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态。5.根据权利要求1～3任一所述的方法，其特征在于，根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系，得到每帧图像中人体对应的肢体状态，包括：获取预先定义的不同肢体状态对应的人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系的逻辑组合；根据解析得到的动作基础要素，确定人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，得到每帧图像中人体对应的肢体状态。6.根据权利要求5所述的方法，其特征在于，所述人体各部件间的关联关系以及人体各部件与其他目标之间的关联关系对应的逻辑组合，包括如下至少一种：人体动作时不同部件对应的关键点与人体不同部位对应的人体部件之间的位置关系；人体动作时不同部件对应的关键点与所述与人体动作相关的目标区域之间、或与人体动作相关的目标物体之间的位置关系；与上一帧图像数据相比，人体动作时不同部件对应的关键点的移动方向和移动速度；人体动作时不同部件对应的关键点之间的距离关系；人体动作时不同部件对应的线段之间的关系，所述关系包括线段长度之间的比值、线段之间是否相交以及线段相交的角度，所述人体部件线段由预先定义的任意两个人体部件
...

【专利技术属性】
技术研发人员：潘华东，魏乃科，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：