一种动作识别方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种动作识别方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标视频段，识别目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；根据每帧图像的物体中心点位置、人体关节点位置和手部关节点位置构建目标视频段对应的无向空间时间图；基于无向空间时间图提取目标视频段的时空特征，并将时空特征输入分类器中以便完成动作识别。本申请提供的动作识别方法，人体关节点位置和手部关节点位置用于描述人体骨架，用人体骨架和物体位置进行动作识别，充分利用了视频的特征，提高动作识别的准确率。

【技术实现步骤摘要】
一种动作识别方法、装置及电子设备和存储介质
本申请涉及机器人
，更具体地说，涉及一种动作识别方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
近年来，人类动作识别在视频理解和人机交互中起着至关重要的作用，人类动作识别的准确性和时效性将直接影响机器人与人的协作成功率。同时，机器人通过识别人类动作能够更好的理解人类的行为动机，从而更好的协助人类日常工作，加快工作效率。动作识别在计算机视觉邻域是一项具有挑战性的任务，在相关技术中，采用基于人体姿势的时空图卷积网络进行视频动作识别，即通过提取视频中角点的特征进行人体行为识别，但是一部分角点是由背景噪声产生，由背景噪声尝试的角点占据全部特征的比例过大，从而影响识别的结果。另外，上述方案在人物交互上存在局限，例如切黄瓜、撒调料等动作，这些动作不仅依赖人体骨架信息，同时也依赖于物体特征，仅基于人体姿势的方法丢失过多的有效特征，动作识别准确度较低。因此，如何提高动作识别的准确度是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的在于提供一种动作识别方法、装置及一种电子设备和一种计算机可读存储介质，提高了动作识别的准确度。为实现上述目的，本申请提供了一种动作识别方法，包括：获取目标视频段，识别所述目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；根据每帧所述图像的物体中心点位置、人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；基于所述无向空间时间图提取所述目标视频段的时空特征，并将所述时空特征输入分类器中以便完成动作识别。其中，所述识别所述目标视频段中每帧图像的物体中心点位置，包括：利用MaskR-CNN网络对所述目标视频段中每帧图像进行物体识别，得到每帧所述图像的物体边框，并基于所述物体边框确定每帧所述图像的物体中心点位置。其中，所述基于所述无向空间时间图提取所述目标视频段的时空特征，包括：利用时空图卷积网络从所述无向空间时间图中提取所述目标视频段的时空特征。其中，所述无向空间时间图包括点集合和边集合，所述边集合包括多个节点，所述节点包括所述人体关节点位置、所述手部关节点位置、距离左手最近的物体中心点位置和距离右手最近的物体中心点位置；所述点集合包括第一点集合、第二点集合和第三点集合，所述第一点集合为根节点的集合，所述第二点集合为比所述根节点更靠近骨架重心的相邻节点的集合，所述第三点集合为比所述根节点更远离所述骨架重心的相邻节点的集合；所述边集合包括描述人体与物体间连接的第一边集合和描述相邻帧间的连接的第二边集合。其中，将所述时空特征输入分类器中以便完成动作识别，包括：将所述时空特征输入分类器中以便得到所述目标视频段对应的每个候选动作类型的概率；将概率最大的候选动作类型确定为所述目标视频段对应的动作类型。其中，所述获取目标视频段，包括：获取原始视频，并将所述原始视频划分为多个时间长度为预设值的目标视频段；相应的，将所述时空特征输入分类器中以便完成动作识别，包括：将所述时空特征输入分类器中以便得到每个所述目标视频段对应的每个候选动作类型的概率；基于每个所述目标视频段对应的每个所述候选动作类型对应的概率计算每个所述候选动作类型的概率平均值；将概率平均值最大的候选动作类型确定为所述原始视频对应的动作类型。为实现上述目的，本申请提供了一种动作识别装置，包括：获取模块，用于获取目标视频段，识别所述目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；构建模块，用于根据每帧所述图像的物体中心点位置、人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；识别模块，用于基于所述无向空间时间图提取所述目标视频段的时空特征，并将所述时空特征输入分类器中以便完成动作识别。其中，所述获取模块包括：获取单元，用于获取目标视频段；第一识别单元，用于利用MaskR-CNN网络对所述目标视频段中每帧图像进行物体识别，得到每帧所述图像的物体边框，并基于所述物体边框确定每帧所述图像的物体中心点位置；第二识别单元，用于识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置。为实现上述目的，本申请提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述动作识别方法的步骤。为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述动作识别方法的步骤。通过以上方案可知，本申请提供的一种动作识别方法，包括：获取目标视频段，识别所述目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；根据每帧所述图像的物体中心点位置、人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；基于所述无向空间时间图提取所述目标视频段的时空特征，并将所述时空特征输入分类器中以便完成动作识别。本申请提供的动作识别方法，人体关节点位置和手部关节点位置用于描述人体骨架，用人体骨架和物体位置进行动作识别，充分利用了视频的特征。人作为动作的主动者，基于人体骨架识别可以更好地理解动作特征，物体作为动作的被动者，增加物体属性可以更好地理解视频中的人物交互，提高动作识别的准确率。本申请还公开了一种动作识别装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1为根据一示例性实施例示出的一种动作识别方法的流程图；图2为根据一示例性实施例示出的一种人体关节点位置的示意图；图3为根据一示例性实施例示出的一种手部关节点位置的示意图；图4为根据一示例性实施例示出的一种MaskR-CNN网络的结构图；图5为根据一示例性实施例示出的一种点集合的示意图；图6为根据一示例性实施例示出的另一种动作识别方法的流程图；图7为根据一示例性实施例示出的一种动作识别装置的结构图；图8为根据一示例性实施例示出的一种电子设备的结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，包括：/n获取目标视频段，识别所述目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；/n根据每帧所述图像的物体中心点位置、人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；/n基于所述无向空间时间图提取所述目标视频段的时空特征，并将所述时空特征输入分类器中以便完成动作识别。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，包括：
获取目标视频段，识别所述目标视频段中每帧图像的物体中心点位置、人体关节点位置和手部关节点位置；
根据每帧所述图像的物体中心点位置、人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；
基于所述无向空间时间图提取所述目标视频段的时空特征，并将所述时空特征输入分类器中以便完成动作识别。


2.根据权利要求1所述动作识别方法，其特征在于，所述识别所述目标视频段中每帧图像的物体中心点位置，包括：
利用MaskR-CNN网络对所述目标视频段中每帧图像进行物体识别，得到每帧所述图像的物体边框，并基于所述物体边框确定每帧所述图像的物体中心点位置。


3.根据权利要求1所述动作识别方法，其特征在于，所述基于所述无向空间时间图提取所述目标视频段的时空特征，包括：
利用时空图卷积网络从所述无向空间时间图中提取所述目标视频段的时空特征。


4.根据权利要求1所述动作识别方法，其特征在于，所述无向空间时间图包括点集合和边集合，所述边集合包括多个节点，所述节点包括所述人体关节点位置、所述手部关节点位置、距离左手最近的物体中心点位置和距离右手最近的物体中心点位置；
所述点集合包括第一点集合、第二点集合和第三点集合，所述第一点集合为根节点的集合，所述第二点集合为比所述根节点更靠近骨架重心的相邻节点的集合，所述第三点集合为比所述根节点更远离所述骨架重心的相邻节点的集合；
所述边集合包括描述人体与物体间连接的第一边集合和描述相邻帧间的连接的第二边集合。


5.根据权利要求1至4中任一项所述动作识别方法，其特征在于，将所述时空特征输入分类器中以便完成动作识别，包括：
将所述时空特征输入分类器中以便得到所述目标视频段对应的每个候选动作类型的概率；
将概率最大的候选动作类型确定为所述目标视频段对应的动作类型。
...

【专利技术属性】
技术研发人员：钟经谋，刘文印，陈俊洪，黄可思，林大润，朱展模，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44