基于视频的人体动作识别方法、装置、介质及电子设备制造方法及图纸

本申请涉及计算机视觉领域，特别地公开了一种基于视频的人体动作识别方法、装置、介质及电子设备。本申请的基于视频的人体动作识别方法包括：获取视频中的多帧多人体图像，其中每帧多人体图像中包括有多个人体实例；生成各帧多人体图像中的人体实例的检测人体边界框；确定各帧多人体图像的图像场景，一种图像场景对应一类或多类动作；基于多帧多人体图像的检测人体边界框和图像场景，识别多帧多人体图像中人体实例的动作，能够通过视频片段中人体实例的视频帧中的周围环境特征，对人体实例的动作类别及概率做后处理，使得最终预测的人体实例的动作类别的准确率更高。例的动作类别的准确率更高。例的动作类别的准确率更高。

【技术实现步骤摘要】
基于视频的人体动作识别方法、装置、介质及电子设备


[0001]本申请涉及计算机视觉领域，特别地公开了一种基于视频的人体动作识别方法、装置、介质及电子设备。

技术介绍

[0002]在很多场景下，需要对视频中的人体动作进行识别，以确定人体动作的动作类型。例如，在监控系统中，为了感知人的意图，需要对监控系统获取的视频中的人体动作进行识别，在人机交互系统中，为了对人的行为进行理解，需要对人机交互系统获取的视频中的人体动作进行识别。
[0003]为了实现对视频中的人体动作的识别，现有方案是从待处理视频提取出某些帧的图片，然后采用卷积神经网络对图片进行特征提取，接下来再根据从图片中提取的人体所在区域的特征向量确定人体的动作类型以及属于每个动作类型的置信度，然后将置信度最大(且置信度大于预设阈值)的动作类型确定为视频中的人体的动作类型。
[0004]现有方案中直接提取图片中的部分区域的特征来进行动作识别的方式，但是直接简单的提取图像部分区域的特征可能无法较好地反映人体在视频帧场景中的动作特征，导致动作识别效果不好，准确率较低。
专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的人体动作识别方法，其特征在于，包括：获取视频中的多帧多人体图像，其中每帧所述多人体图像中包括有多个人体实例；生成各帧所述多人体图像中的人体实例的检测人体边界框；确定各帧所述多人体图像的图像场景，一种图像场景对应一类或多类动作；基于所述多帧多人体图像的检测人体边界框和图像场景，识别所述多帧多人体图像中人体实例的动作。2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧多人体图像的检测人体边界框和图像场景，识别所述多帧多人体图像中人体实例的动作，包括：基于所述多帧多人体图像的检测人体边界框，识别所述多帧多人体图像中人体实例的动作，得到人体实例对应多个预定义动作中每个预定义动作的初始概率；基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率；将各帧所述多人体图像中概率最高的预定义动作作为人体实例识别出的动作。3.根据权利要求2所述的方法，其特征在于，所述基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率，包括：基于所述多帧多人体图像的相邻检测人体边界框之间的重叠程度，以及所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率。4.根据权利要求3所述的方法，其特征在于，相邻检测人体边界框之间的重叠程度由相邻检测人体边界框之间的交并比表征。5.根据权利要求3所述的方法，其特征在于，所述基于所述多帧多人体图像的相邻检测人体边界框之间的重叠程度，对人体实例对应多个预定义动作中每个预定义动作的初始概率进行校正，包括：在所述多帧多人体图像的相邻检测人体边界框之间的重叠程度大于预定阈值的情况下，提高人体实例对应的多个预定义动作中的与多人相关的预定义动作的概率；在所述多帧多人体图像的相邻检测人体边界框之间的重叠程度小于或等于所述预定阈值的情况下，提高人体实例对应的多个预定义动作中的与单人相关的预定义动作的概率。6.根据权利要求2-5中任一项所述的方法，其特征在于，所述基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，包括：基于所述多帧多人体图像的图像场景，对于所述多帧多人体图像中处于所述图像场景所在区域上的人体实例，提高人体实例对应预定义的多类动作与确定出的图像场景对应的预定义动作的概率。7.根据权利要求1所述的方法，其特征在于，所述生成各帧所述多人体图像中的人体实例的检测人体边界框...

【专利技术属性】
技术研发人员：袁粒，陈云鹏，周奕臣，黄子渊，冯佳时，
申请(专利权)人：新加坡依图有限责任公司私有，
类型：发明
国别省市：