动作定位方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种动作定位方法、装置、电子设备和存储介质，其中方法包括：确定待定位的视频；基于动作定位模型，从视频中选取各动作类型的相关帧并对视频中各图像帧进行动作分类，基于各动作类型的相关帧和各图像帧的动作分类结果，确定帧级动作定位结果；其中，动作定位模型是基于样本视频及其视频级动作标签训练得到的。本发明专利技术提供的方法、装置、电子设备和存储介质，应用视频级动作标签实现动作定位模型的弱监督训练，无需预先标注帧级别的动作标签，大大缩减了人工标注的工作量，降低了训练样本的获取难度，有助于提高动作定位的可用性。动作定位模型从两个帧级别方向分别进行分析预测，有助于进一步提高弱监督下的动作定位的可靠性和准确性。

【技术实现步骤摘要】
动作定位方法、装置、电子设备和存储介质
本专利技术涉及计算机
，尤其涉及一种动作定位方法、装置、电子设备和存储介质。
技术介绍
针对视频的动作定位是视频理解的关键问题之一，在人机交互、人类动作理解等领域均有重要应用。目前的动作定位多是基于深度学习模型实现的，而深度学习模型在训练过程中需要人工标注样本视频中各图像帧的动作标签，帧级别的标签标注需要消耗大量的人力和时间成本，获取难度巨大，且单帧图像所展现的动作往往并不清楚，导致标注所得的帧级别标签的准确性欠佳。
技术实现思路
本专利技术提供一种动作定位方法、装置、电子设备和存储介质，用以解决现有的动作定位方法在监督学习时需要大量帧级别标签，费时费力且可靠性差的问题。本专利技术提供一种动作定位方法，包括：确定待定位的视频；基于动作定位模型，从所述视频中选取各动作类型的相关帧并对所述视频中各图像帧进行动作分类，基于所述各动作类型的相关帧和所述各图像帧的动作分类结果，确定所述视频的帧级动作定位结果；其中，所述动作定位模型是基于样本视频及其视本文档来自技高网...

【技术保护点】
1.一种动作定位方法，其特征在于，包括：/n确定待定位的视频；/n基于动作定位模型，从所述视频中选取各动作类型的相关帧并对所述视频中各图像帧进行动作分类，基于所述各动作类型的相关帧和所述各图像帧的动作分类结果，确定所述视频的帧级动作定位结果；/n其中，所述动作定位模型是基于样本视频及其视频级动作标签训练得到的。/n

【技术特征摘要】
1.一种动作定位方法，其特征在于，包括：
确定待定位的视频；
基于动作定位模型，从所述视频中选取各动作类型的相关帧并对所述视频中各图像帧进行动作分类，基于所述各动作类型的相关帧和所述各图像帧的动作分类结果，确定所述视频的帧级动作定位结果；
其中，所述动作定位模型是基于样本视频及其视频级动作标签训练得到的。


2.根据权利要求1所述的动作定位方法，其特征在于，所述基于动作定位模型，从所述视频中选取各动作类型的相关帧并对所述视频中各图像帧进行动作分类，基于所述各动作类型的相关帧和所述各图像帧的动作分类结果，确定所述视频的帧级动作定位结果，包括：
基于所述动作定位模型的相关帧选取层，应用所述各图像帧的第一动作特征从所述视频中选取各动作类型的相关帧；
基于所述动作定位模型的动作分类层，对所述各图像帧的第二动作特征进行动作分类，得到所述各图像帧的动作分类结果；
基于所述动作定位模型的动作定位层，应用所述各动作类型的相关帧和所述各图像帧的动作分类结果，确定所述视频的帧级动作定位结果。


3.根据权利要求2所述的动作定位方法，其特征在于，所述基于所述动作定位模型的相关帧选取层，应用所述各图像帧的第一动作特征从所述视频中选取各动作类型的相关帧，之前还包括：
基于所述动作定位模型的动作特征提取层，分别提取所述各图像帧的动作特征，将所述动作特征作为所述第一动作特征和所述第二动作特征。


4.根据权利要求1所述的动作定位方法，其特征在于，所述动作定位模型是基于如下步骤训练得到的：
基于待训练的初始模型，确定所述样本视频的帧级动作定位预测结果；
基于所述样本视频的帧级动作定位预测结果，确定所述样本视频的视频级预测动作类型；
基于所述视频级预测动作类型与所...

【专利技术属性】
技术研发人员：奚晓钰，李敏，陆彦良，李东晓，移金圣，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11