动作识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种动作识别方法、装置、设备及存储介质，该方法包括：将待识别的视频序列划分为T个视频段；通过特征提取网络提取T个视频段各自对应的图像特征；根据T个视频段各自对应的图像特征间的差异度，对T个视频段各自对应的图像特征进行特征融合处理，得到目标视频特征；根据目标视频特征确定视频序列中运动目标的动作类别。该方法能够保证准确识别视频序列中运动目标的动作类别。

Action recognition method, device, equipment and storage medium

【技术实现步骤摘要】
动作识别方法、装置、设备及存储介质
本申请涉及人工智能(ArtificialIntelligence，AI)
，尤其涉及一种动作识别方法、装置、设备及存储介质。
技术介绍
基于视频的动作识别任务，是指识别一段视频序列中运动目标进行的动作所属的类别。与普通的图片分类任务仅需考虑单张图片不同，基于视频的动作识别任务需要更多地考量时间维度的信息，才能准确地识别视频序列中运动目标的动作类别，例如，对于不同泳姿的区分，往往需要综合考虑时间序列内多张图片的信息才能做出准确地判断。相关技术目前主要基于通道偏移算法(TemporalShiftModuel，TSM)实现基于视频的动作识别任务，该TSM算法在特征提取网络中加入了时间维度的特征融合策略，可以针对相邻视频段间的图像特征进行特征融合处理，从而在时间维度上实现特征信息的交换与特征信息的融合。然而，经本申请专利技术人研究发现，上述实现方式往往难以保证交换融合的特征信息中包含参考价值较高的时间信息，这对于最终动作识别结果的准确性也会产生影响。专利
技术实现思路
本本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，所述方法包括：/n获取待识别的视频序列；/n将所述视频序列划分为T个视频段，所述T为大于1的整数；/n通过特征提取网络对所述T个视频段进行特征提取处理，得到所述T个视频段各自对应的图像特征；/n根据所述T个视频段各自对应的图像特征之间的差异度，对所述T个视频段各自对应的图像特征进行特征融合处理，得到目标视频特征；/n根据所述目标视频特征，确定所述视频序列中运动目标的动作类别。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，所述方法包括：
获取待识别的视频序列；
将所述视频序列划分为T个视频段，所述T为大于1的整数；
通过特征提取网络对所述T个视频段进行特征提取处理，得到所述T个视频段各自对应的图像特征；
根据所述T个视频段各自对应的图像特征之间的差异度，对所述T个视频段各自对应的图像特征进行特征融合处理，得到目标视频特征；
根据所述目标视频特征，确定所述视频序列中运动目标的动作类别。


2.根据权利要求1所述的方法，其特征在于，在所述通过特征提取网络对所述T个视频段进行特征提取处理，得到所述T个视频段各自对应的图像特征之后，所述方法还包括：
按照所述T个视频段的时间顺序，排列所述T个视频段各自对应的图像特征，得到所述T个视频段对应的图像特征；所述T个视频段对应的图像特征包括C个特征通道，所述C为大于1的整数；
在所述C个特征通道的方向上，将所述T个视频段对应的图像特征划分为X个子图像特征，所述X为大于1的整数；所述子图像特征包括M个特征通道，所述M为小于C的正整数；
则所述根据所述T个视频段各自对应的图像特征之间的差异度，对所述T个视频段各自对应的图像特征进行信息融合处理，得到目标视频特征，包括：
针对所述X个子图像特征中的每个子图像特征，根据所述子图像特征中所述T个视频段各自对应的图像特征之间的差异度，对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述子图像特征对应的目标子图像特征；
拼接所述X个子图像特征各自对应的目标子图像特征得到所述目标视频特征。


3.根据权利要求2所述的方法，其特征在于，所述根据所述子图像特征中所述T个视频段各自对应的图像特征之间的差异度，对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述子图像特征对应的目标子图像特征，包括：
根据所述子图像特征中第t+1个视频段对应的图像特征与第t个视频段对应的图像特征之间的差值，确定所述子图像特征对应的段间差特征；所述t为大于等于1、且小于所述T的整数；
基于所述段间差特征，对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述目标子图像特征。


4.根据权利要求3所述的方法，其特征在于，所述基于所述段间差特征，对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述目标子图像特征，包括：
根据所述子图像特征对应的所述段间差特征，确定所述子图像特征对应的通道偏移系数；
根据为所述子图像分配的特征偏移方向、所述通道偏移系数以及所述子图像特征，在所述M个特征通道上对所述子图像特征中所述T个视频段各自对应的图像特征进行偏移处理，得到所述目标子图像特征。


5.根据权利要求4所述的方法，其特征在于，所述根据所述子图像特征对应的所述段间差特征，确定所述子图像特征对应的通道偏移系数，包括：
通过目标函数根据所述子图像特征对应的所述段间差特征，确定所述子图像特征对应的通道偏移系数；所述通道偏移系数与所述段间差特征成正比，所述通道偏移系数大于等于0、且小于等于1。


6.根据权利要求4或5所述的方法，其特征在于，所述根据为所述子图像分配的特征偏移方向、所述通道偏移系数以及所述子图像特征，在所述M个特征通道上对所述子图像特征中所述T个视频段各自对应的图像特征进行偏移处理，得到所述目标子图像特征，包括：
基于所述通道偏移系数调整所述子图像特征，得到参考子图像特征；
沿着为所述子图像特征分配的特征偏移方向，在所述M个特征通道上对所述参考子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到特征偏移处理后的参考子图像特征；
根据所述特征偏移处理后的参考子图像特征、所述参考子图像特征和所述子图像特征，确定所述目标子图像特征。


7.根据权利要求2所述的方法，其特征在于，所述根据所述子图像特征中所述T个视频段各自对应的图像特征之间的差异度，对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述子图像特征对应的目标子图像特征，包括：
在所述差异度大于预设差异度阈值的情况下，按照预设的特征偏移方式，在所述M个特征通道上对所述子图像特征中所述T个视频段各自对应的图像特征进行特征偏移处理，得到所述目标子图像特征...

【专利技术属性】
技术研发人员：李岩，康斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44