视频动作识别方法及装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频动作识别方法及装置、电子设备和存储介质，其中的方法包括：基于待检测视频中的连续图像帧，得到待检测区域；对待检测区域进行特征提取，得到视觉底层特征；将视觉底层特征拆分为至少一个动作分支特征，并依据各个动作分支特征对应的动作分支识别网络分别对各个动作分支特征进行分类预测；对各个动作分支特征的分类预测结果进行融合处理，得到待检测视频的动作识别结果。本发明专利技术实施例基于共享的底层特征，在不同分支处理不同成分的信息，增强了对视频动态的表达能力。

【技术实现步骤摘要】
视频动作识别方法及装置、电子设备和存储介质
本专利技术涉及技术图像处理
，尤其是一种视频动作识别方法及装置、电子设备和存储介质。
技术介绍
视频中的动作识别在实际应用中具有巨大的潜力，因而在近些年得到了巨大关注。有别于基于图像的物体识别任务，视频中的动作识别任务需要研究图像的动态特征，也就是视觉内容随着时间发生的变化。
技术实现思路
本专利技术实施例提供一种视频动作识别的技术方案。本专利技术实施例提供的一种视频动作识别方法，包括：基于待检测视频中的连续图像帧，得到待检测区域；对所述待检测区域进行特征提取，得到视觉底层特征；将所述视觉底层特征拆分为至少一个动作分支特征，并依据各个动作分支特征对应的动作分支识别网络分别对所述各个动作分支特征进行分类预测；对所述各个动作分支特征的分类预测结果进行融合处理，得到所述待检测视频的动作识别结果。在一种可选方式中，所述动作分支特征包括静态外貌特征、表观动作特征、外貌变化特征中的任一项或多项组合。在一种可选方式中，所述方法还包括：训练所述静态外貌特征对应的动作分支识别网络；所述训练所述静态外貌特征对应的动作分支识别网络包括：基于视频样本的样本视觉底本文档来自技高网...

【技术保护点】
1.一种视频动作识别方法，其特征在于，基于待检测视频中的连续图像帧，得到待检测区域；对所述待检测区域进行特征提取，得到视觉底层特征；将所述视觉底层特征拆分为至少一个动作分支特征，并依据各个动作分支特征对应的动作分支识别网络分别对所述各个动作分支特征进行分类预测；对所述各个动作分支特征的分类预测结果进行融合处理，得到所述待检测视频的动作识别结果。

【技术特征摘要】
1.一种视频动作识别方法，其特征在于，基于待检测视频中的连续图像帧，得到待检测区域；对所述待检测区域进行特征提取，得到视觉底层特征；将所述视觉底层特征拆分为至少一个动作分支特征，并依据各个动作分支特征对应的动作分支识别网络分别对所述各个动作分支特征进行分类预测；对所述各个动作分支特征的分类预测结果进行融合处理，得到所述待检测视频的动作识别结果。2.根据权利要求1所述的方法，其特征在于，所述动作分支特征包括静态外貌特征、表观动作特征、外貌变化特征中的任一项或多项组合。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：训练所述静态外貌特征对应的动作分支识别网络；所述训练所述静态外貌特征对应的动作分支识别网络包括：基于视频样本的样本视觉底层特征，通过重复二维卷积、二维池化及时域池化的操作，从样本视觉底层特征中提取出外貌静态特征；根据所述外貌静态特征对卷积神经网络进行分类训练，得到所述静态外貌特征对应的动作分支识别网络。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：训练所述表观动作特征对应的动作分支识别网络；所述训练所述表观动作特征对应的动作分支识别网络包括：基于视频样本的样本视觉底层特征，通过基于逐像素相关构造代价体，并从代价体中推导出每个像素的运动场，从而得到所述表观动作特征；根据所述表观动作特征对卷积神经网络进行分类训练，得到所述表观动作特征对应的动作分支识别网络。5.根据权利要求4所述的方法，其特征在于，所述从代价体中推导出每个像素的运动场包括：针对所述代价体，根据匹配相似度，确定出每个像素的运动场；和/或，根据代价体每个像素的强度计算出加权系数，并根据所述加权系数计算出每个像素的期望位移，从而确定出每个像素的运动场。6.根...

【专利技术属性】
技术研发人员：赵岳，熊元骏，林达华，汤晓鸥，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11