【技术实现步骤摘要】
视频处理方法、装置及设备
[0001]本申请涉及计算机
，尤其涉及一种视频处理方法、装置及设备。
技术介绍
[0002]在公共服务行业中，工作人员可能存在吸烟、打电话或者玩游戏等违反行为准则的行为。如果直接使用人力监控，效率较低，效果有限。随着摄像技术的普及，通过视频智能识别用户行为的技术随之产生。一般可以通过摄像设备对关注地进行持续监控，并采用视觉算法分析视频中的目标用户的行为动作，以判断视频中的目标用户是否存在违反行为准则的行为。
[0003]现有技术中，采用视觉算法分析视频中的人物行为动作时，通常可以识别视频中的目标用户的运动姿态，例如，采用关键点检测的方式识别目标用户的运动姿态，并通过对用户的运动姿态进行分析，以获得目标用户的行为。之后，对目标用户的行为来判断该用户是否存在违反行为准则。
[0004]但是，采用识别目标用户在视频中的运动姿态的方式，可能会导致通过通过运动姿态很难准确识别目标用户的行为，例如，以手掩嘴与喝水的运动姿态非常相似，导致行为识别不够准确，行为判断的准确率不高。
技术实现思路
[0005]有鉴于此，本申请实施例提供一种视频处理方法、装置及设备，用以解决现有技术中采用运动姿态识别目标用户的行为时，识别结果不够准确效率较低的技术问题。
[0006]第一方面，本申请实施例提供视频处理方法，包括：
[0007]确定待处理视频中的关键图像帧；
[0008]提取所述关键图像帧对应的主对象特征以及至少一个从对象特征；
[0009]将...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：确定待处理视频中的关键图像帧；提取所述关键图像帧对应的主对象特征以及至少一个从对象特征；将所述主对象特征与所述至少一个从对象特征进行特征融合处理，获得目标特征。2.根据权利要求1所述的方法，其特征在于，还包括：基于所述目标特征，识别所述待处理视频中主对象对应的目标行为。3.根据权利要求1所述的方法，其特征在于，所述确定待处理视频中的关键图像帧之后，所述方法还包括：确定所述待处理视频中与所述关键图像帧关联的关联图像帧；所述提取所述关键图像帧对应的主对象特征以及至少一个从对象特征包括：基于所述关联图像帧以及所述关键图像帧，确定所述主对象特征以及所述至少一个从对象特征。4.根据权利要求3所述的方法，其特征在于，所述确定所述待处理视频中与所述关键图像帧关联的关联图像帧包括：确定所述关键图像帧在所述待处理视频中的第一时间点；获取所述待处理视频中位于所述第一时间点之前的至少一个第一图像帧以及位于所述第一时间点之后的至少一个第二图像帧；确定所述至少一个第一图像帧以及所述至少一个第二图像帧构成的关联图像帧。5.根据权利要求4所述的方法，其特征在于，所述基于所述关联图像帧以及所述关键图像帧，确定所述主对象特征以及所述至少一个从对象特征包括：提取所述关键图像帧对应的第一主对象特征以及至少一个第一从对象特征；提取所述关联图像帧对应的第二主对象特征以及至少一个第二从对象特征；基于所述第一主对象特征以及所述第二主对象特征，确定所述主对象特征；基于所述至少一个第一从对象特征以及所述至少一个第二从对象特征，确定所述至少一个从对象特征。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：提取所述关键图像帧中，所述主对象对应的主对象区域以及至少一个从对象分别对应的从对象区域；所述提取所述关键图像帧对应的第一主对象特征以及至少一个第一从对象特征包括：提取所述关键图像帧在所述主对象区域对应的第一主对象特征，以及在所述至少一个从对象区域分别对应的第一从对象特征；所述提取所述关联图像帧对应的第二主对象特征以及至少一个第二从对象特征包括：提取所述关联图像帧在所述主对象区域对应的第二主对象特征，以及在所述至少一个从对象区域分别对应的第二从对象特征；所述基于所述至少一个第一从对象特征以及所述至少一个第二从对象特征，确定所述至少一个从对象特征包括：根据任一个从对象区域对应的第一从对象特征以及第二从对象特征，确定所述从对象区域对应的从对象特征，以获得所述至少一个从对象区域分别对应的从对象特征。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一主对象特征以及所述第
二主对象特征，确定所述主对象特征包括：将所述第一主对象特征以及所述第二主对象特征进行降维融合处理，获得所述主对象特征；所述根据任一个从对象区域对应的第一从对象特征以及第二从对象特征，确定所述从对象区域对应的从对象特征，以获得所述至少一个从对象区域分别对应的从对象特征包括：针对任一个从对象区域，将所述从对象区域对应的第一从对象特征以及第二从对象特征进行降维融合处理，获得所述从对象区域对应的从对象特征，以获得所述至少一个从对象区域分别对应的从对象特征。8.根据权利要求7所述的方法，其特征在于，所述将所述第一主对象特征以及所述第二主对象特征进行降维融合处理，获得所述主对象特征包括：基于池化算法，将所述第一主对象特征以及所述第二主对象特征进行降维融合计算，获得所述主对象特征；所述针对任一个从对象区域，将所述从对象区域对应的第一从对象特征以及第二从对象特征进行降维融合处理，获得所述从对象区域对应的从对象特征，以获得所述至少一个从对象区域分别对应的从对象特征包括：基于池化算法，将任一个从对象区域对应的基础从对象特征进行降维融合计算，获得所述从对象区域对应的从对象特征，以获得所述至少一个从对象区域分别对应的从对象特征。9.根据权利要求6所述的方法，其特征在于，所述提取所述关键图像帧中，所述主对象对应的主对象区域以及至少一个从对象分别对应的从对象区域之后，还包括：基于所述主对象区域以及至少一个从对象区域，生成所述关键图像帧对应的区域展示页面；输出所述区域展示页面，以供用户对所述主对象区域以及所述至少一个从对象区域进行确认；获取所述用户确认的所述主对象区域以及所述至少一个从对象区域；所述提取所述关键图像帧在所述主对象区域对应的第一主对象特征，以及在所述至少一个从对象区域分别对应的第一从对象特征包括：提取所述关键图像帧在所述用户确认的主对象区域对应的第一主对象特征，以及在所述用户确认的所述至少一个从对象区域分别对应的第一从对象特征；所述提取所述关联图像帧在所述主对象区域对应的第二主对象特征，以及在所述至少一个从对象区域分别对应的第二从对象特征包括：提取所述关联图像帧在所述用户确认的主对象区域对应的第二主对象特征，以及所述用户确认的所述至少一个从对象区域分别对应的第二从对象特征。10.根据权利要求9所述的方法，其特征在于，所述获取所述用户确认的所述主对象区域以及所述至少一个从对象区域包括：若所述用户未对所述主对象区域确认，返回至所述确定待处理视频的关键图像帧的步骤继续执行；若所述用户对所述主对象区域确认，获取所述用户确认的至少一个从对象区域以及所
述用户未确认的从对象区域。11.根据权利要求1所述的方法，其特征在于，所述目标特征包括：目标主对象特征以及至少一个目标从对象特征；所述将所述主对象特征与所述至少一个从对象特征进行特征融合处理，获得目标特征包括：将所述主对象特征与所述至少一个从对象特征输入特征融合模型，计算获得所述目标主对象特征以及至少一个目标从对象特征。12.根据权利要求11所述的方法，其特征在于，所述特征融合模型包括串联连接的至少一个特征关联模块；所述将所述主对象特征与所述至少一个从对象特征输入特征融合模型，计算获得所述目标主对象特征以及至少一个目标从对象特征包括：将所述主对象特征与所述至少一个从对象特征输入所述至少一个特征关联模块，通过所述至少一个特征关联模块计算获得所述目标主对象特征以及所述至少一个目标从对象特征；其中，除第一个特征关联模块的输入为所述主对象特征以及所述至少一个从对象特征，以及最后一个特征关联模块的输出为所述目标主对象特征以及至少一个目标从对象特征之外，任一个特征关联模块输入为前一个特征关联模块的输出，输出为后一个特征关联模块的输入。13.根据权利要求12所述的方法，其特征在于，所述任一个特征关联模块的输入为第三主对象特征以及至少一个第三从对象特征，输出为所述第三主对象特征对应的第四主对象特征以及至少一个第三从对象特征分别对应的第四从对象特征；其中，任一个特征关联模块输出的第四主对象特征作为下一个特征关联模块输入的第三主对象特征，以及至少一个第四从对象特征分别作为下一个特征关联模块输入的第三从对象特征；所述主对象特征作为第三主对象特征以及所述至少一个从对象特征分别作为第三从对象特征输入第一个特征关联模块；最后一个特征关联模块输出的第四主对象特征为所述目标主对象特征，以及至少一个第四从对象特征分别作为目标从对象特征。14.根据权利要求13所述的方法，其特征在于，所述任一个特征关联模块通过以下方式处理输入的第三主对象特征以及至少一个第三从对象特征，获得所述第三主对象特征对应的第四主对象特征以及至少一个第三从对象特征分别对应的第四从对象特征：将所述第三主对象特征以及所述至少一个第三从对象特征进行至少一次第一融合处理，获得任一次第一融合处理获得的所述第三主对象特征对应的融合主对象特征以及所述至少一个第三从对象特征分别对应的融合从对象特征，以获得所述第三主对象特征对应的至少一个融合主对象特征以及任一个第三从对象特征对应的至少一个融合从对象特征；将所述第三主对象特征对应的至少一个融合主对象特征进行第二融合处理，获得所述第三主对象特征对应的第四主对象特征；针对任一个第三从对象特征对应的至少一个融合从对象特征，将所述至少一个融合从对象特征进行第二融合处理，获得所述第三从对象特征对应的第四从对象特征，以获得至少一个第三从对象特征分别对应的第四从对象特征。
15.根据权利要求14所述的方法，其特征在于，所述将所述第三主对象特征以及所述至少一个第三从对象特征进行至少一次第一融合处理，获得任一次第一融合处理获得的所述第三主对象特征对应的融合主对象特征以及所述至少一个第三从对象特征分别对应的融合从对象特征，以获得所述第三主对象特征对应的至少一个融合主对象特征以及任一个第三从对象特征对应的至少一个融合从对象特征包括：针对任一次第一融合处理，基于所述第三主对象特征分别与所述至少一个第三从对象特征之间的特征相似度，确定所述第三主对象特征对应的融合主对象特征，以获得所述第三主对象特征对应的至少一个融合主对象特征；针对任一次第一融合处理，基于任一个第三从对象特征分别与所述第三主对象特征以及至少一个第三从对象特征中的其他第三从对象特征之间的特征相似度，确定所述第三从对象特征的融合从对象特征，以获得所述第三从对象特征对应的至少一个融合从对象特征。16.根据权利要求15所述的方法，其特征在于，所述针对任一次第一融合处理，基于所述第三主对象特征分别与所述至少一个第三从对象特征之间的特征相似度，确定所述第三主对象特征对应的融合主对象特征，以获得所述第三主对象特征对应的至少一个融合主对象特征包括：针对任一次第一融合处理，基于所述第三主对象特征分别与所述至少一个第三从对象特征之间的特征相似度，确定所述至少一个第三从对象特征分别在所述第三主对象特征产生的第一影响特征；根据所述第三主对象特征以及至少一个第一影响特征，计算所述第三主对象特征对应的融合主对象特征；获取所述至少一次融合处理获得的所述第三主对象特征对应的至少一个融合主对象特征。17.根据权利要求16所述的方法，其特征在于，所述方法还包括：计算所述第三主对象特征分别与所述至少一个第三从对象特征之间的特征相似度。18.根据权利要求17所述的方法，其特征在于，所述计算所述第三主对象特征分别与所述至少一个第三从对象特征之间的特征相似度包括：计算所述第三主对象特征分别与所述至少一个第三从对象特征之间的向量内积，获得所述第三主对象特征分别与所述至少一个第三从对象特征之间...
【专利技术属性】
技术研发人员：张超，汪彪，李珂，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。